Токенизујте текст користећи НЛТК у Питхон-у

Токенизација текста је основна техника обраде природног језика (НЛП), а једна таква техника је токенизација. То је процес поделе текста на мање компоненте или токене. То могу бити: