Tokenizujte text pomocou NLTK v pythone

Tokenizácia textu je základná technika spracovania prirodzeného jazyka (NLP) a jednou z takýchto techník je tokenizácia. Je to proces rozdelenia textu na menšie komponenty alebo tokeny. Môžu to byť: