Tokenizujte text pomocí NLTK v pythonu

Tokenizace textu je základní technika zpracování přirozeného jazyka (NLP) a jednou takovou technikou je tokenizace. Je to proces rozdělování textu na menší součásti nebo tokeny. Mohou to být: