Tokenisoi teksti NLTK:lla pythonissa

Tekstin tokenointi on perustavanlaatuinen NLP (Natural Language Processing) -tekniikka, ja yksi tällainen tekniikka on Tokenization. Se on prosessi, jossa teksti jaetaan pienempiin osiin tai tunnuksiin. Nämä voivat olla: