Tokenisera text med NLTK i python

Texttokenisering är en grundläggande NLP-teknik (Natural Language Processing) och en sådan teknik är tokenisering. Det är processen att dela upp text i mindre komponenter eller tokens. Dessa kan vara: