Tokeniser tekst ved å bruke NLTK i python

Teksttokenisering er en grunnleggende NLP-teknikk (Natural Language Processing), og en slik teknikk er tokenisering. Det er prosessen med å dele opp tekst i mindre komponenter eller tokens. Disse kan være: