Tokeniseer tekst met NLTK in Python

Teksttokenisatie is een fundamentele Natural Language Processing (NLP)-techniek en een van die technieken is tokenisatie. Het is het proces waarbij tekst in kleinere componenten of tokens wordt verdeeld. Dit kunnen zijn: