Tokenizirajte tekst pomoću NLTK-a u pythonu

Tokenizacija teksta temeljna je tehnika obrade prirodnog jezika (NLP), a jedna takva tehnika je tokenizacija. To je proces dijeljenja teksta na manje komponente ili žetone. To mogu biti: