Tokenizirajte besedilo z uporabo NLTK v pythonu

Tokenizacija besedila je temeljna tehnika obdelave naravnega jezika (NLP) in ena takih tehnik je tokenizacija. Je postopek delitve besedila na manjše komponente ali žetone. To so lahko: