Tokenizar texto usando NLTK em python

A tokenização de texto é uma técnica fundamental de processamento de linguagem natural (PNL) e uma dessas técnicas é a tokenização. É o processo de dividir o texto em componentes ou tokens menores. Estes podem ser: