Tokenizar texto usando NLTK en Python

La tokenización de texto es una técnica fundamental de procesamiento del lenguaje natural (NLP) y una de esas técnicas es la tokenización. Es el proceso de dividir el texto en componentes o tokens más pequeños. Estos pueden ser: