Tokenitza el text amb NLTK a Python

La tokenització de text és una tècnica fonamental de processament del llenguatge natural (NLP) i una d'aquestes tècniques és la tokenització. És el procés de dividir el text en components o fitxes més petits. Aquests poden ser: