Text mit NLTK in Python tokenisieren

Die Text-Tokenisierung ist eine grundlegende Technik der Verarbeitung natürlicher Sprache (NLP), und eine solche Technik ist die Tokenisierung. Dabei handelt es sich um den Prozess der Aufteilung von Text in kleinere Komponenten oder Token. Dies können sein: