אסימון טקסט באמצעות NLTK בפיתון

אסימון טקסט הוא טכניקת עיבוד שפה טבעית (NLP) בסיסית וטכניקה אחת כזו היא אסימון. זהו תהליך של חלוקת טקסט לרכיבים קטנים יותר או אסימונים. אלה יכולים להיות: