กำหนดลำดับตัวอักษรและหน่วยเอกสาร Tokenization คือการหั่นเป็นชิ้นๆ เรียกว่า tokens อาจทิ้งตัวอักษรบางตัว เช่น punctuation ในบริบทของ nltk และ Python คือการใส่แต่ละ token ในลิสต์ เพื่อวนลูป token แทนการวนตัวอักษรทีละตัว เช่น สตริงอินพุท Hi man, how have you been? ควรได้ผลลัพธ์ [Hi, man, ,, how, have,