Tokenize ข้อความด้วย NLTK ใน Python

กำหนดลำดับตัวอักษรและหน่วยเอกสาร Tokenization คือการหั่นเป็นชิ้นๆ เรียกว่า tokens อาจทิ้งตัวอักษรบางตัว เช่น punctuation ในบริบทของ nltk และ Python คือการใส่แต่ละ token ในลิสต์ เพื่อวนลูป token แทนการวนตัวอักษรทีละตัว

เช่น สตริงอินพุท

Hi man, how have you been?

ควรได้ผลลัพธ์

['Hi', 'man', ',', 'how', 'have', 'you', 'been', '?']

ใช้ word_tokenize จาก NLTK

ตัวอย่าง

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

my_sent = "Hi man, how have you been?"
tokens = word_tokenize(my_sent)
print(tokens)

ผลลัพธ์

['Hi', 'man', ',', 'how', 'have', 'you', 'been', '?']