Text Mining หรือ Text Analysis คือกระบวนการแปลงข้อความไม่มีโครงสร้างเป็นข้อมูลมีโครงสร้างเพื่อการวิเคราะห์ที่ง่าย ต้องใช้ Natural Language Processing (NLP) ช่วยให้อุปกรณ์เรียนรู้ภาษามนุษย์และประมวลผลอัตโนมัติ
นิยามว่าเป็นกระบวนการแยกข้อมูลสำคัญจากข้อความภาษามาตรฐาน ข้อมูลบางส่วนที่เราสร้างผ่านข้อความ ส่งข้อความ อีเมล ไฟล์ เขียนในภาษาทั่วไป Text Mining ใช้ทั่วไปเพื่อดึงข้อมูลเชิงลึกหรือรูปแบบที่มีประโยชน์จากข้อมูลดังกล่าว
Text Mining เป็นกระบวนการอัตโนมัติที่ใช้ NLP เพื่อแยกวิสัยทัศน์ที่มีค่า (Valuable Insights) จากข้อความไม่มีโครงสร้าง โดยแปลงข้อมูลเป็นข้อมูลที่อุปกรณ์เรียนรู้ได้ Text Mining ทำให้กระบวนการจัดประเภทข้อความตามอารมณ์ หัวข้อ และเจตนาเป็นอัตโนมัติ
ขั้นตอนของกระบวนการ Text Mining
1. Document Gathering (การรวบรวมเอกสาร)
ขั้นตอนแรก รวบรวมเอกสารข้อความที่มีอยู่ในหลายรูปแบบ เช่น PDF, Word, HTML, CSS ฯลฯ
2. Document Pre-Processing (การเตรียมข้อมูลเอกสาร)
ประมวลผลเอกสารนำเข้าเพื่อกำจัดความซ้ำซ้อน ความไม่สอดคล้อง คำอิสระ (Independent Words) Stemming และเตรียมไฟล์สำหรับขั้นตอนต่อไป ขั้นย่อยมีดังนี้:
Tokenization (การแท็กเก็น): จัดการเอกสารเป็นสตริง และแยกคำเดี่ยวในเอกสาร คือ แยกสตริงเอกสารเป็นหน่วยเดี่ยวหรือ Token
Removal of Stop Words (การลบคำหยุด): กำจัดคำคงที่ เช่น a, an, but, and, of, the ฯลฯ
Stemming (การตัดรากคำ): ราก (Stem) คือชุดคำตามธรรมชาตที่มีความหมายคล้ายกัน วิธีนี้หาค่าฐานของคำเฉพาะ มี 2 ประเภทคือ Inflectional และ Derivational Stemming อัลกอริทึมดังสำหรับ Stemming คือ Porter's Algorithm เช่น ถ้าเอกสารมีคำว่า resignation, resigned, resigns จะถูกจัดเป็น resigning หลังใช้ Stemming
3. Text Transformation (การแปลงข้อความ)
เอกสารข้อความเป็นชุดของคำ (Features) และความถี่ในการปรากฏ มี 2 วิธีการแทนค่าเอกสารดังกล่าว คือ Vector Space Model และ Bag of Words
4. Feature Selection / Attribute Selection (การเลือกคุณลักษณะ)
วิธีนี้ช่วยลดพื้นที่ฐานข้อมูล ลดวิธีการค้นหา โดยกำจัดคุณลักษณะที่ไม่เกี่ยวข้องจากเอกสารนำเข้า
5. Data Mining / Pattern Selection (การขุดข้อมูล / เลือกรูปแบบ)
ในขั้นตอนนี้ กระบวนการ Data Mining แบบคลาสสิกรวมกับ Text Mining ฐานข้อมูลที่มีโครงสร้างช่วยให้เทคนิค Data Mining แบบคลาสสิกที่ได้จากขั้นตอนก่อนหน้านี้ทำงานได้
6. Evaluate (การประเมินผล)
ขั้นตอนนี้คำนวณผลลัพธ์ ผลลัพธ์ที่ได้สามารถนำไปใช้ต่อ หรือใช้สำหรับชุดลำดับถัดไป
