Text Mining หรือเรียกอีกอย่างว่า Text Analysis คือกระบวนการแปลงข้อความไม่มีโครงสร้าง (Unstructured Text) ให้เป็นข้อมูลมีโครงสร้าง (Structured Data) เพื่อการวิเคราะห์ที่ง่ายขึ้น Text Mining ใช้ Natural Language Processing (NLP) ช่วยให้เครื่องจักรเข้าใจภาษามนุษย์และประมวลผลได้โดยอัตโนมัติ
Text Mining เป็นกระบวนการอัตโนมัติที่ใช้ NLP เพื่อแยกข้อมูลเชิงลึกที่มีค่า (Valuable Insights) จากข้อความไม่มีโครงสร้าง สามารถแปลงข้อมูลให้เป็นข้อมูลที่อุปกรณ์เข้าใจได้ Text Mining ทำให้กระบวนการจัดประเภทข้อความตามอารมณ์ (Sentiment) หัวข้อ (Topic) และเจตนา (Intent) เป็นอัตโนมัติ
เทคนิค Text Mining หลัก
1. Information Extraction (การแยกข้อมูล)
เป็นขั้นตอนแรกของการวิเคราะห์ข้อความไม่มีโครงสร้าง คือบริการการแยกข้อมูลมีโครงสร้างโดยอัตโนมัติจากเอกสารที่อ่านได้โดยเครื่อง (Machine-readable Documents) ที่ไม่มีโครงสร้างหรือมีโครงสร้างบางส่วน
2. Summarization (การสรุป)
กระบวนการนี้มีวัตถุประสงค์เพื่อสรุปข้อความที่แม่นยำจากจำนวนมากของเอกสารข้อความ Automatic Summarization คือกระบวนการลดขนาดเอกสารข้อความด้วยโปรแกรมคอมพิวเตอร์เพื่อสร้างสรุปที่เก็บจุดสำคัญที่สุดของเอกสารต้นฉบับ Automatic Data Summarization เป็นองค์ประกอบของ Machine Learning และ Data Mining
3. Topic Tracking (การติดตามหัวข้อ)
แนวคิดของโครงสร้าง Topic Tracking คือการสนับสนุนโปรไฟล์ผู้ใช้จากการค้นหาก่อนหน้า และทำนายเอกสารอื่นๆ ได้อย่างมีประสิทธิภาพจากโปรไฟล์ผู้ใช้ Text Mining เป็นสาขาที่แยกข้อมูลที่ไม่รู้จักมาก่อนและมีประโยชน์จากข้อมูลข้อความไม่มีโครงสร้างโดยอัตโนมัติ มีความเชื่อมโยงแน่นกับ NLP Topic Tracking เป็นหนึ่งในเทคโนโลยีที่พัฒนาขึ้นและใช้ในกระบวนการ Text Mining ได้
4. Classification (การจัดประเภท)
เป็นกระบวนการค้นหาหัวข้อหลักของไฟล์โดยการแทรก Metadata และวิเคราะห์เอกสาร วิธีนี้นับจำนวนคำ และจากจำนวนนั้นตัดสินใจหัวข้อของไฟล์ ในกระบวนการนี้ เอกสารข้อความถูกจัดประเภทเป็นป้ายกำกับคลาสที่กำหนดไว้ล่วงหน้า
5. Categorization (การจัดหมวดหมู่)
Text Categorization คืองานกำหนดหมวดหมู่ที่กำหนดไว้ล่วงหน้าให้กับเอกสารข้อความอิสระ (Free-text Documents) สามารถสนับสนุนมุมมองแนวคิดของชุดเอกสาร และมีซอฟต์แวร์สำคัญในโลกจริง
6. Clustering (การจัดกลุ่ม)
Clustering ถือเป็นปัญหาการเรียนรู้แบบไม่มีผู้กำกับ (Unsupervised Learning) ที่สำคัญที่สุด ดังนั้นเช่นเดียวกับปัญหาประเภทนี้อื่นๆ มันจัดการกับการค้นพบโครงสร้างในชุดข้อมูลที่ไม่มีป้ายกำกับ (Unlabeled Data)
7. Concept Linkage (การเชื่อมโยงแนวคิด)
Text Mining ใช้เทคนิค Concept Linkage เพื่อหาเอกสารที่เกี่ยวข้อง กลไกนี้เรียกดูเอกสารแทนการค้นหา ให้ความสะดวกในการเชื่อมโยงเอกสารที่เกี่ยวข้อง
8. Natural Language Processing (NLP)
ภาษาธรรมชาติคือภาษามนุษย์ที่ถูกประมวลผลด้วยภาษาคอมพิวเตอร์ การปฏิสัมพันธ์ทั้งหมดนี้เรียกว่า Natural Language Processing (NLP) เป้าหมายหลักของ NLP คือการออกแบบและสร้างระบบคอมพิวเตอร์ที่จะตรวจสอบ เข้าใจ และสร้าง NLP
