Text Mining หรือ Text Analysis คือกระบวนการแปลงข้อความไม่มีโครงสร้างเป็นข้อมูลมีโครงสร้างเพื่อการวิเคราะห์ที่ง่าย ใช้ NLP ช่วยให้เครื่องจักรเข้าใจภาษามนุษย์และประมวลผลอัตโนมัติ
นิยามว่าเป็นกระบวนการแยกข้อมูลสำคัญจากข้อความภาษามาตรฐาน ข้อมูลที่สร้างผ่านข้อความ บันทึก อีเมล ไฟล์ เขียนในภาษาทั่วไป Text Mining ใช้ทั่วไปเพื่อดึงข้อมูลเชิงลึกหรือรูปแบบที่มีประโยชน์จากข้อมูลดังกล่าว
Text Mining เป็นวิธีอัตโนมัติที่ใช้ NLP เพื่อแยกข้อมูลเชิงลึกที่มีค่าจากข้อความไม่มีโครงสร้าง โดยแปลงข้อมูลเป็นข้อมูลที่อุปกรณ์เรียนรู้ได้ Text Mining ทำให้กระบวนการกำหนดข้อความตามอารมณ์ หัวข้อ และเจตนาเป็นอัตโนมัติ
มี 2 วิธีคือ Filtering และ Streaming Filtering กำจัดคำที่ไม่ต้องการหรือข้อมูลที่เกี่ยวข้อง Streaming คำช่วยให้รากสำหรับคำที่เกี่ยวข้อง หลังใช้ Streaming ทุกคำจะถูกกำหนดโดยโหนดราก (Root Node) ของมัน
เป้าหมายหลักของ Text Mining
เพื่อให้ผู้ใช้สามารถแยกข้อมูลจากทรัพย์สินข้อความ (Text-based Assets) และจัดการการดำเนินงาน เช่น Retrieval (การเรียกค้น) Extraction (การแยก) Summarization (การสรุป) Categorization (การจัดหมวดหมู่ - Supervised) Clustering (การจัดกลุ่ม - Unsupervised) Segmentation (การแบ่งส่วน) และ Association (การเชื่อมโยง)
เหตุผลหลักของการนำ Text Mining ไปใช้
การแข่งขันที่รุนแรงขึ้นในอุตสาหกรรมธุรกิจ องค์กรหลายแห่งมองหาโซลูชันที่เพิ่มค่า (Value-added) เพื่อแข่งขัน กับการแข่งขันเพิ่มมากขึ้นและมุมมองผู้ใช้ที่เปลี่ยนแปลง องค์กรลงทุนมากขึ้นเพื่อหาโซลูชันที่สามารถวิเคราะห์ข้อมูลผู้ใช้และคู่แข่งเพื่อเพิ่มความสามารถในการแข่งขัน
Text Mining มีประโยชน์สำหรับการจัดการข้อมูลข้อความ ข้อมูลข้อความเป็น Unstructured ยากต่อการจัดการ และคลุมเครือ ดังนั้น Text Mining จึงกลายเป็นวิธีที่มีประโยชน์ที่สุดสำหรับการแลกเปลี่ยนข้อมูล ในขณะที่ Data Mining ใช้กับข้อมูลธุรกิจ
มีปริมาณบันทึกและข้อมูลใหม่มหาศาลสร้างขึ้นทุกวันผ่านกิจกรรมทางเศรษฐกิจ การศึกษา และสังคม หลายอย่างมีศักยภาพทางเศรษฐกิจและสังคมที่สำคัญ ต้องการเทคนิคหลากหลายรวมถึง Text/Data Mining และ Analytics เพื่อใช้ประโยชน์จากศักยภาพนี้ วัตถุประสงค์คือลดความพยายามในการได้ข้อมูลจากชุดเอกสารข้อความขนาดใหญ่
ประเภทของข้อมูล
- Structured Data (ข้อมูลมีโครงสร้าง): บันทึกทั้งหมดที่จัดเก็บใน SQL Database ในตารางแถวและคอลัมน์ มี Relational Key และแมปลงฟิลด์ที่ออกแบบไว้ล่วงหน้าได้ง่าย วันนี้ข้อมูลเหล่านี้เป็นที่ประมวลผลมากที่สุดและวิธีง่ายที่สุดในการจัดการข้อมูล
- Semi-structured Data (ข้อมูลครึ่งมีโครงสร้าง): ข้อมูลที่ไม่ได้อยู่ใน Relational Database แต่มีคุณลักษณะทางองค์กรบางอย่างที่ทำให้วิเคราะห์ง่ายขึ้น ด้วยกระบวนการบางอย่าง สามารถจัดเก็บใน Relational Database ได้ (อาจยากสำหรับบางประเภท) แต่โครงสร้างครึ่งหนึ่งมีอยู่เพื่อลดพื้นที่ ความแน่นอน หรือการคำนวณ
- Unstructured Data (ข้อมูลไม่มีโครงสร้าง): ประมาณ 80% ของข้อมูล ประกอบด้วยข้อความและมัลติมีเดีย รวมถึง อีเมล ไฟล์ประมวลผลคำ วิดีโอ รูปภาพ ไฟล์เสียง การนำเสนอ เว็บเพจ และเอกสารธุรกิจหลายประเภท
