Automated Document Classification (การจัดประเภทเอกสารอัตโนมัติ) ทำได้อย่างไร?

ความสำคัญของ Automated Document Classification

Automated document classification (การจัดประเภทเอกสารอัตโนมัติ) เป็นบริการ text mining (การทำเหมืองข้อความ) ที่สำคัญ เนื่องจากมีจำนวนไฟล์ออนไลน์ (on-line files) ทεράมิตร (tremendous number) จึงเป็น endless (ไม่มีที่สิ้นสุด) แต่สำคัญ (important) ที่จะสามารถจัดระเบียบ (automatically organize) ระเบียนดังกล่าวเข้าเป็น classes แบบอัตโนมัติ เพื่อสนับสนุน document retrieval (การดึงคืนเอกสาร) และ successive analysis (การวิเคราะห์ต่อเนื่อง)

แอปพลิเคชัน

Document classification ถูกใช้ใน automated topic tagging (การติดป้ายกำกับหัวข้ออัตโนมัติ) (คือ การกำหนด labels ให้เอกสาร), topic directory construction (การสร้างไดเรกทอรีหัวข้อ), และ identification (การระบุ) ของ document writing styles (สไลต์การเขียนเอกสาร) และ การกำหนด goals (วัตถุประสงค์) ของ hyperlinks ที่เกี่ยวข้องกับชุดเอกสาร

กระบวนการทั่วไป

กระบวนการทั่วไปมีดังนี้: ขั้นแรก ชุด preclassified files (ไฟล์ที่จัดประเภทล่วงหน้า) ถูกนำมาเป็น training set (ชุดฝึก) Training set ถูกวิเคราะห์เพื่อเปลี่ยนแปลง (derive) classification scheme (แผนการจัดประเภท) Classification scheme ดังกล่าวต้องถูกปรับปรุง (refined) ด้วย testing phase (ขั้นตอนการทดสอบ) Classification scheme ที่ได้มา (so-derived) สามารถใช้สำหรับการจัดประเภทไฟล์ออนไลน์จำนวนมาก

ขั้นตอนนี้เกิดขึ้นคล้ายกับการจัดประเภทของ relational records (ระเบียนเชิงสัมพันธ์) Relational data เป็น well structured (โครงสร้างดี) โดยทุกทูเพิล (tuple) ถูกอธิบายโดยกลุ่มของ attribute-value pairs (คู่แอตทริบิวต์-ค่า)

ตัวอย่างเช่น ในทูเพิล {sunny, warm, dry, not windy, play tennis} ค่า "sunny" เทียบเท่าแอตทริบิวต์ weather outlook (สภาพอากาศ), "warm" เทียบเท่าแอตทริบิวต์ temperature (อุณหภูมิ) เป็นต้น

Classification analysis (การวิเคราะห์การจัดประเภท) กำหนดว่ากลุ่ม attribute-value pairs ใดมี discriminating power (พลังการแบ่งแยก) สูงสุด ในการตัดสินใจว่าบุคคลจะไปเล่นเทนนิสหรือไม่ ในคำอื่น document databases (ฐานข้อมูลเอกสาร) ไม่ได้ structured (จัดโครงสร้าง) ตาม attribute-value pairs

เป็นชุดของ keywords (คำสำคัญ) ที่เกี่ยวข้องกับชุดเอกสาร ไม่ได้ organized (จัดระเบียบ) เข้าเป็น fixed set (ชุดคงที่) ของ attributes หรือ dimensions หากเรามองแต่ละ distinct keyword (คำสำคัญที่แตกต่าง), term (ศัพท์), หรือ feature (คุณลักษณะ) ในเอกสารเป็น dimension จะอาจมี dimensions หลายพันในชุดเอกสาร ดังนั้น วิธีการจัดประเภทที่มุ่งเน้น relational data (relational data-oriented classification methods) รวมถึง decision tree analysis (การวิเคราะห์ต้นไม้ตัดสินใจ) ไม่สามารถมีประสิทธิภาพ (efficient) สำหรับการจัดประเภท document databases ได้

Vector Space Model และ k-Nearest Neighbor Classifier

ตาม vector-space model (โมเดลพื้นที่เวกเตอร์) สองไฟล์เป็น same (เหมือนกัน) หากพวกเขา share (แบ่งปัน) same file vectors โมเดลนี้กระตุ้น (motivates) การสร้าง k-nearest-neighbor classifier (ตัวแยกประเภท k เพื่อนบ้านใกล้ที่สุด) ขึ้นจาก intuition (直觉) ว่า similar documents (เอกสารที่คล้ายกัน) คาดว่าจะถูกมอบหมาย (assigned) class label เดียวกัน

สามารถ simply index (จัดทำดัชนีอย่างง่าย) ทุก training documents (เอกสารฝึก) โดยแต่ละตัวเชื่อมโยงกับ class label ที่สอดคล้องของมัน เมื่อ test document (เอกสารทดสอบ) ถูกส่งมา สามารถมองมันเป็น query (คิวรี่) ไปยัง IR system (ระบบ Information Retrieval) และ retrieve (ดึงคืน) จาก training set k documents ที่ most similar (คล้ายที่สุด) กับ query โดยที่ k เป็น tunable constant (ค่าคงที่ปรับได้)

Class label ของ test files สามารถตัดสินใจได้ขึ้นอยู่กับ class label distribution (การกระจายป้ายกำกับคลาส) ของ k nearest neighbors ของมัน Class label distribution ดังกล่าวสามารถปรับปรุง (refined) ได้อีก เช่น based on weighted counts (นับน้ำหนัก) แทน raw counts (นับดิบ) หรือ setting aside (แยกไว้) ส่วนหนึ่งของ labeled documents (เอกสารที่มีป้ายกำกับ) สำหรับ validation (การตรวจสอบ)