Classification (การจัดประเภท) เป็น Data Mining Approach ใช้ทำนาย Team Membership (Class Membership) สำหรับ Data Instances เป็นกระบวนการ 2 ขั้นตอน (Two-step Process) ขั้นตอนแรก สร้าง Model กำหนดชุด Data Classes หรือ Approaches ล่วงหน้า Model พัฒนาจากการพิจารณา Database Tuples ที่กำหนดโดย Attributes
เป็นหน้าที่วิเคราะห์ลักษณะของ Object ใหม่ที่นำเสนอ และจัดให้เป็นหนึ่งใน Pre-defined Collection of Classes สำหรับเรียนรู้ Classification Rules ระบบต้องค้นพบ Rules ที่ทำนาย Class จาก Predicting Attributes ดังนั้น Conditions ต้องแสดงสำหรับแต่ละ Class ระบบต้องได้รับ Case/Tuple ที่มี Attribute Values ที่รู้จัก เพื่อทำนายว่า Case นี้เป็น Class ไหน
เมื่อ Classes ถูกกำหนดแล้ว ระบบต้องอนุมาน Rules ที่ควบคุม Classification ดังนั้น ระบบต้องค้นพบ Representation ของแต่ละ Class คำอธิบายควรอ้างถึง Predicting Attributes ของ Training Set เท่านั้น เพื่อให้ Positive Examples ตอบสนอง Characterization ไม่ใช่ Negative Examples Rule ถูกต้องถ้า Description ครอบคลุม Positive Examples ทั้งหมด และไม่ครอบคลุม Negative Examples ของ Class ใดๆ
Bayesian Classification
Bayesian Classifiers เป็น Statistical Classifiers สามารถทำนาย Class Membership Probabilities ได้ เช่น ความน่าจะเป็นที่ Sample ที่กำหนด 属于 Class เฉพาะ Bayesian Classifiers ยังแสดง Efficiency และ Speed สูง เมื่อนำไปใช้กับ Large Databases
Naïve Bayesian Classifiers สมมติว่า Effect ของ Attribute Value ต่อ Class ที่กำหนด เป็น Independent (อิสระ) ของ Values ของ Attributes อื่นๆ การสมมตินี้เรียกว่า Class Conditional Independence สร้างขึ้นเพื่อลดการคำนวณที่ซับซ้อน และถือว่า Naïve
Bayes Theorem (ทฤษฎี Bayes)
ให้ X เป็น Data Tuple ใน Bayesian Approach X ถือว่าเป็น "Evidence" (หลักฐาน) ให้ H เป็น Hypothesis บางอย่าง เช่น Data Tuple X 属于 Class C ที่เฉพาะเจาะจง ความน่าจะเป็น P(H|X) กำหนดเพื่อจัดประเภทข้อมูล ความน่าจะเป็นนี้ P(H|X) คือ ความน่าจะเป็นที่ Hypothesis H เป็นจริง กำหนด "Evidence" หรือ Observed Data Tuple X
P(H|X) คือ Posterior Probability ของ H ขึ้นกับ X ตัวอย่าง: ข้อมูล Tuples จำกัดที่ Customers ที่อธิบายโดย Age และ Income และ X เป็น Customer อายุ 30 ปี รายได้ 20,000 บาท สมมติ H คือ Hypothesis ว่า Customer จะซื้อคอมพิวเตอร์ ดังนั้น P(H|X) สะท้อนความน่าจะเป็นที่ Customer X จะซื้อคอมพิวเตอร์ กำหนดให้อายุและรายได้ทราบแล้ว
P(H) คือ Prior Probability ของ H ตัวอย่าง: ความน่าจะเป็นที่ Customer ใดๆ จะซื้อคอมพิวเตอร์ ไม่ว่าอายุ รายได้ หรือข้อมูลอื่น Posterior Probability P(H|X) อาศัยข้อมูลมากกว่า Prior Probability P(H) ซึ่งเป็นอิสระจาก X
เช่นกัน P(X|H) คือ Posterior Probability ของ X ขึ้นกับ H คือ ความน่าจะเป็นที่ Customer X อายุ 30 ปี และได้รับเงิน 20,000 บาท
P(H), P(X|H), P(X) สามารถประเมินได้จากข้อมูลที่ให้ Bayes Theorem ให้วิธีคำนวณ Posterior Probability P(H|X) จาก P(H), P(X|H), P(X):
$$P(H|X) = \frac{P(X|H) P(H)}{P(X)}$$
