Bayesian Classifiers เป็น Statistical Classifiers สามารถทำนาย Class Membership Probabilities ได้ เช่น ความน่าจะเป็นที่ Sample ที่กำหนด 属于 Class เฉพาะ Bayesian Classifiers ยังแสดง High Accuracy และ Speed เมื่อ Applied ไป Large Database
เมื่อ Classes ถูกกำหนดแล้ว ระบบควร Infer Rules ที่ Govern Classification ดังนั้น ระบบควรสามารถ Find Description ของแต่ละ Class Descriptions ควรอ้างถึง Predicting Attributes ของ Training Set เท่านั้น เพื่อให้ Positive Examples เท่านั้นที่ Satisfy Description ไม่ใช่ Negative Examples Rule ถูกว่าถูกต้อง (Correct) ถ้า Description ครอบคลุม Positive Examples ทั้งหมด และไม่ครอบคลุม Negative Examples ของ Class ใดๆ
ด้วยการสมมติว่า Contributions โดย All Attributes เป็น Independent (อิสระ) และแต่ละตัว Contribute เท่าเทียมต่อ Classification Problem แผนการจัดประเภทง่ายๆ เรียกว่า Naïve Bayes Classification โดยการวิเคราะห์ Contribution ของแต่ละ "Independent" Attribute Conditional Probability ถูกกำหนด Classification ทำโดยการ Combine Impact ที่ Attributes ต่างๆ มีต่อ Prediction ที่จะทำ
Naïve Bayes Classification เรียกว่า Naïve เพราะ สมมติ Class Conditional Independence Effect ของ Attribute Value ต่อ Class ที่กำหนด เป็น Independent ของ Values ของ Other Attributes การสมมตินี้ทำเพื่อ Reduce Computational Costs และจึงถือว่า Naïve
Bayes Theorem (ทฤษฎี Bayes)
ให้ X เป็น Data Tuple ใน Bayesian Terms X ถือว่า "Evidence" (หลักฐาน) ให้ H เป็น Hypothesis บางอย่าง เช่น Data Tuple X 属于 Class C ที่ Specified ความน่าจะเป็น P(H|X) กำหนดเพื่อ Classify Data P(H|X) คือ ความน่าจะเป็นที่ Hypothesis H เป็นจริง กำหนด "Evidence" หรือ Observed Data Tuple X
P(H|X) คือ Posterior Probability ของ H Conditioned on X ตัวอย่าง: สมมติ World ของ Data Tuples จำกัดที่ Customers ที่อธิบายโดย Attribute Age และ Income ตามลำดับ และ X เป็น Customer อายุ 30 ปี รายได้ 20,000 บาท สมมติ H คือ Hypothesis ว่า Customer จะซื้อ Computer ดังนั้น P(H|X) สะท้อนความน่าจะเป็นที่ Customer X จะซื้อ Computer กำหนด Age และ Income ของ Customer ทราบแล้ว
P(H) คือ Prior Probability ของ H ตัวอย่าง: ความน่าจะเป็นที่ Customer ใดๆ จะซื้อ Computer ไม่ว่าอายุ รายได้ หรือข้อมูลอื่น Posterior Probability P(H|X) Based on ข้อมูลมากกว่า Prior Probability P(H) ซึ่ง Independent ของ X
เช่นกัน P(X|H) คือ Posterior Probability ของ X Conditioned on H คือ ความน่าจะเป็นที่ Customer X อายุ 30 ปี และได้รับเงิน 20,000 บาท
P(H), P(X|H), P(X) สามารถ Estimated ได้จาก Given Data Bayes Theorem ให้ Way ของการ Calculate Posterior Probability P(H|X) จาก P(H), P(X|H), P(X):
$$P(H|X) = \frac{P(X|H) P(H)}{P(X)}$$
