Bayes' Rule (กฎของเบย์) ให้วิธีอัปเดตความเชื่อ (Beliefs) เมื่อมีหลักฐานใหม่ (Evidence) ที่เกี่ยวข้อง เข้ามา เช่น ต้องการหาความน่าจะเป็นว่าคนคนนั้นมีมะเร็ง เริ่มต้นแค่เปอร์เซ็นต์ประชากรที่มีมะเร็ง แต่ถ้ารู้ว่าเขาสูบบุหรี่ สามารถอัปเดตความน่าจะเป็นได้ เพราะโอกาสมีมะเร็งสูงขึ้นถ้าสูบบุหรี่ ทำให้ใช้ Prior Knowledge ปรับปรุงการประมาณความน่าจะเป็น
สูตร:
$$P(C|D) = \frac{P(D|C) P(C)}{P(D)}$$
ในสูตรนี้ C = เหตุการณ์ที่ต้องการความน่าจะเป็น, D = หลักฐานใหม่ที่เกี่ยวข้องกับ C
- P(C|D) = Posterior (หลังการอัปเดต) - สิ่งที่ต้องการประมาณ: "ความน่าจะเป็นมีมะเร็ง กรณีที่สูบบุหรี่"
- P(D|C) = Likelihood (ลิกลิฮู้ด) - ความน่าจะเป็นสังเกตหลักฐานใหม่ ถ้าสมมติฐานเริ่มต้นจริง: "ความน่าจะเป็นสูบบุหรี่ กรณีที่มีมะเร็ง"
- P(C) = Prior (ก่อนหน้า) - ความน่าจะเป็นของสมมติฐานโดยไม่มีข้อมูลเพิ่ม: "ความน่าจะเป็นมีมะเร็ง"
- P(D) = Marginal Likelihood - ความน่าจะเป็นรวมของการสังเกตหลักฐาน: "ความน่าจะเป็นสูบบุหรี่" บางกรณีข้ามได้ เพราะทำหน้าที่ Normalization
