มี 2 ประเภทของ Statistical-based Algorithms:
1. Regression (การถดถอย/ทวิภาค)
Regression Problems จัดการกับการประเมิน Output Value จาก Input Values เมื่อใช้สำหรับ Classification Input Values คือค่าจาก Database และ Output Values กำหนด Classes Regression 可用于 Clarify Classification Problems แต่ใช้สำหรับแอปพลิเคชันอื่นๆ เช่น Forecasting (การพยากรณ์) รูปแบบพื้นฐานของ Regression คือ Simple Linear Regression ที่มีเพียง One Predictor และ One Prediction
Regression 可用于 实现 Classification ผ่าน 2 วิธี:
- Division (การแบ่ง): Data ถูกแบ่งเป็น Regions ตาม Class
- Prediction (การทำนาย): สร้าง Formulas เพื่อทำนายค่า Output Class
2. Bayesian Classification (การจัดประเภทแบบ Bayes)
ใช้ Statistical Classifiers สำหรับ Classification Bayesian Classification 基于 Bayes Theorem Bayesian Classifiers 看到 High Efficiency และ Speed เมื่อ用于 Large Databases
Bayes Theorem
ให้ X เป็น Data Tuple ใน Bayesian Method X ถือว่า "Evidence" ให้ H เป็น Hypothesis เช่น Data Tuple X 属于 Class C ที่เฉพาะเจาะจง ความน่าจะเป็น P(H|X) กำหนดเพื่อจัดประเภทข้อมูล P(H|X) คือ ความน่าจะเป็นที่ Hypothesis H เป็นจริง กำหนด "Evidence" หรือ Observed Data Tuple X
P(H|X) คือ Posterior Probability ของ H ขึ้นกับ X ตัวอย่าง: Data Tuples จำกัดที่ Customers ที่อธิบายโดย Age และ Income และ X เป็น Customer อายุ 30 ปี รายได้ 20,000 บาท สมมติ H คือ Hypothesis ว่า Customer จะซื้อคอมพิวเตอร์ ดังนั้น P(H|X) สะท้อนความน่าจะเป็นที่ Customer X จะซื้อคอมพิวเตอร์ กำหนดอายุและรายได้ทราบแล้ว
P(H) คือ Prior Probability ของ H ตัวอย่าง: ความน่าจะเป็นที่ Customer ใดๆ จะซื้อคอมพิวเตอร์ ไม่ว่าอายุ รายได้ หรือข้อมูลอื่น Posterior P(H|X) อาศัยข้อมูลมากกว่า Prior P(H) ซึ่งเป็นอิสระจาก X
เช่นกัน P(X|H) คือ Posterior Probability ของ X ขึ้นกับ H คือ ความน่าจะเป็นที่ Customer X อายุ 30 ปี และได้รับเงิน 20,000 บาท
P(H), P(X|H), P(X) สามารถประเมินได้จากข้อมูลที่ให้ Bayes Theorem ให้วิธีคำนวณ Posterior Probability P(H|X) จาก P(H), P(X|H), P(X):
$$P(H|X) = \frac{P(X|H) P(H)}{P(X)}$$
