ความแตกต่างระหว่าง Bagging และ Boosting ใน Machine Learning

Bagging (Bootstrap Aggregating)

Bagging หรือ Bootstrap Aggregation เป็น Ensemble Learning Method ที่ใช้ลด Variance (ความแปรปรวน) ภายในชุดข้อมูลที่มีสัญญาณรบกวน (Noisy Dataset) ใน Bagging ตัวอย่างสุ่มของข้อมูลใน Training Set ถูกเลือกด้วยการคืนค่า (With Replacement) หมายความว่าจุดข้อมูลเดี่ยวสามารถเลือกได้มากกว่าหนึ่งครั้ง

หลังจากสร้างตัวอย่างข้อมูลหลายชุด โมเดลอ่อน (Weak Models) เหล่านี้จะถูกฝึกอบรมแยกกัน และขึ้นอยู่กับงาน Regression หรือ Classification ตัวอย่างเช่น ค่าเฉลี่ยของการทำนายเหล่านั้นให้การประมาณที่มีประสิทธิภาพมากขึ้น

Random Forest เป็นส่วนขยายเหนือ Bagging ใช้ขั้นตอนเพิ่มเติมหนึ่งขั้นเพื่อทำนาย Subset สุ่มของบันทึก ยังสร้างการเลือกคุณลักษณะ (Features) แบบสุ่มแทนการใช้ทุกคุณลักษณะเพื่อสร้างต้นไม้ เมื่อมีต้นไม้สุ่มหลายต้น เรียกว่า Random Forest

Bagging ยังถูกใช้ร่วมกับ Deep Learning Models ในตลาดการเงิน ทำให้ฟังก์ชันสำคัญเป็นอัตโนมัติ เช่น Fraud Detection การคำนวณ Credit Risk และปัญหา Option Pricing

การวิจัยนี้แสดงให้เห็นว่าการ Bagging ระหว่างเทคนิค Machine Learning หลายอย่างถูกใช้เพื่อสร้าง Loan Default Risk การศึกษานี้เข้าใจว่า Bagging ช่วยลดความเสี่ยงโดยหลีกเลี่ยง Credit Card Fraud ภายในธนาคารและสถาบันการเงิน

Boosting

Boosting เป็นกระบวนการ Ensemble อีกอย่างเพื่อสร้างชุดของ Predictors (ตัวทำนาย) อีกนัยหนึ่ง คือ การติดตั้งต้นไม้ต่อเนื่อง (Consecutive Trees) โดยทั่วไปเป็นตัวอย่างสุ่ม และที่ทุกขั้นตอน วัตถุประสงค์คือแก้ Net Error จากต้นไม้ก่อนหน้า

Boosting ใช้ทั่วไปเพื่อลด Bias (ความลำเอียง) และ Variance ในเทคนิค Supervised Learning นิยามครอบครัวของอัลกอริทึมที่เปลี่ยน Weak Learners (Base Learners) ให้เป็น Strong Learners Weak Learner คือ Classifier ที่ถูกต้องเพียงเล็กน้อยกับการจัดประเภทจริง ในขณะที่ Strong Learners คือ Classifier ที่สัมพันธ์ดีกับการจัดประเภทจริง

การเปรียบเทียบ Bagging และ Boosting