ผลของการรวมสมมติฐานหลายอย่างสามารถตรวจสอบได้ผ่านอุปกรณ์ทางทฤษฎีที่เรียกว่าการแยกส่วน Bias-Variance (Bias-Variance Decomposition) สมมติว่ามีชุดฝึกอบรมที่แยกจากกัน (Separate Training Sets) จำนวนไม่จำกัด ที่มีขนาดเท่ากัน และใช้พวกมันสร้างตัวแบ่งประเภท (Classifiers) จำนวนไม่จำกัด
อินสแตนซ์ทดสอบถูกจัดการโดยตัวแบ่งประเภททั้งหมด และคำตอบเดี่ยวถูกตัดสินใจโดยการโหวตส่วนใหญ่ (Majority Vote) ในสถานการณ์นี้ ข้อผิดพลาดจะเกิดขึ้นเพราะไม่มีการออกแบบการเรียนรู้ที่สมบูรณ์แบบ อัตราข้อผิดพลาดจะขึ้นอยู่กับว่าวิธีการเรียนรู้ของเครื่อง (Machine Learning Approaches) เชื่อมต่อกับปัญหาที่มีอยู่ได้ดีแค่ไหน และยังมีผลของสัญญาณรบกวน (Noise) ในระเบียน ซึ่งไม่สามารถเรียนรู้ได้เป็นไปได้
สมมติว่าอัตราข้อผิดพลาดที่คาดหวังคำนวณโดยการหาค่าเฉลี่ยข้อผิดพลาดของตัวแบ่งประเภทที่รวมกันเหนือจำนวนไม่จำกัดของตัวอย่างทดสอบที่เลือกแยกต่างหาก อัตราข้อผิดพลาดสำหรับอัลกอริทึมการเรียนรู้เฉพาะเจาะจงถูกเรียกว่า Bias (ความอคติ) สำหรับปัญหาการเรียนรู้ และวัดว่าวิธีการเรียนรู้เข้ากับปัญหาได้ดีแค่ไหน
มันวัดข้อผิดพลาด "ที่คงอยู่" (Persistent) ของอัลกอริทึมการเรียนรู้ที่ไม่สามารถลบได้แม้จะนำชุดฝึกอบรมจำนวนไม่จำกัดมาพิจารณา ไม่สามารถคำนวณได้อย่างแม่นยำในสถานการณ์จริง สามารถประมาณค่าได้อย่างเดียว
แหล่งข้อผิดพลาดที่สองในโมเดลที่เรียนรู้แล้ว มาจากชุดฝึกอบรมเฉพาะที่ใช้ ซึ่งจำเป็นต้องเป็นมี限 (Finite) และดังนั้นไม่ได้เป็นตัวแทนที่สมบูรณ์ของประชากรจริงของอินสแตนซ์
ค่าที่คาดหวังขององค์ประกอบข้อผิดพลาดนี้ ทั้งหมดชุดฝึกอบรมที่เป็นไปได้ของขนาดที่กำหนด และชุดทดสอบที่เป็นไปได้ทั้งหมด ถูกเรียกว่า Variance (ความแปรปรวน) ของวิธีการเรียนรู้สำหรับปัญหานั้น ข้อผิดพลาดที่คาดหวังทั้งหมดของตัวแบ่งประเภทประกอบด้วยผลรวมของ bias และ variance — นี่คือการแยกส่วน bias-variance
การแยกส่วน bias-variance ถูกเรียนรู้ในบริบทของการทำนายทางคณิตศาสตร์ขึ้นอยู่กับข้อผิดพลาดยกกำลังสอง (Squared Error) ที่มีวิธีที่ยอมรับอย่างกว้างขวางในการนำไปใช้ อย่างไรก็ตาม สถานการณ์ไม่ชัดเจนสำหรับการจำแนกประเภท (Classification) และการแยกส่วนที่แข่งขันกันหลายอย่างได้ถูกเสนอ
Bagging พยายามทำให้ไม่เสถียรภาพของวิธีการเรียนรู้โดยการจำลองขั้นตอนที่อธิบายไว้ก่อนหน้านี้โดยใช้ชุดฝึกอบรมที่กำหนด แทนที่จะสุ่มตัวอย่างชุดฝึกอบรมใหม่แยกต่างหากทุกครั้ง ข้อมูลฝึกอบรมเริ่มต้นถูกเปลี่ยนแปลงโดยการลบอินสแตนซ์บางส่วนและคัดลอกอีกส่วนหนึ่ง อินสแตนซ์ถูกสุ่มตัวอย่าง พร้อมการคืนค่า (With Replacement) จากชุดข้อมูลเริ่มต้นเพื่อสร้างชุดใหม่ขนาดเท่าเดิม กระบวนการสุ่มตัวอย่างนี้จำเป็นต้องคัดลอกบางอินสแตนซ์และลบอีกบางส่วน
ชุดข้อมูลที่สร้างโดยการสุ่มตัวอย่างใหม่ (Resampling) แตกต่างกันแต่ไม่ได้เป็นอิสระ (Independent) เพราะมัน建立ขึ้นบนชุดข้อมูลเดียว อย่างไรก็ตาม มันพบว่า Bagging สร้างโมเดลรวม (Combined Model) ที่ทำงานดีกว่าอย่างมีนัยสำคัญจากโมเดลเดี่ยวที่สร้างจากข้อมูลฝึกอบรมเริ่มต้น และไม่มีความแย่ลงอย่างมีนัยสำคัญ
ทำความเข้าใจ Bias-Variance Decomposition: Bias = Persistent Error, Variance = Error จาก Finite Training Set, Total Error = Bias + Variance, Bagging ลด Variance โดย Bootstrap Sampling และ Majority Voting
