Computer >> คอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

การสลายตัวของอคติ–ความแปรปรวนคืออะไร?


สามารถตรวจสอบผลกระทบของการรวมสมมติฐานหลาย ๆ ตัวได้โดยใช้อุปกรณ์ทางทฤษฎีที่เรียกว่าการสลายตัวของความแปรปรวนอคติ สมมติว่าสามารถมีชุดการฝึกแยกกันที่มีขนาดใกล้เคียงกันได้ไม่จำกัดจำนวน และใช้ชุดเหล่านี้สร้างตัวแยกประเภทได้ไม่จำกัด

อินสแตนซ์การทดสอบได้รับการปฏิบัติโดยตัวแยกประเภททั้งหมด และคำตอบส่วนบุคคลจะถูกตัดสินโดยการโหวตจำนวนมาก ในสถานการณ์นี้ ข้อผิดพลาดจะปรากฏขึ้นเนื่องจากไม่มีการออกแบบการเรียนรู้ที่สมบูรณ์แบบ อัตราความผิดพลาดจะขึ้นอยู่กับวิธีการที่แมชชีนเลิร์นนิงเชื่อมต่อปัญหาในมือได้ดีเพียงใด และยังมีผลกระทบของสัญญาณรบกวนในบันทึกอีกด้วย ซึ่งไม่น่าจะเรียนรู้ได้

สมมติว่าอัตราความผิดพลาดที่คาดไว้คำนวณโดยการหาค่าเฉลี่ยข้อผิดพลาดของตัวแยกประเภทที่เชื่อมโยงผ่านตัวอย่างการทดสอบที่เลือกแยกกันจำนวนอนันต์ อัตราข้อผิดพลาดสำหรับอัลกอริทึมการเรียนรู้ที่เฉพาะเจาะจงเรียกว่าความเอนเอียงสำหรับปัญหาการเรียนรู้ และคำนวณว่าวิธีการเรียนรู้เชื่อมโยงปัญหาได้ดีเพียงใด

มันคำนวณข้อผิดพลาด "ถาวร" ของอัลกอริธึมการเรียนรู้ที่ไม่สามารถลบได้แม้จะคำนึงถึงกลุ่มการฝึกอบรมจำนวนไม่ จำกัด ไม่สามารถคำนวณได้ในสถานการณ์จริงอย่างแน่นอน สามารถประมาณได้เท่านั้น

แหล่งที่มาของข้อผิดพลาดที่สองในแบบจำลองที่เรียนรู้นั้นมาจากชุดการฝึกอบรมเฉพาะที่ใช้ ซึ่งจำเป็นต้องมีขอบเขตจำกัด ดังนั้นจึงไม่ได้เป็นตัวแทนของจำนวนจริงของอินสแตนซ์ทั้งหมด

ค่าที่คาดหวังขององค์ประกอบของข้อผิดพลาดนี้ เหนือกลุ่มการฝึกที่เป็นไปได้ทั้งหมดที่มีขนาดที่กำหนดและชุดทดสอบที่เป็นไปได้ทั้งหมด เรียกว่าความแปรปรวนของวิธีการเรียนรู้สำหรับปัญหานั้น ข้อผิดพลาดที่คาดหมายโดยสมบูรณ์ของตัวแยกประเภทสร้างขึ้นจากผลรวมของอคติและความแปรปรวน นี่คือการสลายตัวของความแปรปรวนแบบอคติ

การสลายตัวของอคติ–ความแปรปรวนเรียนรู้ในบริบทของการทำนายทางคณิตศาสตร์โดยขึ้นอยู่กับข้อผิดพลาดกำลังสอง ซึ่งมีวิธีที่ยอมรับในวงกว้างในการนำไปใช้ อย่างไรก็ตาม สถานการณ์ไม่ชัดเจนสำหรับการจำแนกประเภท และได้มีการเสนอแนะการแยกย่อยที่แข่งขันกันต่างๆ

การบรรจุถุงพยายามที่จะลบล้างความไม่แน่นอนของแนวทางการเรียนรู้โดยการจำลองขั้นตอนที่กำหนดไว้ก่อนหน้านี้โดยใช้ชุดการฝึกอบรมที่กำหนด แทนที่จะสุ่มตัวอย่างชุดข้อมูลการฝึกที่แยกจากกันในแต่ละครั้ง ข้อมูลการฝึกเบื้องต้นจะเปลี่ยนแปลงโดยลบบางอินสแตนซ์และคัดลอกรายการอื่นๆ อินสแตนซ์จะถูกสุ่มตัวอย่างพร้อมการกู้คืนจากชุดข้อมูลเริ่มต้นเพื่อสร้างชุดใหม่ที่มีขนาดเท่ากัน กระบวนการสุ่มตัวอย่างนี้ย่อมคัดลอกบางอินสแตนซ์และลบบางอินสแตนซ์อย่างหลีกเลี่ยงไม่ได้

ชุดข้อมูลที่สร้างขึ้นโดยการสุ่มตัวอย่างใหม่จะแตกต่างจากชุดอื่นแต่ไม่เป็นอิสระเนื่องจากสร้างขึ้นในชุดข้อมูลเดียว อย่างไรก็ตาม ปรากฎว่าการบรรจุถุงทำให้เกิดโมเดลที่รวมกันซึ่งใช้งานได้ดีกว่าโครงสร้างแต่ละโมเดลอย่างมากจากข้อมูลการฝึกเบื้องต้น และไม่เคยเลวร้ายไปกว่านี้เลย