การตรวจสอบข้าม 10 กลับ (Tenfold Cross-Validation) เป็นวิธีมาตรฐานในการวัดอัตราข้อผิดพลาดของรูปแบบการเรียนรู้บนชุดข้อมูลเฉพาะ สำหรับผลลัพธ์ที่น่าเชื่อถือ 10 ครั้งของการตรวจสอบข้าม 10 กลับ มีสองวิธีคือ การตรวจสอบข้ามแบบละทิ้งหนึ่ง (Leave-One-Out Cross-Validation) และบูทสแทรป (Bootstrap)
Leave-One-Out Cross-Validation
Leave-One-Out Cross-Validation เป็นการตรวจสอบข้าม n-กลับอย่างเปิดเผย โดยที่ n คือจำนวนอินสแตนซ์ในชุดข้อมูล แต่ละอินสแตนซ์ตามลำดับถูกทิ้งไว้ และรูปแบบการเรียนรู้ถูกฝึกอบรมบนอินสแตนซ์ที่เหลือทั้งหมด มันถูกคำนวณโดยความถูกต้องของมันบนอินสแตนซ์ที่เหลือ — หนึ่งหรือศูนย์สำหรับความสำเร็จหรือความล้มเหลวตามลำดับ ผลลัพธ์ของการตัดสินใจทั้ง n ครั้ง หนึ่งสำหรับแต่ละกลุ่มของชุดข้อมูล ถูกหาค่าเฉลี่ย และค่าเฉลี่ยนั้นกำหนดการประมาณข้อผิดพลาดสุดท้าย
กระบวนการนี้น่าสนใจสำหรับสองเหตุผล แรก ปริมาณระเบียนสูงสุดสามารถใช้สำหรับการฝึกอบรมในแต่ละกรณี ซึ่ง推测ว่าจะเพิ่มโอกาสที่ตัวแบ่งประเภทจะเป็นตัวแทนที่แท้จริง
สอง กระบวนการเป็นแบบกำหนดได้ (Deterministic) — ไม่มีการสุ่มตัวอย่าง (Random Sampling) ที่เกี่ยวข้อง ไม่มีประโยชน์ในการทำซ้ำ 10 ครั้ง หรือทำซ้ำเลย ผลลัพธ์เดียวกันจะได้ทุกครั้ง ตรงข้ามกับนี่คือต้นทุนการคำนวณที่สูง เพราะขั้นตอนการเรียนรู้ทั้งหมดควรถูกดำเนินการ n ครั้ง และนี่โดยทั่วไปเป็นไปไม่ได้สำหรับชุดข้อมูลขนาดใหญ่
The Bootstrap (บูทสแทรป)
วิธีการประมาณค่าที่สองที่เราอธิบาย คือ บูทสแทรป (Bootstrap) 基于取样有放回 (Sampling with Replacement) ของสถิติ ก่อนหน้านี้ ทุกครั้งที่ตัวอย่างถูกนำจากชุดข้อมูลเพื่อสร้างชุดฝึกอบรมหรือชุดทดสอบ มันถูกดึงโดยไม่มีการคืนค่า (Without Replacement)
รูปแบบการเรียนรู้ส่วนใหญ่สามารถใช้อินสแตนซ์เดียวกันสองครั้งได้ และมันสร้างความแตกต่างในผลลัพธ์ของการเรียนรู้หากมันปรากฏในชุดฝึกอบรมสองครั้ง แนวคิดของบูทสแทรปคือการสุ่มตัวอย่างชุดข้อมูลด้วยการคืนค่าเพื่อสร้างชุดฝึกอบรม เราจะอธิบายรูปแบบเฉพาะอย่างหนึ่ง ซึ่งเรียกอย่างน่าปริศนา (แต่ด้วยเหตุผลที่จะกลายเป็นชัดเจนเร็วๆ นี้) ว่า 0.632 บูทสแทรป (0.632 Bootstrap)
สำหรับนี้ ชุดข้อมูล n อินสแตนซ์ถูกสุ่ม n ครั้ง พร้อมการคืนค่า เพื่อให้ชุดข้อมูลที่แตกต่างกัน n อินสแตนซ์ เนื่องจากบางองค์ประกอบในชุดข้อมูลที่สองนี้จะ (เกือบแน่นอน) ถูกซ้ำ ต้องมีบางอินสแตนซ์ในชุดข้อมูลเดิมที่ไม่ได้ถูกเลือก — เราจะใช้พวกมันเป็นอินสแตนซ์ทดสอบ
ตัวเลขที่ได้จากการฝึกอบรมระบบการเรียนรู้บนชุดฝึกอบรมและคำนวณข้อผิดพลาดของมันเหนือชุดทดสอบ จะเป็นการประมาณค่าที่pesimistic (นิยมมองด้านลบ) ของอัตราข้อผิดพลาดจริง เพราะชุดฝึกอบรม แม้ขนาดจะเป็น n แต่ก็มีเพียง 63% ของอินสแตนซ์ ซึ่งไม่เยอะมากเทียบกับ 90% ที่ใช้ในการตรวจสอบข้าม 10 กลับ
เปรียบเทียบวิธีประเมินผลโมเดล: Tenfold Cross-Validation (มาตรฐาน), Leave-One-Out (Deterministic แต่คำนวณหนัก), Bootstrap 0.632 (Sampling with Replacement) และการคำนวณ Error Rate
