วิธีการประเมินประสิทธิภาพของตัวแบ่งประเภท (Classifier) คืออะไร

มีหลายวิธีสำหรับประมาณค่าข้อผิดพลาดการทำให้ทั่วไป (Generalization Error) ของโมเดลระหว่างการฝึกอบรม ข้อผิดพลาดที่ประมาณค่าช่วยให้อัลกอริทึมการเรียนรู้ทำการเลือกโมเดล (Model Selection) คือการค้นพบโมเดลที่มีความซับซ้อนเหมาะสมที่ไม่ได้รับผลกระทบจากการเรียนรู้เกิน (Overfitting)

เนื่องจากโมเดลถูกสร้างขึ้นแล้ว สามารถใช้กับชุดทดสอบ (Test Set) เพื่อทำนายฉลากคลาสของข้อมูลที่ไม่เคยเห็นมาก่อน มักเป็นประโยชน์ที่จะวัดประสิทธิภาพของโมเดลบนชุดทดสอบ เพราะการวัดเช่นนี้ให้การประมาณค่าที่ไม่มีอคติ (Unbiased Estimate) ของข้อผิดพลาดการทำให้ทั่วไป ความแม่นยำหรืออัตราข้อผิดพลาดที่ประเมินจากชุดทดสอบสามารถใช้เพื่อเปรียบเทียบประสิทธิภาพสัมพัทธ์ของตัวแบ่งประเภทหลายตัวบนโดเมนเดียวกัน

มีหลายวิธีที่ใช้กันทั่วไปสำหรับประเมินประสิทธิภาพของตัวแบ่งประเภท ดังนี้:

วิธี Holdout (Holdout Method)

ในวิธี Holdout ชุดระเบียนเดิมที่มีอินสแตนซ์ติดฉลาก (Labeled Instances) ถูกแบ่งออกเป็นสองเซตที่ไม่ทับซ้อน (Disjoint Sets) เรียกว่าชุดฝึกอบรม (Training Set) และชุดทดสอบ (Test Set) ตามลำดับ โมเดลการจำแนกประเภทถูกนำมาใช้จากชุดฝึกอบรมและประสิทธิภาพของมันถูกคำนวณบนชุดทดสอบ

ประสิทธิภาพของตัวแบ่งประเภทสามารถคำนวณได้ขึ้นอยู่กับประสิทธิภาพของโมเดลที่นำมาใช้บนชุดทดสอบ วิธี Holdout มีข้อเสียที่รู้จักดีหลายประการ แรก บางอินสแตนซ์ที่ติดฉลากพร้อมใช้สำหรับการฝึกอบรม เพราะข้อมูลบางส่วนถูกเก็บไว้สำหรับการทดสอบ

ผลลัพธ์ โมเดลที่นำมาใช้ไม่สามารถดีที่สุดได้เมื่ออินสแตนซ์ที่ติดฉลากบางส่วนถูกใช้สำหรับการฝึกอบรม สอง โมเดลอาจขึ้นอยู่กับโครงสร้างของชุดฝึกอบรมและชุดทดสอบมาก

อีกด้านหนึ่ง หากชุดฝึกอบรมใหญ่เกินไป แล้วความแม่นยำที่ประมาณค่าจากชุดทดสอบที่เล็กกว่าจะน่าเชื่อถือน้อยกว่า ดังนั้นการประมาณค่ามีช่วงความเชื่อมั่น (Confidence Interval) กว้าง สุดท้าย ชุดฝึกอบรมและชุดทดสอบไม่ได้แยกจากกันมากกว่านี้

การสุ่มตัวอย่างย่อย (Random Subsampling)

วิธี Holdout สามารถทำซ้ำหลายครั้งเพื่อปรับปรุงการคำนวณประสิทธิภาพของตัวแบ่งประเภท วิธีนี้เรียกว่าการสุ่มตัวอย่างย่อย (Random Subsampling)

ให้ acc_i เป็นความแม่นยำของโมเดลในรอบที่ i^th ความแม่นยำโดยรวมกำหนดโดย acc_sub = $\mathrm{\displaystyle\sum\limits_{i=1}^k}$ acc_i / k

Random subsampling เผชิญปัญหาบางประการที่เกี่ยวข้องกับวิธี Holdout เพราะมันไม่ใช้ข้อมูลมากเท่าที่มีอยู่สำหรับการฝึกอบรม มันยังไม่มีการควบคุมจำนวนครั้งที่แต่ละข้อมูลถูกใช้สำหรับการทดสอบและฝึกอบรม ดังนั้น ข้อมูลบางส่วนอาจถูกใช้สำหรับการฝึกอบรมมากกว่าอื่นๆ

การตรวจสอบข้าม (Cross-Validation)

ทางเลือกแทน random subsampling คือ cross-validation ในวิธีนี้ แต่ละข้อมูลถูกใช้หลายครั้งสำหรับการฝึกอบรม และถูกต้องหนึ่งครั้งสำหรับการทดสอบ พิจารณาว่าสามารถแบ่งระเบียนออกเป็นสองเซตย่อยขนาดเท่ากันได้ แรก สามารถเลือกหนึ่งในเซตย่อยสำหรับการฝึกอบรมและอีกอันสำหรับการทดสอบ สามารถสลับบทบาทของเซตย่อย เพื่อให้เซตฝึกอบรมก่อนหน้ากลายเป็นชุดทดสอบ วิธีนี้เรียกว่าการตรวจสอบข้ามสองกลับ (Twofold Cross-Validation)