ความหมายของ ROC
ROC ย่อมาจาก Receiver Operating Characteristic (ลักษณะการทำงานของตัวรับ) ROC curves เป็นเครื่องมือภาพ (visual tool) ที่สะดวกสำหรับวิเคราะห์โมเดลการจัดประเภทสองตัว (two classification models) ROC curves เกิดจากทฤษฎีการตรวจจับสัญญาณ (signal detection theory) ที่พัฒนาขึ้นในช่วงสงครามโลกครั้งที่สอง สำหรับการค้นหาภาพเรดาร์ (radar images)
การแสดงผล ROC Curve
ROC curve แสดงการแลกเปลี่ยน (trade-off) ระหว่าง true positive rate หรือ sensitivity (สัดส่วนของทูเพิลเชิงบวกที่ถูกระบุ) และ false-positive rate (สัดส่วนของทูเพิลเชิงลบที่ถูกจัดประเภทผิดเป็นเชิงบวก) สำหรับโมเดลที่กำหนด
เมื่อได้ปัญหาสองคลาส (two-class problem) มันช่วยให้เราคาดการณ์การแลกเปลี่ยนระหว่างอัตราที่โมเดลสามารถระบุกรณี 'yes' ได้อย่างถูกต้อง เทียบกับอัตราที่มันจดจำผิดกรณี 'no' เป็น 'yes' สำหรับ "ส่วน" (portions) หลายๆ ของชุดทดสอบ (test set) การเพิ่มขึ้นบางส่วนของ true positive rate เกิดขึ้นในราคาของการเพิ่มขึ้นของ false-positive rate พื้นที่ใต้โค้ง ROC (area under the ROC curve) เป็นตัววัดความแม่นยำ (accuracy) ของโมเดล
การสร้าง ROC Curve
เพื่อทำงาน ROC curve สำหรับโมเดลการจัดประเภทที่กำหนด M โมเดลควรสามารถคืนค่าความน่าจะเป็น (probability) หรือการจัดอันดับ (ranking) สำหรับคลาสที่ทำนายของทุกทูเพิลทดสอบ จำเป็นต้องจัดอันดับทูเพิลทดสอบในลำดับลดลง (descending order) โดยที่ตัวที่ classifier คิดว่ามีแนวโน้มเป็นของคลาสเชิงบวกหรือ 'yes' มากที่สุด อยู่ที่ด้านบนของรายการ
Naive Bayesian และ backpropagation classifiers เหมาะสม ในขณะที่รวมถึง decision tree classifiers สามารถปรับเปลี่ยนได้ง่าย เพื่อคืนการกระจายความน่าจะเป็นของคลาส (class probability distribution) สำหรับการทำนายแต่ละครั้ง แกนตั้ง (vertical axis) ของ ROC curve นิยาม true positive rate แกนนอน (horizontal axis) นิยาม false-positive rate ROC curve สำหรับ M ถูกวาดดังนี้:
เริ่มจากมุมซ้ายล่าง (bottom left-hand corner) (ที่ true positive rate และ false-positive rate ทั้งคู่เป็น 0) ตรวจสอบป้ายกำกับคลาสจริงของทูเพิลที่ด้านบนของรายการ หากเป็น true positive (คือ ทูเพิลเชิงบวกที่ถูกกำหนดอย่างถูกต้อง) บน ROC curve จะเคลื่อนขึ้นและวาดจุด
แสดง ROC curves ของโมเดลการจัดประเภทสองแบบ แผนภูมิยังแสดงเส้นทแยงมุม (diagonal line) ที่สำหรับ true positive แต่ละตัวของโมเดลแบบนั้น มักจะพบ false positive ด้วย
ดังนั้น ยิ่ง ROC curve ของโมเดลใกล้เส้นทแยงมุม ยิ่งโมเดลนั้นไม่มีประสิทธิภาพ (less efficient) หากโมเดลดี ต้นฉบับจะน่าจะพบ true positives ขณะที่เคลื่อนลงตามรายการที่จัดอันดับ ดังนั้นโค้งจะเคลื่อนขึ้นช่วงจากศูนย์ ต่อมา เมื่อเริ่มพบ true positives น้อยลง และ false positives มากขึ้นเรื่อยๆ โค้งจะแบนลงและกลายเป็นแนวนอนมากขึ้น
