ความท้าทายของการตรวจจับค่าผิดปกติ
ค่าผิดปกติ (Outlier) คือวัตถุข้อมูลที่เบี่ยงเบนอย่างมีนัยสำคัญจากวัตถุอื่นๆ เหมือนว่าถูกสร้างโดยกลไกที่แตกต่าง เพื่อความสะดวกในการนำเสนอ สามารถกำหนดวัตถุข้อมูลที่ไม่ใช่ค่าผิดปกติว่าเป็นข้อมูล "ปกติ" (Normal) หรือที่คาดหวัง คล้ายกัน สามารถกำหนดค่าผิดปกติว่าเป็นข้อมูล "ผิดปกติ" (Abnormal)
ค่าผิดปกติคือองค์ประกอบข้อมูลที่ไม่สามารถจัดกลุ่มในคลาสหรือกลุ่มที่กำหนดได้ นี่คือวัตถุข้อมูลที่มีพฤติกรรมแตกต่างจากพฤติกรรมทั่วไปของวัตถุข้อมูลอื่นๆ การวิเคราะห์ข้อมูลประเภทนี้อาจสำคัญสำหรับการทำเหมืองความรู้
ความท้าทายหลัก
1. การสร้างแบบจำลองวัตถุปกติและค่าผิดปกติอย่างมีประสิทธิภาพ (Modeling Normal Objects and Outliers Effectively)
องค์ประกอบการตรวจจับค่าผิดปกติ ขึ้นอยู่กับการสร้างแบบจำลองวัตถุปกติ (Non-outlier) และค่าผิดปกติเป็นมาก นี่เป็นเพราะซับซ้อนในการนับพฤติกรรมปกติที่เป็นไปได้ทั้งหมดในแอปพลิเคชัน ขอบเขตระหว่างความปกติและความผิดปกติของข้อมูล (Outliers) ไม่ได้เป็นการตัดขาดชัดเจน (Clear-cut) แทนที่จะเป็นเช่นนั้น อาจมีช่วงกว้างของพื้นที่สีเทา (Gray Area) ดังนั้น ในขณะที่เทคนิคตรวจจับค่าผิดปกติหลายอย่าง กำหนดป้ายกำกับ "ปกติ" หรือ "ค่าผิดปกติ" ให้แต่ละวัตถุในชุดข้อมูลนำเข้า วิธีอื่นๆ กำหนดคะแนน (Score) ให้แต่ละวัตถุ วัด "ระดับค่าผิดปกติ" (Outlier-ness) ของวัตถุ
2. การตรวจจับค่าผิดปกติเฉพาะแอปพลิเคชัน (Application-Specific Outlier Detection)
การเลือกเมตริกความคล้าย/ระยะห่าง (Similarity/Distance Measure) และโมเดลความสัมพันธ์เพื่อกำหนดวัตถุข้อมูล เป็นสิ่งสำคัญในการตรวจจับค่าผิดปกติ น่าเสียดาย ที่เลือกดังกล่าวขึ้นอยู่กับแอปพลิเคชัน (Application-dependent) มีหลายแอปพลิเคชันที่อาจมีข้อกำหนดหลายอย่าง
3. การจัดการ雜訊ในการตรวจจับค่าผิดปกติ (Handling Noise in Outlier Detection)
ค่าผิดปกติแตกต่างจาก雜訊 (Noise) ทราบว่าคุณภาพของชุดข้อมูลจริงมักจะแย่ 雜訊มีอยู่โดยปฏิเสธไม่ได้ในข้อมูลที่รวบรวมในหลายแอปพลิเคชัน 雜訊อาจแสดงเป็นการเบี่ยงเบนของค่าแอตทริบิวต์ หรือทำให้ลื่นไหลเป็นค่าที่หายไป (Missing Values)
คุณภาพข้อมูลต่ำและความมีอยู่ของ雜訊 สร้างความท้าทายใหญ่ต่อการตรวจจับค่าผิดปกติ พวกมันสามารถหลอกลวงข้อมูล ทำให้การแยกแยะระหว่างวัตถุปกติและค่าผิดปกติเป็นสนิม (Blurring) นอกจากนี้ 雜訊และข้อมูลที่หายไป อาจ "ซ่อน" (Hide) ค่าผิดปกติ และลดประสิทธิภาพของการตรวจจับค่าผิดปกติ ค่าผิดปกติอาจปรากฏ "แต่งตัว" (Disguised) เป็นจุด雜訊 และวิธีการตรวจจับค่าผิดปกติอาจระบุจุด雜訊เป็นค่าผิดปกติโดยผิดพลาด
4. ความเข้าใจได้ (Understandability)
ในบางแอปพลิเคชัน ผู้ใช้อาจต้องการไม่เพียงแค่ตรวจจับค่าผิดปกติ แต่ยังต้องการทราบว่าทำไมวัตถุที่ตรวจพบจึงเป็นค่าผิดปกติ เพื่อรวมข้อกำหนดความเข้าใจได้ วิธีการตรวจจับค่าผิดปกติต้องให้เหตุผลบางอย่างของการตรวจจับ
ตัวอย่าง: วิธีทางสถิติสามารถใช้เพื่อตรวจสอบระดับที่วัตถุสามารถเป็นค่าผิดปกติได้ ขึ้นอยู่กับความน่าจะเป็นที่วัตถุถูกสร้างโดยกลไกเดียวกันที่สร้างบันทึกส่วนใหญ่ ความน่าจะเป็นยิ่งน้อย วัตถุยิ่งไม่น่าจะถูกสร้างโดยกลไกเดียวกัน และยิ่งน่าจะเป็นค่าผิดปกติ
