สาเหตุของ Anomalies (ความผิดปกติ)

สาเหตุของ Anomalies (ความผิดปกติ)

ใน anomaly detection วัตถุประสงค์คือค้นพบวัตถุที่แตกต่างจากวัตถุอื่นๆ บ่อยครั้ง anomalous objects เรียกว่า outliers เพราะบน scatter plot พวกมันอยู่ไกลจากจุดข้อมูลส่วนใหญ่ Anomaly detection เรียกอีกอย่างว่า deviation detection เพราะ anomalous objects มีค่าแอตทริบิวต์ที่เบี่ยงเบนอย่างมีนัยสำคัญจากค่าที่คาดหวังหรือทั่วไป หรือ exception mining เพราะ anomalies เป็นสิ่งที่ stand out ในบางความหมาย

ในโลก สังคมมนุษย์ หรือโดเมนของกลุ่มข้อมูล เหตุการณ์และวัตถุมากที่สุดเป็น common หรือ regular ตามนิยาม แต่เรามีความเข้าใจถึงความเป็นไปได้ของวัตถุที่แตกต่างหรือพิเศษ เช่น ฤดูแล้งหรือฝนตกอย่างรุนแรง นักกีฬายอดนิยม หรือค่าแอตทริบิวต์ที่เล็กหรือใหญ่กว่าทุกตัวอย่างมาก

สาเหตุหลักของ Anomalies

1. Data from Different Classes (ข้อมูลจากคลาสต่างกัน)

วัตถุอาจแตกต่างจากวัตถุอื่นๆ (anomalous) เพราะมันเป็นประเภทหรือคลาสที่ต่างกัน ตัวอย่าง: คนทำ credit card fraud อยู่ในคลาสผู้ใช้บัตรเครดิตที่ต่างจากคนที่ใช้บัตรอย่างถูกต้อง

ตัวอย่างเช่น fraud, intrusion, disease outbreaks, abnormal test results เป็น anomalies ที่แทนคลาสขององค์ประกอบที่ต่างกัน Anomalies แบบนี้เป็นที่สนใจมาก และเป็นเป้าหมายของ anomaly identification ใน data mining

2. Natural Variation (การเปลี่ยนแปลงตามธรรมชาติ)

ชุดข้อมูลบางชุดสามารถจำลองด้วยการแจกแจงทางสถิติ เช่น normal (Gaussian) distribution ที่ความน่าจะเป็นของวัตถุลดลงเรื่อยๆ เมื่อระยะห่างจากศูนย์กลางการแจกแจงเพิ่มขึ้น กล่าวคือ บางวัตถุอยู่ใกล้ศูนย์กลาง (average object) และความเป็นไปได้ที่วัตถุจะแตกต่างอย่างมีนัยสำคัญจาก average object นั้นน้อย ตัวอย่าง: คนสูงผิดปกติ ไม่ใช่ anomalous ในความหมายว่ามาจากคลาสต่างกัน แต่ในความหมายที่มีค่าสมบูรณ์สำหรับลักษณะ (ความสูง) ที่ทุกคนมี Anomalies ที่แทนการเปลี่ยนแปลงรุนแรงหรือไม่น่าจะเป็นไปได้ น่าสนใจ

3. Data Measurement and Collection Errors (ข้อผิดพลาดการวัดและเก็บข้อมูล)

ข้อผิดพลาดในชุดข้อมูลหรือกระบวนการวัด เป็นสาเหตุอีกอย่างของ anomalies ตัวอย่าง: การวัดอาจบันทึกผิดเพราะ human error ปัญหาอุปกรณ์วัด หรือสัญญาณรบกวน วัตถุประสงค์คือกำจัด anomalies แบบนี้ เพราะไม่ให้ข้อมูลน่าสนใจ แต่แค่ลดคุณภาพข้อมูลและการวิเคราะห์ต่อไป จริงๆ การลบ anomalies ประเภทนี้เป็นเป้าหมายของ data preprocessing โดยเฉพาะ data cleaning