ค่าผิดปกติ (Outliers) คืออะไร?
ค่าผิดปกติ (Outlier) คือวัตถุข้อมูลที่เบี่ยงเบนอย่างมีนัยสำคัญจากวัตถุอื่นๆ ที่เหลือ เหมือนว่าถูกสร้างโดยกลไกที่หลาย (Several Mechanism) เพื่อความสะดวกในการนำเสนอ สามารถกำหนดวัตถุข้อมูลที่ไม่ใช่ค่าผิดปกติว่าเป็นข้อมูล "ปกติ" (Normal) หรือที่คาดหวัง ปกติแล้ว สามารถกำหนดค่าผิดปกติว่าเป็นข้อมูล "ผิดปกติ" (Abnormal)
ค่าผิดปกติคือองค์ประกอบข้อมูลที่ไม่สามารถจัดกลุ่มในคลาสหรือกลุ่มที่กำหนดได้ นี่คือวัตถุข้อมูลที่มีพฤติกรรมหลาย (Several Behaviour) จากพฤติกรรมปกติ (Usual Behaviour) ของวัตถุข้อมูลอื่นๆ การวิเคราะห์ข้อมูลประเภทนี้อาจสำคัญสำหรับการทำเหมืองความรู้
ความแตกต่างจาก雜訊 (Noise)
ค่าผิดปกติแตกต่างจากข้อมูล雜訊 (Noisy Data) 雜訊คือข้อผิดพลาดสุ่มหรือความแปรปรวนในตัวแปรที่วัดได้ โดยทั่วไป 雜訊ไม่น่าสนใจในการวิเคราะห์ข้อมูล เช่น การตรวจจับค่าผิดปกติ
ตัวอย่าง: ในการตรวจจับการฉ้อโกงบัตรเครดิต พฤติกรรมการซื้อของผู้ใช้สามารถสร้างแบบจำลองเป็นตัวแปรสุ่ม ผู้ใช้อาจทำ "ธุรกรรม雜訊" (Noise Transactions) ที่ดูเหมือน "ข้อผิดพลาดสุ่ม" หรือ "ความแปรปรวน" เช่น ซื้อกินข้าวเที่ยงใหญ่กว่าปกติวันหนึ่ง หรือรับกาแฟเพิ่มอีกหนึ่งถ้วยมากกว่าปกติ
ธุรกรรมดังกล่าวไม่ควรถือเป็นค่าผิดปกติ ดังนั้น บริษัทบัตรเครดิตจะไม่ต้องเสียต้นทุนสูงจากการตรวจสอบธุรกรรมเหล่านั้น บริษัทอาจสูญเสียลูกค้าด้วยการทำให้พวกเขารำคาญด้วยสัญญาณเตือนเท็จ (False Alarms) มากมาย ในการวิเคราะห์ข้อมูลและการทำเหมืองข้อมูลหลายบริการ 雜訊ต้องถูกกำจัดก่อนการตรวจจับค่าผิดปกติ
ฐานข้อมูลจริงบางส่วนมีค่าผิดปกติ หรือข้อมูลที่หายไป, ไม่ระบุชื่อ, หรือผิดพลาด บางอัลกอริทึมการจัดกลุ่ม (Clustering Algorithms) รุนแรงต่อข้อมูลดังกล่าว และสามารถนำไปสู่กลุ่มคุณภาพต่ำได้
ความน่าสนใจของค่าผิดปกติ
ค่าผิดปกติน่าสนใจ เพราะพวกเขาถูกสงสัยว่าไม่ได้ถูกสร้างโดยกลไกเดียวกับข้อมูลส่วนที่เหลือ ดังนั้น ในการตรวจจับค่าผิดปกติ จำเป็นต้องอธิบายว่าทำไมค่าผิดปกติที่ตรวจพบจึงถูกสร้างโดยกลไกที่หลาย
สิ่งนี้ทำได้โดยการสร้างสมมติฐานต่างๆ บนข้อมูลส่วนที่เหลือ และแสดงว่าค่าผิดปกติที่ตรวจพบ ละเมิดสมมติฐานเหล่านั้นอย่างมีนัยสำคัญ การตรวจจับค่าผิดปกติยังเกี่ยวข้องกับการตรวจจับความใหม่ (Novelty Detection) ในชุดข้อมูลที่เพิ่มขึ้น (Evolving Data Sets) ตัวอย่าง: โดยการสังเกตเว็บไซต์โซเชียลมีเดียที่มีเนื้อหาใหม่เข้ามา การตรวจจับความใหม่สามารถระบุหัวข้อและแนวโน้มใหม่ได้อย่างทันเวลา
หัวข้อใหม่ อาจปรากฏเดิมเป็นค่าผิดปกติ การตรวจจับค่าผิดปกติและการตรวจจับความใหม่ แชร์ความคล้ายคลึงบางอย่างในการสร้างแบบจำลองและวิธีการตรวจจับ แต่ความแตกต่างสำคัญระหว่างสองอย่างคือ ในการตรวจจับความใหม่ เมื่อหัวข้อใหม่ได้รับการยืนยันแล้ว พวกมันมักถูกรวมเข้าไปในแบบจำลองพฤติกรรมทั่วไป (Model of Normal Behavior) ทำให้อินสแตนซ์ต่อไปไม่ถูกพิจารณาว่าค่าผิดปกติอีกต่อไป
