Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

แนวทางทางสถิติ (Statistical Approaches) ในการตรวจจับค่าผิดปกติ


แนวทางทางสถิติ (Statistical Approaches)

แนวทางทางสถิติเป็นแนวทางแบบมีโมเดล (model-based) คือ สร้างโมเดลสำหรับข้อมูล และประเมินวัตถุว่าตรงกับโมเดลมากน้อยเพียงไร แนวทางทางสถิติส่วนใหญ่ในการตรวจจับ outliers ขึ้นอยู่กับการพัฒนาโมเดลการแจกแจงความน่าจะเป็น (probability distribution model) และพิจารณาว่าวัตถุแต่ละชิ้นมีความน่าจะเป็นเท่าไรภายใต้โมเดลนั้น

Outlier คือวัตถุที่มีความน่าจะเป็นต่ำภายใต้โมเดลการแจกแจงความน่าจะเป็นของข้อมูล โมเดลการแจกแจงความน่าจะเป็นถูกสร้างจากข้อมูลโดยการคำนวณพารามิเตอร์ของการแจกแจงที่ผู้ใช้กำหนด

หากสมมติข้อมูลมีการแจกแจง Gaussian (Normal) ค่าเฉลี่ย (mean) และส่วนเบี่ยงเบนมาตรฐาน (standard deviation) ของการแจกแจงพื้นฐานสามารถคำนวณได้จากค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของข้อมูล ความน่าจะเป็นของทุกวัตถุภายใต้การแจกแจงสามารถคำนวณได้

มีการพัฒนาการทดสอบทางสถิติหลากหลายรูปแบบ เพื่อระบุ outliers หรือ discordant observations ตามที่เรียกในวรรณกรรมทางสถิติ บางการทดสอบ discordancy เฉพาะเจาะจงมาก และต้องการความรู้ทางสถิติที่เกินขอบเขตของข้อความนี้

การระบุการแจกแจงเฉพาะของชุดข้อมูล

แม้ข้อมูลหลายประเภทสามารถอธิบายได้ด้วยจำนวนน้อยของการแจกแจงทั่วไป เช่น Gaussian, Poisson, หรือ binomial แต่ชุดข้อมูลที่มีการแจกแจงไม่มาตรฐาน (non-standard distributions) ก็พบได้บ่อย ถ้าเลือกโมเดลผิด วัตถุอาจถูกจัดว่าเป็น outlier ผิดๆ

ตัวอย่าง: ข้อมูลอาจถูกจำลองว่ามาจาก Gaussian distribution แต่จริงๆ มาจากการแจกแจงที่มีความน่าจะเป็นสูงกว่า Gaussian ในการให้ค่าที่ไกลจากค่าเฉลี่ย การแจกแจงทางสถิติที่มีพฤติกรรมแบบนี้พบได้บ่อยในทางปฏิบัติ เรียกว่า heavy-tailed distributions

จำนวนแอตทริบิวต์ที่ใช้ (The number of attributes used)

บางเทคนิคตรวจจับ outliers ทางสถิติใช้กับแอตทริบิวต์เดี่ยว (univariate) แต่บางเทคนิคพัฒนาสำหรับข้อมูลหลายมิติ (multivariate)

Mixtures of distributions (การผสมของการแจกแจง)

ข้อมูลสามารถจำลองเป็นการผสมของการแจกแจง และแผนการตรวจจับ outliers สามารถสร้างขึ้นจากโมเดลเช่นนี้ แม้อาจยืดหยุ่นกว่า แต่โมเดลเหล่านี้ซับซ้อน ทั้งในการเรียนรู้และการใช้งาน ตัวอย่าง: การแจกแจงต้องถูกระบุก่อนที่วัตถุจะถูกกำหนดว่าเป็น outliers

แนวทางทางสถิติในการตรวจจับ outliers มีฐานมั่นคง และสร้างบนเทคนิคทางสถิติมาตรฐาน รวมถึงการคำนวณพารามิเตอร์ของการแจกแจง เมื่อมีความรู้เพียงพอเกี่ยวกับข้อมูลและประเภทการทดสอบที่ควรใช้ การทดสอบเหล่านี้สามารถมีประสิทธิภาพได้ มีการทดสอบ outliers ทางสถิติสำหรับแอตทริบิวต์เดี่ยวเยอะมาก แต่ตัวเลือกน้อยกว่าสำหรับข้อมูลหลายมิติ และการทดสอบเหล่านี้อาจทำงานไม่ดีกับเรคคอร์ดมิติสูง