Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

วิธีการตรวจจับค่าผิดปกติ (Outlier Detection Methods) มี哪些?

วิธีการตรวจจับค่าผิดปกติ

มีวิธีการตรวจจับค่าผิดปกติหลายวิธี ดังนี้:

1. วิธีแบบมีผู้ดูแล (Supervised Methods)

วิธีแบบมีผู้ดูแลสร้างแบบจำลองความปกติและความผิดปกติของข้อมูล ผู้เชี่ยวชาญด้านโดเมนทดสอบและติดป้ายกำกับตัวอย่างของข้อมูลพื้นฐาน การตรวจจับค่าผิดปกติสามารถสร้างแบบจำลองเป็นปัญหาการจัดประเภท (Classification Problem) ภารกิจคือเรียนรู้ตัวจำแนกที่สามารถระบุค่าผิดปกติได้ ตัวอย่างสามารถใช้สำหรับการฝึกอบรมและทดสอบ ในหลายแอปพลิเคชัน ผู้เชี่ยวชาญอาจติดป้ายกำกับเฉพาะวัตถุปกติ และวัตถุหลายชิ้นที่ไม่เข้ากับแบบจำลองของวัตถุปกติ จะถูกบันทึกเป็นค่าผิดปกติ มีวิธีต่างๆ ที่สร้างแบบจำลองค่าผิดปกติ และพิจารณาวัตถุที่ไม่เข้ากับแบบจำลองค่าผิดปกติว่าเป็นปกติ

2. วิธีแบบไม่มีผู้ดูแล (Unsupervised Methods)

ในหลายแอปพลิเคชัน วัตถุที่ติดป้ายกำกับว่า "ปกติ" หรือ "ค่าผิดปกติ" ไม่พร้อมใช้งาน ดังนั้น วิธีการเรียนรู้แบบไม่มีผู้ดูแล (Unsupervised Learning) จึงต้องใช้ วิธีการตรวจจับค่าผิดปกติแบบไม่มีผู้ดูแล สร้างสมมติฐานโดยนัย (Implicit Assumption) ว่าวัตถุปกติ "จัดกลุ่ม" (Clustered) อย่างมีนัยสำคัญ

วิธีแบบไม่มีผู้ดูแลคาดการณ์ว่าวัตถุปกติปฏิบัติตามรูปแบบบ่อยกว่าค่าผิดปกติอย่างมาก วัตถุปกติไม่จำเป็นต้องเป็นกลุ่มเดียวที่มีความคล้ายคลึงสูง แทนที่จะเป็นเช่นนั้น พวกมันสามารถสร้างกลุ่มหลายกลุ่มได้ โดยแต่ละกลุ่มมีคุณลักษณะหลายอย่าง

สมมติฐานนี้อาจไม่เป็นจริงบางครั้ง วัตถุปกติไม่ได้ปฏิบัติตามรูปแบบที่แข็งแกร่ง แทนที่จะเป็นเช่นนั้น พวกมันกระจายตัวอย่างสม่ำเสมอ (Uniformly Distributed) ค่าผิดปกติร่วมกัน (Collective Outliers) แชร์ความคล้ายคลึงสูงในพื้นที่เล็ก วิธีแบบไม่มีผู้ดูแลไม่สามารถระบุค่าผิดปกติแบบนี้ได้อย่างมีประสิทธิภาพ ในบางแอปพลิเคชัน วัตถุปกติกระจายตัวแยกกัน และหลายวัตถุไม่ปฏิบัติตามรูปแบบที่ดี ตัวอย่างเช่น ในการตรวจจับการบุกรุกและการตรวจจับไวรัสคอมพิวเตอร์ บางกิจกรรมปกติแตกต่างกันและบางอย่างไม่ได้เป็นกลุ่มคุณภาพสูง

บางวิธีการจัดกลุ่มสามารถปรับเปลี่ยนเพื่อทำหน้าที่เป็นวิธีตรวจจับค่าผิดปกติแบบไม่มีผู้ดูแล แนวคิดหลักคือค้นพบกลุ่มก่อน และจากนั้นวัตถุข้อมูลที่ไม่ได้อยู่ในกลุ่มใดๆ จะถูกระบุเป็นค่าผิดปกติ อย่างไรก็ตาม วิธีเหล่านี้เสื่อมสภาพจากสองปัญหา: 1) วัตถุข้อมูลที่ไม่ได้อยู่ในกลุ่มใดๆ อาจเป็น雜訊 (Noise) มากกว่าค่าผิดปกติ 2) ค่าใช้จ่ายสูงในการค้นพบกลุ่มก่อนแล้วค่อยหาค่าผิดปกติ

3. วิธีแบบมีผู้ดูแลบางส่วน (Semi-Supervised Methods)

ในหลายแอปพลิเคชัน แม้จะสามารถรับตัวอย่างที่มีป้ายกำกับได้บ้าง จำนวนตัวอย่างที่มีป้ายกำกับดังกล่าวก็น้อย อาจเจอกรณีที่มีเพียงกลุ่มเล็กของวัตถุปกติและค่าผิดปกติที่มีป้ายกำกับ แต่ข้อมูลบางส่วนไม่มีป้ายกำกับ วิธีการตรวจจับค่าผิดปกติแบบมีผู้ดูแลบางส่วน (Semi-supervised Outlier Detection Methods) ถูกพัฒนาขึ้นเพื่อจัดการกับสถานการณ์ดังกล่าว

วิธีแบบมีผู้ดูแลบางส่วนสามารถมองว่าเป็นการประยุกต์ใช้ของแนวทางการเรียนรู้แบบมีผู้ดูแลบางส่วน (Semi-supervised Learning) ตัวอย่างเช่น เมื่อมีวัตถุปกติที่มีป้ายกำกับบ้าง สามารถใช้พวกมันกับวัตถุที่ไม่มีป้ายกำกับที่อยู่ใกล้เคียง เพื่อฝึกอบรมแบบจำลองสำหรับวัตถุปกติ แบบจำลองของวัตถุปกติถูกใช้เพื่อระบุค่าผิดปกติ - วัตถุที่ไม่เข้ากับแบบจำลองของวัตถุปกติ ถูกกำหนดให้เป็นค่าผิดปกติ