Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

ลักษณะของข้อมูล (Data Characteristics) ที่ส่งผลต่อการวิเคราะห์กลุ่ม


ลักษณะของข้อมูลที่ส่งผลต่อการวิเคราะห์กลุ่ม

ลักษณะข้อมูลต่อไปนี้สามารถส่งผลกระทบอย่างมากต่อการวิเคราะห์กลุ่ม:

1. High Dimensionality (มิติสูง)

ในชุดข้อมูลมิติสูง แนวคิดแบบยุคลิดเกี่ยวกับความหนาแน่น (จำนวนจุดต่อปริมาตรหน่วย) จะกลายเป็นสิ่งสำคัญ สันนิษฐานว่าเมื่อมิติเพิ่มขึ้น ปริมาตรเพิ่มขึ้นแบบเอ็กซ์โพเนนเชียล และหากจำนวนจุดไม่เพิ่มขึ้นแบบเอ็กซ์โพเนนเชียล ความหนาแน่นจะลดเข้าสู่ศูนย์

ความใกล้เคียง (proximity) ก็กลายเป็นสม่ำเสมอขึ้นในพื้นที่มิติสูง อีกมุมมองคือมีมิติ (attributes) มากขึ้นที่มีส่วนทำให้ความใกล้เคียงระหว่างสองจุดกลายเป็นสม่ำเสมอ ด้วยเหตุนี้ เทคนิคจัดกลุ่มส่วนใหญ่ที่พึ่งพาความใกล้เคียงหรือความหนาแน่น อาจมีปัญหากับข้อมูลมิติสูง วิธีหนึ่งคือใช้เทคนิคลดมิติ (dimensionality reduction)

2. Size (ขนาด)

อัลกอริทึมจัดกลุ่มบางตัวที่ทำงานดีกับข้อมูลขนาดเล็กหรือกลาง อาจไม่สามารถจัดการข้อมูลขนาดใหญ่ได้

3. Sparseness (ความเบาบาง)

ข้อมูลเบาบาง (Sparse data) มีแอตทริบิวต์แบบไม่สมมาตร ค่าศูนย์ไม่สำคัญเท่าค่าที่ไม่ใช่ศูนย์ ดังนั้น ขนาดความคล้ายคลึงที่เหมาะกับแอตทริบิวต์ไม่สมมาตรก็มักถูกใช้

4. Noise and Outliers (สัญญาณรบกวนและค่าผิดปกติ)

จุดทั่วไป (outlier) หนึ่งจุดสามารถ降低ประสิทธิภาพอัลกอริทึมจัดกลุ่มได้อย่างรุนแรง โดยเฉพาะอัลกอริทึมแบบโปรโตไทป์อย่าง K-means สัญญาณรบกวนอาจทำให้เทคนิคอย่าง single link รวมกลุ่มที่ไม่ควรจะรวมกัน

โดยทั่วไป จะใช้อัลกอริทึมกำจัดสัญญาณรบกวนและ outliers ก่อนการจัดกลุ่ม บางอัลกอริทึมสามารถระบุจุดที่เป็นสัญญาณรบกวน/outliers ระหว่างการจัดกลุ่มและกำจัดหรือลดผลกระทบ

5. Type of Attributes and Data Set (ประเภทแอตทริบิวต์และชุดข้อมูล)

ชุดข้อมูลมีหลายประเภท เช่น โครงสร้าง (structured), กราฟ (graph), หรือลำดับ (ordered) แอตทริบิวต์อาจเป็น categorical (nominal หรือ ordinal) หรือ quantitative (interval หรือ ratio) และเป็น binary, discrete, หรือ continuous

ขนาดความใกล้เคียงและความหนาแน่นหลายแบบเหมาะกับข้อมูลประเภทต่างกัน บางครั้งข้อมูลต้อง discretize หรือ binarize เพื่อใช้ขนาดความใกล้เคียงหรืออัลกอริทึมที่ต้องการ ปัญหาอีกอย่างเกิดขึ้นเมื่อแอตทริบิวต์มีประเภทต่างกันมาก เช่น continuous และ nominal ทำให้ความใกล้เคียงและความหนาแน่นยากที่จะกำหนดและกลายเป็น ad hoc โครงสร้างข้อมูลและอัลกอริทึมเฉพาะอาจจำเป็นต้องจัดการข้อมูลประเภทบางอย่างอย่างมีประสิทธิภาพ

6. Scale (มาตราส่วน)

แอตทริบิวต์หลายตัว เช่น ส่วนสูงและน้ำหนัก อาจวัดในมาตราส่วนต่างกัน ความแตกต่างเหล่านี้ส่งผลอย่างมากต่อระยะทางหรือความคล้ายคลึงระหว่างสองวัตถุ และผลลัพธ์ของการวิเคราะห์กลุ่ม ตัวอย่าง: จัดกลุ่มคนตามส่วนสูง (เมตร) และน้ำหนัก (กิโลกรัม)