ในการลดจำนวนข้อมูล (Numerosity Reduction) ปริมาตรข้อมูลจะลดลงโดยการเลือกการแสดงข้อมูลในรูปแบบอื่นที่เล็กลง เทคนิคเหล่านี้อาจเป็นแบบพารามิเตอร์ (Parametric) หรือไม่พารามิเตอร์ (Non-parametric)
- แบบพารามิเตอร์: ใช้โมเดลประมาณค่าข้อมูล จึงต้องเก็บเฉพาะพารามิเตอร์ของโมเดล แทนข้อมูลจริง เช่น โมเดล Log-linear
- แบบไม่พารามิเตอร์: เก็บการแสดงข้อมูลที่ลดรูป เช่น ไฮสโตแกรม (Histograms), การจัดกลุ่ม (Clustering), และการสุ่มตัวอย่าง (Sampling)
เทคนิคการลดจำนวนข้อมูล
1. โมเดลการถดถอยและ Log-linear (Regression and Log-Linear Models)
ใช้ประมาณค่าข้อมูลที่กำหนด ใน Linear Regression ข้อมูลถูกจำลองให้เข้ากับเส้นตรง ตัวอย่าง: ตัวแปรสุ่ม y (Response Variable) สามารถจำลองเป็นฟังก์ชันเชิงเส้นของตัวแปรสุ่ม x (Predictor Variable) ด้วยสมการ y = wx + b โดยสมมติว่าความแปรปรวนของ y คงที่
2. โมเดล Log-linear
ใช้ประมาณการกระจายความน่าจะเป็นหลายมิติแบบ離散 (Discrete) ถ้ามีชุดทูเพิล (Tuples) n มิติ (เช่น โดย n แอตทริบิวต์) แต่ละทูเพิลเป็นจุดในพื้นที่ n มิติ Log-linear models วัดความน่าจะเป็นของแต่ละจุดในพื้นที่หลายมิติสำหรับแอตทริบิวต์ที่แบ่งช่วงแล้ว โดยอาศัยชุดย่อยของการรวมมิติ ทำให้สร้างชุดข้อมูลมิติสูงจากพื้นที่มิติต่ำได้
3. ไฮสโตแกรม (Histograms)
ใช้การจัดกลุ่ม (Binning) เพื่อประมาณการกระจายข้อมูล เป็นรูปแบบการลดข้อมูลที่นิยม ไฮสโตแกรมสำหรับแอตทริบิวต์ A แบ่งการกระจายข้อมูลของ A เป็นชุดย่อยที่ไม่ทับซ้อน (Buckets) หากแต่ละ Bucket แสดงคู่ค่า/ความถี่เดียว เรียกว่า Singleton Buckets
4. การจัดกลุ่ม (Clustering)
พิจารณาทูเพิลข้อมูลเป็นวัตถุ แบ่งวัตถุเป็นกลุ่ม (Clusters) วัตถุในคลัสเตอร์เดียวกัน "คล้ายกัน" (Similar) และ "ต่างกัน" (Dissimilar) กับวัตถุในคลัสเตอร์อื่น มักนิยามจากระยะห่างในพื้นที่ตามฟังก์ชันระยะทาง
คุณภาพคลัสเตอร์: วัดจากเส้นผ่านศูนย์กลาง (Diameter) = ระยะห่างสูงสุดระหว่างวัตถุสองชิ้นในคลัสเตอร์ หรือ ระยะห่างจากเซนทรอยด์ (Centroid Distance) = ระยะห่างเฉลี่ยจากวัตถุแต่ละชิ้นถึงเซนทรอยด์ (จุดเฉลี่ย)
5. การสุ่มตัวอย่าง (Sampling)
ใช้เป็นวิธีลดข้อมูล เพราะชุดข้อมูลใหญ่สามารถแสดงด้วยตัวอย่างสุ่ม (Random Sample) หรือชุดย่อย (Subset) ที่เล็กลงมาก
