การทำเหมืองข้อมูล (Data Mining) นำไปใช้กับข้อมูลที่เลือกในฐานข้อมูลขนาดใหญ่ เมื่อวิเคราะห์และทำเหมืองข้อมูลบนปริมาณข้อมูลมหาศาล จะใช้เวลาประมวลผลนานมาก ทำให้ไม่เป็นประโยชน์และไม่เป็นไปได้ จึงใช้เทคนิคการลดข้อมูล (Data Reduction) เพื่อให้ได้การแสดงข้อมูลที่ลดรูป (Reduced Representation) ขนาดเล็กกว่ามาก โดยรักษาความสมบูรณ์ของข้อมูลต้นฉบับ การลดข้อมูลทำให้กระบวนการทำเหมืองข้อมูลมีประสิทธิภาพมากขึ้น และให้ผลวิเคราะห์เดียวกัน
เป้าหมายของการลดข้อมูล
การลดข้อมูลมุ่งมากถึงการนิยามข้อมูลให้กะทัดรัด (Compact) ข้อมูลขนาดเล็กทำให้ใช้งานอัลกอริทึมที่ซับซ้อนและมีต้นทุนคำนวณสูงได้ง่ายขึ้น การลดข้อมูลอาจเป็นในรูปของจำนวนแถว (Records) หรือจำนวนคอลัมน์ (Dimensions/มิติ)
กลยุทธ์การลดข้อมูลหลัก
1. การรวมข้อมูล Data Cube (Data Cube Aggregation)
ใช้การดำเนินการรวม (Aggregation) บนข้อมูลในการสร้าง Data Cube ตัวอย่าง: ข้อมูลยอดขายต่อไตรมาส ปี 2002-2004 หากสนใจยอดขายรายปี (รวมต่อปี) ไม่ใช่ต่อไตรมาส สามารถรวมข้อมูลให้สรุปยอดขายต่อปีได้ ชุดข้อมูลที่ได้เล็กลง โดยไม่สูญเสียข้อมูลที่จำเป็นสำหรับการวิเคราะห์
2. การเลือกชุดย่อยแอตทริบิวต์ (Attribute Subset Selection)
ค้นพบและลบแอตทริบิวต์ที่ไม่เกี่ยวข้อง, เกี่ยวข้องอ่อน, หรือซ้ำซ้อน ชุดข้อมูลสำหรับวิเคราะห์อาจมีหลายร้อยแอตทริบิวต์ บางส่วนไม่เกี่ยวข้องกับงานทำเหมืองหรือซ้ำซ้อน ตัวอย่าง: งานจัดกลุ่มลูกค้าว่าจะซื้อซีดีใหม่หรือไม่ แอตทริบิวต์เบอร์โทรศัพท์ไม่เกี่ยวข้อง แต่ อายุ (Age) หรือ ความชอบเพลง (Music_taste) เกี่ยวข้อง
3. การลดมิติ (Dimensionality Reduction)
ใช้กลไกเข้ารหัส (Encoding Mechanisms) ลดขนาดชุดข้อมูล ใช้การเข้ารหัส/แปลงข้อมูลเพื่อให้ได้การแสดงข้อมูลบีบอัด หากสร้างคืนข้อมูลต้นฉบับได้โดยไม่สูญเสียข้อมูล เรียกว่า Lossless
4. การลดจำนวนข้อมูล (Numerosity Reduction)
ข้อมูลถูกกู้คืนหรือทำนายโดยการแสดงข้อมูลแบบเล็กลง เช่น โมเดลพารามิเตอร์ (Parametric Models - เก็บเฉพาะพารามิเตอร์โมเดล) หรือวิธีไม่พารามิเตอร์ เช่น การจัดกลุ่ม (Clustering), การสุ่มตัวอย่าง (Sampling), ไฮสโตแกรม (Histograms)
5. การแบ่งช่วงและสร้างลำดับชั้นแนวคิด (Discretization and Concept Hierarchy Generation)
แทนที่ค่าข้อมูลดิบ (Raw Values) ของแอตทริบิวต์ด้วยช่วง (Ranges) หรือระดับแนวคิดสูงกว่า (Higher Conceptual Levels) การแบ่งช่วงข้อมูลเป็นรูปแบบหนึ่งของ Numerosity Reduction ที่มีประโยชน์มากสำหรับการสร้างลำดับชั้นแนวคิดอัตโนมัติ เป็นเครื่องมือไดนามิกสำหรับ Data Mining ทำให้ทำเหมืองข้อมูลได้หลายระดับการนามธรรม
