ในการแปลงข้อมูล (Data Transformation) ข้อมูลจะถูกแปลงหรือรวมให้อยู่ในรูปแบบที่เหมาะสมสำหรับการทำเหมืองข้อมูล การแปลงข้อมูลอาจเกี่ยวข้องกับสิ่งต่อไปนี้:
เทคนิคการแปลงข้อมูลหลัก
1. การทำให้เรียบ (Smoothing)
ทำงานเพื่อกำจัดสัญญาณรบกวน (Noise) จากข้อมูล วิธีการรวมถึง: การจัดกลุ่ม (Binning), การถดถอย (Regression), การจัดกลุ่ม (Clustering)
2. การรวมข้อมูล (Aggregation)
นำการดำเนินการสรุปหรือรวม (Summary/Aggregation Operations) ไปใช้กับข้อมูล ตัวอย่าง: ข้อมูลยอดขายรายวันอาจรวมเพื่อคำนวณยอดรวมรายเดือนและรายปี ขั้นตอนนี้มักใช้ในการสร้าง Data Cube สำหรับวิเคราะห์ข้อมูลหลายระดับรายละเอียด (Granularities)
3. การทั่วไป化 (Generalization)
แทนที่ข้อมูลระดับต่ำหรือ "ดิบ" (Primitive/Raw Data) ด้วยแนวคิดระดับสูงผ่านลำดับชั้นแนวคิด (Concept Hierarchies) ตัวอย่าง: แอตทริบิวต์หมวดหมู่เช่น ถนน (Street) ทั่วไปเป็นเมือง (City) หรือประเทศ (Country) ค่าตัวเลขเช่น อายุ (Age) แมปเป็นวัยรุ่น (Youth), วัยกลางคน (Middle-aged), ผู้สูงอายุ (Senior)
4. การปรับปกติ (Normalization)
ปรับขนาดข้อมูลแอตทริบิวต์ให้อยู่ในช่วงที่กำหนดเล็กๆ เช่น -1.0 ถึง 1.0 หรือ 0.0 ถึง 1.0
5. การสร้างแอตทริบิวต์ (Attribute Construction)
สร้างแอตทริบิวต์ใหม่และเพิ่มจากชุดแอตทริบิวต์ที่มีอยู่ เพื่อช่วยกระบวนการทำเหมืองข้อมูล
Smoothing เป็นรูปแบบหนึ่งของการทำความสะอาดข้อมูล (Data Cleaning) Aggregation และ Generalization เป็นรูปแบบของการลดข้อมูล (Data Reduction)
วิธีการปรับปกติข้อมูล (Data Normalization Methods)
1. Min-Max Normalization
นำการแปลงเชิงเส้น (Linear Transformation) ไปใช้กับข้อมูลต้นฉบับ สมมติ minA และ maxA เป็นค่าต่ำสุดและสูงสุดของแอตทริบิวต์ A Min-max normalization แมปค่า v ของ A เป็น v' ในช่วง [new_minA, new_maxA] โดยคำนวณ:
$$v' = \frac{v - min_A}{max_A - min_A} (new\_max_A - new\_min_A) + new\_min_A$$
2. Z-Score Normalization (Zero-Mean Normalization)
ปรับปกติค่าของแอตทริบิวต์ A โดยอิงจากค่าเฉลี่ย (Mean) และส่วนเบี่ยงเบนมาตรฐาน (Standard Deviation) ของ A ค่า v ของ A ปรับเป็น v' โดย:
$$v' = \frac{v - \bar{A}}{\sigma_A}$$
โดย $\bar{A}$ และ $\sigma_A$ คือค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของแอตทริบิวต์ A วิธีนี้มีประโยชน์เมื่อค่าต่ำสุด/สูงสุดจริงของ A ไม่ทราบ หรือมีค่าผิดปกติ (Outliers) ที่ครอบงำ Min-Max
3. Decimal Scaling
ปรับปกติโดยการเลื่อนจุดทศนิยมของค่าแอตทริบิวต์ A จำนวนจุดที่เลื่อนขึ้นอยู่กับค่าสัมบูรณ์สูงสุดของ A ค่า v ของ A ปรับเป็น v' โดย:
$$v' = \frac{v}{10^j}$$
โดย j เป็นจำนวนเต็มที่น้อยที่สุดที่ทำให้ Max(|v'|) < 1
