การบูรณาการข้อมูล (Data Integration) เป็นขั้นตอนการรวมข้อมูลจากแหล่งที่มาหลายแห่งที่แตกต่างกัน (Disparate Sources) ในการดำเนินการบูรณาการข้อมูล ควรจัดการกับความซ้ำซ้อน (Redundancy), ความไม่สอดคล้อง (Inconsistency), ความซ้ำ (Duplicity) เป็นต้น ในการทำเหมืองข้อมูล Data Integration เป็นเทคนิคการประมวลผลก่อน (Pre-processing) ที่รวมข้อมูลจากแหล่งข้อมูลหลากหลาย (Heterogeneous) หลายแห่งให้เป็นข้อมูลสอดคล้อง (Coherent Data) เพื่อรักษาและรองรับมุมมองแบบรวมศูนย์ (Consolidated View) ของข้อมูล
Data Integration รวมข้อมูลจากแหล่งต่างๆ เข้าสู่ที่เก็บข้อมูลสอดคล้อง (Coherent Data Store) รวมถึงใน Data Warehousing แหล่งเหล่านี้อาจรวมถึงฐานข้อมูลหลายฐาน, Data Cubes, ไฟล์แบน (Flat Files) เป็นต้น มีหลายประเด็นที่ต้องพิจารณาในระหว่าง Data Integration:
ประเด็นสำคัญในการบูรณาการข้อมูล
1. การบูรณาการสคีมาและการจับคู่วัตถุ (Schema Integration & Object Matching)
อาจซับซ้อน ตัวอย่าง: การจับคู่รหัสระบุเอนทิตี (emp_id ในฐานข้อมูลหนึ่ง และ emp_no ในอีกฐานหนึ่ง) ปัญหาเหล่านี้สามารถป้องกันได้โดยใช้ Metadata
2. ความซ้ำซ้อน (Redundancy)
แอตทริบิวต์ เช่น รายได้รายปี (Annual Revenue) อาจซ้ำซ้อนหากสามารถคำนวณได้จากแอตทริบิวต์อื่นหรือชุดแอตทริบิวต์ ความไม่สอดคล้องในการตั้งชื่อแอตทริบิวต์หรือมิติก็อาจสร้างความซ้ำซ้อนในชุดข้อมูลที่ได้
3. การวิเคราะห์สหสัมพันธ์ (Correlation Analysis)
ความซ้ำซ้อนบางส่วนค้นพบได้โดยการวิเคราะห์สหสัมพันธ์ กำหนดแอตทริบิวต์สองตัว สามารถคำนวณได้ว่าหนึ่งบ่งชี้อีกตัวหนึ่งแน่นอนแค่ไหนจากข้อมูลที่มี สำหรับแอตทริบิวต์ตัวเลข สามารถประเมินสหสัมพันธ์ระหว่าง A และ B โดยคำนวณสัมประสิทธิ์สหสัมพันธ์ (Correlation Coefficient / Pearson's Product-Moment Coefficient):
$$r_{A,B} = \frac{\sum_{i=1}^{n}(a_i - \bar{A})(b_i - \bar{B})}{N \sigma_A \sigma_B} = \frac{\sum_{i=1}^{n}(a_i b_i) - N \bar{A} \bar{B}}{N \sigma_A \sigma_B}$$
โดย N = จำนวนทูเพิล, ai, bi = ค่าของ A, B ในทูเพิล i, $\bar{A}$, $\bar{B}$ = ค่าเฉลี่ย, $\sigma_A$, $\sigma_B$ = ส่วนเบี่ยงเบนมาตรฐาน, $\Sigma(a_i b_i)$ = ผลรวม cross-product AB
สำคัญ: สหสัมพันธ์ไม่ได้หมายถึงเหตุ-ผล (Correlation ≠ Causality) หาก A และ B สหสัมพันธ์ ไม่ได้หมายความว่า A ก่อให้เกิด B หรือ B ก่อให้เกิด A ตัวอย่าง: จำนวนโรงพยาบาลและการขโมยรถในภูมิภาคสหสัมพันธ์กัน แต่ทั้งคู่อาจเชื่อมโยงกับตัวแปรที่สาม เช่น ประชากร
4. การตรวจจับและแก้ไขความขัดแย้งค่าข้อมูล (Data Value Conflict Detection & Resolution)
สำหรับเอนทิตีจริงเดียวกัน ค่าแอตทริบิวต์จากหลายแหล่งอาจต่างกัน อาจเนื่องจากความแตกต่างในการแสดงผล, การปรับขนาด, หรือการเข้ารหัส
