Data Warehousing เป็นเทคนิคหลักสำหรับรวบรวมและจัดการข้อมูลจากหลายแหล่ง เพื่อให้ข้อมูลเชิงลึกทางธุรกิจ (Business Insight) ที่มีความหมาย Data Warehouse ถูกออกแบบมาโดยเฉพาะเพื่อรองรับการตัดสินใจของผู้บริหาร
ง่ายๆ คือ Data Warehouse หมายถึงฐานข้อมูลที่ดูแลแยกจากฐานข้อมูลปฏิบัติการ (Operational Databases) ขององค์กร ระบบ Data Warehouse ช่วยบูรณาการระบบประยุกต์หลายระบบ ให้การประมวลผลข้อมูลโดยแพลตฟอร์มที่มั่นคงของข้อมูลรวมศูนย์ (Consolidated), ข้อมูลทางประวัติศาสตร์ (Historical) สำหรับการวิเคราะห์
Data Warehouses ทั่วไปและรวบรวมข้อมูลในพื้นที่หลายมิติ (Multidimensional Space) การสร้าง Data Warehouses รวมถึง Data Cleaning, Data Integration, และ Data Transformation และถือเป็นขั้นตอนก่อนการทำเหมืองข้อมูล (Pre-processing Step) ที่สำคัญ เครื่องมือและสาธิตเหล่านี้เกี่ยวข้องกับฟังก์ชันต่อไปนี้:
การสกัดข้อมูล (Data Extraction)
การทำความสะอาดข้อมูล (Data Cleaning)
ทำความสะอาดข้อมูลโดย: เติมค่าที่หายไป (Missing Values), ทำให้ข้อมูลรบกวนเรียบ (Smoothing Noisy Data), ระบุและกำจัดค่าผิดปกติ (Outliers), กำจัดความไม่สอดคล้อง
ประเภทของการทำความสะอาดข้อมูล
- ค่าที่หายไป (Missing Values): เติมด้วยค่าที่เหมาะสม วิธีการต่างๆ ในการเติมค่า
- ข้อมูลรบกวน (Noisy Data): Noise คือข้อผิดพลาดสุ่มหรือความแปรปรวนในตัวแปรที่วัดได้ วิธีทำให้เรียบ (Smoothing Techniques):
- Binning: ทำให้ค่าข้อมูลที่เรียงลำดับเรียบโดยพิจารณา "เพื่อนบ้าน" (Neighborhood) ค่ารอบๆ ข้อมูลรบกวน ค่าที่เรียงลำดับถูกจัดเป็น Buckets/Bins 多个 เนื่องจาก Binning พิจารณา Neighborhood จึงทำ Local Smoothing
- Regression: ทำให้ข้อมูลเรียบโดยการพอดี (Fitting) บันทึกกับฟังก์ชัน เช่น Regression Linear Regression หาเส้น "ที่ดีที่สุด" พอดี 2 แอตทริบิวต์ เพื่อทำนายอีกตัว Multiple Linear Regression ขยายไปหลายแอตทริบิวต์ พอดีพื้นผิวหลายมิติ
- Clustering: ช่วยระบุ Outliers ค่าที่คล้ายกันจัดเป็นคลัสเตอร์ ค่าที่อยู่นอกคลัสเตอร์เรียกว่า Outliers
การแปลงข้อมูล (Data Transformation)
แปลงหรือรวมข้อมูลให้อยู่ในรูปแบบเหมาะสมสำหรับการทำเหมือง:
- Smoothing: กำจัด Noise ด้วย Binning, Regression, Clustering
- Aggregation: นำการดำเนินการสรุป/รวมไปใช้กับข้อมูล
- Generalization: แทนที่ข้อมูลระดับต่ำ/ดิบ ด้วยแนวคิดระดับสูงผ่าน Concept Hierarchies
การโหลด (Load)
จัดเรียง, สรุป, รวมศูนย์, คำนวณมุมมอง (Views), ตรวจสอบความสมบูรณ์, สร้างดัชนี (Indices) และพาร์ติชัน (Partitions)
การรีเฟรช (Refresh)
เผยแพร่การอัปเดตจากแหล่งข้อมูลไปยัง Data Warehouse
