Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

กระบวนการของคลังข้อมูล (Data Warehouse Processes) มีอะไรบ้าง?


Data staging เป็นกระบวนการหลักที่รวม subprocesses ดังนี้:

  • Extracting (การแยก) — ขั้นตอน extract เป็นขั้นแรกของการนำข้อมูลเข้าสภาพแวดล้อมคลังข้อมูล Extracting นิยามถึงการอ่านและเรียนรู้ source data และคัดลอกองค์ประกอบที่จำเป็นไปยัง data staging area เพื่อทำงานต่อ

  • Transforming (การแปลง) — เนื่องจากข้อมูลถูกแยกเข้า data staging area มีกระบวนการแปลงที่เป็นไปได้หลายอย่าง ดังนี้:

    • ทำความสะอาดข้อมูลโดยแก้ไขคำสะกดผิด, แก้ไขข้อขัดแย้งโดเมน (เช่น ชื่อเมืองที่ไม่สอดคล้องกับรหัสไปรษณีย์), จัดการข้อมูลที่หายไป, และแปลงเป็นรูปแบบมาตรฐาน

    • ใช้เพื่อลบฟิลด์ที่เลือกจาก legacy records ที่ไม่มีประโยชน์สำหรับคลังข้อมูล

    • Join แหล่งข้อมูล โดยจับคู่แม่นยำบนคีย์值 หรือโดยใช้ fuzzy matches บน non-key attributes เช่น การค้นหาคำที่ตรงกันของ legacy system codes

    • สร้าง surrogate keys สำหรับแต่ละ dimension data เพื่อหลีกเลี่ยงการพึ่งพา legacy defined keys โดย surrogate key generation process บังคับ referential integrity ระหว่าง dimension tables และ fact tables

    • ใช้สร้าง aggregates เพื่อเพิ่มประสิทธิภาพคิวรีทั่วไป

  • Loading and Indexing (การโหลดและการจัดทำดัชนี) — ที่สิ้นสุดของขั้นตอน transformation ข้อมูลอยู่ในรูปแบบ load data images Loading ในสภาพแวดล้อมคลังข้อมูลโดยทั่วไปมีรูปแบบการสะท้อน (mirroring) dimension tables และ fact tables และนำเสนอตารางเหล่านี้ให้กับสิ่งอำนวยความสะดวกการโหลดขนาดของแต่ละ recipient data mart

  • Quality Assurance Checking (การตรวจสอบคุณภาพ) — เมื่อแต่ละ data mart ถูกโหลดและจัดทำดัชนีและจัดหา aggregates ที่เหมาะสม ขั้นตอนสุดท้ายก่อนเผยแพร่คือขั้นตอน quality assurance Quality assurance สามารถตรวจสอบได้โดยการทำงาน comprehensive exception report บนชุดข้อมูลที่โหลดใหม่ทั้งหมด

    องค์ประกอบรายงานทั้งหมดควรอยู่, และ counts และ totals ทั้งหมดควรเพียงพอ ค่าที่รายงานทั้งหมดควรสอดคล้องกับลำดับเวลาของค่าเดียวกันที่คาดการณ์ไว้ Exception report สร้างด้วย data mart's end-user report writing facility

  • Release/Publishing (การเผยแพร่/การเผยแพร่) — เมื่อแต่ละ data mart โหลดเสร็จและ quality assured แล้ว ชุมชนผู้ใช้ควรได้รับการแจ้งเตือนว่าข้อมูลใหม่พร้อมแล้ว Publishing ยังเชื่อมโยงลักษณะของการเปลี่ยนแปลงที่ปรากฏใน basic dimensions และ assumptions ใหม่ที่นำเข้าใน measured หรือ computed facts

  • Querying (การสืบค้น) — Querying เป็นคำกว้างที่ครอบคลุมกิจกรรมทั้งหมดของการขอข้อมูลจาก data mart เช่น ad hoc querying โดย end-users, report writing, complex decision support applications, requests from models, และ sophisticated data mining