Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

Data Staging (การจัดเตรียมข้อมูล) คืออะไร?

ในกระบวนการ Data Warehousing Data Staging Area ประกอบด้วย Data Staging Server Software และ Data Store Archive (Repository) ของผลลัพธ์จากกิจกรรม Extraction, Transformation, และ Loading (ETL)

Data Staging Software Server จัดเก็บและเปลี่ยนแปลงข้อมูลที่ Extract จาก OLTP Data Sources ชั่วคราว และ Archival Repository จัดเก็บ Cleaned, Transformed Data และ Attributes สำหรับ Load ลง Data Marts และ Data Warehouses

Data Staging Process นำเข้าข้อมูลเป็น Streams หรือ Files, Transform, สร้าง Integrated, Cleaned Data และ Stage ไว้สำหรับ Load ลง Data Warehouses, Data Marts, หรือ Operational Data Stores

มี Data Staging Tool และ Data อยู่ในฐานข้อมูล Data Flow เริ่มต้นจาก Source System ผ่าน Transformation Engine เข้าสู่ Staging Database

วิธีที่สอง เริ่มจาก Mainframe Legacy System แล้ว Extract ข้อมูลที่ต้องการเป็น Flat File, ส่งไฟล์ไป Staging Server, Transform เนื้อหา และ Load Transformed Data เข้า Staging Database

Data Warehouse Staging Area เป็นพื้นที่ชั่วคราวที่ข้อมูลจาก Source Systems ถูก Replicate ต้องการ Staging Area โดยทั่วไปใน Data Warehousing Architecture เพื่อเหตุผลเรื่อง Timing สั้นๆ คือ ข้อมูลที่จำเป็นทั้งหมดต้องพร้อมก่อนที่จะ Unified เข้า Data Warehouse

เนื่องจาก Business Cycles, Data Processing Cycles, Hardware/Network Resource Limitations และ Geographic Factors ต่างกัน ไม่สามารถ Extract ข้อมูลจาก Operational Databases ทั้งหมดในเวลาเดียวกันได้อย่างแม่นยำ

ตัวอย่าง

อาจ Extract Sales Data ทุกวันได้ แต่ Daily Extracts ไม่เหมาะกับ Financial Information ที่ต้องการ Month-end Reconciliation Process เช่นเดียวกัน อาจเหมาะสม Extract "Customer" Data จาก Database ใน Singapore เวลาเที่ยงวัน EST แต่ไม่เหมาะกับ "Customer" Data ใน Chicago Database

Data ใน Data Warehouse อาจเป็น Persistent (อยู่นาน) หรือ Transitory (อยู่ชั่วคราว) ไม่ใช่ทุกธุรกิจต้องการ Data Warehouse Staging Area สำหรับหลายธุรกิจ เหมาะสมที่จะใช้ ETL Copy Data โดยตรงจาก Operational Databases เข้า Data Warehouse

ข้อดีและข้อเสียของ Data Staging

ข้อดี

  • Staging Process ควบคุมแบบ Parallel กับ Transformation Process

  • Disk I/O ลดลงครึ่ง เพราะ Staging Table เขียนเพียงครั้งเดียว ไม่ใช่เขียน แล้ว Extract อีกครั้ง

ข้อเสีย

  • ถ้า Transformation Process ล้มเหลว Staging Process ก็จะหยุดด้วย