Computer >> คอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

Data Staging คืออะไร?


ในกระบวนการคลังข้อมูล พื้นที่การจัดเตรียมข้อมูลจะถูกรวบรวมของซอฟต์แวร์เซิร์ฟเวอร์การจัดเตรียมข้อมูลและการเก็บถาวรข้อมูล (ที่เก็บ) ของผลลัพธ์ของการดึงข้อมูล การแปลง และการโหลด

เซิร์ฟเวอร์ซอฟต์แวร์การจัดเตรียมข้อมูลจะบันทึกและเปลี่ยนแปลงข้อมูลที่ดึงมาจากแหล่งข้อมูล OLTP ชั่วคราว และที่เก็บที่เก็บถาวรได้รับการทำความสะอาด แปลงข้อมูล และแอตทริบิวต์สำหรับการโหลดลงในดาต้ามาร์ทและคลังข้อมูล

กระบวนการจัดเตรียมข้อมูลจะนำเข้าข้อมูลไม่ว่าจะเป็นสตรีมหรือไฟล์ เปลี่ยนแปลง สร้างข้อมูลที่ผสานรวม ทำความสะอาด และจัดลำดับสำหรับการโหลดลงในคลังข้อมูล ดาต้ามาร์ท หรือ Operational Data Stores

เครื่องมือ data staging สามารถเข้าถึงได้ และข้อมูลอยู่ในฐานข้อมูล การไหลของข้อมูลเริ่มต้นเพื่อให้ปรากฏออกจากระบบต้นทาง เปลี่ยนแปลงผ่านกลไกการแปลง และเข้าสู่ฐานข้อมูลชั่วคราว

ในวิธีที่ 2 มันสามารถเริ่มต้นด้วยระบบเดิมของเมนเฟรม จากนั้นแยกบันทึกที่ต้องการลงในไฟล์แฟลต เปลี่ยนไฟล์เป็นเซิร์ฟเวอร์การจัดเตรียม แปลงเนื้อหา และโหลดข้อมูลที่แปลงแล้วลงในฐานข้อมูลการจัดเตรียม

พื้นที่จัดเตรียมคลังข้อมูลเป็นพื้นที่ชั่วคราวที่มีการทำซ้ำข้อมูลจากระบบต้นทาง โดยทั่วไปจำเป็นต้องมีพื้นที่การแสดงละครใน Data Warehousing Architecture ด้วยเหตุผลด้านเวลา โดยสังเขป ข้อมูลที่จำเป็นทั้งหมดควรมีพร้อมใช้ก่อนที่ข้อมูลจะรวมเป็นหนึ่งเดียวใน Data Warehouse

เนื่องจากวัฏจักรธุรกิจ วงจรการประมวลผลข้อมูล ฮาร์ดแวร์ และข้อจำกัดของทรัพยากรเครือข่าย และองค์ประกอบทางภูมิศาสตร์ที่แตกต่างกัน จึงไม่สามารถดึงข้อมูลทั้งหมดจากฐานข้อมูลการดำเนินงานทั้งหมดได้อย่างแม่นยำในเวลาเดียวกัน

ตัวอย่าง − การแยกข้อมูลการขายรายวันอาจสมเหตุสมผล แต่การดึงข้อมูลรายวันไม่เหมาะกับข้อมูลทางการเงินที่ต้องใช้ขั้นตอนการกระทบยอดสิ้นเดือน ในทำนองเดียวกัน อาจเหมาะที่จะดึงข้อมูล "ลูกค้า" จากฐานข้อมูลในสิงคโปร์ในเวลาเที่ยงวันตามเวลามาตรฐานตะวันออก แต่ไม่เหมาะสำหรับข้อมูล "ลูกค้า" ในฐานข้อมูลของชิคาโก

ข้อมูลใน Data Warehouse สามารถคงอยู่ได้ (เช่น คงอยู่เป็นเวลานาน) หรืออยู่ชั่วคราว (เช่น ยังคงอยู่เพียงชั่วคราว) ไม่ใช่ทุกธุรกิจที่ต้องการพื้นที่จัดเตรียมคลังข้อมูล สำหรับธุรกิจจำนวนมาก ควรใช้ ETL เพื่อคัดลอกข้อมูลโดยตรงจากฐานข้อมูลในการดำเนินงานไปยัง Data Warehouse

ข้อดีและข้อเสียของการแสดงข้อมูล

ข้อดี

  • กระบวนการแสดงละครถูกควบคุมควบคู่ไปกับกระบวนการแปลงร่าง

  • ดิสก์ I/O ลดลงครึ่งหนึ่งเนื่องจากตารางการจัดเตรียมถูกเขียนไปยัง เทียบกับการเขียนไปยัง และแยกจากอีกครั้ง

ข้อเสีย

  • หากกระบวนการเปลี่ยนแปลงลดลง กระบวนการแสดงจะหยุดด้วย