Computer >> คอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

การนำ Data Warehouse ไปใช้งานคืออะไร?


คลังข้อมูลมีข้อมูลปริมาณมหาศาล เซิร์ฟเวอร์ OLAP ต้องการการยอมรับคำค้นหาการสนับสนุนการตัดสินใจในลำดับวินาที ดังนั้น จึงจำเป็นสำหรับระบบคลังข้อมูลในการจัดเตรียมเทคนิคการคำนวณคิวบ์ เทคนิคการเข้าถึง และเทคนิคการประมวลผลคิวรีที่มีประสิทธิภาพสูง

การคำนวณอย่างมีประสิทธิภาพของลูกบาศก์ข้อมูล

หัวใจสำคัญของการวิเคราะห์ข้อมูลหลายมิติคือการคำนวณการรวมกลุ่มของมิติข้อมูลจำนวนมากอย่างมีประสิทธิภาพ ในเงื่อนไขของ SQL การรวมเหล่านี้เรียกว่า group-by's แต่ละ group-by สามารถแสดงด้วยลูกบาศก์ โดยที่ชุดของ group-by's ก่อรูปสี่เหลี่ยมขนมเปียกปูนของลูกบาศก์ที่กำหนด data cube

มีสามตัวเลือกสำหรับการสร้าง data cube โดยกำหนดลูกบาศก์ฐาน -

  • ไม่มีการเกิดขึ้นจริง − มันไม่ได้คำนวณล่วงหน้าของทรงลูกบาศก์ "ที่ไม่ใช่เบส" ใดๆ สิ่งนี้นำไปสู่การคำนวณมวลรวมหลายมิติที่มีราคาแพงในทันที ซึ่งอาจช้ามาก

  • การทำให้เป็นจริงอย่างสมบูรณ์ − มันสามารถคำนวณคิวบอยด์ทั้งหมดล่วงหน้าได้ แลตทิซที่ได้ของลูกบาศก์ที่คำนวณได้ถูกกำหนดให้เป็นลูกบาศก์เต็ม ตัวเลือกนี้มักต้องการพื้นที่หน่วยความจำจำนวนมากเพื่อจัดเก็บลูกบาศก์ที่คำนวณไว้ล่วงหน้าทั้งหมด

  • การทำให้เป็นรูปเป็นร่างบางส่วน − สามารถเลือกคำนวณเซตย่อยที่เหมาะสมของลูกบาศก์ทั้งหมดที่เป็นไปได้ อีกวิธีหนึ่งคือสามารถคำนวณชุดย่อยของคิวบ์ ซึ่งรวมถึงเฉพาะเซลล์ที่ตรงตามเกณฑ์ที่ผู้ใช้ระบุ ซึ่งรวมถึงตำแหน่งที่จำนวนทูเพิลของแต่ละเซลล์เป็นไปตามเกณฑ์

การจัดทำดัชนีข้อมูล OLAP

สามารถรองรับการเข้าถึงข้อมูลได้อย่างมีประสิทธิภาพ ระบบคลังข้อมูลบางระบบมีโครงสร้างดัชนีและมุมมองที่เป็นรูปธรรม (โดยใช้ลูกบาศก์) วิธีการสร้างดัชนีบิตแมปมีชื่อเสียงในผลิตภัณฑ์ OLAP เนื่องจากช่วยให้ค้นหาข้อมูลในคิวบ์ได้อย่างรวดเร็ว ดัชนีบิตแมปเป็นทางเลือกแทนรายการบันทึก ID (RID)

ในดัชนีบิตแมปสำหรับแอตทริบิวต์ที่กำหนด มีเวกเตอร์บิตที่แตกต่างกันคือ Bv สำหรับแต่ละค่า v ในโดเมนของแอตทริบิวต์ หากโดเมนของแอตทริบิวต์ที่กำหนดมีค่า n ค่า แต่ละรายการในดัชนีบิตแมปจะต้องใช้ n บิต (นั่นคือ มีเวกเตอร์ n บิต) หากแอตทริบิวต์มีค่า v สำหรับแถวที่กำหนดในตารางข้อมูล บิตที่กำหนดค่านั้นจะถูกตั้งค่าเป็น 1 ในแถวที่สอดคล้องกันของดัชนีบิตแมป บิตอื่นๆ ทั้งหมดสำหรับแถวนั้นถูกตั้งค่าเป็น 0

การประมวลผลแบบสอบถาม OLAP อย่างมีประสิทธิภาพ

เป้าหมายของการทำให้เป็นรูปลูกบาศก์เป็นรูปเป็นร่างและการสร้างโครงสร้างดัชนี OLAP คือการเพิ่มความเร็วในการประมวลผลคิวรีในคิวบ์ข้อมูล

  • กำหนดว่าควรทำการดำเนินการใดกับลูกบาศก์ที่มีอยู่ − สิ่งนี้ประกอบด้วยการแปลงการดำเนินการการเลือก การฉายภาพ การสรุป (จัดกลุ่มตาม) และการเจาะลึกที่แสดงในแบบสอบถามเป็นการดำเนินการ SQL และ/หรือ OLAP ที่สอดคล้องกัน ตัวอย่างเช่น การแบ่งส่วนและแบ่งลูกบาศก์ข้อมูลสามารถสอดคล้องกับการดำเนินการเลือกและการฉายภาพบนลูกบาศก์ที่เป็นรูปธรรม

  • กำหนดว่าควรใช้การดำเนินการที่เกี่ยวข้องของลูกบาศก์ที่เป็นรูปเป็นร่างใด − ประกอบด้วยการระบุลูกบาศก์ที่เป็นรูปเป็นร่างบางส่วนที่อาจใช้เพื่อตอบคำถาม ตัดแต่งชุดต่อไปนี้โดยใช้ความรู้เกี่ยวกับความสัมพันธ์ "การครอบงำ" ระหว่างทรงลูกบาศก์ การประมาณค่าของการใช้ทรงลูกบาศก์ที่เป็นรูปธรรมที่เหลืออยู่ และเลือกทรงลูกบาศก์ด้วยต้นทุนขั้นต่ำ