Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

Measures ใน Data Mining คำนวณอย่างไร? Distributive Algebraic Holistic


Measures (ขนาด/การวัด) สามารถจัดระเบียบเป็น 3 ประเภท ได้แก่ Distributive, Algebraic และ Holistic ขึ้นอยู่กับประเภทของ Aggregate Functions ที่ใช้

1. Distributive (การแจกแจง)

Aggregate Function เป็น Distributive หากคำนวณได้ในลักษณะ Distributed ดังนี้ พิจารณาข้อมูลแบ่งเป็น n Sets สามารถใช้ Function ไปแต่ละ Partition ได้ n Aggregate Values

ถ้าผลลัพธ์ที่เปลี่ยนแปลงโดยการใช้ Function กับ n Aggregate Values เหมือนกับที่ได้จากการใช้ Function กับ Whole Data Set (โดยไม่ Partition) Function นั้นสามารถประเมินได้ในลักษณะ Distributed

ตัวอย่าง Count() คำนวณได้สำหรับ Data Cube โดย Partition Cube เป็นกลุ่ม Subcubes คำนวณ Count() สำหรับทุก Subcube และ Sum Counts ที่ได้จากแต่ละ Subcube ดังนั้น Count() เป็น Distributive Aggregate Function

Measure เป็น Distributive หากได้จากการใช้ Distributive Aggregate Function Distributive Measures คำนวณได้อย่างมีประสิทธิภาพ เพราะคำนวณได้แบบ Distributed

2. Algebraic (ทางพีชคณิต)

Aggregate Function เป็น Algebraic หากคำนวณได้โดย Algebraic Function ด้วย M Arguments (M เป็น Positive Integer ที่มีขอบเขต) แต่ละอันได้จากการใช้ Distributive Aggregate Function

ตัวอย่าง Avg() (Average) คำนวณได้โดย Sum()/Count() โดยทั้ง Sum() และ Count() เป็น Distributive Aggregate Functions ทương tự สามารถแสดงได้ว่า Min N() และ Max N() (หา N ค่าต่ำสุดและสูงสุด ในชุดที่กำหนด) และ Standard Deviation() เป็น Algebraic Aggregate Functions Measure เป็น Algebraic หากได้จากการใช้ Algebraic Aggregate Function

3. Holistic (เชิง整体/สมบูรณ์)

Aggregate Function เป็น Holistic หากไม่มี Fixed Bound บน Storage Size ที่ต้องการสำหรับการกำหนด Subaggregate หากไม่มี Algebraic Function ด้วย M Arguments (M เป็น Constant) ที่อธิบายการคำนวณ

ตัวอย่าง Holistic Functions เช่น Median(), Mode(), Rank() Measure เป็น Holistic หากได้จากการใช้ Holistic Aggregate Function

แอปพลิเคชัน Data Cube ขนาดใหญ่ส่วนใหญ่ต้องการการคำนวณ Distributive และ Algebraic Measures อย่างมีประสิทธิภาพ มีวิธีที่มีประสิทธิภาพบางอย่างสำหรับนี้ ในทางตรงข้าม การคำนวณ Holistic Measures อย่างมีประสิทธิภาพเป็นเรื่องซับซ้อน วิธีที่มีประสิทธิภาพในการประมาณการคำนวณ Holistic Measures บางอย่าง ยังมีอยู่

ตัวอย่าง แทนที่จะคำนวณ Exact Median() สามารถคำนวณ Approximate Median Value สำหรับ Large Data Set ในบางกรณี วิธีเหล่านี้เพียงพอที่จะเอาชนะความยากลำบากของการคำนวณ Holistic Measures อย่างมีประสิทธิภาพ