ตัวอย่าง Data Generalization และ Analytical Generalization

ตัวอย่าง Data Generalization และ Analytical Generalization

Data generalization สรุปข้อมูลโดยแทนที่ relatively low-level values (เช่น numeric value สำหรับ attribute age) ด้วย high-level concepts (เช่น young, middle-aged, senior) เป็นกระบวนการที่ abstract large set of task-relevant data ใน database จาก relatively low conceptual level ไป higher conceptual levels

สองแนวทางสำหรับ efficient และ flexible generalization ของ large data sets

1. OLAP Approach

Data cube technology เป็น data warehouse-based, pre-computation-oriented, materialized view approach ทำ offline aggregation ก่อน OLAP หรือ data mining query ถูก submitted สำหรับ processing

2. Attribute-Oriented Induction (AOI) Approach

เป็น relational database query-oriented, generalization-based, online data analysis approach ใน AOI เริ่ม collect task-relevant data ด้วย relational database query แล้ว generalization ตาม examination ของ distinct values ของแต่ละ attribute ใน relevant data collection

Generalization ทำโดย attribute removal โดย combine identical generalized tuples และ accumulate respective counts ทำ aggregation ลดขนาด generalized data set และ interactive presentation กับ users

Basic Principles of Attribute-Oriented Induction Approach

• Data focusing: Data ต้อง task-related (dimensions) result = original relation
• Attribute-removal: เลือก relevant attributes หรือ remove attribute A ถ้ามี large set of distinct values สำหรับ A แต่ไม่มี generalization operator บน A หรือ A's higher-level concepts defined ใน terms ของ additional attributes
• Attribute generalization: ถ้ามี large set of distinct values สำหรับ A และมี set of generalization operators บน A เลือก operator และ generalize A
• Analytical characterization: Statistical approach preprocessing data filter out irrelevant attributes หรือ rank relevant attributes Measures of attribute relevance analysis ใช้ analyze irrelevant attributes ที่ exclude จาก concept description process การ include preprocessing step นี้เข้า class characterization/comparison เรียกว่า analytical characterization

Reasons for Attribute Relevance Analysis

• กำหนด dimensions ที่ควร included
• บรรลุ high level of generalization
• ลดจำนวน attributes ช่วย understand patterns ได้ง่าย

Basic concept: evaluate measure ที่คำนวณ relevance ของ attribute ต่อ given class หรือ approach Measures: information gain, ambiguity, correlation coefficient