ขั้นตอนของ Knowledge Discovery in Databases (KDD)
KDD = Knowledge Discovery in Databases นิยามกระบวนการกว้างของการค้นพบความรู้ในข้อมูล และเน้น high-level applications ของ definite data mining techniques เป็นสาขาที่นักวิจัยหลายสาขาสนใจ: AI, machine learning, pattern recognition, databases, statistics, knowledge acquisition for expert systems, data visualization
วัตถุประสงค์หลักของ KDD process: extract knowledge จาก information ใน context ของ large databases ทำได้โดยใช้ Data Mining algorithms ระบุสิ่งที่ถือว่าเป็น knowledge
KDD ถูกมองเป็น programmed, exploratory analysis และ modeling ของ large data repositories KDD คือ organized process ของการระบุ valid, useful, และ understandable patterns จาก large และ complex data sets
Data Mining เป็น core ของ KDD process คือการ infer algorithms ที่สำรวจ records, สร้าง model, และค้นพบ previously unknown patterns Model ใช้สำหรับ extract knowledge, analyze information, และ predict information
Data mining เป็นขั้นตอนใน KDD process ที่ประกอบด้วยการ apply data analysis และ discovery algorithms ที่ภายใต้ computational efficiency limitations ที่ยอมรับได้ ทำ enumeration ของ patterns (หรือ models) เฉพาะเจาะจง over the data
KDD process ประกอบด้วย: ใช้ database พร้อม selection, preprocessing, subsampling, transformations ที่จำเป็น; ใช้ data-mining methods (algorithms) enumerate patterns; และ evaluate products ของ data mining เพื่อระบุ subset ของ enumerated patterns ที่ถือว่าเป็น knowledge
ขั้นตอนในกระบวนการ Knowledge Discovery
- Selection (การเลือก): รวบรวมข้อมูลที่ต้องสำหรับ data mining จากแหล่งต่างๆ ขั้นแรกคือเลือก dataset หรือ focus บน subset ของ variables/data samples ที่จะทำ discovery
- Data cleaning and preprocessing (การทำความสะอาดและเตรียมข้อมูล): ข้อมูลอาจมี missing/incorrect values basic operations: remove noise, collect info สำหรับ model หรือ account for noise, decide techniques สำหรับ missing data fields, account for time-sequence information
- Data transformation (การแปลงข้อมูล): หา useful features แทนข้อมูลขึ้นอยู่กับ goal of the task ด้วย dimensionality reduction หรือ transformation approaches ลด effective number of variables หรือหา invariant representation
- Data mining (การขุดข้อมูล): ตาม data mining task ที่ทำ ใช้ algorithm กับ transformed data ค้นหา patterns ที่น่าสนใจใน representational form เฉพาะหรือชุด representations เช่น classification rules/trees, regression, clustering
- Interpreting mined patterns (การตีความ patterns ที่ขุดได้): อาจรวม visualization ของ extracted patterns/models หรือ visualization ของข้อมูลใน extracted models
