Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

ปัญหาต่างๆ เกี่ยวกับ Classification และ Prediction ใน Data Mining มีอะไรบ้าง?

มี Pre-processing Steps ต่อไปนี้ที่可用于 Data เพื่อช่วยเพิ่ม Accuracy, Effectiveness, และ Scalability ของ Classification หรือ Prediction Phase:

1. Data Cleaning (การทำความสะอาดข้อมูล)

Pre-processing ของ Data เพื่อกำจัดหรือลด Noise ด้วย Smoothing Methods และการจัดการ Missing Values (เช่น แทนที่ Missing Value ด้วย Most Frequently Occurring Value สำหรับ Attribute นั้น หรือ Best Probable Value จากสถิติ) แม้ Classification Algorithms หลายตัวมี Mechanisms จัดการ Noisy/Missing Data แต่ Step นี้ช่วยลด Confusion ระหว่าง Learning

2. Relevance Analysis (การวิเคราะห์ความเกี่ยวข้อง)

มี Attributes หลายตัวใน Data ที่อาจ Irrelevant (ไม่เกี่ยวข้อง) กับ Classification/Prediction Task ตัวอย่าง: Data บันทึกวันของสัปดาห์ที่ Loan Application ถูกกรอก ไม่น่าจะ Relevant กับ Success ของ Application บาง Attributes อาจ Redundant (ซ้ำซ้อน)

ดังนั้น Relevance Analysis 可用于 Data เพื่อลบ Irrelevant/Redundant Attributes ออกจาก Learning Process ใน Machine Learning 步骤นี้称为 Feature Selection (การเลือกคุณลักษณะ) ประกอบด้วย Attributes ที่อาจทำให้ Learning Step ช้าลง และอาจ Mislead (นำทางผิด)

อย่างถูกต้อง เวลาที่ใช้ใน Relevance Analysis เมื่อรวมกับเวลา Learning จาก "Reduced" Feature Subset ที่ได้ ต้องน้อยกว่าเวลาที่จะใช้ Learning จาก Initial Feature Set ดังนั้น Analysis นี้ช่วยเพิ่ม Classification Effectiveness และ Scalability

3. Data Transformation (การแปลงข้อมูล)

Data 可用于 Generalize ให้เป็น Higher-level Concept Concept Hierarchies 可用于 เป้าหมายนี้ มีประโยชน์โดยเฉพาะสำหรับ Continuous-valued Attributes ตัวอย่าง: ค่าตัวเลขของ Attribute Income 可用于 Generalize ให้เป็น Discrete Ranges: Low, Medium, High เช่นเดียวกัน Nominal-valued Attributes เช่น Street 可用于 Generalize ให้เป็น Higher-level Concepts เช่น City

เนื่องจาก Generalization ย่อ Training Data เริ่มต้น น้อยลง I/O Operations ระหว่าง Learning Data ยัง可用于 Normalize โดยเฉพาะเมื่อ Neural Networks หรือ Techniques ที่เกี่ยวกับ Distance Measurements ใช้ใน Learning Step

Normalization รวม Scaling ทุกค่าสำหรับ Attribute ให้อยู่ใน Small Specified Range เช่น -1.0 ถึง 1.0 หรือ 0 ถึง 1.0 ใน Approaches ที่ใช้ Distance Measurements ตัวอย่างเช่น สามารถป้องกัน Attributes ที่มี Range ใหญ่ตั้งแต่แรก (เช่น Income) จาก outweigh Attributes ที่มี Range เล็กตั้งแต่แรก (เช่น Binary Attributes)