Attribute Subset Selection (การเลือกชุดย่อยแอตทริบิวต์) ลดขนาดชุดข้อมูลโดยการกำจัด Attributes (หรือ Dimensions) ที่ไม่เกี่ยวข้องหรือซ้ำซ้อน (Redundant) วัตถุประสงค์คือค้นพบ Minimum Set ของ Attributes ที่ทำให้ Probability Distribution ต่อไปของ Data Classes ใกล้เคียงกับ Original Distribution ที่ได้จากการใช้ Attributes ทั้งหมดมากที่สุด
สำหรับ n Attributes มี 2n Possible Subsets การค้นหา Exhaustive สำหรับ Optimal Subset อาจมีต้นทุนสูงมาก โดยเฉพาะเมื่อ n และจำนวน Data Classes เพิ่มขึ้น ดังนั้น Heuristic Approaches ที่สำรวจ Reduced Search Space มักใช้สำหรับ Attribute Subset Selection
แนวทางเหล่านี้บ่อยครั้งเป็น Greedy (ขี้หนา) นั่นคือขณะค้นหาผ่าน Attribute Space พวกเขาตลอดเวลาทำสิ่งที่ดูเป็น Best Choice ในขณะนั้น แนวทางของพวกเขาคือพัฒนา Locally Optimal Choice ในหวังว่าจะนำไปสู่ Globally Optimal Solution เทคนิค Greedy เหล่านี้มีประสิทธิภาพในทางปฏิบัติ และสามารถเข้าใกล้คำนวณ Optimal Solution ได้
"Best" และ "Worst" Attributes โดยทั่วไปตัดสินใจโดย Statistical Significance Tests ซึ่งพิจารณาว่า Attributes แยกจากกัน Attribute Evaluation Measures ที่ต่างกันสามารถใช้ได้ รวมถึง Information Gain Measure ที่ใช้ในการสร้าง Decision Trees สำหรับ Classification
Heuristic Methods พื้นฐานของ Attribute Subset Selection
1. Stepwise Forward Selection (การคัดเลือกขั้นไปข้างหน้า)
กระบวนการเริ่มต้นด้วย Null Set ของ Attributes เป็น Reduced Set The Best ของ Initial Attributes ถูกตัดสินใจและ Insert เข้า Reduced Set ที่แต่ละ Iteration หรือ Step ต่อไป Initial Attributes ที่เหลือถูก Insert เข้า Set
2. Stepwise Backward Elimination (การกำจัดขั้นย้อนหลัง)
กระบวนการเริ่มต้นด้วย Full Set ของ Attributes ที่แต่ละ Phase กำจัด Worst Attribute ที่เหลือใน Set
3. Combination of Forward Selection และ Backward Elimination
Stepwise Forward Selection และ Backward Elimination สามารถผสมผสานได้ เพื่อที่แต่ละ Phase กระบวนการเลือก Best Attribute และ Eliminate Worst จากระหว่าง Remaining Attributes
4. Decision Tree Induction (การนำเข้า Decision Tree)
Decision Tree Algorithms รวมถึง ID3, C4.5, และ CART พัฒนาเริ่มต้นสำหรับ Classification Decision Tree Induction สร้างโครงสร้างแบบ Flowchart ที่แต่ละ Internal (Non-leaf) Node แสดง Test บน Attribute แต่ละ Branch ตรงกับ Outcome ของ Test และแต่ละ External (Leaf) Node แสดง Class Prediction ที่แต่ละ Node Algorithm เลือก "Best" Attribute เพื่อ Partition ข้อมูลเป็น Single Classes
เมื่อ Decision Tree Induction ใช้สำหรับ Attribute Subset Selection Tree ถูกสร้างจากข้อมูลที่กำหนด Attributes ทั้งหมดที่ไม่เกิดใน Tree ถูกพิจารณาว่า Irrelevant กลุ่ม Attributes ที่เกิดใน Tree สร้าง Reduced Subset ของ Attributes
