การเลือกชุดย่อยแอตทริบิวต์ (Attribute Subset Selection) ลดขนาดชุดข้อมูลโดยกำจัดแอตทริบิวต์ที่ไม่เกี่ยวข้อง (Irrelevant) หรือซ้ำซ้อน (Redundant) เป้าหมายคือค้นหาชุดแอตทริบิวต์ขั้นต่ำ ที่ทำให้การกระจายความน่าจะเป็นของคลาสข้อมูลใกล้เคียงกับการใช้แอตทริบิวต์ทั้งหมดมากที่สุด การทำเหมืองข้อมูลบนชุดแอตทริบิวต์ที่ลดแล้ว มีประโยชน์เพิ่มเติม คือ ลดจำนวนแอตทริบิวต์ในรูปแบบที่ค้นพบ ทำให้รูปแบบเข้าใจง่ายขึ้น
สำหรับ n แอตทริบิวต์ มี 2ⁿ ชุดย่อยที่เป็นไปได้ การค้นหาแบบครบถ้วน (Exhaustive Search) เพื่อหาชุดย่อยที่เหมาะสมที่สุด อาจมีต้นทุนสูงมาก โดยเฉพาะเมื่อ n และจำนวนคลาสข้อมูลเพิ่มขึ้น ดังนั้น มักใช้วิธี היュอริสติก (Heuristic Methods) ที่สำรวจพื้นที่ค้นหาที่ลดรูป
วิธีเหล่านี้มักเป็นแบบ Greedy (โลภ) คือ ขณะค้นหาในพื้นที่แอตทริบิวต์ จะเลือกทางเลือกที่ดูดีที่สุดในขณะนั้น กลยุทธ์คือ ทำเลือกที่เหมาะสมท้องถิ่น (Locally Optimal) หวังว่าจะนำไปสู่คำตอบที่เหมาะสมสากล (Globally Optimal) วิธี Greedy มีประสิทธิภาพในทางปฏิบัติ และสามารถเข้าใกล้คำตอบเหมาะสมได้
แอตทริบิวต์ที่ดีและแย่ที่สุด มักกำหนดโดยการทดสอบนัยสำคัญทางสถิติ (Statistical Significance Tests) ซึ่งสมมติว่าแอตทริบิวต์อิสระต่อกัน สามารถใช้เกณฑ์ประเมินแอตทริบิวต์อื่นได้ เช่น Information Gain ที่ใช้ในการสร้าง Decision Tree สำหรับการจัดประเภท
วิธีการเลือกชุดย่อยแอตทริบิวต์
1. การเลือกแบบขยายไปข้างหน้า (Stepwise Forward Selection)
เริ่มจากชุดแอตทริบิวต์ว่าง (Null Set) เป็นชุดที่ลดแล้ว เลือกแอตทริบิวต์ที่ดีที่สุดจากแอตทริบิวต์ต้นฉบับเพิ่มเข้าไป ในแต่ละรอบต่อมา เลือกแอตทริบิวต์ที่ดีที่สุดจากแอตทริบิวต์ที่เหลือเพิ่มเข้าไป
2. การกำจัดแบบถอยหลัง (Stepwise Backward Elimination)
เริ่มจากชุดแอตทริบิวต์เต็ม ในแต่ละขั้นตอน กำจัดแอตทริบิวต์ที่แย่ที่สุดที่เหลืออยู่ในชุด
3. การรวมกันของการเลือกขยายหน้าและกำจัดถอยหลัง
รวมทั้งสองวิธี ในแต่ละขั้นตอน เลือกแอตทริบิวต์ที่ดีที่สุด และกำจัดแอตทริบิวต์ที่แย่ที่สุดจากแอตทริบิวต์ที่เหลือ
4. การ 유도ต้นไม้ตัดสินใจ (Decision Tree Induction)
อัลกอริทึมต้นไม้ตัดสินใจ เช่น ID3, C4.5, CART ถูกออกแบบมาสำหรับการจัดประเภทต้นฉบับ การ 유도ต้นไม้ตัดสินใจสร้างโครงสร้างแบบแผนผังไหล (Flowchart-like) โดย:
- โหนดภายใน (Internal Node) = การทดสอบบนแอตทริบิวต์
- กิ่ง (Branch) = ผลลัพธ์ของการทดสอบ
- โหนดใบ (Leaf Node) = การทำนายคลาส
