ความหมาย
Attribute Selection Measure (ขนาดการเลือกแอตทริบิวต์) เป็นฮิวริสติก (heuristic) สำหรับเลือกเกณฑ์การแบ่ง (splitting criterion) ที่ "ดีที่สุด" (best) แยกชุดข้อมูล D ที่มีป้ายกำกับคลาส (class-labeled training tuples) ออกเป็นคลาสเดี่ยว (individual classes)
หากสามารถแบ่ง D เป็นพาร์ติชันเล็กๆ ตามผลลัพธ์ของเกณฑ์การแบ่ง โดยในที่สุดแต่ละพาร์ติชันจะเป็น pure (คือ ทุกทูเพิลที่อยู่ในพาร์ติชันที่กำหนดเป็นของคลาสเดียวกัน) แนวคิดของเกณฑ์การแบ่งที่ "ดีที่สุด" คือ สิ่งที่ประมาณการผลลัพธ์ในลักษณะนั้นได้มากที่สุด Attribute selection measures เรียกว่า splitting rules เพราะพวกเขาตัดสินใจว่าทูเพิลที่โหนดที่กำหนดจะถูกแบ่งอย่างไร
Attribute selection measure ให้การจัดอันดับ (ranking) สำหรับแต่ละแอตทริบิวต์ที่กำหนดชุดข้อมูลฝึกที่กำหนด แอตทริบิวต์ที่มีค่าที่ดีที่สุดสำหรับขนาดวัด จะถูกเลือกเป็นแอตทริบิวต์แบ่ง (splitting attribute) สำหรับทูเพิลที่กำหนด
หากแอตทริบิวต์แบ่งเป็นค่าคงที่ (constant-valued) หรือถูกจำกัดให้เป็นต้นไม้ไบนารี (binary trees) ตามลำดับ จะต้องกำหนดจุดแบ่ง (split point) หรือเซตย่อยการแบ่ง (splitting subset) เป็นองค์ประกอบของเกณฑ์การแบ่ง โหนดต้นไม้ที่สร้างสำหรับพาร์ติชัน D จะติดป้ายกำกับด้วยเกณฑ์การแบ่ง สาขาขยายออกสำหรับแต่ละผลลัพธ์ของเกณฑ์ และทูเพิลถูกแยกตามลำดับ
มี attribute selection measures ที่มีชื่อเสียงสามตัว ได้แก่ Information Gain, Gain Ratio, และ Gini Index
1. Information Gain (การได้ข้อมูล)
Information gain ใช้สำหรับตัดสินใจฟีเจอร์/แอตทริบิวต์ที่ดีที่สุด ที่ให้ข้อมูลสูงสุดเกี่ยวกับคลาส มันปฏิบัติตามวิธีของเอนโทรปี (entropy) ในขณะที่มุ่งลดระดับเอนโทรปี เริ่มจากโหนดราก (root node) ไปยังโหนดใบ (leaf nodes)
ให้โหนด N แทนหรือเก็บทูเพิลของพาร์ติชัน D แอตทริบิวต์ที่มี information gain สูงสุด จะถูกเลือกเป็นแอตทริบิวต์แบ่งสำหรับโหนด N แอตทริบิวต์นี้ลดข้อมูลที่จำเป็นในการกำหนดทูเพิลในพาร์ติชันย่อยที่ได้ และสะท้อนความสุ่มหรือ "ความไม่บริสุทธิ์" (impurity) ที่น้อยที่สุดในพาร์ติชันย่อยเหล่านี้
2. Gain Ratio (อัตราส่วนการได้)
ขนาดวัด Information gain มีความลำเอียง (biased) ไปทางการทดสอบที่มีหลายผลลัพธ์ มันมีแนวโน้มเลือกแอตทริบิวต์ที่มีจำนวนค่ามาก ตัวอย่างเช่น พิจารณาแอตทริบิวต์ที่ทำหน้าที่เป็นตัวระบุตัวตนที่ไม่ซ้ำ (unique identifier) เช่น Product ID
การแบ่งตาม Product ID จะทำให้ได้พาร์ติชันจำนวนมาก แต่ละอันมีเพียงทูเพิลเดียว เนื่องจากแต่ละพาร์ติชันเป็น pure ข้อมูลที่จำเป็นในการกำหนดชุดข้อมูล D ตามการแบ่งพาร์ติชันนี้จะเป็น Infoproduct_ID(D) = 0
3. Gini Index (ดัชนี Gini)
Gini index ใช้ใน CART Gini index คำนวณความไม่บริสุทธิ์ (impurity) ของ D พาร์ติชันข้อมูลหรือชุดทูเพิลฝึก ดังนี้:
$$\mathrm{Gini(D)=1-\displaystyle\sum\limits_{i=1}^m p_i^2}$$
โดยที่ pi คือ ความน่าจะเป็นที่ทูเพิลใน D เป็นของคลาส Ci และคำนวณโดย |Ci,D|/|D|
