Entropy-based Discretization (การแบ่งช่วงแบบเอนโทรปี) เป็นแนวทาง Supervised Top-down Splitting สำรวจ Class Distribution Data ในการคำนวณและการรักษา Split-points (ค่าข้อมูลสำหรับแยก Attribute Range) สามารถ Discretize Statistical Attribute A ได้ โดยวิธีเลือกค่าของ A ที่มี Entropy ต่ำสุด (Minimum Entropy) เป็น Split-point และแบ่งช่วง (Recursively Partitions) ช่วงที่ได้ เพื่อให้ได้ Hierarchical Discretization
Discretization เฉพาะเจาะจง สร้าง Concept Hierarchy สำหรับ A ให้ D รวม Data Tuples ที่อธิบายโดยกลุ่ม Attributes และ Class-label Attribute Class-label Attribute ให้ Class Information ต่อ Tuple แนวทางพื้นฐานสำหรับ Entropy-based Discretization ของ Attribute A ภายใน Set มีดังนี้:
แต่ละค่าของ A สามารถจัดการเป็น Potential Interval Boundary หรือ Split-point (Split Point ที่ระบุ) เพื่อ Partition พื้นที่ของ A นั่นคือ Split-point สำหรับ A สามารถแบ่ง Tuples ใน D เป็น 2 Subsets ที่ปฏิบัติตามเงื่อนไข A ≤ Split Point และ A > Split Point ตามลำดับ สร้าง Binary Discretization
Entropy-based Discretization ใช้ข้อมูลเกี่ยวกับ Class Label ของ Tuples เพื่อกำหนด Intuition หลัง Entropy-based Discretization ควรดูที่ Classification สมมติต้องการจัดประเภท Tuples ใน D โดย Partition บน Attribute A และ Split-point บางอย่าง
ตัวอย่าง หากมี 2 Classes คาดหวังว่าบาง Tuples ของ Class C1 จะตกใน Partition หนึ่ง และบาง Tuples ของ Class C2 ตกในอีก Partition แต่สิ่งนี้ไม่น่าจะเป็นจริง ตัวอย่าง Partition แรกอาจมี Tuples ของ C1 หลายตัว แต่ก็มี C2 บ้าง จำนวนนี้รู้จักว่า Expected Information Requirement สำหรับการกำหนด Tuple ใน D ตาม Partition โดย A กำหนดโดย:
$$\mathrm{Info_A(D)\:=\:\frac{\mid\:D_1\:\mid}{\mid\:D\:\mid}Entrophy(D_1)\:+\:\frac{\mid\:D_2\:\mid}{\mid\:D\:\mid}Entrophy(D_2)}$$
โดย D1 และ D2 ตรงกับ Tuples ใน D ที่ Refresh เงื่อนไข A ≤ Split Point และ A > Split Point ตามลำดับ |D| คือจำนวน Tuples ใน D ฯลฯ Entropy Function สำหรับ Set ที่กำหนด คำนวณบนพื้นฐาน Class Distribution ของ Tuples ใน Set
ตัวอย่าง กำหนด m Classes C1, C2... Cm Entropy ของ D1 คือ:
$$\mathrm{Entrophy(D_1)}\:=\:-\displaystyle\sum\limits_{i=1}^m P_i{\log_{2}(P_i)}$$
ขั้นตอนการตัดสิน Split-point ใช้ซ้ำ (Recursively) กับแต่ละ Partition ที่ได้ จนกว่าจะพบ Stopping Criterion รวมถึงเมื่อ Minimum Information Requirement บน Student Split-points ทั้งหมด น้อยกว่า Threshold เล็ก ε หรือเมื่อ Multiple สูงกว่า Threshold max_interval
