ลักษณะเฉพาะของการนำเข้าต้นไม้ตัดสินใจ (Decision Tree Induction) มีอะไรบ้าง

มีลักษณะเฉพาะต่างๆ ของการนำเข้าต้นไม้ตัดสินใจ (Decision Tree Induction) ดังนี้:

การนำเข้าต้นไม้ตัดสินใจเป็นวิธีแบบไม่พารามิเตอร์ (Nonparametric) สำหรับสร้างโมเดลการจำแนกประเภท กล่าวอีกนัยหนึ่ง มันไม่ต้องการสมมติฐานก่อนหน้าใดๆ เกี่ยวกับประเภทของการกระจายความน่าจะเป็นที่คลาสและแอตทริบิวต์ต่างๆ ตอบสนอง

การค้นหาต้นไม้ตัดสินใจที่เหมาะสมที่สุด (Optimal Decision Tree) เป็นปัญหา NP-complete หลายอัลกอริทึมต้นไม้ตัดสินใจใช้แนวทางแบบ היอริสติก (Heuristic-based) เพื่อนำทางการค้นหาในพื้นที่สมมติฐานที่กว้างใหญ่

มีเทคนิคต่างๆ พัฒนาขึ้นสำหรับสร้างต้นไม้ตัดสินใจที่มีค่าใช้จ่ายการคำนวณต่ำ (Computationally Inexpensive) ทำให้สามารถสร้างโมเดลได้อย่างรวดเร็วแม้ขนาดชุดฝึกอบรมจะใหญ่มาก นอกจากนี้ เนื่องจากต้นไม้ตัดสินใจได้รับการพัฒนาแล้ว การจำแนกข้อมูลทดสอบเป็นเรื่องรวดเร็วมาก ด้วยความซับซ้อนกรณีแย่ที่สุด O(w) โดยที่ w คือความลึกสูงสุดของต้นไม้

ต้นไม้ตัดสินใจ โดยเฉพาะต้นไม้ขนาดเล็ก ค่อนข้างง่ายที่จะนำไปใช้งาน ประสิทธิภาพของต้นไม้ก็เทียบเท่ากับวิธีการจำแนกประเภทหลายวิธีสำหรับชุดข้อมูลหลายชุด

ต้นไม้ตัดสินใจสนับสนุนการแสดงผลที่มี 표현力 (Expressive Representation) สำหรับการเรียนรู้ฟังก์ชันค่าที่ไม่ต่อเนื่อง (Discrete-valued Functions) แต่พวกมันไม่ทำให้ทั่วไปได้ดีสำหรับวิธีเฉพาะของปัญหาบูลีน (Boolean Problems) ตัวอย่างคือฟังก์ชัน parity (Parity Function) ซึ่งมีค่า 0 (1) เมื่อมีแอตทริบิวต์บูลีนจำนวนคี่ (คู่) ที่มีค่า True

การมีอยู่ของแอตทริบิวต์ซ้ำ (Redundant Attributes) ไม่ส่งผลต่อประสิทธิภาพของต้นไม้ตัดสินใจ แอตทริบิวต์เป็นซ้ำหากมันมีความสัมพันธ์แรงกับแอตทริบิวต์อื่นในข้อมูล สองแอตทริบิวต์ซ้ำไม่สามารถใช้สำหรับแบ่งได้ เพราะอีกแอตทริบิวต์หนึ่งถูกเลือกแล้ว

แต่ถ้าชุดข้อมูลมีแอตทริบิวต์ที่ไม่เกี่ยวข้อง (Irrelevant Attributes) หลายตัว คือ แอตทริบิวต์ที่ไม่มีประโยชน์สำหรับฟังก์ชันการจำแนกประเภท แล้วแอตทริบิวต์ที่ไม่เกี่ยวข้องบางตัวอาจถูกเลือกโดยบังเอิญระหว่างกระบวนการเจริญเติบโตของต้นไม้ ซึ่งทำให้ได้ต้นไม้ตัดสินใจที่ใหญ่กว่าที่จำเป็น เทคนิคการเลือกคุณลักษณะ (Feature Selection) สามารถช่วยปรับปรุงความแม่นยำของต้นไม้ตัดสินใจโดยการกำจัดแอตทริบิวต์ที่ไม่เกี่ยวข้องระหว่างการเตรียมข้อมูลล่วงหน้า (Preprocessing)

เนื่องจากอัลกอริทึมต้นไม้ตัดสินใจหลายตัวใช้วิธีแบ่งแบบลงจากบน (Top-down) และแบ่งแบบเรียกซ้ำ (Recursive Partitioning) จำนวนข้อมูลจะเล็กลงเมื่อเดินลงไปในต้นไม้ ที่โหนดใบ จำนวนข้อมูลอาจเล็กเกินไปที่จะตัดสินใจอย่างมีนัยสำคัญทางสถิติเกี่ยวกับคำอธิบายคลาสของโหนด นี่เรียกว่าปัญหาการแยกข้อมูล (Data Fragmentation Problem) วิธีแก้ไขที่เป็นไปได้คือห้ามการแบ่งเพิ่มเติมเมื่อจำนวนข้อมูลลดลงต่ำกว่าเกณฑ์เฉพาะ

ซับต้นไม้ (Subtree) สามารถทำซ้ำหลายครั้งในต้นไม้ตัดสินใจ นี่ทำให้ต้นไม้ตัดสินใจซับซ้อนกว่าที่จำเป็น และอาจซับซ้อนมากขึ้นในการนำไปใช้ สถานการณ์ต่างๆ สามารถเกิดขึ้นจากการนำต้นไม้ตัดสินใจไปใช้ที่ขึ้นอยู่กับเงื่อนไขการทดสอบแอตทริบิวต์เดียวที่โหนดภายในทุกโหนด

บางอัลกอริทึมต้นไม้ตัดสินใจต้องการแนวทางแบ่งแยกแบบแบ่ง-เอาชนะ (Divide-and-Conquer Partitioning) เงื่อนไขการทดสอบเดียวกันสามารถนำไปใช้กับหลายส่วนของพื้นที่แอตทริบิวต์ ดังนั้นนำไปสู่ปัญหาการทำซ้ำซับต้นไม้ (Subtree Replication Issues)