C5 Pruning Algorithm
C5 เป็นเวอร์ชันปัจจุบันของ decision-tree algorithm ที่นักวิจัยออสเตรเลีย J. Ross Quinlan พัฒนาและปรับปรุงมาหลายปี เวอร์ชันก่อนหน้า ID3 สร้างในปี 1986 มีอิทธิพลใน machine learning และตัวต่อมาถูกใช้ในบริการ data mining ทางการค้าหลายแห่ง
Trees ที่ C5 สร้าง คล้ายกับที่ CART สร้าง คล้าย CART, C5 algorithm สร้าง overfit tree ก่อน แล้ว prune กลับเพื่อสร้างโมเดลที่ robust กว่า วิธี pruning ซับซ้อน แต่ C5 ไม่ใช้ validation set เพื่อเลือกจาก candidate subtrees
ข้อมูลเดียวกันที่ใช้สร้าง tree ยังใช้ตัดสินว่าต้อง prune tree ยังไง นี่สะท้อนฐานของอัลกอริทึมใน academic world ที่ก่อนหน้านี้ นักวิจัยมหาวิทยาลัยยากที่จะได้ real data 量 มากสำหรับ training sets จึงใช้เวลาและความพยายามมาก擠乾最后一点信息จากข้อมูล乏乏的ของพวกเขา — ปัญหาที่ data miners ในธุรกิจไม่เจอ
วิธีการ Prune ของ C5
C5 prunes tree โดยคำนวณ error rate ที่แต่ละ node และสมมติว่า true error rate แย่กว่านั้นมาก ถ้า N records ปรากฏที่ node และ E ตัวถูกจัดประเภทผิด error rate ที่ node นั้นคือ E/N
C5 ใช้สันนิษฐานกับ statistical sampling เพื่อประมาณ worst error rate ที่อาจเห็นที่ leaf สันนิษฐานทำงานโดยคิดว่าข้อมูลที่ leaf แทนผลลัพธ์ของ sequence of trials แต่ละ trial มีสองผลลัพธ์ที่เป็นไปได้
C5 สมมติว่า observed number of errors บน training data คือ low end ของ range นี้ และแทนที่ด้วย high end เพื่อได้ predicted error rate ของ leaf E/N บน unseen data Node ที่ลึกกว่า (lower) จะมี error rate สูงกว่า เมื่อ high-end estimate ของจำนวน errors ที่ node น้อยกว่า estimate สำหรับ errors ของ children ดังนั้น children ถูก pruned
เป้าหมายหลักของโมเดลคือทำ predictions ที่ consistent บน unseen data กฎที่ไม่บรรลุเป้าหมายนี้ควรลบออกจากโมเดล บาง data mining tools ให้ผู้ใช้ prune decision tree ด้วยตนเอง สิ่งนี้เป็นสुविधาที่ช่วย แต่คาดหวัง software ที่รองรับ automatic cost-based pruning เป็น option ต้องมีเกณฑ์น้อยกว่า subjective เช่น "distribution of validation set results ดูต่างจาก distribution of training group results"
