แนวทางการจำแนกประเภทที่ได้รับการตรวจสอบอย่างมากคือเครื่องจักรเวกเตอร์สนับสนุน (Support Vector Machine - SVM) แนวทางนี้มีรากฐานในทฤษฎีการเรียนรู้ทางสถิติ (Statistical Learning Theory) และแสดงผลลัพธ์เชิงประจักษ์ที่มีความเป็นไปได้ในหลายการประยุกต์ใช้งานจริง ตั้งแต่การระบุตัวเลขมือเขียน (Handwritten Digit Recognition) ไปจนถึงการจำแนกประเภทข้อความ (Text Classification)
SVM ทำงานกับข้อมูลมิติสูง (High-dimensional Data) และป้องกันปัญหาคลาสสิกของมิติ (Curse of Dimensionality) องค์ประกอบที่สองของแนวทางนี้คือมันกำหนดขอบเขตการตัดสินใจ (Decision Boundary) โดยใช้เซตย่อยของอินสแตนซ์ฝึกอบรม เรียกว่าเวกเตอร์สนับสนุน (Support Vectors)
SVM สามารถเตรียมได้อย่างชัดเจนเพื่อดูไฮเปอร์เพลน (Hyperplane) ประเภทนี้ในข้อมูลที่แยกเชิงเส้นได้ (Linearly Separable Data) สามารถบรรลุได้โดยการแสดงวิธีที่เมธอดโลยีของ SVM สามารถขยายไปยังข้อมูลที่แยกเชิงเส้นไม่ได้ (Non-linearly Separable Data) ชุดข้อมูลเป็น linearly separable คือ สามารถค้นพบไฮเปอร์เพลนที่มีทุกสี่เหลี่ยมอยู่ด้านหนึ่งของไฮเปอร์เพลน และทุกวงกลมอยู่อีกด้านหนึ่ง
ตัวแบ่งประเภทควรเลือกหนึ่งในไฮเปอร์เพลนเหล่านี้เพื่ออธิบายขอบเขตการตัดสินใจของมัน ขึ้นอยู่กับว่าพวกเขาคาดว่าจะทำงานได้ดีแค่ไหนบนอินสแตนซ์ทดสอบ พิจารณาขอบเขตการตัดสินใจสองขอบเขต B1 และ B2 ทั้งสองขอบเขตการตัดสินใจสามารถแยกอินสแตนซ์ฝึกอบรมเข้าไปในคลาสเฉพาะของพวกเขาโดยไม่ทำข้อผิดพลาดการจำแนกประเภทใดๆ แต่ละขอบเขตการตัดสินใจ Bi เกี่ยวข้องกับคู่ของไฮเปอร์เพลน ระบุว่า bi1 และ bi2 ตามลำดับ
bi1 ได้รับโดยการเลื่อนไฮเปอร์เพลนขนานออกจากขอบเขตการตัดสินใจจนกว่าจะสัมผัสสี่เหลี่ยมที่ใกล้ที่สุด ในขณะที่ bi2 ได้รับโดยการเลื่อนไฮเปอร์เพลนจนกว่าจะสัมผัสวงกลมที่ใกล้ที่สุด ระยะทางระหว่างไฮเปอร์เพลนสองตัวนี้เรียกว่าขอบเขต (Margin) ของตัวแบ่งประเภท
ขอบเขตการตัดสินใจที่มีขอบเขตสูงมีแนวโน้มที่จะมีข้อผิดพลาดการทำให้ทั่วไป (Generalization Errors) สูงกว่าของที่มีขอบเขตต่ำ หากขอบเขตเล็ก ดังนั้น การรบกวนเล็กน้อยต่อขอบเขตการตัดสินใจสามารถมีผลกระทบสำคัญต่อการจำแนกประเภทของมัน
คำอธิบายที่เหมาะสมที่เชื่อมโยงขอบเขตของตัวแบ่งประเภทเชิงเส้นกับข้อผิดพลาดการทำให้ทั่วไปของมัน กำหนดโดยหลักการสถิติการเรียนรู้ที่เรียกว่าการลดความเสี่ยงโครงสร้าง (Structural Risk Minimization - SRM) หลักการนี้ให้ขอบเขตบน (Upper Bound) ของข้อผิดพลาดการทำให้ทั่วไปของตัวแบ่งประเภท (R) ในรูปของข้อผิดพลาดการฝึกอบรม (Re), จำนวนตัวอย่างฝึกอบรม (N), และความซับซ้อนของโมเดลที่เรียกว่าความจุ (Capacity - h) โดยเฉพาะเจาะจง ด้วยความน่าจะเป็น 1 - n ข้อผิดพลาดการทำให้ทั่วไปของตัวแบ่งประเภทสามารถแย่ที่สุดเป็น
$$\mathrm{R\leq\:R_e\:+\varphi(\frac{h}{N},\frac{\log(n)}{N})}$$
โดยที่ φ เป็นฟังก์ชันเพิ่มขึ้นแบบเดี่ยว (Monotone Increasing Function) ของความจุ h อสมการก่อนหน้านี้อาจคุ้นเคยกับผู้อ่านเพราะมันจำลองหลักการความยาวคำอธิบายขั้นต่ำ (Minimum Description Length - MDL) SRM เป็นอีกแนวทางหนึ่งในการกำหนดข้อผิดพลาดการทำให้ทั่วไปเป็นการแลกเปลี่ยนระหว่างข้อผิดพลาดการฝึกอบรมและความซับซ้อนของโมเดล
เรียนรู้ SVM: Linearly Separable Data, Hyperplane, Margin (bi1, bi2), Support Vectors, Structural Risk Minimization (SRM), Generalization Error Bound Formula, ความสัมพันธ์กับ MDL Principle
