ลักษณะเฉพาะของ SVM (Support Vector Machine) มีอะไรบ้าง

แนวทางการจำแนกประเภทที่ได้รับการตรวจสอบอย่างมากคือเครื่องจักรเวกเตอร์สนับสนุน (Support Vector Machine - SVM) แนวทางนี้มีรากฐานในทฤษฎีการเรียนรู้ทางสถิติ (Statistical Learning Theory) และแสดงผลลัพธ์เชิงประจักษ์ที่มีความเป็นไปได้ในหลายการประยุกต์ใช้งานจริง ตั้งแต่การระบุตัวเลขมือเขียน (Handwritten Digit Recognition) ไปจนถึงการจำแนกประเภทข้อความ (Text Classification)

SVM ทำงานกับข้อมูลมิติสูง (High-dimensional Data) และป้องกันปัญหาคลาสสิกของมิติ (Curse of Dimensionality) องค์ประกอบที่สองของแนวทางนี้คือมันกำหนดขอบเขตการตัดสินใจ (Decision Boundary) โดยใช้เซตย่อยของอินสแตนซ์ฝึกอบรม เรียกว่าเวกเตอร์สนับสนุน (Support Vectors)

SVM สามารถเตรียมได้อย่างชัดเจนเพื่อดูไฮเปอร์เพลน (Hyperplane) ประเภทนี้ในข้อมูลที่แยกเชิงเส้นได้ (Linearly Separable Data) สามารถบรรลุได้โดยการแสดงวิธีที่เมธอดโลยีของ SVM สามารถขยายไปยังข้อมูลที่แยกเชิงเส้นไม่ได้ (Non-linearly Separable Data) ชุดข้อมูลเป็น linearly separable คือ สามารถค้นพบไฮเปอร์เพลนที่มีทุกสี่เหลี่ยมอยู่ด้านหนึ่งของไฮเปอร์เพลน และทุกวงกลมอยู่อีกด้านหนึ่ง

ความจุ (Capacity) ของโมเดลเชิงเส้นเกี่ยวข้องผกผันกับขอบเขต (Margin) ของมัน โมเดลที่มีขอบเขตเล็กมีความจุมากกว่า เพราะพวกมันทรงพลังและสามารถเข้ากับชุดฝึกอบรมบางชุดได้ ไม่เหมือนโมเดลที่มีขอบเขตสูง ตามหลักการ SRM (Structural Risk Minimization) เมื่อความจุเพิ่มขึ้น ขอบเขตข้อผิดพลาดการทำให้ทั่วไป (Generalization Error Bound) สามารถเพิ่มขึ้นได้ ดังนั้น จึงพึงประสงค์ที่จะสร้างตัวแบ่งประเภทเชิงเส้นที่เพิ่มขอบเขตของขอบเขตการตัดสินใจให้สูงสุด เพื่อให้แน่ใจว่าข้อผิดพลาดการทำให้ทั่วไปกรณีแย่ที่สุดของพวกเขาถูกลดลง

SVM แบบเชิงเส้น (Linear SVM) เป็นตัวแบ่งประเภทที่ค้นหาไฮเปอร์เพลนที่มีขอบเขตสูงสุด เรียกว่า Maximal Margin Classifier สามารถเรียนรู้วิธีที่ SVM เรียนรู้ขอบเขตแบบนี้ เริ่มต้นด้วยการวิเคราะห์เบื้องต้นบางอย่างเกี่ยวกับขอบเขตการตัดสินใจและขอบเขตของตัวแบ่งประเภทเชิงเส้น

ลักษณะเฉพาะของ SVM

ปัญหาการเรียนรู้ SVM สามารถจัดรูปแบบเป็นปัญหาเพิ่มประสิทธิภาพแบบโค้ง凸 (Convex Optimization Problem) ซึ่งมีอัลกอริทึมที่มีประสิทธิภาพเข้าถึงได้เพื่อค้นหาจุดต่ำสุดส่วนกลาง (Global Minimum) ของฟังก์ชันวัตถุประสงค์ มีวิธีการจำแนกประเภทที่ต่างกัน รวมถึงตัวแบ่งประเภทแบบกฎ (Rule-based Classifiers) และเครือข่ายประสาทเทียม (Artificial Neural Networks) ที่ใช้แนวทางแบบ貪婪 (Greedy-based) เพื่อค้นหาพื้นที่สมมติฐาน วิธีเหล่านี้มีแนวโน้มที่จะค้นพบเฉพาะคำตอบที่เหมาะสมที่สุดในพื้นที่ (Locally Optimal Solutions)

SVM บังคับใช้การควบคุมความจุ (Capacity Control) โดยการขยายขอบเขตของขอบเขตการตัดสินใจ ผู้ใช้ควรระบุพารามิเตอร์หลายตัว รวมถึงประเภทของฟังก์ชันเคอร์เนล (Kernel Function) ที่จะใช้ และฟังก์ชันต้นทุน (Cost Function) C สำหรับเสนอตัวแปรสแล็ก (Slack Variable) แต่ละตัว

SVM สามารถใช้กับข้อมูลหมวดหมู่ (Categorical Data) โดยการเรียนรู้ตัวแปรดัมมี่ (Dummy Variables) สำหรับแต่ละค่าแอตทริบิวต์หมวดหมู่ที่แสดงในข้อมูล ตัวอย่างเช่น หากสถานะสมรส (Marital Status) มีสามค่า เช่น โสด, สมรส, หย่า สามารถเรียนรู้ตัวแปรไบนารีสำหรับแต่ละค่าแอตทริบิวต์