Neural Network เรียนรู้ด้วย Back Propagation
Neural network เป็นลำดับของอัลกอริทึมที่พยายามระบุความสัมพันธ์พื้นฐานในชุดข้อมูล ผ่านกระบวนการที่เลียนแบบวิธีที่สมองมนุษย์ทำงาน ในแนวทางนี้ neural networks แทนระบบของ neurons ไม่ว่าจะเป็น organic หรือ artificial
Neural Networks เป็นแนวทางวิเคราะห์ที่สร้างแบบโมเดลตามกระบวนการเรียนรู้ในระบบปัญญา (cognitive system) และฟังก์ชันทางประสาทของสมอง สามารถพยากรณ์ observations ใหม่ (บนตัวแปรที่แน่นอน) จาก observations อื่นๆ หลังจากกระบวนการที่เรียกว่า learning จากข้อมูลปัจจุบัน
ขั้นตอนของ Back Propagation
- Network รับ training instance และใช้ weights ปัจจุบันใน network คำนวณ output หรือ outputs
- Back propagation คำนวณ error โดยหาความต่างระหว่าง computed result และ expected (actual result)
- Error ถูกส่งกลับ (fed back) ผ่าน network และ weights ถูกปรับเพื่อลด error เรียกว่า back propagation เพราะ errors ถูกส่งกลับผ่าน network
Back propagation algorithm คำนวณ total error ของ network โดยเปรียบเทียบค่าที่ผลิตได้ในแต่ละ training instance กับค่าจริง สามารถปรับ weights ของ output layer เพื่อลด (แต่ไม่ได้กำจัด) error แต่อัลกอริทึมยังไม่จบ
สามารถ "cast the blame" (มอบความรับผิดชอบ) ให้ previous nodes ใน network และปรับ weights ที่เชื่อม nodes เหล่านั้น อีกครั้ง ลด overall error สูตรเฉพาะสำหรับการมอบ blame ไม่ได้สำคัญ พอที่จะรู้ว่า back propagation ต้องการ numerical procedure ที่ซับซ้อน ต้องหา partial derivatives ของ activation function
วิธีการปรับ weights นี้เรียกว่า generalized delta rule มีสองพารามิเตอร์สำคัญ:
1. Momentum (โมเมนตัม)
กำหนดแนวโน้มของ weights ภายในแต่ละ unit ที่จะเปลี่ยน "ทิศทาง" ที่กำลังไป momentum พยายามรักษาให้ไปในทิศทางเดิม Network ที่มี momentum สูง ตอบสนองช้าต่อ training instances ใหม่ที่ต้องการ reverse weights ถ้า momentum ต่ำ weights จะ oscillate ได้อย่างอิสระมากขึ้น
2. Learning Rate (อัตราการเรียนรู้)
ควบคุมว่ weights เปลี่ยนเร็วแค่ไหน วิธีที่ดีคือ เริ่มสูง และลดลงเรื่อยๆ ขณะ network ถูก train เริ่มต้น weights เป็นสุ่ม ดังนั้น oscillations สูงช่วยเข้าใกล้ best weights แต่เมื่อ network ใกล้ optimal solution learning rate ต้องลด เพื่อ fine-tune ให้ได้ global optimal weights
