Computer >> คอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

Backpropagation ทำงานอย่างไร


Backpropagation กำหนดขั้นตอนทั้งหมดที่ครอบคลุมทั้งการคำนวณการไล่ระดับสีและความจำเป็นในการโคตรเกรเดียนต์สุ่ม ในทางเทคนิคแล้ว Backpropagation จะใช้ในการคำนวณความลาดชันของข้อผิดพลาดของเครือข่ายตามน้ำหนักที่ปรับเปลี่ยนได้ของเครือข่าย

ลักษณะของ Backpropagation คือวิธีการแบบวนซ้ำ แบบเรียกซ้ำ และมีประสิทธิภาพ โดยจะคำนวณน้ำหนักที่อัปเดตเพื่อปรับปรุงเครือข่ายจนกว่าจะไม่สามารถทำงานตามที่ได้รับการฝึกได้ Backpropagation จำเป็นต้องมีอนุพันธ์ของบริการการเปิดใช้งานที่จะทราบในเวลาออกแบบเว็บ

โดยทั่วไปแล้ว Backpropagation จะใช้ในการฝึกอบรมโครงข่ายประสาทเทียม และคำนวณฟังก์ชันการสูญเสียที่เกี่ยวข้องกับน้ำหนักของเครือข่าย มันทำงานร่วมกับโครงข่ายประสาทหลายชั้นและสังเกตการแสดงแทนภายในของการแมปอินพุต-เอาท์พุต

เป็นรูปแบบมาตรฐานของการฝึกอบรมเครือข่ายประดิษฐ์ ซึ่งช่วยในการคำนวณฟังก์ชันการสูญเสียการไล่ระดับสีโดยคำนึงถึงน้ำหนักทั้งหมดในเครือข่าย อัลกอริธึม backpropagation ใช้เพื่อฝึกโครงข่ายประสาทเทียมอย่างมีประสิทธิภาพมากขึ้นโดยใช้วิธีกฎลูกโซ่ มันกำหนดหลังจากแต่ละไปข้างหน้า backpropagation ใช้การย้อนกลับผ่านเว็บโดยการปรับอาร์กิวเมนต์ของโมเดล

การไล่ระดับสีนี้ใช้ในอัลกอริธึมการไล่ระดับสีสุ่มสุ่มแบบง่ายเพื่อค้นหาน้ำหนักที่ลดข้อผิดพลาดให้เหลือน้อยที่สุด ข้อผิดพลาดแพร่กระจายย้อนกลับจากโหนดเอาต์พุตไปยังโหนดภายใน

Backpropagation เข้าใจโดยการประมวลผลการรวบรวมข้อมูลของ tuple การฝึกอบรมซ้ำๆ โดยเปรียบเทียบตัวบ่งชี้ของเครือข่ายสำหรับ tuple ทุกตัวกับค่าเป้าหมายที่ทราบจริง ค่าเป้าหมายอาจเป็นป้ายกำกับคลาสที่รู้จักของ tuple การฝึก (สำหรับปัญหาการจัดหมวดหมู่) หรือค่าต่อเนื่อง (สำหรับการคาดคะเน)

สำหรับ tuple การฝึกแต่ละครั้ง น้ำหนักจะถูกปรับเปลี่ยนเพื่อลดข้อผิดพลาดกำลังสองเฉลี่ยระหว่างการคาดคะเนของเครือข่ายและค่าเป้าหมายจริง การปรับเปลี่ยนเหล่านี้ทำขึ้นในทิศทาง "ย้อนกลับ" นั่นคือจากเลเยอร์เอาต์พุต ผ่านแต่ละเลเยอร์ที่ซ่อนอยู่ลงไปถึงเลเยอร์แรกที่ซ่อนไว้ แม้ว่าจะไม่ได้รับการปกป้อง แต่โดยทั่วไปแล้ว ตุ้มน้ำหนักจะรวมตัวกันในที่สุด และกระบวนการเรียนรู้ก็สิ้นสุดลง

ประเภทของ Backpropagation

การขยายพันธุ์หลังมี 2 ประเภท ดังนี้ −

การขยายพันธุ์หลังแบบคงที่ − ใน backpropagation ประเภทนี้ เอาต์พุตคงที่ถูกสร้างขึ้นเนื่องจากการแมปของอินพุตสแตติก สามารถแก้ไขปัญหาการจัดประเภทแบบคงที่ เช่น การรู้จำอักขระด้วยแสง

การแพร่กระจายกลับเป็นซ้ำ − การขยายพันธุ์แบบกำเริบจะมุ่งไปข้างหน้าหรือดำเนินการจนกว่าจะถึงค่าที่กำหนดหรือค่าเกณฑ์ที่กำหนด หลังจากค่าที่ระบุ จุดบกพร่องจะถูกคำนวณและแพร่กระจายไปข้างหลัง