โครงข่ายประสาทเทียมมีกลไกที่ซับซ้อนกว่าแบบจำลองของเพอร์เซปตรอน มีหลายวิธีในโครงข่ายประสาทเทียมแบบหลายชั้น ซึ่งมีดังนี้ -
เครือข่ายสามารถรวมเลเยอร์ตัวกลางได้หลายชั้นระหว่างชั้นอินพุตและเอาต์พุต เลเยอร์ตัวกลางดังกล่าวเรียกว่าเลเยอร์ที่ซ่อนอยู่และโหนดที่ติดตั้งในเลเยอร์เหล่านี้เรียกว่าโหนดที่ซ่อนอยู่ สถาปัตยกรรมที่ได้จะเรียกว่าโครงข่ายประสาทหลายชั้น
ในโครงข่ายประสาทฟีดฟอร์เวิร์ด โหนดในชั้นเดียวจะเชื่อมโยงกับโหนดในชั้นถัดไปเท่านั้น เพอร์เซปตรอนเป็นโครงข่ายประสาทเทียมแบบฟีดฟอร์เวิร์ดชั้นเดียว เนื่องจากมีโหนดเพียงชั้นเดียวซึ่งเป็นเลเยอร์เอาต์พุตที่ใช้การดำเนินการเชิงตัวเลขที่ซับซ้อน ในโครงข่ายประสาทที่เกิดซ้ำ ลิงก์สามารถเชื่อมต่อโหนดภายในเลเยอร์ที่คล้ายกันหรือโหนดจากชั้นหนึ่งไปยังชั้นก่อนหน้าได้
เครือข่ายสามารถใช้วิธีการเปิดใช้งานฟังก์ชันอื่นที่ไม่ใช่ฟังก์ชันสัญญาณ อินสแตนซ์ของฟังก์ชันการเปิดใช้งานหลายตัว เช่น ฟังก์ชันเชิงเส้น ซิกมอยด์ (ลอจิสติกส์) และไฮเปอร์โบลิกแทนเจนต์ ฟังก์ชันการเปิดใช้งานเหล่านี้เปิดใช้งานโหนดที่ซ่อนอยู่และเอาต์พุตเพื่อสร้างค่าเอาต์พุตที่ไม่เป็นเชิงเส้นในพารามิเตอร์อินพุต
ความซับซ้อนที่มากขึ้นเหล่านี้ทำให้โครงข่ายประสาทหลายชั้นจำลองความสัมพันธ์ที่ซับซ้อนสูงขึ้นระหว่างตัวแปรอินพุตและเอาต์พุต อินสแตนซ์สามารถกำหนดได้โดยใช้ไฮเปอร์เพลนสองอันที่แบ่งพื้นที่อินพุตออกเป็นคลาสเฉพาะ
มันสามารถเข้าใจน้ำหนักของโมเดล ANN ได้ มันจำเป็นต้องมีอัลกอริธึมที่มีประสิทธิภาพซึ่งประกอบเข้ากับโซลูชันที่เหมาะสมเมื่อรองรับข้อมูลการฝึกอบรมในปริมาณที่น่าพอใจ วิธีหนึ่งคือพิจารณาแต่ละโหนดที่ซ่อนอยู่หรือโหนดเอาต์พุตในเครือข่ายเป็นหน่วยการรับรู้ที่แยกจากกัน และใช้สูตรการอัปเดตน้ำหนักที่เท่ากัน
วิธีนี้จะไม่ทำงานเนื่องจากอาจขาดความรู้เบื้องต้นเกี่ยวกับผลลัพธ์ที่ถูกต้องของโหนดที่ซ่อนอยู่ สิ่งนี้ทำให้เกิดความซับซ้อนในการกำหนดเงื่อนไขข้อผิดพลาด (y – y ’ ) เกี่ยวข้องกับแต่ละโหนดที่ซ่อนอยู่ วิธีการทำความเข้าใจน้ำหนักของโครงข่ายประสาทขึ้นอยู่กับวิธีการไล่ระดับการไล่ระดับสีจะแสดงต่อไป
วัตถุประสงค์ของอัลกอริธึมการเรียนรู้ ANN คือการกำหนดคลาสของน้ำหนัก w ที่ลดจำนวนรวมของข้อผิดพลาดกำลังสองให้เหลือน้อยที่สุด -
$$\mathrm{E(w)\:=\:\frac{1}{2}\displaystyle\sum\limits_{i=1}^N (Y_{i}-Y^{'}_i)^2 }$$
ผลรวมของข้อผิดพลาดกำลังสองขึ้นอยู่กับ w เนื่องจากคลาสที่ทำนายไว้ y ’ เป็นฟังก์ชันของน้ำหนักที่สร้างขึ้นไปยังโหนดที่ซ่อนอยู่และเอาต์พุต ในกรณีต่างๆ เอาต์พุตของ ANN เป็นฟังก์ชันไม่เชิงเส้นของพารามิเตอร์ เนื่องจากมีตัวเลือกฟังก์ชันการเปิดใช้งาน เช่น ฟังก์ชัน sigmoid หรือ tanh
