เครือข่ายประสาทเทียมมีกลไกที่ซับซ้อนกว่าของโมเดลเพอร์เซปทрон (Perceptron Model) มีหลายวิธีในเครือข่ายประสาทเทียมหลายชั้น ดังนี้:
เครือข่ายสามารถรวมชั้นกลางหลายชั้น (Intermediary Layers) ระหว่างชั้นป้อนเข้าและชั้นเอาต์พุท ชั้นกลางเหล่านี้เรียกว่าชั้นซ่อน (Hidden Layers) และโหนดที่ติดตั้งในชั้นเหล่านี้เรียกว่าโหนดซ่อน (Hidden Nodes) สถาปัตยกรรมที่ได้เรียกว่าเครือข่ายประสาทหลายชั้น (Multilayer Neural Network)
ในเครือข่ายประสาทแบบส่งต่อไปข้างหน้า (Feed-forward Neural Network) โหนดในชั้นหนึ่งเชื่อมต่อเฉพาะกับโหนดในชั้นถัดไป เพอร์เซปทронเป็นเครือข่ายประสาทแบบส่งต่อไปข้างหน้าชั้นเดียว (Single-layer) เพราะมันมีเพียงชั้นเดียวของโหนด คือชั้นเอาต์พุท ที่ทำการดำเนินการตัวเลขที่ซับซ้อน ในเครือข่ายประสาทแบบเกิดซ้ำ (Recurrent Neural Network) ลิงก์สามารถเชื่อมโหนดภายในชั้นเดียวกันหรือโหนดจากชั้นหนึ่งไปยังชั้นก่อนหน้าได้
เครือข่ายสามารถใช้วิธีฟังก์ชันการกระตุ้น (Activation Functions) อื่นๆ นอกจากฟังก์ชันเครื่องหมาย (Sign Function) ตัวอย่างฟังก์ชันการกระตุ้นหลายอย่าง เช่น linear, sigmoid (logistic), และ hyperbolic tangent functions ฟังก์ชันการกระตุ้นเหล่านี้ช่วยให้โหนดซ่อนและโหนดเอาต์พุทสร้างค่าเอาต์พุทที่เป็นเชิงไม่เส้น (Nonlinear) ในพารามิเตอร์อินพุทของพวกมัน
ความซับซ้อนเพิ่มเติมเหล่านี้ช่วยให้เครือข่ายประสาทหลายชั้นสามารถสร้างแบบจำลองความสัมพันธ์ที่ซับซ้อนมากขึ้นระหว่างตัวแปรอินพุทและเอาต์พุท ตัวอย่างสามารถจำแนกได้โดยใช้สองไฮเปอร์เพลนที่แบ่งพื้นที่อินพุทเป็นคลาสเฉพาะของพวกเขา
เพื่อเรียนรู้น้ำหนักของโมเดล ANN ต้องการอัลกอริทึมที่มีประสิทธิภาพที่รวมรวมถึงคำตอบที่ถูกต้องเมื่อมีข้อมูลฝึกอบรมที่เพียงพอ วิธีหนึ่งคือพิจารณาแต่ละโหนดซ่อนหรือโหนดเอาต์พุทในเครือข่ายเป็นหน่วยเพอร์เซปทронแยกต่างหาก และใช้สูตรการอัปเดตน้ำหนักเดียวกัน
วิธีนี้จะไม่ทำงาน เพราะมันขาดความรู้ล่วงหน้า (A Priori Knowledge) เกี่ยวกับเอาต์พุทที่ถูกต้องของโหนดซ่อน นี่ทำให้ซับซ้อนในการกำหนดข้อผิดพลาด (Error Term) (y - y') ที่เกี่ยวข้องกับแต่ละโหนดซ่อน วิธีการสำหรับการเรียนรู้น้ำหนักของเครือข่ายประสาทขึ้นอยู่กับวิธีการลดระดับความชัน (Gradient Descent Method) แสดงต่อไปนี้
วัตถุประสงค์ของอัลกอริทึมการเรียนรู้ ANN คือการตัดสินใจชั้นของน้ำหนัก w ที่ลดผลรวมของข้อผิดพลาดยกกำลังสองทั้งหมด (Total Sum of Squared Errors):
$$\mathrm{E(w)\:=\:\frac{1}{2}\displaystyle\sum\limits_{i=1}^N (Y_{i}-Y^{'}_i)^2}$$
ผลรวมของข้อผิดพลาดยกกำลังสองขึ้นอยู่กับ w เพราะคลาสที่ทำนาย y' เป็นฟังก์ชันของน้ำหนักที่สร้างให้โหนดซ่อนและโหนดเอาต์พุท ในกรณีเหล่านี้ เอาต์พุทของ ANN เป็นฟังก์ชันเชิงไม่เส้นของพารามิเตอร์ของมัน เนื่องจากตัวเลือกของฟังก์ชันการกระตุ้น เช่น sigmoid หรือ tanh function ดังนั้น จึงไม่ได้ง่ายอีกต่อไปที่จะหาคำตอบสำหรับ w ที่ได้รับการรับรองให้เป็นเหมาะสมทั่วไป
เรียนรู้ Multilayer ANN Methods: Hidden Layers/Nodes, Feed-forward vs Recurrent, Activation Functions (Linear, Sigmoid, Tanh), Gradient Descent สำหรับ Weight Learning, Sum of Squared Errors Objective Function
