เครือข่ายประสาทเทียม (Artificial Neural Network) เป็นระบบที่วางบนฟังก์ชันของเครือข่ายประสาทชีวภาพ (Biological Neural Networks) เป็นการจำลอง (Simulation) ของระบบประสาทชีวภาพ ลักษณะเฉพาะของเครือข่ายประสาทเทียมคือมีโครงสร้างหลายโครงสร้าง ซึ่งต้องการอัลกอริทึมหลายวิธี แต่ไม่ว่าจะเป็นระบบซับซ้อน เครือข่ายประสาทก็ง่าย
เครือข่ายเหล่านี้อยู่ระหว่างวิทยาการประมวลผลสัญญาณเฉพาะ (Signal-processing Sciences) ในกล่องเครื่องมือของผู้จัดการ (Director's Toolbox) พื้นที่เป็น interdisciplinary (หลายสาขา) มาก แต่เทคนิคนี้จะจำกัดมุมมองไปที่มุมมองวิศวกรรม (Engineering Perspective)
ข้อมูลฝึกอบรมอินพุท/เอาต์พุท (Input/Output Training Data) สำคัญในเทคโนโลยีเครือข่ายประสาท เพราะพวกมันส่งข้อมูลที่จำเป็นไป "ค้นหา" จุดทำงานที่เหมาะสมที่สุด (Optimal Operating Point) คุณสมบัติเชิงไม่เส้น (Non-linear Characteristics) ขององค์ประกอบประมวลผลของเครือข่ายประสาท (Processing Elements - PEs) ให้ระบบด้วยความยืดหยุ่นหลายอย่าง เพื่อเรียนรู้การแมปอินพุท/เอาต์พุทที่ต้องการเกือบทุกอย่าง คือ บางเครือข่ายประสาทเทียมเป็นตัวสร้างแผนที่กว้าง (Broad Mapmakers)
อินพุทแสดงให้เครือข่ายประสาท และการตอบสนองที่ต้องการหรือเป้าหมาย (Target Response) ตั้งค่าที่เอาต์พุท (เมื่อนี่คือวิธีที่การฝึกอบรมเรียกว่าสังกัดการดูแล - Supervised)
ข้อผิดพลาด (Error) ประกอบด้วยความแตกต่างระหว่างการตอบสนองที่จับได้ (Captured Response) และเอาต์พุทของระบบ ข้อมูลข้อผิดพลาดนี้ถูกส่งคืนกลับไปที่ระบบ และจัดการพารามิเตอร์ระบบอย่างสม่ำเสมอ (กฎการเรียนรู้ - Learning Rule) กระบวนการทำซ้ำจนกว่าประสิทธิภาพจะมีประสิทธิภาพ มันฟรีจากการแสดงผลนี้ว่าประสิทธิภาพขึ้นอยู่หนักกับข้อมูล
ลักษณะเฉพาะของ Artificial Neural Network
เครือข่ายประสาทหลายชั้น (Multilayer Neural Networks) ที่มีชั้นซ่อน (Hidden Layer) อย่างน้อยหนึ่งชั้น เป็น Universal Approximators (ฟังก์ชันประมาณค่าทั่วไป) สามารถใช้เพื่อประมาณค่าฟังก์ชันเป้าหมายบางอย่าง ด้วยที่ ANN มีพื้นที่สมมติฐาน (Hypothesis Space) ที่มีความหมายสูง (Expressive) จำเป็นต้องเลือกโทโพโลยีเครือข่าย (Network Topology) ที่เหมาะสมสำหรับปัญหาที่กำหนดเพื่อป้องกันการเรียนรู้เกินของโมเดล (Model Overfitting)
ANN สามารถจัดการคุณลักษณะซ้ำ (Redundant Features) ได้ เพราะน้ำหนัก (Weights) ถูกเรียนรู้โดยจำเป็นในขั้นตอนการฝึกอบรม น้ำหนักสำหรับคุณลักษณะซ้ำมักจะมีค่าน้อย
เครือข่ายประสาทรับผลกระทบจากการมีสัญญาณรบกวน (Noise) ในข้อมูลฝึกอบรม วิธีหนึ่งในการจัดการสัญญาณรบกวนคือใช้ชุดตรวจสอบ (Validation Set) เพื่อตัดสินใจข้อผิดพลาดการทำให้ทั่วไปของโมเดล อีกวิธีคือลดน้ำหนักลงด้วยปัจจัยบางอย่างในแต่ละรอบทำซ้ำ (Iteration)
แนวทางการลดระดับความชัน (Gradient Descent Approach) ถูกใช้สำหรับการเรียนรู้น้ำหนักของ ANN ที่ประกอบรวมไปถึงจุดต่ำสุดท้องถิ่น (Local Minimum) วิธีหนึ่งในการหลุดพ้นจากจุดต่ำสุดท้องถิ่นคือการแทรกข้อความโมเมนตัม (Momentum Term) ลงในสูตรการอัปเดตน้ำหนัก
การฝึกอบรม ANN เป็นกระบวนการช้า โดยเฉพาะเมื่อจำนวนโหนดซ่อน (Hidden Nodes) สูง อย่างไรก็ตาม อินสแตนซ์ทดสอบสามารถจำแนกได้อย่างรวดเร็วขึ้น
วิเคราะห์ลักษณะ ANN: Multilayer = Universal Approximators, จัดการ Redundant Features ได้, ไวต่อ Noise (Validation Set, Weight Decay), Local Minima (Gradient Descent + Momentum), Training ช้า แต่ Prediction เร็ว