เครือข่ายประสาทเทียม (Artificial Neural Network) เป็นระบบที่วางบนฟังก์ชันของเครือข่ายประสาทชีวภาพ (Biological Neural Networks) เป็นการจำลอง (Simulation) ของระบบประสาทชีวภาพ ลักษณะเฉพาะของเครือข่ายประสาทเทียมคือมีโครงสร้างหลายโครงสร้าง ซึ่งต้องการอัลกอริทึมหลายวิธี แต่ไม่ว่าจะเป็นระบบซับซ้อน เครือข่ายประสาทก็ง่าย
เครือข่ายเหล่านี้อยู่ระหว่างวิทยาการประมวลผลสัญญาณเฉพาะ (Signal-processing Sciences) ในกล่องเครื่องมือของผู้จัดการ (Director's Toolbox) พื้นที่เป็น interdisciplinary (หลายสาขา) มาก แต่เทคนิคนี้จะจำกัดมุมมองไปที่มุมมองวิศวกรรม (Engineering Viewpoint)
ในวิศวกรรม เครือข่ายประสาทผลิตสองฟังก์ชันสำคัญคือตัวแบ่งประเภทรูปแบบ (Pattern Classifiers) และตัวกรองปรับตัวเชิงไม่เส้น (Non-linear Adaptive Filters) เครือข่ายประสาทเทียมเป็น dynamic (ไดนามิก) มันให้ระบบเชิงไม่เส้นที่เรียนรู้ที่จะดำเนินการฟังก์ชัน (แผนที่อินพุท/เอาต์พุท) จากข้อมูล Adaptive หมายถึงพารามิเตอร์ระบบถูกเปลี่ยนแปลงระหว่างการดำเนินการ บ่อยครั้งเรียกว่าขั้นตอนการฝึกอบรม (Training Phase)
หลังขั้นตอนการฝึกอบรม พารามิเตอร์เครือข่ายประสาทเทียมถูกกำหนดคงที่ และระบบเริ่มแก้ปัญหาที่มีอยู่ (ขั้นตอนการทดสอบ - Testing Phase) เครือข่ายประสาทเทียมถูกสร้างด้วยขั้นตอนขั้นตอนเป็นระบบ (Systematic Step-by-step Procedure) เพื่อปรับปรุงการทดสอบประสิทธิภาพ หรือปฏิบัติตามข้อจำกัดภายในบางอย่างที่ชัดเจน ซึ่งโดยทั่วไปอธิบายเป็นกฎการเรียนรู้ (Learning Rule)
ข้อมูลฝึกอบรมอินพุท/เอาต์พุท (Input/Output Training Data) สำคัญในเทคโนโลยีเครือข่ายประสาท เพราะพวกมันส่งข้อมูลที่จำเป็นไป "ค้นหา" จุดทำงานที่เหมาะสมที่สุด (Optimal Operating Point) คุณสมบัติเชิงไม่เส้น (Non-linear Characteristics) ขององค์ประกอบประมวลผลของเครือข่ายประสาท (Processing Elements - PEs) ให้ระบบด้วยความยืดหยุ่นหลายอย่าง เพื่อเรียนรู้การแมปอินพุท/เอาต์พุทที่ต้องการเกือบทุกอย่าง คือ บางเครือข่ายประสาทเทียมเป็นตัวสร้างแผนที่กว้าง (Broad Mapmakers)
อินพุทแสดงให้เครือข่ายประสาท และการตอบสนองที่ต้องการหรือเป้าหมาย (Target Response) ตั้งค่าที่เอาต์พุท (เมื่อนี่คือวิธีที่การฝึกอบรมเรียกว่าสังกัดการดูแล - Supervised)
ข้อผิดพลาด (Error) ประกอบด้วยความแตกต่างระหว่างการตอบสนองที่จับได้ (Captured Response) และเอาต์พุทของระบบ ข้อมูลข้อผิดพลาดนี้ถูกส่งคืนกลับไปที่ระบบ และจัดการพารามิเตอร์ระบบอย่างสม่ำเสมอ (กฎการเรียนรู้ - Learning Rule) กระบวนการทำซ้ำจนกว่าประสิทธิภาพจะมีประสิทธิภาพ มันฟรีจากการแสดงผลนี้ว่าประสิทธิภาพขึ้นอยู่หนักกับข้อมูล
เครือข่ายสามารถใช้วิธีฟังก์ชันการกระตุ้น (Activation Functions) อื่นๆ นอกจากฟังก์ชันเครื่องหมาย (Sign Function) มีฟังก์ชันการกระตุ้นหลายอย่าง เช่น linear, sigmoid (logistic), และ hyperbolic tangent functions
ฟังก์ชันการกระตุ้นเหล่านี้ช่วยให้โหนดซ่อนและโหนดเอาต์พุทสร้างค่าเอาต์พุทที่เป็นเชิงไม่เส้น (Nonlinear) ในพารามิเตอร์อินพุทของพวกมัน ความซับซ้อนเพิ่มเติมเหล่านี้ช่วยให้เครือข่ายประสาทหลายชั้นสามารถสร้างแบบจำลองความสัมพันธ์ที่ซับซ้อนมากขึ้นระหว่างตัวแปรอินพุทและเอาต์พุท
เอาต์พุทของ ANN เป็นฟังก์ชันเชิงไม่เส้นของพารามิเตอร์ของมัน เนื่องจากความดีเยี่ยมของฟังก์ชันการกระตุ้น เช่น sigmoid หรือ tanh function ตามลำดับ ดังนั้น จึงไม่ได้ง่ายอีกต่อไปที่จะหาคำตอบสำหรับ w ที่ได้รับการรับรองให้เป็นเหมาะสมทั่วไป
ทำความเข้าใจ Multilayer ANN: Pattern Classifier & Non-linear Adaptive Filter, Training Phase (Adaptive) vs Testing Phase (Fixed), Activation Functions (Sigmoid/Tanh), Nonlinear Input/Output Mapping
