ประเภทที่นิยมของเครือข่ายแบบส่งต่อไปข้างหน้า (Feed-forward Network) คือเครือข่ายฟังก์ชันพื้นฐานแบบรัศมี (Radial Basis Function - RBF Network) มันมีสองชั้น ไม่นับชั้นป้อนเข้า (Input Layer) และแตกต่างจากเพอร์เซปทرونหลายชั้น (Multilayer Perceptron) ในวิธีที่หน่วยซ่อน (Hidden Units) ใช้การคำนวณ
แต่ละหน่วยซ่อนกำหนดจุดเฉพาะในพื้นที่ป้อนเข้า (Input Space) และเอาต์พุตหรือการกระตุ้น (Activation) ของมันสำหรับอินสแตนซ์ที่กำหนดขึ้นอยู่กับระยะทางระหว่างจุดของมันและอินสแตนซ์ ซึ่งเป็นเพียงจุดอีกจุดหนึ่ง ยิ่งจุดทั้งสองใกล้กัน ยิ่งการกระตุ้นสูง
สิ่งนี้ทำได้โดยการใช้ฟังก์ชันการแปลงเชิงไม่เส้น (Nonlinear Transformation Function) เพื่อแปลงระยะทางเป็นขนาดความคล้ายคลึง (Similarity Measure) ฟังก์ชันการกระตุ้นแบบกอสเซียนรูปกระดิ่ง (Bell-shaped Gaussian Activation Function) ซึ่งความกว้างสามารถแตกต่างกันได้สำหรับแต่ละหน่วยซ่อน มักถูกใช้เพื่อวัตถุประสงค์นี้ หน่วยซ่อนเรียกว่า RBFs เพราะจุดในพื้นที่อินสแตนซ์ที่หน่วยซ่อนที่กำหนดให้การกระตุ้นที่คล้ายคลึงกัน สร้างเป็นไฮเปอร์สเฟียร์ (Hypersphere) หรือไฮเปอร์เอลลิปซอยด์ (Hyperellipsoid)
ชั้นเอาต์พุตของโครงสร้าง RBF คล้ายกับของเพอร์เซปทронหลายชั้น — มันรับชุดเชิงเส้น (Linear Combination) ของเอาต์พุตของหน่วยซ่อน และในปัญหาการจำแนกประเภท ส่งผ่านฟังก์ชันซิกมอยด์ (Sigmoid Function)
พารามิเตอร์ที่เครือข่ายเช่นนี้เรียนรู้คือจุดศูนย์กลาง (Centers) และความกว้าง (Widths) ของ RBFs และน้ำหนัก (Weights) ที่ใช้สร้างชุดเชิงเส้นของเอาต์พุตที่ได้จากชั้นซ่อน ข้อได้เปรียบสำคัญเหนือเพอร์เซปทронหลายชั้นคือกลุ่มพารามิเตอร์แรกสามารถตัดสินใจได้อย่างอิสระจากกลุ่มที่สอง และทำเครื่องแบ่งประเภทที่แม่นยำ
วิธีการกำหนดพารามิเตอร์กลุ่มแรก: การจัดกลุ่ม (Clustering)
หนึ่งวิธีในการตัดสินใจกลุ่มพารามิเตอร์แรกคือการใช้การจัดกลุ่ม อัลกอริทึม K-means แบบง่ายสามารถนำไปใช้ จัดกลุ่มแต่ละคลาสแยกกัน เพื่อได้ K-funtions พื้นฐานสำหรับแต่ละคลาส
การเรียนรู้พารามิเตอร์กลุ่มที่สอง
กลุ่มพารามิเตอร์ที่สองเรียนรู้โดยการเก็บพารามิเตอร์แรกไว้คงที่ นี้รวมถึงการเรียนรู้เครื่องแบ่งประเภทเชิงเส้นง่ายๆ โดยใช้หนึ่งในวิธีการ เช่น การถดถอยเชิงเส้น (Linear Regression) หรือการถดถอยลอจิสติก (Logistic Regression) หากมีหน่วยซ่อนน้อยกว่าอินสแตนซ์การฝึกอบรมมาก นี่สามารถทำได้เร็ว
ข้อจำกัดของเครือข่าย RBF
ข้อจำกัดของเครือข่าย RBF คือพวกมันให้น้ำหนักเท่ากันกับทุกแอตทริบิวต์ เพราะทุกอย่างถูกพิจารณาเท่าๆ กันในการคำนวณระยะทาง เว้นแต่พารามิเตอร์น้ำหนักแอตทริบิวต์จะถูกรวมในกระบวนการเพิ่มประสิทธิภาพทั้งหมด ดังนั้น พวกมันจึงไม่สามารถจัดการกับแอตทริบิวต์ที่ไม่เกี่ยวข้องได้อย่างมีประสิทธิภาพ เทียบกับเพอร์เซปทرونหลายชั้น เครื่องจักรเวกเตอร์สนับสนุน (Support Vector Machines) แบ่งปันปัญหาเช่นกัน SVM ที่มีเคอร์เนลกอสเซียน (RBF Kernels) เป็นวิธีเฉพาะของเครือข่าย RBF ซึ่งฟังก์ชันหนึ่งอยู่ที่ศูนย์กลางบนอินสแตนซ์การฝึกอบรมแต่ละตัว ฟังก์ชันพื้นฐานทั้งหมดมีความกว้างเท่ากัน และเอาต์พุตถูกรวมเชิงเส้นโดยการคำนวณไฮเปอร์เพลนขอบเขตสูงสุด (Maximum-margin Hyperplane) สิ่งนี้มีผลให้บาง RBFs มีน้ำหนักไม่เป็นศูนย์ — คือตัวที่กำหนดเวกเตอร์สนับสนุน
เรียนรู้ RBF Networks: โครงสร้าง 2 ชั้น Hidden Unit คำนวณระยะทาง Gaussian Activation การเรียนรู้ 2 ขั้นตอน (Clustering + Linear Classifier) เปรียบเทียบ MLP และ SVM with RBF Kernels
