พบว่านักวิจัยส่วนใหญ่ ไม่รายงาน source code ที่ใช้ train AI ของพวกเขา ซึ่งกวนใจนักวิทยาศาสตร์คนอื่น เพราะไม่สามารถ replicate ผลลัพธ์และทำงานต่อได้
พูดง่ายๆ สาขา Artificial Intelligence ที่ลอยตัวขึ้น กำลังเผชิญ replication crisis นี่อาจดูปกติสำหรับบางคน แต่สำหรับ AI enthusiasts นี่ไม่แพ้ disaster ทำไมเราต้องการ replication หรือ backtracking ของการวิจัย? อ่านต่อไป!
Replication คืออะไร?
กระบวนการที่นักวิจัยสามารถ backtrack model/software/algorithm หรือวัสดุวิจัยใดๆ ได้ เรียกว่า replication สาขา AI กำลังกลายเป็น exception เพราะทำอย่างนั้นกลายเป็น uphill task สำหรับมืออาชีพ โดยไม่มี backtracking เราอาจติดขัด!
ทำไม Backtracking จึงสำคัญ?
ต่างจากความเชื่อทั่วไป replication มีข้อได้เปรียบของตัวเอง คุณ verify results ได้ง่าย หรือ propose changes ไปยัง paradigm นี้ทำงานได้ดีสำหรับคนที่วิจัยใน automation เพราะพวกเขา modify machines และ upgrade ให้ดีขึ้นได้ง่าย
ดังนั้น หากถามเราว่า replicate AI studies ได้ไหม เราตอบ "ไม่ได้ คุณไม่สามารถทำได้"
นักวิจัยมักไม่แชร์ source code ตาม Nicolas Rougier (computational neuroscientist ที่ France's National Institute for Research in Computer Science and Automation) คนนอกสาขาอาจคิดว่ามี strict rules ให้ผลลัพธ์ที่ต้องการ แตคนที่ทำงานรู้ความยากลำบากจริง อย่างไรก็ตาม เราไม่สามารถ blame ใครได้สำหรับการไม่แชร์ source code เพราะอาจเป็น copyright ของบริษัท หรือบางครั้ง นักวิจัยมุ่งเป็นคนแรกนำเสนอพัฒนาการใดๆ แต่เรื่องซับซ้อนเมื่อ software หรือ machine ขับเคลื่อนด้วย machine learning algorithm เพราะเครื่องเหล่านี้เรียนรู้จาก experiences และ simulations อื่นๆ คุณจะไม่ได้อะไรเหมือนเครื่องอื่น แม้ในกรณี rare ที่คุณได้ source code คุณก็ไม่ได้ผลลัพธ์ที่ต้องการ เว้นแต่คุณ train machine เหมือนกัน
นี่คือ hypothetical situation มากกว่า เพราะคุณไม่เคยได้ methodology ที่ใช้ train machine ก่อนหน้า! เลื่อมือเวลา test algorithms ภายใต้ทุกเงื่อนไข หรือ sample space ที่กำหนดในเอกสาร นี่เป็นหนึ่งในเหตุผลที่ AI projects ใช้เวลานานกว่า machines หรือ projects แบบดั้งเดิม
วิธีนี้ Optimal ไหม?
มืออาชีพกล่าวว่าต้องเป็นความลับ หรือแชร์กับนักคัดสรรน้อย เพื่อ safety และ existence ของเรา ไม่ได้อยู่ในสถานการณ์อันตราย! แต่มันจะรู้ยังไง ว่าคนที่ได้ source code จะไม่ misuse? หากคิดว่าคุณ design machine learning algorithm สำหรับสิ่งเดียวกัน ก็ควรรู้ว่า ยังไม่ถึงเกณฑ์ และคุณไม่สามารถพึ่งพา algorithm ตรวจจับ human behavior ได้
ตอนนี้ควรทำอะไร?
เราอาจคิดว่าเปิดเผย concept เหล่านี้จะลด hullabaloo แต่ตรงข้ามกับความเชื่อ นี่จะไม่แพ้ disaster โจรสลัดและจิตใจที่ไม่ปกติจะ reverse engineer และใช้ทำ mass destruction เราแค่แนะนำ ให้จัด board ทดสอบ algorithms เหมือน medical industry ดำเนินการ พวกเขาไม่ release ส่วนประกอบยา จนกว่าจะทดสอบและอนุมัติ หากทำเหมือนกันกับ AI machines สิ่งต่างๆ จะไม่น่าสะพรึงกลัวเท่าที่คาดการณ์
เรายังสามารถ المبادرة และแทนที่จะซ่อนอยู่เบื้องหลัง proprietary laws การทำงานร่วมกันจะให้ผลผลิต ใน conclusion เราไม่ควรลืมว่า machines ไม่ biased และหาก "judgement day" รออยู่ เราทุกคนเสี่ยง การทำงานร่วมกันและ supervised learning เป็นความช่วยเหลือที่เหลือ
Conclusion
เราไม่สามารถ replicate studies ได้ แต machines ทำได้ ในปลายปี 2017 เราสังเกตว่า AI ช่วยสร้าง AI อีกตัว โครงการนี้ชื่อ AutoML ที่ Google ทำงานอยู่ และทำเครื่องหมายขั้นตอนใหญ่สำหรับ AI industry การพัฒนานี้คุ้มค่าเฉลิมฉลอง แต่ขณะเฉลิมฉลอง เราลืมข้อเท็จจริงสำคัญ คือ เนื่องจาก development เป็น automated ซอฟต์แวร์กลายเป็นซับซ้อนมากเกินไปสำหรับมนุษย์เข้าใจ
หากต่อไปเช่นนี้ เราไกลจากวันที่ machines สร้างตัวเองโดยไม่มี human input อันตรายไหม? เราคิดว่าใช่! ถ้าเรา busy backtracking และ machines เริ่มสร้าง clones ของตัวเอง! เปิดตาคอยดูสิ เพื่อนๆ!
หากคุณคิดอื่น หรือมีมุมมองเกี่ยวกับหัวข้อนี้ที่คุ้มค่าแบ่งป็น โพสต์ในความคิดเห็นด้านล่าง!
