สถาปัตยกรรมระบบประสาท: การออกแบบข้อมูลอัตโนมัติ

ความคืบหน้าล่าสุดในเครือข่ายนิวรัลถูกสรุปโดยลำดับของสถาปัตยกรรมใหม่ที่โดดเด่นด้วยความซับซ้อนของการออกแบบที่เพิ่มขึ้น ตั้งแต่ LeNet5 (1994) ถึง AlexNet (2012) ถึง Overfeat (2013) และ GoogleLeNet / Inception (2014) และอื่น ๆ ...

มีความพยายามที่จะให้เครื่องตัดสินใจหรือออกแบบสถาปัตยกรรมใดที่จะใช้ขึ้นอยู่กับข้อมูลหรือไม่?

นอกจากนี้คุณยังอาจต้องการที่จะมองไปที่หนังสือที่เกี่ยวกับระบบประสาทวิวัฒนาการ ตัวอย่าง:

• Zaremba, Wojciech Ilya Sutskever Rafal Jozefowicz " การสำรวจเชิงประจักษ์ของสถาปัตยกรรมเครือข่ายซ้ำ " (2015): ใช้การคำนวณเชิงวิวัฒนาการเพื่อค้นหาโครงสร้าง RNN ที่ดีที่สุด
• Franck Dernoncourt " การก่อตัวของตาข่ายซึ่งอยู่ตรงกลาง: สารตั้งต้นทางประสาทสำหรับการเลือกการกระทำ? การประเมินผลผ่านการคำนวณเชิงวิวัฒนาการ " วิทยานิพนธ์ปริญญาโท. École Normale Supérieure Ulm 2011
• Bayer, Justin, Daan Wierstra, Julian Togelius และJürgen Schmidhuber "การพัฒนาโครงสร้างเซลล์หน่วยความจำสำหรับการเรียนรู้แบบลำดับ " ในการประชุมนานาชาติเกี่ยวกับโครงข่ายประสาทเทียม, หน้า 755-764 Springer Berlin Heidelberg, 2009: ใช้การคำนวณเชิงวิวัฒนาการเพื่อค้นหาโครงสร้าง RNN ที่ดีที่สุด

เสริมการเรียนรู้:

• Pham, Hieu, Melody Y. Guan, Barret Zoph, Quoc V. Le และ Jeff Dean "การค้นหาสถาปัตยกรรมระบบประสาทที่มีประสิทธิภาพผ่านการใช้พารามิเตอร์ร่วมกัน" พิมพ์ล่วงหน้า arXiv arXiv: 1802.03268 (2018) https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret และ Le, Quoc V. ค้นหาสถาปัตยกรรมระบบประสาทด้วยการเรียนรู้การเสริมแรง ใน ICLR 2017 https://arxiv.org/abs/1611.01578
• Jose M Alvarez, Mathieu Salzmann เรียนรู้จำนวนของเซลล์ประสาทในเครือข่ายลึก NIPS 2016 https://arxiv.org/abs/1611.06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik, Ramesh Raskar การออกแบบสถาปัตยกรรมเครือข่ายประสาทเทียมโดยใช้การเรียนรู้เสริมแรง https://arxiv.org/abs/1611.02167

• Barret Zoph, Quoc V. Le. ค้นหาสถาปัตยกรรมระบบประสาทด้วยการเรียนรู้เสริมแรง https://arxiv.org/abs/1611.01578

เบ็ดเตล็ด:

• Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas เรียนรู้ที่จะเรียนรู้โดยการไล่ระดับสีโดยการไล่ระดับสี https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee เพิ่มขีดความสามารถของHyperparameters โครงข่ายประสาทเทียมด้วยกระบวนการ Gaussian สำหรับการจำแนกประเภทของกล่องโต้ตอบ , IEEE SLT 2016
• Cortes, Corinna, Xavi Gonzalvo, Vitaly Kuznetsov, Mehryar Mohri และ Scott Yang "AdaNet: การปรับโครงสร้างการเรียนรู้ของโครงข่ายประสาทเทียม" พิมพ์ arXiv arXiv: 1607.01097 (2016) https://arxiv.org/abs/1607.01097 : แนวทางที่เรียนรู้ทั้งโครงสร้างของเครือข่ายรวมถึงน้ำหนักของมัน

ดูเหมือนว่าการวิจัยกำลังเคลื่อนไปสู่ทิศทางดังกล่าว:

• Miconi, Thomas " โครงข่ายประสาทเทียมที่มีโครงสร้างที่แตกต่าง ", arXiv (2016): ผู้เขียนแนะนำแนวคิดของโครงสร้างเครือข่ายที่แตกต่างเพื่อรวมไว้ในฟังก์ชันวัตถุประสงค์

AutoMLของ Google เป็นตัวอย่างหนึ่งดังกล่าว มันถูกนำไปใช้อย่างประสบความสำเร็จในชุดข้อมูล ImageNet ส่งผลให้NASNetซึ่งจากการเขียนนี้ได้แซงหน้ารุ่นอื่น ๆ ทั้งหมดในแง่ของความแม่นยำ กระดาษหลักอยู่ที่นี่:

การเรียนรู้สถาปัตยกรรมที่โอนถ่ายได้สำหรับการรับรู้ภาพที่ปรับขนาดได้ - Zoph, et. อัล