การปรับสถาปัตยกรรม NN แบบไดนามิก: การประดิษฐ์สิ่งที่ไม่จำเป็น?

ฉันเริ่มต้นการเดินทางในระดับปริญญาเอกของฉันและเป้าหมายสูงสุดที่ฉันตั้งไว้ก่อนหน้านี้คือการพัฒนา ANNs ที่จะคอยตรวจสอบสภาพแวดล้อมที่พวกเขาทำงานและปรับสถาปัตยกรรมของพวกเขาให้เข้ากับปัญหาในมือ ความหมายที่ชัดเจนคือข้อมูลชั่วคราว: ถ้าชุดข้อมูลไม่ต่อเนื่องและไม่เปลี่ยนแปลงตลอดเวลาทำไมต้องปรับเลย

คำถามใหญ่คือด้วยการเรียนรู้ที่เพิ่มขึ้นเมื่อเร็ว ๆ นี้มันยังคงเป็นหัวข้อที่เกี่ยวข้องหรือไม่? FFNNs มีโอกาสที่จะพบว่าตัวเองมีปัญหาในการดริฟท์แนวคิดหรือไม่?

ฉันกลัวที่จะโอเวอร์โหลดเธรดที่มีคำถามมากเกินไป แต่คำถามนี้ไม่ได้อยู่นอกหัวข้อทั้งหมด: ฉันทราบถึง RNNs แต่ฉันมีประสบการณ์ จำกัด (ไม่เป็นไรไม่มีเหตุผลหรือเชิงทฤษฎี) กับพวกเขา ฉันเชื่อว่าการปรับสถาปัตยกรรมแบบไดนามิกต้องเป็นหัวข้อที่เกี่ยวข้องในบริบทของ RNN คำถามคือมันได้รับคำตอบแล้วและฉันจะคิดค้นล้อใหม่หรือไม่

PS ข้ามโพสต์ไปยังMetaOptimize

Cascade-Correlation Neural Networks ปรับโครงสร้างของพวกเขาโดยเพิ่มโหนดที่ซ่อนอยู่ในระหว่างกระบวนการฝึกอบรมดังนั้นนี่อาจเป็นจุดเริ่มต้น งานอื่น ๆ ส่วนใหญ่ที่ฉันได้เห็นว่าจะปรับจำนวนเลเยอร์จำนวนโหนดที่ซ่อนอยู่ ฯลฯ ของเครือข่ายประสาทเทียมโดยอัตโนมัติใช้อัลกอริธึมวิวัฒนาการ

น่าเสียดายที่งานนี้อยู่นอกพื้นที่ของฉันดังนั้นฉันจึงไม่สามารถแนะนำเอกสารหรือข้อมูลอ้างอิงใด ๆ เพื่อช่วยให้คุณเริ่มต้นได้ ฉันสามารถบอกคุณได้ว่าฉันไม่ได้เห็นงานที่พยายามเพิ่มประสิทธิภาพโครงสร้างเครือข่ายและพารามิเตอร์พร้อมกันภายในชุมชนการเรียนรู้อย่างลึกซึ้ง ในความเป็นจริงสถาปัตยกรรมการเรียนรู้เชิงลึกส่วนใหญ่ตั้งอยู่บนพื้นฐานของการเรียนรู้อย่างตะกละตะหงิดใจในชั้นเดียวในเวลาเดียวกันทำให้การเรียนรู้ออนไลน์แม้กระทั่งเครือข่ายประสาทลึกเป็นพื้นที่ที่ไม่มีใครแตะต้อง (การทำงานของ Martens et al.

เหตุผลที่จะต้องพิจารณาการพัฒนานวนิยายอีกวิธีการที่สร้างสรรค์เครือข่ายประสาท (เช่นอัลกอริทึมของ CC @alto กล่าวถึง) อยู่ในการใช้งานด้านนอกของสถิติ โดยเฉพาะอย่างยิ่งในวิชาประสาทวิทยาศาสตร์และวิทยาศาสตร์เกี่ยวกับความรู้ความเข้าใจเครือข่ายประสาทที่สร้างสรรค์มักจะใช้เพราะความคล้ายคลึงเชิงเปรียบเทียบกับการพัฒนาและ neurogenesis สำหรับตัวอย่างของการใช้งานหนักของน้ำตกความสัมพันธ์ในการนี้ให้ดูที่สิ่งพิมพ์ของโทมัสอา Shultz น่าเสียดายที่วิธีการสหสัมพันธ์แบบเรียงซ้อนนั้นเป็นสิ่งที่ไม่สมจริงทางชีวภาพและหากคุณมีประสาทวิทยาศาสตร์ก็ควรพิจารณาว่า NNs ใหม่กับสถาปัตยกรรมที่ปรับได้นั้นสามารถใช้เป็นแบบจำลองการพัฒนาที่ดีขึ้นและ / หรือ neurogenesis ได้อย่างไร