คำถามติดแท็ก regularization

หากการเอาเซลล์ประสาทออกบางส่วนจะส่งผลให้แบบจำลองมีประสิทธิภาพดีขึ้นทำไมไม่ลองใช้โครงข่ายประสาทที่เรียบง่ายกว่าโดยมีเลเยอร์น้อยลงและมีเซลล์ประสาทน้อยลงในตอนแรก เหตุใดจึงต้องสร้างแบบจำลองที่ใหญ่และซับซ้อนกว่าเดิมในตอนเริ่มต้นและระงับบางส่วนในภายหลัง

13 machine-learning  deep-learning  keras  regularization  dropout 

การสร้างแบบจำลองการถดถอยเชิงเส้นโดยใช้ฟังก์ชั่นการสูญเสียทำไมฉันจึงควรใช้ L1L1L_1 แทน L2L2L_2 กู? การป้องกันการ overfitting ดีกว่าไหม มันเป็นสิ่งที่กำหนด (เสมอดังนั้นวิธีการแก้ปัญหาที่ไม่ซ้ำกัน)? จะดีกว่าในการเลือกคุณสมบัติ (เพราะการผลิตแบบจำลองกระจัดกระจาย)? มันกระจายน้ำหนักในคุณสมบัติหรือไม่

10 linear-regression  regularization 

เมื่อฝึกอบรมเครือข่ายประสาทเทียมมีอย่างน้อย 4 วิธีในการทำให้เป็นปกติของเครือข่าย: การทำให้เป็นมาตรฐาน L1 การทำให้เป็นมาตรฐาน L2 การออกกลางคัน การปรับสภาพเป็นกลุ่ม บวกกับสิ่งอื่น ๆ เช่นการแบ่งปันน้ำหนักและการลดจำนวนการเชื่อมต่อซึ่งอาจไม่ได้มาตรฐานในแง่ที่เข้มงวดที่สุด แต่เราจะเลือกวิธีการทำให้เป็นมาตรฐานแบบใดที่จะใช้? มีวิธีหลักการมากกว่า "เพียงแค่ลองทุกอย่างและดูว่าอะไรทำงาน"?

9 neural-network  regularization 

มีเอกสารใดที่ตีพิมพ์ซึ่งแสดงความแตกต่างของวิธีการทำให้เป็นมาตรฐานสำหรับเครือข่ายประสาทโดยเฉพาะอย่างยิ่งในโดเมนที่ต่างกัน (หรืออย่างน้อยชุดข้อมูลที่แตกต่างกัน) ฉันถามเพราะตอนนี้ฉันมีความรู้สึกว่าคนส่วนใหญ่ดูเหมือนจะใช้การออกกลางคันสำหรับการมองเห็นในคอมพิวเตอร์เป็นประจำ ฉันต้องการตรวจสอบว่ามีเหตุผล (ไม่) ที่จะใช้วิธีการทำให้เป็นมาตรฐานแบบต่างๆ

9 neural-network  computer-vision  convnet  regularization  dropout