ทำไมเราไม่ใช้อัตราการเรียนรู้ที่ไม่คงที่เพื่อไล่ระดับสีที่เหมาะสมสำหรับสิ่งอื่น ๆ จากนั้นจึงใช้โครงข่ายประสาทเทียม

วรรณกรรมการเรียนรู้ลึกนั้นเต็มไปด้วยเทคนิคที่ชาญฉลาดโดยใช้อัตราการเรียนรู้ที่ไม่คงที่ในการไล่ระดับสี สิ่งต่าง ๆ เช่นการสลายตัวแบบเอ็กซ์โพเนนเชียล, RMSprop, Adagrad ฯลฯ นั้นง่ายต่อการติดตั้งและมีอยู่ในชุดการเรียนรู้ลึก ๆ มีเหตุผลสำหรับสิ่งนี้หรือไม่? ถ้าเป็นที่คนไม่สนใจมีเหตุผลทำไมเราไม่ต้องดูแลนอกเครือข่ายประสาท?

คำเตือน: ฉันไม่ได้มีประสบการณ์มากกับการเพิ่มประสิทธิภาพนอกเครือข่ายประสาทดังนั้นคำตอบของฉันจะลำเอียงชัดเจน แต่มีหลายสิ่งที่มีบทบาท:

• (ลึก) เครือข่ายประสาทมีมากของพารามิเตอร์ สิ่งนี้มีความหมายหลายประการ:

  ประการแรกมันเป็นกฎชนิดของวิธีการสั่งซื้อที่สูงขึ้นเพียงเพราะการคำนวณ Hessian และอนุพันธ์ที่สูงขึ้นกลายเป็นไปไม่ได้ ในโดเมนอื่น ๆ นี่อาจเป็นวิธีที่ถูกต้องดีกว่าการปรับแต่งใด ๆ ถึง SGD

  ประการที่สองแม้ว่าSGD จะยอดเยี่ยมแต่ก็มีแนวโน้มชะลอตัว เหล่านี้ SGD ที่ดีขึ้นส่วนใหญ่เป็นสายพันธุ์เปิดใช้งานได้เร็วขึ้นการฝึกอบรมในขณะที่อาจสูญเสียบางส่วนของคุณสมบัติที่ดีของสิงคโปร์ ในโดเมนอื่น ๆ เวลาการฝึกอบรมของ SGD อาจไม่ใช่คอขวดดังนั้นการปรับปรุงที่ได้รับจากการเร่งความเร็วอาจไม่สำคัญ

• เครือข่ายนิวรัลการฝึกอบรม (เชิงลึก) เป็นการเพิ่มประสิทธิภาพแบบไม่นูนและฉันไม่ได้ตระหนักถึงผลการผ่อนคลายที่สำคัญในพื้นที่ ซึ่งแตกต่างจากสาขาอื่น ๆ เครือข่ายประสาทไม่ได้มุ่งเน้นไปที่การแก้ปัญหาที่ดีที่สุดทั่วโลกซึ่งนำไปสู่การลงทุนความพยายามมากขึ้นในการปรับปรุงคุณสมบัติของพื้นผิวการสูญเสียและการสำรวจเส้นทางในระหว่างการเพิ่มประสิทธิภาพ

  ในสาขาอื่น ๆ การใช้การผ่อนนูนและการหาคำตอบที่ดีที่สุดทั่วโลกอาจอยู่ในจุดสนใจแทนอัลกอริธึมการปรับให้เหมาะสมเพราะเมื่อปัญหาถูกกำหนดเป็นปัญหานูนการเลือกอัลกอริธึมการเพิ่มประสิทธิภาพไม่สามารถปรับปรุงคุณภาพของการแก้ปัญหา .

ฉันคิดว่าคำตอบนี้ไม่ครอบคลุมทุกด้านที่เป็นไปได้และฉันเองก็อยากรู้อยากเห็นเกี่ยวกับความคิดเห็นอื่น ๆ