การไล่ระดับสีเมื่อการฝึกอบรมเครือข่ายประสาทลึก

เมื่อใดที่ต้องการจะทำการไล่ระดับสีเมื่อฝึก RNN หรือ CNN ฉันสนใจเป็นพิเศษ สิ่งที่จะเป็นค่าเริ่มต้นที่ดีสำหรับการตัด? (แน่นอนสามารถปรับได้)

คุณต้องการที่จะทำการไล่สีไล่ระดับเมื่อคุณได้รับปัญหาของการหายไปไล่ระดับสีหรือการไล่ระดับสีระเบิด อย่างไรก็ตามสำหรับทั้งสองสถานการณ์มีวิธีแก้ปัญหาที่ดีกว่า:

• การไล่ระดับสีแบบระเบิดเกิดขึ้นเมื่อการไล่ระดับสีใหญ่เกินไปและคุณได้รับตัวเลขล้น สิ่งนี้สามารถแก้ไขได้อย่างง่ายดายโดยการเริ่มต้นน้ำหนักของเครือข่ายเป็นค่าที่น้อยลง หากวิธีนี้ใช้ไม่ได้อาจเป็นไปได้ว่ามีข้อผิดพลาดในรหัส

• การไล่ระดับสีแบบหายไปเกิดขึ้นเมื่อการปรับให้เหมาะสมติดอยู่ที่จุดอานการไล่ระดับสีจะเล็กเกินไปสำหรับการปรับให้เหมาะสมเพื่อความคืบหน้า สิ่งนี้สามารถแก้ไขได้โดยใช้การไล่ระดับสีด้วยโมเมนตัมหรือ RMS prop หรือทั้งสองอย่าง (ซึ่งรู้จักกันในนาม Adam optimizer)

ค่าเริ่มต้นสำหรับขอบเขตของการตัดการไล่ระดับสีจะเป็นสิ่งที่เล็กกว่าจำนวนที่มากที่สุดที่ตัวแปรสามารถรับได้ สำหรับขอบเขตล่างฉันจะบอกว่ามันเป็นปัญหาที่เฉพาะเจาะจง แต่อาจเริ่มต้นด้วยบางสิ่งบางอย่างเช่น 1e-10