ผลรวมหรือค่าเฉลี่ยของการไล่ระดับสีในชุดการไล่ระดับสีแบบย่อส่วน

เมื่อฉันใช้การไล่ระดับสีแบบย่อส่วนที่เหมาะสมฉันเพิ่งเฉลี่ยการไล่ระดับสีของตัวอย่างทั้งหมดในชุดการฝึกอบรม อย่างไรก็ตามฉันสังเกตเห็นว่าตอนนี้อัตราการเรียนรู้ที่ดีที่สุดนั้นสูงกว่าการไล่ระดับสีออนไลน์อย่างมาก สัญชาตญาณของฉันคือสิ่งนี้เป็นเพราะการไล่ระดับสีเฉลี่ยนั้นมีเสียงดังน้อยกว่าและสามารถติดตามได้เร็วขึ้น ดังนั้นมันอาจจะสมเหตุสมผลที่จะสรุปการไล่ระดับสีของแบทช์ ค่าสามารถเป็นบวกและลบได้อยู่ดี

ฉันรู้ว่ามันเป็นเพียงปัจจัยคงที่ที่สามารถทำให้สมดุลโดยใช้อัตราการเรียนรู้ แต่ฉันสงสัยว่าคำนิยามใดที่นักวิทยาศาสตร์ได้ตกลงกันเพื่อที่ฉันจะสามารถทำซ้ำผลลัพธ์จากเอกสารโครงข่ายประสาท

โดยทั่วไปแล้วจะแบ่งการไล่ระดับสีแบบรวมของแบทช์ด้วยขนาดแบทช์หรือไม่

เฉลี่ย.

ตัวอย่าง: หมายเหตุถึงหลักสูตรการเรียนรู้เครื่องจักรของ Andrew Ng ใน Coursera ที่รวบรวมโดย Alex Holehouse

การสรุปการไล่ระดับสีเนื่องจากตัวอย่างแต่ละตัวอย่างคุณจะได้การไล่ระดับสีที่นุ่มนวลขึ้นมาก แบทช์ที่ใหญ่ขึ้นจะทำให้การไล่ระดับสีที่เกิดขึ้นราบรื่นขึ้นในการอัพเดตน้ำหนัก

การแบ่งผลรวมตามขนาดแบทช์และการไล่ระดับสีเฉลี่ยมีผลดังนี้:

1. ขนาดของน้ำหนักไม่ได้สัดส่วน การเพิ่มการทำให้เป็นมาตรฐาน L2 เข้ากับการอัปเดตน้ำหนักเป็นการลงโทษค่าน้ำหนักที่มีขนาดใหญ่ สิ่งนี้มักนำไปสู่การปรับปรุงประสิทธิภาพของการวางนัยทั่วไป การเฉลี่ยโดยเฉพาะอย่างยิ่งหากการไล่ระดับสีเกิดขึ้นในทิศทางเดียวกันให้น้ำหนักไม่ใหญ่เกินไป
2. ขนาดของการไล่ระดับสีเป็นอิสระจากขนาดแบทช์ สิ่งนี้ช่วยให้การเปรียบเทียบน้ำหนักจากการทดสอบอื่น ๆ โดยใช้ขนาดแบทช์ที่แตกต่างกัน
3. การโต้ตอบผลกระทบของขนาดชุดงานที่มีอัตราการเรียนรู้สามารถเทียบเท่าตัวเลข แต่คุณท้ายด้วยอัตราการเรียนรู้ที่มีการใช้งานเฉพาะ มันทำให้ยากที่จะสื่อสารผลลัพธ์และการตั้งค่าการทดสอบของคุณหากผู้คนไม่สามารถเกี่ยวข้องกับขนาดของพารามิเตอร์ที่คุณใช้และพวกเขาจะมีปัญหาในการทำซ้ำการทดสอบของคุณ

การหาค่าเฉลี่ยช่วยให้สามารถเปรียบเทียบได้อย่างชัดเจนและรักษาระดับการไล่ระดับสีได้อย่างอิสระ การเลือกขนาดของแบทช์บางครั้งถูก จำกัด ด้วยทรัพยากรการคำนวณที่คุณมีและคุณต้องการลดผลกระทบนี้เมื่อประเมินโมเดลของคุณ