batch_size ใน Keras มีผลกระทบต่อคุณภาพของผลลัพธ์หรือไม่

ฉันกำลังจะฝึกอบรมเครือข่าย LSTM ขนาดใหญ่ด้วยบทความ 2-3 ล้านรายการและกำลังดิ้นรนกับข้อผิดพลาดของหน่วยความจำ (ฉันใช้ AWS EC2 g2x2 ขนาดใหญ่)

batch_sizeผมพบว่าหนึ่งในวิธีการแก้ปัญหาคือการลด อย่างไรก็ตามฉันไม่แน่ใจว่าพารามิเตอร์นี้เกี่ยวข้องกับปัญหาประสิทธิภาพการใช้หน่วยความจำหรือไม่หรือจะส่งผลต่อผลลัพธ์ของฉันเท่านั้น ตามความเป็นจริงฉันก็สังเกตเห็นว่าbatch_sizeโดยปกติแล้วการใช้ตัวอย่างเป็นพลังของสองซึ่งฉันไม่เข้าใจเช่นกัน

ฉันไม่รังเกียจหากเครือข่ายของฉันใช้เวลาในการฝึกอบรมนานขึ้น แต่ฉันต้องการทราบว่าการลดbatch_sizeจะทำให้คุณภาพการคาดการณ์ของฉันลดลงหรือไม่

ขอบคุณ

หลังจากหนึ่งปีครึ่งฉันกลับมาที่คำตอบของฉันเพราะคำตอบก่อนหน้าของฉันผิด

ขนาดของแบทช์ส่งผลกระทบต่อการเรียนรู้อย่างมีนัยสำคัญ เกิดอะไรขึ้นเมื่อคุณใส่แบตช์ผ่านเครือข่ายของคุณคือคุณเฉลี่ยการไล่ระดับสี แนวคิดคือถ้าขนาดแบทช์ของคุณใหญ่พอนี่จะให้การประเมินที่เสถียรเพียงพอสำหรับการไล่ระดับสีของชุดข้อมูลแบบเต็ม ด้วยการเก็บตัวอย่างจากชุดข้อมูลของคุณคุณสามารถประมาณค่าการไล่ระดับสีในขณะที่ลดค่าใช้จ่ายในการคำนวณลงอย่างมาก ยิ่งคุณลดระดับความแม่นยำของคุณก็จะยิ่งต่ำลงอย่างไรก็ตามในบางกรณีการไล่ระดับสีที่มีเสียงดังเหล่านี้สามารถช่วยให้คุณหลบหนีจากมินิมาได้ เมื่อมันต่ำเกินไปน้ำหนักของเครือข่ายของคุณก็สามารถกระโดดไปรอบ ๆ ได้หากข้อมูลของคุณมีเสียงดังและอาจไม่สามารถเรียนรู้หรือเข้ากันได้ช้ามากซึ่งจะส่งผลเสียต่อเวลาในการคำนวณทั้งหมด

ข้อดีอีกอย่างของการแบทช์คือการคำนวณ GPU, GPU นั้นดีมากในการคำนวณแบบขนานที่เกิดขึ้นในเครือข่ายประสาทถ้าส่วนหนึ่งของการคำนวณเหมือนกัน (ตัวอย่างเช่นการคูณเมทริกซ์ซ้ำซ้อนกับเมทริกซ์น้ำหนักเดียวกันของเครือข่ายของคุณ) ซึ่งหมายความว่าขนาดของชุดงานที่ 16 จะใช้เวลาน้อยกว่าสองเท่าของจำนวนชุดที่ 8

ในกรณีที่คุณต้องการขนาดแบตช์ที่ใหญ่กว่า แต่ไม่เหมาะกับ GPU ของคุณคุณสามารถป้อนแบทช์ขนาดเล็กบันทึกการไล่ระดับสีโดยประมาณและป้อนหนึ่งหรือหลายแบทช์แล้วทำการอัปเดตน้ำหนัก วิธีนี้คุณจะได้รับการไล่ระดับสีที่มีเสถียรภาพมากขึ้นเนื่องจากคุณเพิ่มขนาดชุดงานเสมือนของคุณ

คำตอบที่ไม่ถูกต้อง: [[[ไม่การ batch_size โดยเฉลี่ยเท่านั้นมีผลต่อความเร็วในการเรียนรู้ของคุณไม่ใช่คุณภาพของการเรียนรู้) batch_sizes ยังไม่จำเป็นต้องเป็นพลังของ 2 แม้ว่าฉันเข้าใจว่าแพคเกจบางอย่างอนุญาตเฉพาะพลังของ 2 คุณควรพยายามให้ batch_size ของคุณสูงสุดที่คุณสามารถที่ยังคงเหมาะกับหน่วยความจำของ GPU ของคุณเพื่อให้ได้ความเร็วสูงสุด .]]]]

ฉันรู้สึกว่าคำตอบที่ยอมรับอาจผิด มีสายพันธุ์ในที่มีการไล่โทนสีโคตรอัลกอริทึม

1. Vanilla Gradient Descent : ที่นี่จะมีการคำนวณการไล่ระดับสีบนจุดข้อมูลทั้งหมดในการถ่ายภาพครั้งเดียวและถ่ายภาพโดยเฉลี่ย ดังนั้นเราจึงมีการไล่ระดับสีที่นุ่มนวลใช้เวลาในการเรียนรู้นานขึ้น

2. Stochastic Gradient Descent : ที่นี่หนึ่งจุดข้อมูลในเวลาหนึ่งดังนั้นการไล่ระดับสีจะก้าวร้าว (การไล่ระดับสีที่มีเสียงดัง) ดังนั้นจะมีจำนวนมากของการแกว่ง (เราใช้พารามิเตอร์โมเมนตัม - เช่น Nesterov เพื่อควบคุมสิ่งนี้) ดังนั้นจึงมีโอกาสที่ความผันผวนของคุณจะทำให้อัลกอริทึมไม่ถึงจุดต่ำสุดในพื้นที่

3. Mini-Batch Gradient Descent : ซึ่งใช้ประโยชน์จากทั้งคู่ก่อนหน้านี้โดยเฉลี่ยการไล่ระดับสีของแบทช์ขนาดเล็ก ดังนั้นอย่าก้าวร้าวเกินไปเช่น SGD และอนุญาตให้เรียนออนไลน์ซึ่ง Vanilla GD ไม่เคยได้รับอนุญาต

Mini-Batch ที่เล็กลงจะดีกว่านั่นคือประสิทธิภาพของโมเดลของคุณ (ไม่เสมอไป) และแน่นอนว่ามันต้องเกี่ยวข้องกับยุคของการเรียนรู้ที่เร็วเกินไป หากคุณกำลังฝึกอบรมเกี่ยวกับชุดข้อมูลขนาดใหญ่คุณต้องการคอนเวอร์เจนซ์ที่เร็วขึ้นด้วยประสิทธิภาพที่ดีดังนั้นเราจึงเลือก Batch-GD

SGD มีพารามิเตอร์การเรียนรู้คงที่ดังนั้นเราจึงเริ่ม Adaptive Optimizers อื่น ๆ เช่น Adam, AdaDelta, RMS Prop ฯลฯ ซึ่งเปลี่ยนพารามิเตอร์การเรียนรู้ตามประวัติของการไล่ระดับสี

ผิดปกติพอฉันพบว่าขนาดแบทช์ที่ใหญ่ขึ้นด้วย keras ต้องการยุคที่จะมาบรรจบกัน

ตัวอย่างเช่นผลลัพธ์ของสคริปต์นี้ตามการทดสอบการรวมของ keras คือ

epochs 15   , batch size 16   , layer type Dense: final loss 0.56, seconds 1.46
epochs 15   , batch size 160  , layer type Dense: final loss 1.27, seconds 0.30
epochs 150  , batch size 160  , layer type Dense: final loss 0.55, seconds 1.74

ที่เกี่ยวข้อง

• Keras ปัญหา 4708 : ผู้ใช้เปิดใช้BatchNormalizationงานซึ่งส่งผลต่อผลลัพธ์
• บทช่วยสอนนี้ใน LSTM ส่วนการปรับขนาดแบทช์
• ผลการค้นหาสำหรับkeras lstm มีผลต่อขนาดของชุดผลลัพธ์
• My Neural Network ไม่ทำงาน! ฉันควรทำอย่างไร? จุดที่ 5 (คุณใช้ขนาดของแบตช์ที่ใหญ่เกินไป) กล่าวถึงสิ่งนี้อย่างแน่นอน

การใช้ขนาดแบตช์ที่ใหญ่เกินไปอาจส่งผลเสียต่อความถูกต้องของเครือข่ายของคุณในระหว่างการฝึกอบรมเนื่องจากจะช่วยลดความคงตัวของการไล่ระดับสีลง

แก้ไข: ส่วนใหญ่แล้วการเพิ่มขึ้นbatch_sizeนั้นต้องการเพื่อเพิ่มความเร็วในการคำนวณ แต่มีวิธีอื่นที่ง่ายกว่าเช่นการใช้ชนิดข้อมูลของรอยเท้าขนาดเล็กผ่านการdtypeโต้แย้งไม่ว่าจะเป็นkerasหรือtensorflowเช่นfloat32แทนที่จะเป็นfloat64