ในเวลานี้วิธีการไล่ระดับสีแบบสุ่มมักจะเป็นอัลกอริทึมของตัวเลือกสำหรับการเรียนรู้อย่างลึกซึ้ง ซึ่งหมายความว่าข้อมูลมาเป็นแบตช์การไล่ระดับสีจะถูกคำนวณและพารามิเตอร์จะถูกอัพเดต ซึ่งหมายความว่าคุณสามารถคำนวณการสูญเสียข้อมูลได้เมื่อเลือกแต่ละแบทช์ ภายใต้กรอบการทำงานนี้มีสองวิธีในการคำนวณการสูญเสียที่ฉันสามารถคิดได้ซึ่งสามารถนำไปสู่ปรากฏการณ์นี้ว่าข้อผิดพลาดการฝึกอบรมมีค่ามากกว่าข้อผิดพลาดในการตรวจสอบความถูกต้อง ด้านล่างฉันแสดงให้เห็นว่าจริง ๆ แล้ว Keras ดูเหมือนจะคำนวณข้อผิดพลาดในตัวอย่างด้วยวิธีการเหล่านี้
1. ) ข้อผิดพลาดการฝึกอบรมมีค่าเฉลี่ยมากกว่าช่วงเวลาทั้งหมด แต่ทั้งหมดในคราวเดียวในตอนท้ายของยุค แต่ข้อผิดพลาดในการตรวจสอบความถูกต้องเป็นเพียงที่จุดสิ้นสุดของยุค โปรดทราบว่าข้อผิดพลาดในการตรวจสอบความได้เปรียบของการปรับปรุงอย่างเต็มที่ในขณะที่ข้อผิดพลาดการฝึกอบรมรวมถึงการคำนวณข้อผิดพลาดที่มีการปรับปรุงน้อยลง แน่นอนผลกระทบนี้โดยทั่วไปควรจะหายไป
2. ) การคำนวณข้อผิดพลาดการฝึกอบรมก่อนที่จะทำการอัพเดตเป็นชุด ในวิธีที่ใช้การไล่ระดับสีแบบสุ่ม ในขณะที่คนหนึ่งกำลังปีนเขามีความเป็นไปได้สูงที่จะลดการสูญเสียทั่วโลกซึ่งคำนวณจากตัวอย่างการฝึกอบรมทั้งหมด อย่างไรก็ตามเมื่อเข้าใกล้โหมดมากทิศทางการอัพเดทจะเป็นค่าลบเมื่อเทียบกับตัวอย่างในแบทช์ของคุณ แต่เนื่องจากเราถูกตีกลับมารอบโหมดนี้หมายความว่าโดยเฉลี่ยเราจะต้องเลือกทิศทางที่เป็นบวกเกี่ยวกับการตัวอย่างที่ออกของชุด ตอนนี้ถ้าเรากำลังจะอัพเดทตามตัวอย่างในแบทช์ที่กำหนดนั่นหมายความว่าพวกเขาถูกผลักดันโดยการอัพเดตแบตช์จำนวนมากที่พวกเขาไม่ได้รวมอยู่ในโดยการคำนวณการสูญเสียก่อนการอัพเดทนี่คือเมื่อสุ่ม วิธีการได้ผลักพารามิเตอร์มากที่สุดในความโปรดปรานของตัวอย่างอื่น ๆ ในชุดข้อมูลของคุณจึงทำให้เรามีอคติขึ้นเล็กน้อยในการสูญเสียที่คาดหวัง
โปรดทราบว่าในขณะที่ไม่มีอาการผลของ (1) จะหายไป (2) ไม่! ด้านล่างฉันแสดงให้เห็นว่า Keras ดูเหมือนจะทำทั้ง (1) และ (2)
(1) แสดงให้เห็นว่าการวัดมีค่าเฉลี่ยในแต่ละชุดในยุคมากกว่าทั้งหมดในคราวเดียวในตอนท้าย สังเกตุความแตกต่างอย่างมากของความแม่นยำในตัวอย่างเทียบกับ val_accuracy ที่นิยมใช้ val_accuracy ในช่วงแรก นี่เป็นเพราะข้อผิดพลาดในตัวอย่างบางส่วนที่คำนวณด้วยการอัพเดทแบบชุดน้อยมาก
>>> model.fit(Xtrn, Xtrn, epochs = 3, batch_size = 100,
... validation_data = (Xtst, Xtst))
Train on 46580 samples, validate on 1000 samples
Epoch 1/3
46580/46580 [==============================] - 8s 176us/sample
- loss: 0.2320 - accuracy: 0.9216
- val_loss: 0.1581 - val_accuracy: 0.9636
Epoch 2/3
46580/46580 [==============================] - 8s 165us/sample
- loss: 0.1487 - accuracy: 0.9662
- val_loss: 0.1545 - val_accuracy: 0.9677
Epoch 3/3
46580/46580 [==============================] - 8s 165us/sample
- loss: 0.1471 - accuracy: 0.9687
- val_loss: 0.1424 - val_accuracy: 0.9699
<tensorflow.python.keras.callbacks.History object at 0x17070d080>
(2) การแสดงข้อผิดพลาดจะถูกคำนวณก่อนการอัพเดตสำหรับแต่ละชุด โปรดทราบว่าสำหรับยุค 1 เมื่อเราใช้batch_size = nRows(เช่นข้อมูลทั้งหมดในชุดเดียว) ข้อผิดพลาดในตัวอย่างคือประมาณ 0.5 (การคาดเดาแบบสุ่ม) สำหรับยุค 1 แต่ข้อผิดพลาดในการตรวจสอบคือ 0.82 ดังนั้นข้อผิดพลาดในตัวอย่างจึงถูกคำนวณก่อนการอัพเดตแบบแบตช์ในขณะที่ข้อผิดพลาดในการตรวจสอบความถูกต้องคำนวณหลังจากการอัพเดทแบบแบตช์
>>> model.fit(Xtrn, Xtrn, epochs = 3, batch_size = nRows,
... validation_data = (Xtst, Xtst))
Train on 46580 samples, validate on 1000 samples
Epoch 1/3
46580/46580 [==============================] - 9s 201us/sample
- loss: 0.7126 - accuracy: 0.5088
- val_loss: 0.5779 - val_accuracy: 0.8191
Epoch 2/3
46580/46580 [==============================] - 6s 136us/sample
- loss: 0.5770 - accuracy: 0.8211
- val_loss: 0.4940 - val_accuracy: 0.8249
Epoch 3/3
46580/46580 [==============================] - 6s 120us/sample
- loss: 0.4921 - accuracy: 0.8268
- val_loss: 0.4502 - val_accuracy: 0.8249