เป็นไปได้อย่างไรที่การสูญเสียการตรวจสอบเพิ่มขึ้นในขณะที่ความแม่นยำในการตรวจสอบเพิ่มขึ้นเช่นกัน

ฉันกำลังฝึกโครงข่ายประสาทอย่างง่ายบนชุดข้อมูล CIFAR10 หลังจากเวลาผ่านไปการสูญเสียการตรวจสอบความถูกต้องก็เริ่มเพิ่มขึ้น การสูญเสียการทดสอบและความแม่นยำในการทดสอบยังคงปรับปรุง

เป็นไปได้อย่างไร? ดูเหมือนว่าหากการสูญเสียการตรวจสอบเพิ่มขึ้นความแม่นยำควรลดลง

ป.ล. มีคำถามที่คล้ายกันหลายประการ แต่ไม่มีใครอธิบายสิ่งที่เกิดขึ้นที่นั่น

จากคำตอบของ Ankur และความคิดเห็นที่อยู่ด้านล่างฉันคิดว่าเป็นไปได้ว่าสถานการณ์ต่อไปนี้จะเป็นไปได้ในขณะที่ฉันไม่มีข้อพิสูจน์ อาจมีปรากฏการณ์สองอย่างเกิดขึ้นในเวลาเดียวกัน:

1. ตัวอย่างที่มีการคาดคะเนเส้นเขตแดนได้รับการทำนายที่ดีขึ้นดังนั้นการเปลี่ยนแปลงระดับเอาท์พุทของพวกเขา (เช่นภาพแมวที่คาดการณ์ไว้ที่ 0.4 เป็นแมวและ 0.6 เป็นม้าจะกลายเป็นคาดการณ์ 0.4 เป็นม้า ด้วยสิ่งนี้ความแม่นยำจะเพิ่มขึ้นในขณะที่การสูญเสียลดลง

2. ตัวอย่างบางอย่างที่มีการคาดการณ์ที่แย่มาก ๆ แย่ลงเรื่อย ๆ (เช่นภาพแมวที่คาดการณ์ไว้ที่ 0.8 ถึงจะกลายเป็นม้าที่คาดการณ์ไว้ที่ 0.9 เป็นม้า) และ / หรือ (น่าจะเป็นมากขึ้น การคาดการณ์แย่ลงเล็กน้อย (เช่นภาพแมวที่คาดการณ์ไว้ที่ 0.9 ถึงจะเป็นแมวก็กลายเป็นการคาดการณ์ที่ 0.8 เป็นแมว) ด้วยปรากฏการณ์นี้การสูญเสียเพิ่มขึ้นในขณะที่ความแม่นยำยังคงเหมือนเดิม

ดังนั้นหากปรากฏการณ์ที่ 2 เตะในบางจุดในตัวอย่างจำนวนมาก (เช่นสำหรับชั้นเรียนเฉพาะที่ไม่เข้าใจดีด้วยเหตุผลบางอย่าง) และ / หรือด้วยการสูญเสียเพิ่ม stonger กว่าการสูญเสียลดลงคุณได้รับจาก 1 คุณอาจ ค้นหาตัวเองในสถานการณ์ของคุณ
อีกครั้งบางทีนี่อาจจะไม่ใช่สิ่งที่เกิดขึ้น แต่ฉันคิดว่าการที่สามารถสร้างสถานการณ์ขึ้นมาได้นั้นต้องเตือนเราถึงความสัมพันธ์ที่ลื่นไหลในบางครั้งระหว่างการสูญเสียและความแม่นยำ

ความแม่นยำของชุดถูกประเมินโดยเพียงการตรวจสอบข้าม softmax สูงสุดและคลาสที่มีเลเบลที่ถูกต้องมันไม่ได้ขึ้นอยู่กับความสูงของเอาต์พุต softmax เพื่อให้ชัดเจนขึ้นนี่คือตัวเลขบางส่วน

สมมติว่ามี 3 คลาส - สุนัขแมวและม้า สำหรับกรณีของเราชนชั้นที่ถูกต้องคือม้า ตอนนี้เอาต์พุตของ softmax คือ [0.9, 0.1] สำหรับการขาดทุนครั้งนี้ ~ 0.37 ลักษณนามจะทำนายว่ามันเป็นม้า ใช้อีกกรณีที่เอาต์พุต softmax คือ [0.6, 0.4] การสูญเสีย ~ 0.6 ผู้จําแนกจะยังคงทำนายว่ามันเป็นม้า แต่แน่นอนการสูญเสียเพิ่มขึ้น ดังนั้นมันคือทั้งหมดที่เกี่ยวกับการกระจายสัญญาณ

จากคำตอบของ Ankur ฉันคิดว่า:

$\frac{correct-classes}{total-classes}$

ในขณะที่

การสูญเสียจะติดตามความมั่นใจในการผกผัน (เพราะต้องการคำที่ดีกว่า) ของการทำนาย คะแนนการสูญเสียสูงบ่งชี้ว่าแม้ว่าตัวแบบจะทำการคาดการณ์ได้ดีก็ตาม$less$

ดังนั้น...

ความแม่นยำในการตรวจสอบสูง + คะแนนการสูญเสียสูงเทียบกับความแม่นยำในการฝึกอบรมสูง + คะแนนการสูญเสียต่ำชี้ให้เห็นว่าแบบจำลองนั้นมีความเหมาะสมมากกับข้อมูลการฝึกอบรม

คำตอบมากมายมุ่งเน้นไปที่การคำนวณทางคณิตศาสตร์ที่อธิบายว่ามันเป็นไปได้อย่างไร แต่พวกเขาไม่ได้อธิบายว่าทำไมมันถึงเป็นเช่นนั้น และพวกเขาไม่สามารถแนะนำวิธีการขุดให้ชัดเจนยิ่งขึ้นได้

ฉันมี 3 สมมติฐาน และแนะนำการทดลองบางอย่างเพื่อตรวจสอบพวกเขา หวังว่ามันจะช่วยอธิบายปัญหานี้ได้

1. ฉลากมีเสียงดัง เปรียบเทียบการคาดคะเนผิดระหว่างเมื่อ val_loss ต่ำสุดและ val_acc สูงสุด ตรวจสอบว่าตัวอย่างเหล่านี้ติดป้ายอย่างถูกต้องหรือไม่
2. [โอกาสน้อยกว่า] โมเดลมีข้อมูลไม่เพียงพอที่จะแน่ใจ ทดลองกับเลเยอร์ที่ซ่อนอยู่มากขึ้นเรื่อย ๆ
3. [เดายากมาก] นี่เป็นกรณีที่แบบจำลองมีความมั่นใจน้อยกว่าเกี่ยวกับบางสิ่งที่ถูกฝึกมานานกว่า สถานการณ์ดังกล่าวเกิดขึ้นกับมนุษย์เช่นกัน เมื่อใครบางคนเริ่มเรียนรู้เทคนิคเขาจะบอกว่าอะไรดีหรือไม่ดีสิ่งที่แน่นอนสำหรับ (ความมั่นใจสูง) เมื่อเขาผ่านกรณีและตัวอย่างมากขึ้นบางครั้งเขาก็ตระหนักว่าเส้นขอบบางอย่างอาจเบลอ (ความแน่นอนน้อยกว่าการสูญเสียที่สูงกว่า) แม้ว่าเขาจะสามารถตัดสินใจได้ดีขึ้น (ความแม่นยำมากกว่า) และในที่สุดเขาก็อาจจะมั่นใจมากขึ้นเมื่อเขากลายเป็นนายหลังจากผ่านรายการตัวอย่างจำนวนมากและการทดลองและข้อผิดพลาดมากมาย (ข้อมูลการฝึกอบรมเพิ่มเติม) ดังนั้นในกรณีนี้ฉันแนะนำให้ทดลองเพิ่มเสียงให้กับข้อมูลการฝึกอบรม (ไม่ใช่ป้ายกำกับ) อาจมีประโยชน์

อย่าโต้แย้งเรื่องนี้ถ้าคุณไม่เห็นด้วยกับสมมติฐานเหล่านี้ มันจะมีความหมายมากกว่าที่จะออกมาพร้อมกับการทดสอบเพื่อตรวจสอบพวกเขาไม่ว่าจะพิสูจน์หรือพิสูจน์พวกเขาผิด