Train vs Test Error Gap และความสัมพันธ์กับ Overfitting: กระทบยอดคำแนะนำที่ขัดแย้งกัน

ดูเหมือนว่าจะมีคำแนะนำที่ขัดแย้งกันเกี่ยวกับวิธีจัดการเปรียบเทียบข้อผิดพลาดของรถไฟและการทดสอบโดยเฉพาะเมื่อมีช่องว่างระหว่างทั้งสอง ดูเหมือนจะมีโรงเรียนแห่งความคิดสองแห่งสำหรับฉันดูเหมือนจะขัดแย้งกัน ฉันกำลังมองหาที่จะเข้าใจวิธีการกระทบยอดทั้งสอง (หรือเข้าใจสิ่งที่ฉันหายไปที่นี่)

ความคิด # 1: ช่องว่างระหว่างรถไฟและประสิทธิภาพของชุดการทดสอบเพียงอย่างเดียวไม่ได้บ่งบอกถึงการมีน้ำหนักเกิน

ก่อนอื่น (กล่าวถึงที่นี่: การเปรียบเทียบการฝึกอบรมและการทดสอบข้อผิดพลาดจะบ่งบอกถึงการมีน้ำหนักเกินได้อย่างไร ) แนวคิดที่ว่าความแตกต่างระหว่างรถไฟและชุดทดสอบเพียงอย่างเดียวไม่สามารถบ่งบอกถึงการล้นได้ สิ่งนี้เห็นด้วยกับประสบการณ์การใช้งานจริงของฉันตัวอย่างเช่นวิธีต้นไม้ทั้งมวลซึ่งแม้หลังจากการปรับแต่งพารามิเตอร์แบบไฮเปอร์ครอสข้ามการตรวจสอบข้ามช่องว่างระหว่างข้อผิดพลาดรถไฟและการทดสอบอาจยังคงค่อนข้างใหญ่ แต่ (โดยไม่คำนึงถึงประเภทของรุ่น) ตราบใดที่คุณตรวจสอบความผิดพลาดไม่ได้กลับมาคุณก็ดี อย่างน้อยนั่นคือความคิด

ความคิด # 2: เมื่อคุณเห็นช่องว่างระหว่างรถไฟและประสิทธิภาพการทดสอบ: ทำสิ่งต่าง ๆ ที่จะต่อสู้กับการมีน้ำหนักเกิน

อย่างไรก็ตามมีคำแนะนำที่คุณเห็นจากแหล่งข้อมูลที่ดีมากซึ่งชี้ให้เห็นว่าช่องว่างระหว่างรถไฟกับข้อผิดพลาดในการทดสอบนั้นบ่งบอกถึงการมีน้ำหนักเกิน นี่คือตัวอย่าง: การพูดคุยเรื่อง "นัทและโบลต์แห่งการเรียนรู้ลึก" โดย Andrew Ng (การพูดคุยที่ยอดเยี่ยม) https://www.youtube.com/watch?v=F1ka6a13S9Iที่เวลาประทับ 48:00 เขาวาดแผนภูมิการไหล ที่ระบุว่า "ถ้าข้อผิดพลาดชุดรถไฟของคุณต่ำและข้อผิดพลาดชุด Train-dev ของคุณสูงคุณควรเพิ่มการทำให้เป็นปกติรับข้อมูลเพิ่มเติมหรือเปลี่ยนสถาปัตยกรรมแบบจำลอง" ... ซึ่งเป็นการกระทำทั้งหมดที่คุณอาจต้องต่อสู้เพื่อเอาชนะ

สิ่งใดที่ทำให้ฉัน ... : ฉันคิดถึงบางสิ่งที่นี่หรือไม่ นี่เป็นกฎเฉพาะของโมเดลหรือไม่ (โดยทั่วไปแล้วโมเดลที่เรียบง่ายกว่าจะมีช่องว่างระหว่างรถไฟและการทดสอบน้อยกว่า) หรือไม่? หรือว่ามีโรงเรียนแห่งความคิดที่แตกต่างกันสองแห่ง?

ฉันไม่คิดว่านี่เป็นคำแนะนำที่ขัดแย้งกัน สิ่งที่เราสนใจจริงๆคือประสิทธิภาพที่ดีนอกกลุ่มตัวอย่างไม่ลดช่องว่างระหว่างการฝึกอบรมและชุดทดสอบ หากประสิทธิภาพของชุดทดสอบเป็นตัวแทนของประสิทธิภาพนอกตัวอย่าง (เช่นชุดทดสอบมีขนาดใหญ่พอไม่มีการปนเปื้อนและเป็นตัวอย่างของข้อมูลที่โมเดลของเราจะถูกนำไปใช้) ดังนั้นตราบใดที่เราได้รับประสิทธิภาพที่ดีใน ชุดทดสอบเราไม่ได้บรรจุมากเกินไปโดยไม่คำนึงถึงช่องว่าง

อย่างไรก็ตามบ่อยครั้งที่หากมีช่องว่างขนาดใหญ่ก็อาจบ่งบอกว่าเราจะได้รับชุดการทดสอบที่ดีขึ้นด้วยการทำให้เป็นมาตรฐานมากขึ้น / แนะนำอคติเพิ่มเติมให้กับโมเดล แต่นั่นไม่ได้หมายความว่าช่องว่างที่เล็กลงหมายถึงแบบจำลองที่ดีกว่า เป็นเพียงว่าถ้าเรามีช่องว่างเล็ก ๆ หรือไม่มีเลยระหว่างการฝึกซ้อมและชุดทดสอบเรารู้ว่าเราไม่ฟิตเกินไปดังนั้นการเพิ่มการทำให้เป็นมาตรฐาน / การแนะนำอคติต่อโมเดลจะไม่ช่วยได้