เหตุใดข้อมูลเกี่ยวกับข้อมูลการตรวจสอบจึงรั่วไหลหากฉันประเมินประสิทธิภาพของแบบจำลองกับข้อมูลการตรวจสอบความถูกต้องเมื่อทำการปรับพารามิเตอร์ไฮเปอร์พารามิเตอร์

ในการเรียนรู้อย่างลึกซึ้งกับFrançois Chollet กับ Python มันบอกว่า:

ดังนั้นการปรับการกำหนดค่าของโมเดลตามประสิทธิภาพของชุดการตรวจสอบความถูกต้องสามารถส่งผลให้ overfitting เป็นชุดการตรวจสอบได้อย่างรวดเร็วแม้ว่าโมเดลของคุณจะไม่ได้รับการฝึกฝนโดยตรง

ศูนย์กลางของปรากฏการณ์นี้คือแนวคิดของการรั่วไหลของข้อมูล ทุกครั้งที่คุณปรับแต่ง hyperparameter ของรูปแบบของคุณขึ้นอยู่กับประสิทธิภาพของแบบจำลองในชุดการตรวจสอบ, ข้อมูลบางอย่างเกี่ยวกับการรั่วไหลของข้อมูลการตรวจสอบลงในรูปแบบ หากคุณทำสิ่งนี้เพียงครั้งเดียวสำหรับหนึ่งพารามิเตอร์ข้อมูลที่น้อยมากจะรั่วไหลและชุดการตรวจสอบของคุณจะยังคงเชื่อถือได้ในการประเมินรูปแบบ แต่ถ้าคุณทำซ้ำหลาย ๆ ครั้ง - ทำการทดสอบหนึ่งครั้งประเมินผลชุดการตรวจสอบความถูกต้องและแก้ไขแบบจำลองของคุณจากนั้นคุณก็จะรั่วไหลข้อมูลจำนวนมากเกี่ยวกับการตรวจสอบความถูกต้องที่ตั้งไว้ในแบบจำลอง

neural-networks cross-validation hyperparameter

— fabiomaia
แหล่งที่มา

BTW: ไม่เพียง แต่ขึ้นอยู่กับความถี่ที่คุณทำ แต่ยังขึ้นอยู่กับความไม่แน่นอนแบบสุ่มของการประเมินประสิทธิภาพของคุณ (เป้าหมายการทำงาน) ในระหว่างการปรับให้เหมาะสม

— cbeleites ไม่มีความสุขกับ SX

@cbeleites ขออภัยนั่นหมายความว่าอย่างไร

— fabiomaia

หากผลลัพธ์การยืนยันที่ใช้สำหรับการปรับให้เหมาะสมนั้นสมบูรณ์แบบ (เช่นไม่มีข้อผิดพลาดที่เป็นระบบหรือแบบสุ่ม) การปรับให้เหมาะสมจะเลือกรูปแบบที่เหมาะสมที่สุดอย่างแท้จริงคุณจะไม่มีการฟิตเกิน การปรับให้เหมาะสมอาจทำให้เกิดข้อผิดพลาดอย่างเป็นระบบ (อคติ) ตราบใดที่มันไม่เปลี่ยนแปลงตามปัจจัยที่คุณเปลี่ยนแปลงในระหว่างการปรับให้เหมาะสม ตอนนี้ให้พิจารณาว่าจะเกิดอะไรขึ้นหากมีข้อผิดพลาดแบบสุ่ม (ความไม่แน่นอนของความแปรปรวน) ในการประมาณประสิทธิภาพ: คุณจะได้รับเสียงรบกวนจากแนวนอน "แนว" ที่เป็นตัวจริง

— cbeleites ไม่มีความสุขกับ SX

เสียงรบกวนนี้สามารถทำให้บางจุด (การตั้งค่าพารามิเตอร์มากเกินไป) ดูดีกว่าที่เป็นจริงดังนั้นการตั้งค่าพารามิเตอร์เหล่านั้นอาจถูกเลือกโดยไม่ตั้งใจ (และผิดพลาด) ความน่าจะเป็นที่จะเกิดขึ้นกับ a) จำนวนครั้งที่คุณดูค่าประสิทธิภาพดังกล่าวและ b) ปริมาณเสียงที่คุณมีอยู่เหนือประสิทธิภาพที่แท้จริง (เทียบกับการเพิ่มประสิทธิภาพที่แท้จริง) นี่ไม่ได้เกี่ยวกับสาเหตุที่ผลการตรวจสอบซ้ำนำมาใช้คือการรั่วไหลของข้อมูล แต่เกี่ยวกับการเกิด overfitting ตามลำดับและปัญหาร้ายแรงที่คุณควรคาดหวังดังนั้นจึงเป็นเพียงความคิดเห็นเท่านั้น

— cbeleites ไม่มีความสุขกับ SX

ข้อมูลรั่วไหลออกมาเนื่องจากคุณกำลังใช้ข้อมูลการตรวจสอบเพื่อทำการเลือกพารามิเตอร์แบบไฮเปอร์ โดยพื้นฐานแล้วคุณกำลังสร้างปัญหาการปรับให้เหมาะสมที่ซับซ้อน: ลดการสูญเสียมากกว่าพารามิเตอร์ตามการประเมินเทียบกับข้อมูลการตรวจสอบความถูกต้องซึ่งพารามิเตอร์ hyper เหล่านี้ทำให้โมเดลเครือข่ายประสาทเป็นปกติที่มีการฝึกอบรมพารามิเตอร์ . $\phi$ $\theta$

แม้ว่าพารามิเตอร์จะได้รับการแจ้งโดยตรงจากข้อมูลการฝึกอบรม แต่พารามิเตอร์ hyper-จะถูกเลือกบนพื้นฐานของข้อมูลการตรวจสอบความถูกต้อง ยิ่งกว่านั้นเนื่องจากพารามิเตอร์ไฮเปอร์มีอิทธิพลต่อโดยปริยายข้อมูลจากข้อมูลการตรวจสอบจะมีผลทางอ้อมต่อโมเดลที่คุณเลือก $\theta$ $\phi$ $\phi$ $\theta$

— Sycorax พูดว่า Reinstate Monica
แหล่งที่มา

เมื่อมองย้อนกลับไปมันค่อนข้างชัดเจน แต่ "ถ้าคุณทำสิ่งนี้เพียงครั้งเดียวสำหรับหนึ่งพารามิเตอร์ข้อมูลที่น้อยมากจะรั่วไหล" หมายความว่าอย่างไร มีความหมายว่าอะไรและมีความแตกต่างอย่างไรกับกรณีอื่นที่ "คุณพูดซ้ำหลายครั้ง"

— fabiomaia

สมมติว่าคุณลองใช้การกำหนดค่าพารามิเตอร์ไฮเปอร์ 2 ตัววัดประสิทธิภาพเทียบกับข้อมูลการตรวจสอบความถูกต้องและเลือกรุ่นที่ดีที่สุด มีโอกาสน้อยกว่าที่คุณโชคดีคุณสามารถจัดการข้อมูลการตรวจสอบให้ถูกต้องได้ ในทางตรงกันข้ามสมมติว่าคุณลองกำหนดค่าพารามิเตอร์ไฮเปอร์พารามิเตอร์และเลือกโมเดลที่ดีที่สุดตามข้อมูลการตรวจสอบความถูกต้อง มีความเสี่ยงที่ใหญ่กว่านั้นโดยโชคดีที่ตาบอดคุณสามารถจัดการกับข้อมูลการตรวจสอบได้มากเกินไป ดูเพิ่มเติมที่: "สวนแห่งเส้นทางการฟอร์ก" และการค้นพบเอฟเฟกต์ปลอม

2^{10}

$2^{10}$

— Sycorax พูดว่า Reinstate Monica

นั่นทำให้รู้สึกที่สมบูรณ์แบบ ถ้อยคำในหนังสือต้นฉบับไม่ได้ดีที่สุด ขอบคุณ!

— fabiomaia

ถ้อยคำในหนังสือเป็นเลิศ

— Michael M

สำหรับคุณอาจดูเหมือน "ยอดเยี่ยม" เพราะคุณอาจรู้อยู่แล้วว่าผู้เขียนกำลังพูดถึงอะไร ความคิดเห็นโดย @Sycorax ชัดเจนมากขึ้นและเป็นประโยชน์กับฉัน

— fabiomaia