ทำไมไม่ฝึกโมเดลสุดท้ายกับข้อมูลทั้งหมดหลังจากทำการทดสอบข้อมูลการปรับแต่งพื้นฐานแบบไฮเปอร์พาราเมตริกและข้อมูลการตรวจสอบพื้นฐานการเลือกโมเดล?

จากข้อมูลทั้งหมดฉันหมายถึงการฝึกอบรม + ทดสอบ + การตรวจสอบ

เมื่อฉันแก้ไขไฮเปอร์พารามิเตอร์ของฉันโดยใช้ข้อมูลการตรวจสอบความถูกต้องและเลือกแบบจำลองโดยใช้ข้อมูลการทดสอบจะไม่เป็นการดีกว่าที่จะมีแบบจำลองที่ผ่านการฝึกอบรมกับข้อมูลทั้งหมดเพื่อให้พารามิเตอร์ได้รับการฝึกอบรมที่ดีกว่า ข้อมูลรถไฟ

คำถามอยู่ภายใต้สมมติฐานที่ผิด หลายคนทำในสิ่งที่คุณพูดว่า "ทำไม่ได้"

ในความเป็นจริงการใช้งานการค้นหากริดในแพ็คเกจ sklearn ที่มีการใช้งานอย่างกว้างขวางนั้นทำได้ เว้นแต่refit=Falseจะสั่งสอนขึ้นใหม่รุ่นสุดท้ายโดยใช้ข้อมูลทั้งหมด

ฉันคิดว่าพารามิเตอร์บางตัวอาจไม่เป็นที่ต้องการมากนักเนื่องจากมันสัมพันธ์กับปริมาณข้อมูล ยกตัวอย่างเช่นพิจารณาmin_samples_leafชั้นเชิงก่อนการตัดแต่งกิ่งสำหรับต้นไม้ตัดสินใจ หากคุณมีข้อมูลเพิ่มเติมการตัดล่วงหน้าอาจไม่ทำงานตามที่คุณต้องการ

แต่ในความเป็นจริงคนส่วนใหญ่ทำการฝึกอบรมใหม่โดยใช้ข้อมูลทั้งหมดหลังจากการตรวจสอบความถูกต้องข้ามเพื่อให้พวกเขาได้รับแบบจำลองที่ดีที่สุด

ภาคผนวก: @NeilSlater พูดด้านล่างว่าบางคนดำเนินการระงับไว้ด้านบนของประวัติย่อ กล่าวอีกนัยหนึ่งพวกเขามีการทดสอบรถไฟแล้วทำการเลือกแบบจำลองในการฝึกอบรม ตามที่พวกเขาพวกเขาฝึกอบรมโดยใช้ชุดการฝึกอบรมเดิมแยก แต่ไม่ใช่ชุดการทดสอบ จากนั้นชุดทดสอบจะถูกใช้เพื่อทำการประเมินแบบจำลองขั้นสุดท้าย โดยส่วนตัวแล้วฉันเห็นข้อบกพร่องสามข้อในเรื่องนี้: (ก) ไม่ได้แก้ปัญหาที่ฉันกล่าวถึงด้วยพารามิเตอร์หลายมิติที่ขึ้นอยู่กับปริมาณการฝึกอบรมเนื่องจากคุณได้รับการฝึกอบรมใหม่อีกครั้ง (ข) เมื่อทำการทดสอบหลายรุ่น วิธีการต่าง ๆ เช่นการตรวจสอบความถูกต้องไขว้กันแบบซ้อนเพื่อให้ไม่มีข้อมูลไปเสียและ (c) การระงับเป็นวิธีการที่แย่มากในการอนุมานว่าแบบจำลองจะสรุปเมื่อคุณมีข้อมูลน้อยหรือไม่

ใช่คุณสามารถ.

เนื่องจากข้อมูลทดสอบนั้นมาจากการกระจายตัวที่คล้ายคลึงกันเพื่อฝึกอบรมข้อมูลคุณจะไม่ทำลายโมเดลของคุณ หากคุณได้ฝึกฝนแบบจำลองอย่างเหมาะสมแล้วคุณจะสังเกตเห็นว่าไม่มีการเปลี่ยนแปลงที่สำคัญ (ยกเว้นตัวชี้วัดความแม่นยำที่ดีกว่าในข้อมูลการทดสอบ / การตรวจสอบก่อนหน้านี้)

แต่เป็นความจริงที่ไม่ค่อยพบข้อมูลการทดสอบนั้นมาจากการแจกแจงแบบเดียวกับข้อมูลรถไฟดังนั้นในสถานการณ์กรณีของการใช้งานจริงคุณอาจมีความเป็นไปได้ที่ดีกว่าโมเดลของคุณ

คำตอบสำหรับคำถามนี้ขึ้นอยู่กับอัลกอริทึมการฝึกอบรม (เทคโนโลยี) ที่คุณใช้ ตัวอย่างเช่นฉันได้เห็นวิธีการบางอย่างในการจำแนกวงดนตรีโดยที่การฝึกอบรมและการตรวจสอบความถูกต้อง (แต่ไม่ใช่การทดสอบ) จะรวมกันในตอนท้าย มันสำคัญมากที่จะรู้ว่าแม้การตรวจสอบจะใช้เป็นหลักในการตัดสินใจว่าพารามิเตอร์ไฮเปอร์บางพารามิเตอร์ไฮเปอร์เหล่านี้สามารถทำงานของข้อมูลที่ใช้สำหรับการฝึกอบรม ตัวอย่างเช่นในการตรวจสอบความถูกต้องของ DNN เคยรู้ว่าเมื่อใดที่จะหยุดเพราะการใส่ข้อมูลมากเกินไปอาจเกิดขึ้นเนื่องจากการปรับพารามิเตอร์ (น้ำหนัก) ของเครือข่ายเราต้องการวิธีที่จะหยุดเมื่อใด หากไม่มีชุดการตรวจสอบคุณจะเดินสุ่มสี่สุ่มห้าในกระบวนการฝึกอบรม ในทางกลับกันถ้าคุณใช้การวนซ้ำตามจำนวนที่ระบุไว้ก่อนหน้านี้มีโพรบสูงที่คุณจะไม่ได้รับจากตัวอย่างเพิ่มเติมเหล่านี้ ไม่ควรแตะต้องชุดทดสอบเลยตามที่ระบุข้างต้นโดยไม่มีชุดทดสอบคุณจะไม่มีวิธีในการประเมินโมเดลของคุณ นี่คือการพนันคุณไม่สามารถส่งมอบรูปแบบหรือวิธีการแก้ปัญหาใด ๆ โดยไม่ต้องประเมินความถูกต้องของมันในการกระจายข้อมูลที่แท้จริง (ซึ่งแสดงโดยข้อมูลการทดสอบ)