แบบจำลองสุดท้าย (พร้อมการผลิต) ควรได้รับการฝึกอบรมกับข้อมูลที่สมบูรณ์หรือเพียงแค่ในชุดการฝึกอบรม?

สมมติว่าฉันฝึกหลายรุ่นในชุดฝึกอบรมเลือกหนึ่งชุดที่ดีที่สุดโดยใช้ชุดการตรวจสอบความถูกต้องไขว้และประสิทธิภาพที่วัดได้ในชุดทดสอบ ดังนั้นตอนนี้ฉันมีหนึ่งรุ่นที่ดีที่สุดสุดท้าย ฉันควรสั่งการฝึกอบรมใหม่กับข้อมูลที่มีอยู่ทั้งหมดหรือโซลูชันการจัดส่งที่ฝึกอบรมเฉพาะชุดฝึกอบรมหรือไม่ ถ้าอย่างหลังทำไม?

การอัปเดต: ตามที่ @ P.Windridge ระบุไว้การส่งแบบจำลองโดยทั่วไปหมายถึงการจัดส่งแบบจำลองโดยไม่มีการตรวจสอบความถูกต้อง แต่เราสามารถรายงานประสิทธิภาพของชุดการทดสอบและหลังจากนั้นฝึกจำลองข้อมูลที่สมบูรณ์แบบอย่างถูกต้องคาดหวังว่าประสิทธิภาพจะดีขึ้นเพราะเราใช้แบบจำลองที่ดีที่สุดของเราบวกกับข้อมูลมากขึ้น ปัญหาใดที่อาจเกิดขึ้นจากวิธีการดังกล่าว

คุณจะได้รับแบบจำลองที่ดีขึ้นเกือบตลอดเวลาหลังจาก refitting ตัวอย่างทั้งหมด แต่อย่างที่คนอื่นบอกว่าคุณไม่มีการตรวจสอบ นี่เป็นข้อบกพร่องพื้นฐานในวิธีการแยกข้อมูล ไม่เพียง แต่การแบ่งข้อมูลที่เสียโอกาสในการสร้างแบบจำลองความแตกต่างของตัวอย่างโดยตรงในแบบจำลองโดยรวมเท่านั้น แต่มันไม่เสถียรเว้นแต่ตัวอย่างทั้งหมดของคุณอาจใหญ่กว่า 15,000 ตัวอย่าง นี่คือเหตุผลที่จำเป็นต้องมีการตรวจสอบความถูกต้องไขว้ 100 เท่าซ้ำอีกครั้ง (ขึ้นอยู่กับขนาดตัวอย่าง) เพื่อให้ได้ความแม่นยำและความเสถียรและทำไม bootstrap สำหรับการตรวจสอบภายในที่ดียิ่งขึ้น bootstrap ยังแสดงให้เห็นถึงความยากลำบากและความสามารถในการเลือกคุณสมบัติ

ฉันได้อธิบายปัญหาเกี่ยวกับการตรวจสอบความถูกต้อง 'ภายนอก' โดยละเอียดแล้วที่ชีวสถิติในแผนกวิจัยชีวการแพทย์ 10.11

คุณไม่จำเป็นต้องฝึกซ้ำอีกครั้ง เมื่อคุณรายงานผลลัพธ์ของคุณคุณจะรายงานผลข้อมูลการทดสอบเสมอเพราะสิ่งเหล่านั้นให้ความเข้าใจที่ดีขึ้น จากชุดข้อมูลทดสอบเราสามารถเห็นได้อย่างแม่นยำว่าแบบจำลองมีแนวโน้มที่จะทำงานกับข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่างได้ดีเพียงใด