ฉันได้อ่านเกี่ยวกับการตรวจสอบ k-fold และฉันต้องการตรวจสอบให้แน่ใจว่าฉันเข้าใจวิธีการทำงาน
ฉันรู้ว่าสำหรับวิธีการค้างไว้ข้อมูลจะถูกแบ่งออกเป็นสามชุดและชุดทดสอบนั้นจะถูกใช้ที่ส่วนท้ายสุดเพื่อประเมินประสิทธิภาพของรุ่นเท่านั้นในขณะที่ชุดการตรวจสอบใช้สำหรับการปรับพารามิเตอร์ไฮเปอร์พารามิเตอร์ ฯลฯ
ในวิธีการ k-fold เรายังคงจัดชุดการทดสอบสำหรับส่วนท้ายและใช้เฉพาะข้อมูลที่เหลือสำหรับการฝึกอบรมและการปรับจูนพารามิเตอร์เช่นเราแบ่งข้อมูลที่เหลือเป็น k เท่าแล้วใช้ความแม่นยำเฉลี่ยหลังจากการฝึกอบรม ด้วยการพับแต่ละครั้ง (หรือตัวชี้วัดประสิทธิภาพใดก็ตามที่เราเลือกเพื่อปรับพารามิเตอร์ไฮเปอร์พารามิเตอร์) หรือเราไม่ได้ใช้ชุดทดสอบแยกเลยและแยกชุดข้อมูลทั้งหมดเป็น k เท่า (ถ้าเป็นกรณีนี้ฉันคิดว่าเราแค่พิจารณาความถูกต้องเฉลี่ยบน k เท่าเพื่อความถูกต้องสุดท้ายของเรา)?
3
ขึ้นอยู่กับสิ่งที่คุณต้องการจะทำ หากคุณต้องการประมาณการประสิทธิภาพทั่วไปแล้วใช่โมเดลควรทำการทดสอบข้อมูลที่ไม่เคยเห็นมาก่อน แต่นั่นไม่ได้หมายความว่าจะต้องทำซ้ำซ้ำอีกครั้งคุณสามารถใช้การสุ่มใหม่เพื่อให้บรรลุเป้าหมายเดียวกัน
—
Firebug
... ซึ่งหมายความว่าเมื่อใดก็ตามที่คุณใช้ผลลัพธ์ "การตรวจสอบความถูกต้อง" สำหรับการปรับแต่งพารามิเตอร์ / โมเดลไฮเปอร์พารามิเตอร์คุณจำเป็นต้องมีขั้นตอนการตรวจสอบความถูกต้องอีกขั้นซึ่งไม่ขึ้นอยู่กับการปรับแต่งนั้น สำหรับทั้งสองขั้นตอนคุณสามารถใช้เช่นการตรวจสอบความถูกต้องไขว้หรือกดค้างไว้ (หรือ out-of-bootstrap หรือ ... ) CV + CV เรียกว่าซ้อนกัน CV กดค้างไว้ + นำไปสู่การตั้งค่า 3 ชุดที่คุณกล่าวถึง
—
cbeleites รองรับโมนิก้า