คุณจะตัดสินใจว่าเปอร์เซ็นต์การตรวจสอบความถูกต้องและการทดสอบของคุณเป็นอย่างไร

เมื่อแยกข้อมูลที่มีป้ายกำกับของฉันออกเป็นชุดการฝึกอบรมการตรวจสอบความถูกต้องและการทดสอบฉันได้ยินทุกอย่างตั้งแต่ 50/25/25 ถึง 85/5/10 ฉันแน่ใจว่าสิ่งนี้ขึ้นอยู่กับว่าคุณจะใช้โมเดลของคุณอย่างไรและมีแนวโน้มที่จะทำให้อัลกอริทึมการเรียนรู้ของคุณมากเกินไป มีวิธีในการตัดสินใจหรือเป็นทั้งหมดโดยกฎของหัวแม่มือ? แม้แต่ ELSII ก็ยังคลุมเครือในเรื่องนี้

$N>20000$

ขึ้นอยู่กับแอปพลิเคชันคุณอาจข้ามความไม่แน่นอนและใช้ bootstrapping แทน

วิกิ: http://en.wikipedia.org/wiki/Bootstrapping_(statistics)

คำถามที่เกี่ยวข้องที่นี่ ทำความเข้าใจกับการเริ่มต้นระบบสำหรับการตรวจสอบความถูกต้องและการเลือกรุ่น

แน่นอนคุณต้องตัดสินใจเกี่ยวกับอัตราส่วนการแยกสำหรับการสุ่มใหม่ (สองครั้ง) ...

อย่างไรก็ตามการ resampling มักใช้กับอัตราส่วนการแบ่งค่อนข้างกว้างถ้าคุณจำไว้

• ไม่ต้องทำแบบลาก่อนว่าจะลดจำนวนการใช้งานที่แตกต่างออกไปได้หรือไม่
• ปล่อยให้กรณีการฝึกอบรมเพียงพอในชุดการฝึกอบรมด้านในสุดดังนั้นอัลกอริทึมการติดตามมีโอกาสเหมาะสมในการสร้างแบบจำลองที่มีประโยชน์
• กรณีที่เป็นอิสระมากขึ้นคุณมีความสำคัญน้อยกว่าคือการพิจารณาเหล่านี้

และถ้าคุณทำงานกับข้อมูลขนาดใหญ่ (แต่ไม่ใช่ข้อมูลขนาดใหญ่) ที่ 10,000 <N <1000000

คุณสามารถทำอะไรได้ถ้าคุณไม่แน่ใจว่าจำเป็นต้องมีการ resampling ใหม่เมื่อใด: resample สองสามครั้ง เพียงพอดังนั้นคุณสามารถวัดได้ว่าจำเป็นต้องมีการสุ่มตัวอย่างใหม่หรือไม่

• ตรวจสอบความมั่นคงของการทำนายของคุณ
• ตรวจสอบความเสถียรของพารามิเตอร์โมเดลของคุณ

ด้วยผลลัพธ์เหล่านี้คุณสามารถตัดสินใจได้ว่าคุณควรเพิ่มการวนซ้ำซ้ำซ้ำอีกหรือไม่

ไม่มีกฎที่ยากและรวดเร็วสำหรับสิ่งนี้ แต่จากการวิเคราะห์เชิงประจักษ์พบว่ายิ่งคุณมีข้อมูลการฝึกอบรมมากเท่าไหร่ความแม่นยำของคุณก็จะยิ่งดีขึ้นเท่านั้น แต่ไม่ว่าคุณจะทำอะไรอย่าลืมใส่ข้อมูลการฝึกอบรม / การตรวจสอบความถูกต้อง / การทดสอบทั้งหมดของคุณเข้าด้วยกันและทำประวัติย่อ 10 เท่าเมื่อคุณสรุป สิ่งนี้ให้ข้อมูลเชิงลึกที่ดีมากเกี่ยวกับการมีปัญหามากเกินไป / underfit ระหว่างการทดสอบของคุณ

ฉันคิดว่ามันสำคัญกับคำถามที่คุณพยายามตอบ คุณสนใจในมุมมองที่ถูกต้องของความแตกต่างของประสิทธิภาพระหว่างอัลกอริธึมต่างๆหรือไม่? จากนั้นคุณต้องมีชุดการตรวจสอบที่มีขนาดใหญ่พอสมควร คุณสนใจที่อัลกอริทึมทำงานได้ดีเพียงใดสำหรับตัวอย่าง N = 10,000 จากนั้นคุณควรใส่อย่างน้อย 10,000 ตัวอย่างในชุดรถไฟ

ชุดการตรวจสอบความถูกต้องที่ใหญ่กว่านั้นจะให้ความมั่นใจในเชิงสถิติเกี่ยวกับผลลัพธ์ของคุณมากขึ้น แต่ความแน่นอนนั้นเกี่ยวกับประสิทธิภาพของอัลกอริทึมที่ผ่านการฝึกอบรมในกลุ่มตัวอย่างที่น้อยลงซึ่งอาจไม่ใช่สิ่งที่คุณเป็นในตอนท้าย