ระบุขนาดตัวอย่าง "N" ที่ฉันวางแผนจะใช้ในการคาดการณ์ข้อมูล มีวิธีใดบ้างในการแบ่งข้อมูลเพื่อให้ฉันใช้บางวิธีเพื่อสร้างแบบจำลองและข้อมูลส่วนที่เหลือเพื่อตรวจสอบความถูกต้องของแบบจำลอง
ฉันรู้ว่าไม่มีคำตอบขาวดำสำหรับเรื่องนี้ แต่มันน่าสนใจที่จะรู้ "กฎง่ายๆ" หรืออัตราส่วนที่ใช้ ฉันรู้จักมหาวิทยาลัยอีกครั้งหนึ่งในอาจารย์ของเราเคยพูดแบบจำลอง 60% และตรวจสอบความถูกต้อง 40%
คำตอบ:
อย่างที่คุณบอกว่าไม่มีคำตอบขาวดำ โดยทั่วไปฉันไม่ได้แบ่งข้อมูลออกเป็น 2 ส่วน แต่ใช้วิธีการเช่นการตรวจสอบความถูกต้องข้ามของ k-fold แทน
ในการตรวจสอบความถูกต้องข้ามของ k-fold คุณแบ่งข้อมูลของคุณแบบสุ่มเป็น k และพอดีกับโมเดลของคุณในส่วน k-1 และทดสอบข้อผิดพลาดทางด้านซ้ายส่วน คุณทำซ้ำขั้นตอน k โดยปล่อยให้แต่ละส่วนหลุดออกจากข้อต่อทีละส่วน คุณสามารถรับค่าความผิดพลาดเฉลี่ยจากการทำซ้ำแต่ละค่า k เพื่อระบุข้อผิดพลาดของแบบจำลอง มันใช้งานได้ดีจริงๆถ้าคุณต้องการเปรียบเทียบพลังการทำนายของแบบจำลองต่างๆ
รูปแบบสุดขั้วหนึ่งของการตรวจสอบความถูกต้องของ k-fold คือการตรวจสอบความถูกต้องไขว้ทั่วไปที่คุณเพิ่งทิ้งจุดข้อมูลหนึ่งจุดสำหรับการทดสอบและปรับแบบจำลองให้เหมาะกับจุดที่เหลือทั้งหมด จากนั้นทำซ้ำกระบวนการ n ครั้งโดยปล่อยให้แต่ละจุดข้อมูลทีละหนึ่ง ฉันชอบการตรวจสอบไขว้แบบ k-fold มากกว่าการตรวจสอบไขว้แบบทั่วไป ... เป็นทางเลือกส่วนตัว
ขึ้นอยู่กับปริมาณข้อมูลที่คุณมีค่าใช้จ่ายเฉพาะวิธีการและผลลัพธ์ที่คุณต้องการ
ตัวอย่างบางส่วน:
หากคุณมีข้อมูลเพียงเล็กน้อยคุณอาจต้องการใช้การตรวจสอบข้าม (k-fold, ออกจากรายการครั้งเดียว ฯลฯ ) โมเดลของคุณอาจไม่ใช้ทรัพยากรมากในการฝึกอบรมและทดสอบอย่างไรก็ตาม เป็นวิธีที่ดีที่จะได้รับประโยชน์สูงสุดจากข้อมูลของคุณ
คุณมีข้อมูลจำนวนมาก: คุณอาจต้องการชุดทดสอบที่มีขนาดใหญ่พอสมควรทำให้มั่นใจได้ว่าจะมีความเป็นไปได้น้อยที่ตัวอย่างแปลก ๆ บางอย่างจะให้ความแปรปรวนกับผลลัพธ์ของคุณมาก คุณควรใช้ข้อมูลเท่าไหร่ ขึ้นอยู่กับข้อมูลและรุ่นของคุณอย่างสมบูรณ์ ในการรู้จำเสียงพูดตัวอย่างเช่นถ้าคุณจะใช้ข้อมูลมากเกินไป (สมมติว่า 3000 ประโยค) การทดลองของคุณอาจใช้เวลาเป็นวันเนื่องจากปัจจัยแบบเรียลไทม์ของ 7-10 นั้นเป็นเรื่องปกติ ถ้าคุณจะใช้เวลาน้อยเกินไปมันขึ้นอยู่กับลำโพงที่คุณเลือกมากเกินไป (ซึ่งไม่ได้รับอนุญาตในชุดฝึกอบรม)
โปรดจำไว้ว่าในหลายกรณีก็เป็นการดีที่จะมีการตรวจสอบ / พัฒนาเช่นกัน!
การทดสอบ 1:10: อัตราส่วนรถไฟเป็นที่นิยมเพราะดูเป็นรอบ 1: 9 ได้รับความนิยมเนื่องจาก CV 10 เท่าและ 1: 2 เป็นที่นิยมเพราะมันเป็นแบบกลมและประกอบกันเป็นแถบบูต บางครั้งก็มีการทดสอบจากเกณฑ์เฉพาะข้อมูลเช่นปีที่แล้วสำหรับการทดสอบหลายปีก่อนการฝึกอบรม
กฎทั่วไปเป็นเช่นนี้: รถไฟจะต้องมีขนาดใหญ่พอที่จะให้ความแม่นยำไม่ลดลงอย่างมีนัยสำคัญและการทดสอบจะต้องมีขนาดใหญ่พอที่จะเงียบความผันผวนแบบสุ่ม
ถึงกระนั้นฉันก็ชอบ CV เพราะมันทำให้คุณมีข้อผิดพลาด
ในฐานะที่เป็นส่วนขยายของคำตอบ k-fold ตัวเลือก "ปกติ" ของ k คือ 5 หรือ 10 วิธีการลาออกหนึ่งครั้งมีแนวโน้มที่จะสร้างแบบจำลองที่อนุรักษ์นิยมเกินไป FYI นี่คือข้อมูลอ้างอิงเกี่ยวกับข้อเท็จจริงนั้น:
Shao, J. (1993), การเลือกโมเดลเชิงเส้นโดยการตรวจสอบข้าม, วารสารสมาคมสถิติอเมริกัน, ปีที่ 19, 88, หมายเลข 422, pp. 486-494