การตรวจสอบความถูกต้องไ

17

ถ้าฉันมีข้อมูลและฉันเรียกใช้การจำแนกประเภท (สมมติว่าฟอเรสต์แบบสุ่มบนข้อมูลนี้) ด้วยการตรวจสอบความถูกต้องข้าม (สมมติ 5 เท่า) ฉันจะสรุปได้ไหมว่าไม่มีวิธีที่เหมาะสมกว่าในวิธีการของฉัน

cross-validation overfitting

— mamatv
แหล่งที่มา

20

ไม่ใช่เลย. อย่างไรก็ตามการตรวจสอบข้ามช่วยให้คุณประเมินโดยวิธีการของคุณ overfits

ตัวอย่างเช่นหากข้อมูลการฝึกอบรมของคุณ R-squared ของการถดถอยเท่ากับ 0.50 และ R-squared ที่ได้จากการข้ามค่า 0.48 เท่ากับคุณแสดงว่าคุณมีความอ้วนมากเกินไปและคุณรู้สึกดี ในทางตรงกันข้ามถ้า R-squared crossvalidated เป็นเพียง 0.3 ที่นี่แล้วส่วนหนึ่งของประสิทธิภาพของแบบจำลองของคุณมาจากการ overfitting และไม่ได้มาจากความสัมพันธ์ที่แท้จริง ในกรณีเช่นนี้คุณสามารถยอมรับประสิทธิภาพที่ต่ำลงหรือลองใช้กลยุทธ์การสร้างแบบจำลองที่แตกต่างกันโดยให้ค่า overfitting น้อยลง

— Michael M
แหล่งที่มา

8

ฉันคิดว่าคำตอบนี้ถูกต้องในจิตวิญญาณ แต่ฉันไม่เห็นด้วยกับลักษณะของการปรับตัวเกินในวรรคสอง ผมไม่เชื่อว่าในช่วงที่เหมาะสมจะเกิดขึ้นเมื่อเกิดข้อผิดพลาดรถไฟ - ข้อผิดพลาดการทดสอบ> บางผูกพันแทนผมจะอธิบายลักษณะมากกว่ากระชับเป็นสถานการณ์ที่ซับซ้อนที่เพิ่มขึ้นของรูปแบบที่มีแนวโน้มเล็กน้อยเพื่อเพิ่มการถือเอาข้อผิดพลาด กำหนดว่าข้อผิดพลาดรถไฟและการทดสอบของคุณมีการเทียบเคียงมักจะส่งผลมากunderfitรุ่น

— Matthew Drury

7

การตรวจสอบความถูกต้องไขว้เป็นเทคนิคที่ดี แต่ไม่สมบูรณ์แบบเพื่อลดความกระชับ

การตรวจสอบข้ามจะทำงานได้ไม่ดีกับข้อมูลภายนอกหากข้อมูลที่คุณมีไม่ได้เป็นตัวแทนของข้อมูลที่คุณจะพยายามทำนาย!

นี่คือสถานการณ์ที่เป็นรูปธรรมสองสถานการณ์เมื่อการตรวจสอบความถูกต้องข้ามมีข้อบกพร่อง:

คุณกำลังใช้อดีตเพื่อคาดการณ์อนาคต: มันมักจะเป็นข้อสันนิษฐานที่ยิ่งใหญ่ที่จะสมมติว่าการสังเกตการณ์ในอดีตนั้นมาจากประชากรเดียวกันที่มีการกระจายตัวเช่นเดียวกับการสำรวจในอนาคต การตรวจสอบข้ามชุดข้อมูลที่ดึงมาจากอดีตจะไม่ได้รับการปกป้องจากสิ่งนี้
มีอคติในข้อมูลที่คุณรวบรวม: ข้อมูลที่คุณสังเกตเห็นนั้นแตกต่างจากระบบที่คุณไม่ได้สังเกตอย่างเป็นระบบ ตัวอย่างเช่นเรารู้เกี่ยวกับอคติของผู้ตอบในผู้ที่เลือกทำแบบสำรวจ

— TrynnaDoStat
แหล่งที่มา

3

การมีชุดข้อมูลของคุณไม่ได้เป็นตัวแทนที่ดีของประชากรที่แท้จริงจะถือว่าเป็นปัญหาแยกต่างหาก แน่นอนมันถูกต้องที่การตรวจสอบข้ามไม่ได้กล่าวถึง

— หน้าผา AB

2

นอกจากนี้ฉันสามารถแนะนำวิดีโอเหล่านี้จากหลักสูตร Stanford ในการเรียนรู้ทางสถิติ วิดีโอเหล่านี้มีรายละเอียดค่อนข้างลึกเกี่ยวกับวิธีการใช้การประเมินข้ามอย่างมีประสิทธิภาพ

การตรวจสอบข้ามและ Bootstrap (14:01)

K-fold การตรวจสอบความถูกต้องข้าม (13:33)

การตรวจสอบข้าม: ทางที่ถูกและผิด (10:07)

— Gustavsen Morten Bunes
แหล่งที่มา