ฉันได้พบกับเธรดนี้เพื่อดูความแตกต่างระหว่างการบูตสแตรปกับการตรวจสอบไขว้ - คำตอบที่ดีและการอ้างอิงตามวิธี สิ่งที่ผมสงสัยว่าในขณะนี้คือถ้าผมจะดำเนินการซ้ำ CV พูด 10 เท่าในการคำนวณความถูกต้องลักษณนามของกี่ครั้งnฉันควรทำซ้ำได้หรือไม่
ไม่nขึ้นอยู่กับจำนวนเท่า? เกี่ยวกับขนาดตัวอย่าง? มีกฎสำหรับสิ่งนี้หรือไม่?
(ในกรณีของฉันฉันมีตัวอย่างใหญ่ถึง 5,000 และถ้าฉันเลือกสิ่งที่มีขนาดใหญ่กว่าn = 20คอมพิวเตอร์ของฉันใช้เวลาในการคำนวณนานเกินไป)
คำตอบ:
ปัจจัยที่มีอิทธิพลต่อความเสถียรของแบบจำลองของคุณ - หรือแม่นยำมากขึ้น: การคาดการณ์ของตัวแทนเป็น
หากแบบจำลองมีความเสถียรอย่างสมบูรณ์แบบจำลองตัวแทนทั้งหมดจะให้ผลการทำนายที่เหมือนกันสำหรับกรณีทดสอบเดียวกัน ในกรณีนั้นไม่จำเป็นต้องใช้การทำซ้ำ / ซ้ำและไม่มีการปรับปรุงใด ๆ
ในขณะที่คุณสามารถวัดความเสถียรของการทำนายได้นี่คือสิ่งที่ฉันต้องการ:
จากนั้นตัดสินใจว่าจะเพิ่มการทำซ้ำอีกจำนวนเท่าใด
แน่นอนคุณอาจตัดสินใจที่จะเรียกใช้พูดซ้ำ 5 ครั้งแล้วตัดสินใจเลือกจำนวนครั้งสุดท้ายที่คุณต้องการทำ
(หมายเหตุด้านข้าง: ฉันมักใช้> ประมาณ 1,000 โมเดลตัวแทนเสมือนดังนั้นโดยทั่วไปจะไม่มีการซ้ำซ้อน / การวนซ้ำประมาณ 100 - 125)
ถามนักสถิติคำถามใด ๆ และคำตอบของพวกเขาจะเป็นรูปแบบหนึ่งของ "มันขึ้นอยู่กับ"
มันขึ้นอยู่กับ นอกเหนือจากประเภทของแบบจำลอง (จุดที่ดี cbeleites!) จำนวนชุดคะแนนการฝึกอบรมและจำนวนตัวทำนาย? ถ้าแบบจำลองสำหรับการจำแนกความไม่สมดุลของชั้นเรียนขนาดใหญ่จะทำให้ฉันเพิ่มจำนวนการทำซ้ำ นอกจากนี้หากฉันเริ่มต้นขั้นตอนการเลือกคุณสมบัติใหม่ฉันจะทำให้ตัวเองมีปัญหามากขึ้น
สำหรับวิธีการสุ่มตัวอย่างใหม่ที่ใช้ในบริบทนี้โปรดจำไว้ว่า (ซึ่งแตกต่างจากการบูตแบบดั้งเดิม) คุณจะต้องทำซ้ำมากพอที่จะได้รับการประมาณ "แม่นยำเพียงพอ" ของค่าเฉลี่ยของการแจกแจง นั่นเป็นทัศนะ แต่คำตอบใด ๆ จะ
ผสานกับการจัดหมวดหมู่ที่มีสองคลาสต่อวินาทีสมมติว่าคุณคาดหวัง / หวังว่าความแม่นยำของโมเดลจะอยู่ที่ประมาณ 0.80 เนื่องจากกระบวนการ resampling เป็นการสุ่มตัวอย่างการประมาณความถูกต้อง (พูดp) ข้อผิดพลาดมาตรฐานจะอยู่sqrt[p*(1-p)]/sqrt(B)ที่ไหนBคือจำนวนของ resamples สำหรับB = 10ข้อผิดพลาดมาตรฐานของความถูกต้องมีค่าประมาณ 0.13 และมีB = 100ค่าประมาณ 0.04 คุณอาจใช้สูตรนั้นเป็นแนวทางคร่าวๆสำหรับกรณีนี้โดยเฉพาะ
นอกจากนี้ให้พิจารณาด้วยในตัวอย่างนี้ความแปรปรวนของความถูกต้องจะขยายให้ใกล้ที่สุดถึง 0.50 ดังนั้นแบบจำลองที่แม่นยำควรใช้การจำลองแบบน้อยเนื่องจากข้อผิดพลาดมาตรฐานควรต่ำกว่าแบบจำลองที่มีผู้เรียนอ่อน
HTH,
แม็กซ์