ทำไมฟังก์ชั่น bootstrap ของ scikit-Learn จึงทำการทดสอบตัวอย่างอีกครั้ง

เมื่อใช้ bootstrapping สำหรับการประเมินแบบจำลองฉันมักคิดเสมอว่าตัวอย่างถุงนอกถูกใช้โดยตรงเป็นชุดทดสอบ อย่างไรก็ตามสิ่งนี้ดูเหมือนจะไม่เป็นกรณีสำหรับแนวทางการเรียนรู้แบบ Scikit ที่เลิก เรียนBootstrapซึ่งดูเหมือนว่าจะสร้างชุดการทดสอบจากการวาดภาพโดยการแทนที่จากชุดย่อยข้อมูลนอกถุง อะไรคือเหตุผลเชิงสถิติที่อยู่เบื้องหลังสิ่งนี้? มีสถานการณ์ที่เฉพาะเจาะจงซึ่งเทคนิคนี้ดีกว่าเพียงแค่การประเมินตัวอย่างนอกหรือในทางกลับกัน?

ตัวอย่าง Bootstrap ใช้เพื่อประเมินประสิทธิภาพของอัลกอริทึมด้วยการวนซ้ำจำนวนมาก ในขณะที่ทำเช่นนั้นประสิทธิภาพของชุดการเปลี่ยนแปลงแบบสุ่มจะถูกประเมิน

ในทางตรงกันข้ามเมื่อทำเช่นการตรวจสอบความถูกต้อง 10 เท่าของ Cross คุณกำลังทำซ้ำเพียง 10 ครั้งบนชุดข้อมูลรถไฟและชุดทดสอบที่แตกต่างกัน

$n=20$$i=10,000$

ลิงก์ที่คุณโพสต์ลงดังนั้นฉันจึงเพิ่มคำอธิบายของฟังก์ชั่นในเวอร์ชัน sklearn ปัจจุบัน (0.14)

คำอธิบายของวิธีการ

การสุ่มตัวอย่างแบบสุ่มด้วยการแทนที่การตรวจสอบความถูกต้องแบบข้ามให้ดัชนีรถไฟ / ทดสอบเพื่อแยกข้อมูลในชุดทดสอบรถไฟขณะที่ทำการสุ่มตัวอย่างอินพุต n_iter อีกครั้ง: ทุกครั้งที่มีการสุ่มแยกใหม่ของข้อมูลแล้วสุ่มตัวอย่าง (แทน) แต่ละด้าน ของการแยกเพื่อสร้างชุดการฝึกอบรมและการทดสอบ หมายเหตุ: ตรงกันข้ามกับกลยุทธ์การตรวจสอบข้ามอื่น ๆ การบูตสแตรปจะช่วยให้ตัวอย่างบางอย่างเกิดขึ้นหลายครั้งในแต่ละการแยก อย่างไรก็ตามตัวอย่างที่เกิดขึ้นในการแยกรถไฟจะไม่เกิดขึ้นในการทดสอบแยกและในทางกลับกัน หากคุณต้องการให้แต่ละตัวอย่างเกิดขึ้นมากที่สุดคุณควรใช้การตรวจสอบความถูกต้องแบบไขว้ของ ShuffleSplit แทน

บางทีคุณอาจเข้าสู่บางสิ่ง ดูเหมือนว่าคนอื่น ๆ ดึงหัวข้อเดียวกันที่และBootstrapได้รับการยกเลิกในความโปรดปรานของมากขึ้นโดยเจตนาการใช้resampleวิธีการที่มีความพยายามและความจริงวิธีการเช่นsklearn.cross_validationStratifiedKFold