ความแตกต่างระหว่างการบูตสแตรปและการตรวจสอบความถูกต้องข้ามคืออะไร?


21

ฉันเคยใช้การตรวจสอบความถูกต้องไขว้ของ K-fold เพื่อประเมินโมเดลการเรียนรู้ของเครื่องของฉันอย่างมีประสิทธิภาพ แต่ฉันก็ตระหนักถึงการมีอยู่ของวิธีบูตสแตรปปิ้งเพื่อจุดประสงค์นี้เช่นกัน อย่างไรก็ตามฉันไม่สามารถเห็นความแตกต่างที่สำคัญระหว่างพวกเขาในแง่ของการประเมินประสิทธิภาพ

เท่าที่ฉันเห็น bootstrapping ยังผลิตจำนวนสุ่มฝึกอบรม + ชุดย่อยทดสอบ (แม้ว่าในทางที่แตกต่างกัน) ดังนั้นสิ่งที่เป็นจุดได้เปรียบสำหรับการใช้วิธีนี้มากกว่า CV? สิ่งเดียวที่ฉันสามารถคิดได้ว่าในกรณีของการบูตสแตรปหนึ่งสามารถสร้างจำนวนเซตย่อยตามอำเภอใจได้อย่างแท้จริงในขณะที่สำหรับ CV จำนวนของอินสแตนซ์นั้นเป็นข้อ จำกัด สำหรับเรื่องนี้ แต่แง่มุมนี้ดูเหมือนจะสร้างความรำคาญเล็กน้อย

คำตอบ:


18

ทั้งการตรวจสอบข้ามและการบูตสแตรปเป็นวิธีการสุ่มตัวอย่างอีกครั้ง

  • bootstrap resamples ที่มีการแทนที่ (และมักจะสร้างชุดข้อมูล "ตัวแทน" ใหม่ที่มีจำนวนเคสเท่ากันกับชุดข้อมูลดั้งเดิม) เนื่องจากการวาดด้วยการแทนที่ชุดข้อมูล bootstrapped อาจมีหลายกรณีของกรณีเดิมเดียวกันและอาจละเว้นกรณีดั้งเดิมอื่น ๆ โดยสิ้นเชิง
  • knx=nkk=n

  • ตามที่การตรวจสอบความถูกต้องของชื่อแนะนำจุดประสงค์หลักคือการวัดประสิทธิภาพ (การวางนัยทั่วไป) ของแบบจำลอง ในทางตรงกันข้าม bootstrapping ถูกนำมาใช้เพื่อสร้างฟังก์ชั่นการกระจายเชิงประจักษ์สำหรับช่วงกว้างของสถิติ (อย่างกว้างขวางในช่วงจากการพูดการเปลี่ยนแปลงของค่าเฉลี่ยกับการเปลี่ยนแปลงของรูปแบบในรูปแบบชุดกระเป๋าทั้งหมด)

  • อะนาล็อกแบบลาออกหนึ่งครั้งของโพรซีเดอร์ bootstrag เรียกว่าjackknifing (และจริงกว่าเก่ากว่า bootstrapping)

  • อะนาล็อก bootstrap เพื่อข้ามการตรวจสอบความถูกต้องโดยประมาณของข้อผิดพลาดการวางนัยทั่วไปเรียกว่าการประเมินแบบout-of-bootstrap (เนื่องจากกรณีทดสอบเป็นกรณีที่เหลือจากชุดการฝึกบู๊ต resampled)

[cross validaton vs. การตรวจสอบความถูกต้องแบบ out-of-bootstrap] อย่างไรก็ตามฉันไม่สามารถเห็นความแตกต่างที่สำคัญระหว่างพวกเขาในแง่ของการประมาณประสิทธิภาพ

k

มีจำนวนครั้งที่พยายามลดอคติ oob (.632-bootstrap, .632 + -bootstrap) แต่ไม่ว่าพวกเขาจะปรับปรุงสถานการณ์จริงหรือไม่นั้นขึ้นอยู่กับสถานการณ์ในมือ

วรรณกรรม:


สิ่งเดียวที่ฉันสามารถคิดได้ว่าในกรณีของการบูตสแตรปหนึ่งสามารถสร้างจำนวนเซตย่อยตามอำเภอใจได้อย่างแท้จริงในขณะที่สำหรับ CV จำนวนของอินสแตนซ์นั้นเป็นข้อ จำกัด สำหรับเรื่องนี้

nk

  • (nk)k
  • (2n-1n)

3

Bootstrapping เป็นการทดสอบหรือตัวชี้วัดใด ๆ ที่อาศัยการสุ่มตัวอย่างด้วยการแทนที่มันเป็นวิธีการที่ช่วยในหลาย ๆ สถานการณ์เช่นการตรวจสอบความถูกต้องของแบบจำลองการทำนาย, วิธีการทั้งมวล, การประมาณค่าอคติและความแปรปรวนของพารามิเตอร์ของแบบจำลองเป็นต้น ดำเนินการสุ่มตัวอย่างด้วยการแทนที่จากชุดข้อมูลดั้งเดิมและในเวลาเดียวกันสมมติว่าจุดข้อมูลที่ไม่ได้ถูกเลือกเป็นชุดข้อมูลทดสอบ เราสามารถทำซ้ำขั้นตอนนี้หลาย ๆ ครั้งและคำนวณคะแนนเฉลี่ยเป็นการประเมินประสิทธิภาพของแบบจำลองของเรา นอกจากนี้ Bootstrapping ยังเกี่ยวข้องกับวิธีการฝึกอบรมทั้งมวลเพราะเราสามารถสร้างแบบจำลองโดยใช้ชุดข้อมูล bootstrap แต่ละชุดและ“ ถุง” โมเดลเหล่านี้เป็นชุดโดยใช้การลงคะแนนส่วนใหญ่ (สำหรับการจำแนก) หรือคำนวณค่าเฉลี่ย (สำหรับการทำนายเชิงตัวเลข) โมเดลเหล่านี้เป็นผลลัพธ์สุดท้ายของเรา

การตรวจสอบความถูกต้องไขว้เป็นกระบวนการสำหรับการตรวจสอบประสิทธิภาพของแบบจำลองและดำเนินการโดยแยกข้อมูลการฝึกอบรมออกเป็นส่วน k เราคิดว่าชิ้นส่วน k-1 เป็นชุดฝึกอบรมและใช้ส่วนอื่นคือชุดทดสอบของเรา เราสามารถทำซ้ำได้ว่า k คูณการถือครองข้อมูลที่แตกต่างกันทุกครั้ง สุดท้ายเราก็นำค่าเฉลี่ยของคะแนน k มาประเมินผลการปฏิบัติงานของเรา การตรวจสอบข้ามสามารถประสบอคติหรือความแปรปรวน การเพิ่มจำนวนของการแยกความแปรปรวนก็จะเพิ่มขึ้นเช่นกันและความเอนเอียงจะลดลง ในทางกลับกันถ้าเราลดจำนวนการแยกอคติจะเพิ่มขึ้นและความแปรปรวนจะลดลง

โดยสรุปการตรวจสอบความถูกต้องไขว้แยกชุดข้อมูลที่มีอยู่เพื่อสร้างชุดข้อมูลหลายชุดและวิธีการบูตสแตรปใช้ชุดข้อมูลดั้งเดิมเพื่อสร้างชุดข้อมูลหลายชุดหลังจากที่ทำการสุ่มใหม่พร้อมการแทนที่ การเริ่มต้นมันไม่แรงเท่าการตรวจสอบความถูกต้องแบบ Cross เมื่อใช้สำหรับการตรวจสอบความถูกต้องของแบบจำลอง Bootstrapping เป็นเรื่องเกี่ยวกับการสร้างแบบจำลองชุดหรือเพียงแค่ประมาณค่าพารามิเตอร์


2

การตรวจสอบความถูกต้องไขว้เป็นเทคนิคที่มีจุดมุ่งหมายเพื่อดูว่าแบบจำลองของคุณครอบคลุมข้อมูลที่ไม่ได้รับการฝึกอบรมอย่างดีเพียงใด มันไม่ได้ส่งผลกระทบต่อขั้นตอนวิธีการของคุณก็แค่ประเมินพวกเขา

ร่วมมือเป็นวิธีทั้งมวลที่มวลรวมผลของหลายรูปแบบเช่นต้นไม้การตัดสินใจในการสั่งซื้อการผลิตการส่งออกเฉลี่ย ในทางเทคนิคแล้วมันลดความแปรปรวนของอัลกอริธึมการจัดหมวดหมู่ที่เป็นไปตามรูปแบบเดียวเนื่องจากมันเฉลี่ยค่าเอาท์พุทมากกว่าเอาท์พุทของตัวแปรหลายตัวของโครงสร้างโมเดลเดียวกัน (พร้อมพารามิเตอร์ที่แตกต่างกัน) ดังนั้นจึงมีการเปลี่ยนแปลง ผลการดำเนินงานของขั้นตอนวิธีการจัดหมวดหมู่ก็ไม่ได้ประเมินมัน

กล่าวอีกนัยหนึ่ง : การตรวจสอบความถูกต้องข้ามจะประเมินว่าอัลกอริทึมทั่วไปดีกว่าในขณะที่การบูตสแตรปช่วยให้อัลกอริทึมทั่วไปดีขึ้นได้อย่างไร

คุณสามารถใช้การตรวจสอบความถูกต้องไขว้กันบนโมเดลบูตสแตรปเพื่อดูว่ามันใช้งานได้ดีเพียงใด


3
ถุงใส่ถุงไม่บูตใช่ไหม
elemolotiv

0
  • การตรวจสอบความถูกต้องข้าม: จัดเตรียมการประมาณของข้อผิดพลาดในการทดสอบ
  • Bootstrap: ให้ข้อผิดพลาดมาตรฐานของการประมาณการ
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.