Bootstrap vs. การทดสอบสมมติฐานการเปลี่ยนลำดับ


37

มีเทคนิคการสุ่มตัวอย่างที่นิยมใช้กันหลายครั้งซึ่งมักใช้ในทางปฏิบัติเช่น bootstrapping, permutation test, jackknife เป็นต้นมีบทความและหนังสือจำนวนมากที่พูดถึงเทคนิคเหล่านี้เช่นPhilip I Good (2010) Permutation, Parametric และ Bootstrap Tests ของสมมติฐาน

คำถามของฉันคือเทคนิคการสุ่มตัวอย่างแบบใดที่ได้รับความนิยมและง่ายต่อการใช้งานมากขึ้น การทดสอบการบูตหรือการเปลี่ยนรูป?


8
ความนิยมนั้นเป็นตัวชี้วัดคุณภาพที่ดี ตัดสินจากจำนวนการอ้างอิง (ลูกค้า), McDonalds เป็นร้านอาหาร (ดีกว่า) ที่ได้รับความนิยมมากกว่าร้านมิชลินระดับสามดาว คุณจะนำวิทยากรคนต่อไปที่ McDonalds มาก่อนหรือไม่?
StasK

คำตอบ:


68

ทั้งสองเป็นที่นิยมและมีประโยชน์ แต่ส่วนใหญ่สำหรับการใช้งานที่แตกต่างกัน การทดสอบการเรียงสับเปลี่ยนที่ดีที่สุดสำหรับการทดสอบสมมติฐานและการบูตสแตรปจะดีที่สุดสำหรับการประเมินช่วงความมั่นใจ

การทดสอบการเปลี่ยนรูปเป็นการทดสอบสมมติฐานว่างของความสามารถในการแลกเปลี่ยนคือการสุ่มตัวอย่างแบบสุ่ม / สุ่มเท่านั้นอธิบายความแตกต่างที่เห็น นี่เป็นกรณีทั่วไปสำหรับสิ่งต่างๆเช่นการทดสอบ t และ ANOVA นอกจากนี้ยังสามารถขยายไปยังสิ่งต่าง ๆ เช่นอนุกรมเวลา (สมมติฐานว่างว่าไม่มีความสัมพันธ์แบบอนุกรม) หรือการถดถอย (สมมติฐานว่างไม่มีความสัมพันธ์) การทดสอบการเปลี่ยนรูปสามารถนำมาใช้เพื่อสร้างช่วงความมั่นใจ แต่ต้องใช้ข้อสันนิษฐานอื่น ๆ อีกมากมายซึ่งอาจจะใช่หรืออาจไม่สมเหตุสมผลก็ได้ การทดสอบ Mann-Whitney / Wilcoxon เป็นกรณีพิเศษของการทดสอบการเปลี่ยนรูปดังนั้นพวกเขาจึงได้รับความนิยมมากกว่าการรู้ตัว

Bootstrap ประมาณการความแปรปรวนของกระบวนการสุ่มตัวอย่างและทำงานได้ดีสำหรับการประเมินช่วงความมั่นใจ คุณสามารถทำการทดสอบสมมติฐานด้วยวิธีนี้ แต่มีแนวโน้มที่จะมีประสิทธิภาพน้อยกว่าการทดสอบการเปลี่ยนแปลงสำหรับกรณีที่การทดสอบการเปลี่ยนแปลงสมมติฐานมี


2
ขอบคุณสำหรับคำตอบ. เหตุใดช่วงความมั่นใจในการบูตจึงมีประสิทธิภาพน้อยกว่าการทดสอบการเปลี่ยนรูป? เท่าไหร่ สามารถอธิบายสถานการณ์ที่มีพลังน้อยลงได้หรือไม่? ดูเหมือนว่าข้อดีจะสามารถแสดงช่วงความมั่นใจได้ดังนั้นในกรณีดังกล่าว bootstrap จึงมีค่ามากกว่า
dfrankow

2
@ dfrankow ทั้ง 2 วิธีใช้ข้อสมมติฐานที่แตกต่างกัน สำหรับตัวอย่างขนาดใหญ่และความแตกต่างพวกเขาทั้งคู่จะดี แต่ด้วยตัวอย่าง / ความแตกต่างที่น้อยกว่าการทดสอบการเปลี่ยนรูปมีแนวโน้มที่จะพบความแตกต่างและเหมาะสม ดูคำตอบนี้: stats.stackexchange.com/questions/112147/…สำหรับตัวอย่างที่ bootstrap มีขนาดไม่ถูกต้อง (ปฏิเสธบ่อยเกินไปเมื่อโมฆะเป็นจริง)
Greg Snow

การเรียงสับเปลี่ยนไม่ทดสอบรูปแบบของการบูตสแตรปหรือไม่
วิคกี้ B

@VickiB, Bootstrapping และการทดสอบการเรียงสับเปลี่ยนมักจะกล่าวถึงด้วยกัน แต่การเพิ่มตัวอย่างด้วยการแทนที่และตัวอย่างการเปลี่ยนแปลงโดยไม่ต้องเปลี่ยนซึ่งทำให้ความแตกต่างในสิ่งที่พวกเขาสามารถทำได้และวิธีการที่มีประสิทธิภาพ
เกร็กสโนว์

12

หากคุณใช้ R ก็จะทำให้ง่ายต่อการใช้งาน ตัวอย่างเช่นดูที่ http://www.burns-stat.com/pages/Tutor/bootstrap_resampling.html

ฉันจะบอกว่ามีเทคนิคที่สำคัญที่สามคือการตรวจสอบข้าม สิ่งนี้ใช้เพื่อทดสอบพลังการทำนายของแบบจำลอง


8

คำถามของฉันคือเทคนิคการสุ่มตัวอย่างใดที่ได้รับความนิยมมากขึ้นใน
การทดสอบการบูตหรือการเปลี่ยนรูป

  1. Bootstrapping ส่วนใหญ่เกี่ยวกับการสร้างข้อผิดพลาดมาตรฐานขนาดใหญ่ตัวอย่างหรือช่วงความเชื่อมั่น การทดสอบการเปลี่ยนแปลงเป็นชื่อที่แนะนำส่วนใหญ่เกี่ยวกับการทดสอบ (แต่ละคนสามารถปรับให้ใช้งานอื่นได้)

  2. เราจะตัดสินความนิยมได้อย่างไร ถ้าเราดูที่สาขาเช่นจิตวิทยาและการศึกษาเราสามารถพบกับการทดสอบตามระดับยศมากมายเช่น Wilcoxon-Mann-Whitney การทดสอบยศเซ็นชื่อการทดสอบยศสัมพันธ์และอื่น ๆ นี่คือการทดสอบการเปลี่ยนรูปทั้งหมด (ในทางกลับกันมีหลายกรณีที่การทดสอบการเปลี่ยนแปลงของข้อมูลดั้งเดิมสามารถนำมาใช้แทน แต่โดยปกติจะไม่) ในบางพื้นที่ของแอปพลิเคชันอื่น ๆ การทดสอบการเปลี่ยนรูปจะไม่ค่อยถูกนำมาใช้ แต่ความนิยมที่แตกต่างกันในบางพื้นที่ของแอพพลิเคชั่นนั้นกล่าวถึงวัฒนธรรมท้องถิ่นของพื้นที่ใดก็ตามที่มีประโยชน์มากกว่า

ง่ายต่อการใช้งาน?

ในหลายกรณี - โดยเฉพาะอย่างยิ่งง่ายกว่า - มันเกือบจะง่ายพอ ๆ กัน - โดยพื้นฐานแล้วความแตกต่างระหว่างการสุ่มตัวอย่างกับการแทนที่และการสุ่มตัวอย่างโดยไม่มีการแทนที่

ในบางกรณีที่มีความซับซ้อนมากขึ้นการบูตสแตรปทำได้ง่ายกว่าเพราะ (ดูจากมุมมองการทดสอบ) มันทำงานภายใต้ทางเลือกแทนที่จะเป็นโมฆะ (อย่างน้อยการใช้งานที่ไร้เดียงสาจะ - ทำเพื่อให้ทำงานได้ดี อาจซับซ้อนกว่านี้)

การทดสอบการเปลี่ยนแปลงที่แน่นอนอาจทำได้ยากในกรณีที่ซับซ้อนมากขึ้นเนื่องจากปริมาณที่สามารถแลกเปลี่ยนได้ที่เหมาะสมอาจไม่สามารถตรวจสอบได้ - บ่อยครั้งที่ปริมาณที่สามารถแลกเปลี่ยนได้เกือบจะถูกทดแทนได้ในราคาที่แน่นอน

(โดยครอบคลุมช่วงเวลาที่แน่นอน) จากจุดเริ่มต้นและมุ่งเน้นไปที่การพยายามที่จะได้รับความคุ้มครองที่ดีพอสมควรในกลุ่มตัวอย่างขนาดใหญ่ (บางครั้งมีความสำเร็จน้อยกว่าอาจจะเข้าใจถ้าคุณยังไม่ได้ตรวจสอบอย่าสวม ไม่ถือว่า bootstrap ของคุณให้ความคุ้มครองตามที่คุณคาดไว้)

การทดสอบการเปลี่ยนรูปสามารถใช้กับตัวอย่างขนาดเล็ก (แม้ว่าการเลือกระดับความสำคัญที่ จำกัด บางครั้งอาจเป็นปัญหากับตัวอย่างขนาดเล็กมาก) ในขณะที่ bootstrap เป็นเทคนิคตัวอย่างขนาดใหญ่ (ถ้าคุณใช้กับตัวอย่างขนาดเล็กในหลายกรณีผลลัพธ์อาจไม่ มีประโยชน์มาก)

ฉันไม่ค่อยเห็นพวกเขาเป็นคู่แข่งในปัญหาเดียวกันและใช้ปัญหาจริง (ต่างกัน) - บ่อยครั้งจะมีทางเลือกโดยธรรมชาติที่จะพิจารณา

มีประโยชน์ทั้งสองอย่าง แต่ไม่มีใน panacaea หากคุณหวังที่จะลดความพยายามในการเรียนรู้โดยมุ่งเน้นไปที่หนึ่งในนั้นคุณอาจจะผิดหวัง - ทั้งสองเป็นส่วนสำคัญของกล่องเครื่องมือ resampling


1
คุณช่วยอธิบายให้ชัดเจนว่า " ปริมาณที่สามารถแลกเปลี่ยนได้ที่เหมาะสมอาจไม่สามารถสังเกตได้ " หมายถึงอะไร (+1 ชัด)
usεr11852พูดว่า Reinstate Monic

1
ลองพยายามทำการทดสอบการเปลี่ยนรูปในการทดสอบที่มีสองปัจจัยและ covariate (หรือเพียงแค่พิจารณาการถดถอยด้วยตัวทำนายหลายตัว) ด้วยความเป็นอิสระและไม่มีผลกระทบเลยการสังเกตสามารถแลกเปลี่ยนกันได้และคุณสามารถทดสอบสมมติฐานนั้นได้ แต่คุณไม่มีวิธีที่จะสร้างการทดสอบการเปลี่ยนรูปของปัจจัยเพียงอย่างเดียว (เนื่องจากคุณคาดหวังว่า covariate จะมีผลกระทบ และการทดสอบว่ามันไม่น่าสนใจ); ในทำนองเดียวกันคุณไม่สามารถสร้างการทดสอบการเปลี่ยนรูปได้เพียงหนึ่งในสองปัจจัย ... ctd
Glen_b

1
ctd ... มีปริมาณการแลกเปลี่ยนที่ชัดเจนหากคุณรู้ว่าค่าสัมประสิทธิ์ของประชากรที่คุณไม่ได้ทดสอบ (และข้อผิดพลาดจะสามารถแลกเปลี่ยนได้เสมอ) แต่คุณไม่สามารถสังเกตสิ่งเหล่านั้นได้ หากคุณทดแทนการประมาณค่าสัมประสิทธิ์หรือข้อผิดพลาด (เช่นส่วนที่เหลือ) ปริมาณจะสามารถแลกเปลี่ยนได้อีกต่อไป อย่างไรก็ตามภายใต้เงื่อนไขบางอย่างพวกเขาจะสามารถแลกเปลี่ยนได้โดยประมาณ (บางคนสนับสนุนการทำเช่นนี้อย่างแน่นอน) .... และถ้าคุณทำเช่นนั้นคุณจะได้สิ่งที่คล้ายกับรองเท้าบู๊ต แต่มีการสุ่มตัวอย่างโดยไม่ต้องเปลี่ยนแทนการสุ่มตัวอย่าง
Glen_b

ขอขอบคุณ; ฉันจะคิดอย่างรอบคอบมากกว่านี้ ฉันสงสัยว่ามีบางสิ่งที่ลึกกว่าสำหรับฉันที่จะเรียนรู้ที่นี่ :)
usεr11852พูดว่า Reinstate Monic

1
@ null ด้วยเหตุผลบางอย่างฉันพลาดคำขอของคุณสำหรับการอ้างอิง สำหรับจุดเริ่มต้นข้อมูลอ้างอิงบางส่วนที่นี่ควรทำ: davegiles.blogspot.com/2019/04/…
Glen_b
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.