ทำไมเราต้องใช้ Bootstrapping

ขณะนี้ฉันกำลังอ่าน "สถิติทั้งหมด" ของ Larry Wasserman และสับสนกับบางสิ่งที่เขาเขียนในบทเกี่ยวกับการประเมินฟังก์ชันทางสถิติของแบบจำลองที่ไม่ใช่พารามิเตอร์

เขาเขียน

"บางครั้งเราสามารถค้นหาข้อผิดพลาดมาตรฐานโดยประมาณของฟังก์ชันทางสถิติโดยทำการคำนวณบางอย่างอย่างไรก็ตามในกรณีอื่น ๆ มันไม่ชัดเจนว่าจะประมาณข้อผิดพลาดมาตรฐานได้อย่างไร"

ฉันต้องการจะชี้ให้เห็นว่าในบทถัดไปเขาพูดถึง bootstrap เพื่อแก้ไขปัญหานี้ แต่เนื่องจากฉันไม่เข้าใจคำแถลงนี้จริง ๆ ฉันจึงไม่ได้รับแรงจูงใจเบื้องหลัง Bootstrapping?

มีตัวอย่างอะไรบ้างเมื่อไม่ทราบวิธีการประเมินข้อผิดพลาดมาตรฐานอย่างชัดเจน

ตัวอย่างทั้งหมดที่ฉันเคยเห็น "ชัดเจน" เช่นดังนั้น $X_1,...X_n ~Ber(p)$ $\hat{se}(\hat{p}_n )=\sqrt{\hat{p}\cdot(1-\hat{p})/n}$

— Shookie
แหล่งที่มา

ฉันหามากตัวอย่างในเว็บไซต์ค้นหาคำตอบอื่น ๆ ที่นำเสนอบูต ซึ่งรวมถึงstats.stackexchange.com/questions/14213 , stats.stackexchange.com/questions/63979 , stats.stackexchange.com/questions/25218และอีกมากมาย

— whuber

คำตอบ:

สองคำตอบ

ข้อผิดพลาดมาตรฐานของอัตราส่วนของสองหมายถึงอะไร ข้อผิดพลาดมาตรฐานของค่ามัธยฐานคืออะไร ข้อผิดพลาดมาตรฐานของสถิติที่ซับซ้อนคืออะไร อาจจะมีสมการแบบปิด แต่ก็เป็นไปได้ที่ยังไม่มีใครทำได้
เพื่อที่จะใช้สูตรสำหรับ (พูด) ข้อผิดพลาดมาตรฐานของค่าเฉลี่ยเราต้องตั้งสมมติฐานบางอย่าง หากสมมติฐานเหล่านั้นละเมิดเราไม่สามารถใช้วิธีนี้ได้ @Whuber ชี้ให้เห็นในความคิดเห็น bootstrapping ช่วยให้เราผ่อนคลายสมมติฐานเหล่านี้และด้วยเหตุนี้อาจให้ข้อผิดพลาดมาตรฐานที่เหมาะสมมากขึ้น (แม้ว่ามันอาจจะทำให้สมมติฐานเพิ่มเติม)

— Jeremy Miles
แหล่งที่มา

คำตอบ 1 นั้นใช้ได้ดี แต่คำตอบที่ 2 ดูเหมือนว่าจะถามคำถามเพราะ bootstrapping สร้างข้อสมมติขึ้นเช่นกัน ฉันคิดว่าประเด็นนี้อาจเป็นไปได้ว่าโดยทั่วไปแล้วมันจะตั้งสมมติฐานที่แตกต่างจากขั้นตอนที่ได้รับความนิยมอื่น ๆ แต่นั่นเป็นเพียงการคาดเดาของฉันเกี่ยวกับสิ่งที่คุณพยายามจะพูดและฉันอาจเข้าใจผิด

— whuber

@Wuber - ขอบคุณฉันได้เพิ่มความกระจ่าง

— Jeremy Miles

ขอบคุณสำหรับการแก้ไข แต่มันไม่ได้เป็นกรณีที่ร่วมมือมักจะทำให้สมมติฐานที่แตกต่างกันมากกว่าจริงผ่อนคลายบางอย่าง? ตัวอย่างเช่นข้อสมมติฐานที่จำเป็นในการประมาณค่า SE ของค่าเฉลี่ยตัวอย่างคือข้อมูลเป็น iid และการแจกแจงต้นแบบมีความแปรปรวนแน่นอน บูตจริงต้องเพิ่มสมมติฐานในกรณีนี้: มันไม่ทำงานยกเว้นขนาดตัวอย่างคือ "มีขนาดใหญ่พอ" แม้ว่าสิ่งนี้อาจดูเหมือนการพูดคลุมเครือมากกว่าด้านเทคนิคสิ่งที่ฉันพยายามที่อยู่คือภาพใหญ่: bootstrapping ไม่ใช่ยาครอบจักรวาลและไม่สามารถใช้ได้เสมอ

— whuber

@JeremyMiles bootstrap ไม่เป็นไปตามสมมติฐาน คุณต้องตรวจสอบว่าการแจกจ่ายนั้นมีความสำคัญสำหรับการคำนวณข้อผิดพลาด bootstrap ส่วนใหญ่ซึ่งมักจะมีความซับซ้อนมากกว่าการได้รับตัวประมาณค่าที่สอดคล้องกันสำหรับข้อผิดพลาดมาตรฐาน นอกจากนี้อัตราส่วนของวิธีการมีข้อผิดพลาดประมาณง่ายมากที่ได้รับจากวิธีδ ดังนั้นฉันไม่คิดว่าตัวอย่างนั้นจะขัดกับประเด็นของ OP

— AdamO

ตัวอย่างอาจช่วยอธิบาย สมมติว่าในกรอบการสร้างแบบจำลองเชิงสาเหตุคุณสนใจที่จะพิจารณาว่าความสัมพันธ์ระหว่าง (การแสดงผลที่น่าสนใจ) และ (ผลลัพธ์ของความสนใจ) นั้นขึ้นอยู่กับตัวแปรหรือไม่ ซึ่งหมายความว่าในสองรูปแบบการถดถอย: $X$ $Y$ $W$

\begin{array}{rcl} E [Y | X] & = & β_{0} + β_{1} X \\ E [Y | X, W] & = & γ_{0} + γ_{1} X + γ_{2} W \end{array}

$\begin{eqnarray} E[Y|X] &=& \beta_0 + \beta_1 X \\ E[Y|X, W] &=& \gamma_0 + \gamma_1 X + \gamma_2 W \\ \end{eqnarray}$

ผลแตกต่างจากผลกระทบ 1 $\beta_1$ $\gamma_1$

ยกตัวอย่างเช่นพิจารณาความสัมพันธ์ระหว่างการสูบบุหรี่กับความเสี่ยงต่อโรคหัวใจและหลอดเลือด (CV) การสูบบุหรี่จะเพิ่มความเสี่ยงต่อ CV (สำหรับเหตุการณ์เช่นหัวใจวายและโรคหลอดเลือดสมอง) โดยทำให้หลอดเลือดดำแตกหักและกลายเป็นปูน อย่างไรก็ตามการสูบบุหรี่ก็เป็นตัวยับยั้งความอยากอาหาร ดังนั้นเราจึงอยากรู้ว่าความสัมพันธ์ระหว่างการสูบบุหรี่กับความเสี่ยง CV นั้นได้รับการไกล่เกลี่ยโดย BMI หรือไม่ซึ่งเป็นปัจจัยเสี่ยงต่อความเสี่ยง CV โดยอิสระ ที่นี่อาจเป็นเหตุการณ์แบบไบนารี (กล้ามเนื้อหัวใจหรือระบบประสาท) ในแบบจำลองการถดถอยโลจิสติกหรือตัวแปรต่อเนื่องเช่นการกลายเป็นปูนหลอดเลือดหัวใจ (CAC), ส่วนการปล่อยออกจากกระเป๋าหน้าท้องด้านซ้าย (LVEF) หรือมวลหน้าท้องซ้าย $Y$

เราจะพอดีสองแบบ 1: การปรับสำหรับการสูบบุหรี่และผลลัพธ์พร้อมกับคนอื่น ๆ เช่นอายุเพศรายได้และประวัติครอบครัวของโรคหัวใจจากนั้น 2: covariates ก่อนหน้านี้ทั้งหมดรวมทั้งดัชนีมวลกาย ความแตกต่างของเอฟเฟกต์การสูบบุหรี่ระหว่างรุ่น 1 และ 2 คือจุดที่เรายึดถือการอนุมาน

เรามีความสนใจในการทดสอบสมมติฐาน

\begin{array}{rcl} H & : & β_{1} = γ_{1} \\ K & : & β_{1} \neq γ_{1} \end{array}

$\begin{eqnarray} \mathcal{H} &:& \beta_1 = \gamma_1\\ \mathcal{K} &:& \beta_1 \ne \gamma_1\\ \end{eqnarray}$

การวัดผลกระทบที่เป็นไปได้หนึ่งอย่างคือ: หรือหรือการวัดจำนวนเท่าใดก็ได้ คุณสามารถใช้ประมาณค่าปกติสำหรับและSข้อผิดพลาดมาตรฐานของตัวประมาณเหล่านี้ซับซ้อนมากที่จะได้รับ อย่างไรก็ตามการกระจายการกระจายของพวกมันเป็นเทคนิคที่ใช้กันทั่วไปและมันเป็นเรื่องง่ายที่จะคำนวณค่าโดยตรงจากนั้น $T = \beta_1 - \gamma_1$ $S = \beta_1 / \gamma_1$ $T$ $S$ $p$

— Adamo
แหล่งที่มา

ฉันคิดว่าฉันเข้าใจว่าคุณจะไปไหนกับคำตอบนี้ แต่ฉันก็สับสนกับรายละเอียด คุณตั้งใจจะใส่หมวกไว้เหนือพารามิเตอร์ในคำอธิบายของ

และ

หรือไม่? ข้อความที่ดูเหมือนสิ่งเหล่านี้ควรเป็นคุณสมบัติของแบบจำลองแทนที่จะเป็นตัวประมาณ การใช้คุณสมบัติของแบบจำลองสองแบบที่แตกต่างกันเช่นนี้ทำให้รู้สึกอย่างไร หากคุณหมายถึงหมวกจริงๆแล้ว

และ

เป็นสถิติดูเหมือนจะใช้เป็นตัวประมาณ แต่สิ่งที่พวกเขาตั้งใจที่จะประเมิน?

T

$T$

S

$S$

T

$T$

S

$S$

— whuber

@ โฮเบอร์ฉันคิดว่าคุณพูดถูกว่าในรูปแบบดั้งเดิมพวกเขาไม่ได้ใช้หมวก ฉันจะแก้ไข บางทีฉันอาจไม่ชัดเจนพอ ... มีสองพารามิเตอร์สำหรับตัวแปรเดียวกันที่พอดีกับสองรุ่นที่แตกต่างกันในชุดข้อมูลเดียวกัน มันเป็นเรื่องยากมากในการคำนวณโดยตรงข้อผิดพลาดมาตรฐานของสถิติ

และS

T

$T$

S

$S$

— AdamO

γ_{2} = 0

$\gamma_2 = 0$

@whuber อ่าฉันเห็นความสับสน โปรดดูบทความแนะนำจาก MacKinnon ที่นี่

— AdamO

Thank you: that reference helps me understand your example much better. Although I have reservations about the many theoretical solecisms involved in that approach, they are irrelevant to the aptness of your example: it suffices that people have actually tried to understand data in this way and have seen a need to estimate standard errors for estimators of

T

$T$ or

S

$S$ . I notice, though, that your last paragraph still does not distinguish between

T

$T$ and its estimator:

T

$T$ is a model property and as such has no distribution and no SE. An estimator of

T

$T$ does have a distribution.

— whuber

Having parametric solutions for each statistical measure would be desirable but, at the same time, quite unrealistic. Bootstrap comes in handy in those instances. The example that springs to my mind concerns the difference between two means of highly skewed cost distributions. In that case, the classic two-sample t-test fails to meet its theoretical requirements (the distributions from which the samples under investigation were drawn surely depart from normality, due to their long right-tail) and non-parametric tests lack to convey useful infromation to decision-makers (who are usually not interested in ranks). A possible solution to avoid being stalled on that issue is a two-sample bootstrap t-test.

— Carlo Lazzaro
แหล่งที่มา