ข้อสันนิษฐานเกี่ยวกับการประมาณการ bootstrap ของความไม่แน่นอน

62

ฉันขอขอบคุณความมีประโยชน์ของ bootstrap ในการได้รับการประเมินความไม่แน่นอน แต่สิ่งหนึ่งที่รบกวนฉันอยู่เสมอเกี่ยวกับเรื่องนี้คือการกระจายตัวที่สอดคล้องกับการประมาณการเหล่านั้นคือการกระจายตัวที่กำหนดโดยกลุ่มตัวอย่าง โดยทั่วไปดูเหมือนว่าเป็นความคิดที่ดีที่จะเชื่อว่าความถี่ตัวอย่างของเรามีลักษณะเหมือนกับการแจกแจงพื้นฐานดังนั้นเหตุใดจึงเป็นที่ยอมรับกันโดยทั่วไปว่าการประเมินความไม่แน่นอนขึ้นอยู่กับการกระจายที่ความถี่ตัวอย่างกำหนดการแจกแจงต้นแบบ

ในทางกลับกันสิ่งนี้อาจไม่เลว (อาจดีกว่า) กว่าสมมติฐานการกระจายอื่น ๆ ที่เรามักทำ แต่ฉันก็ยังต้องการที่จะเข้าใจเหตุผลที่ดีกว่า

bootstrap uncertainty

— user4733
แหล่งที่มา

3

มีคำถามที่เกี่ยวข้องหลายข้อที่คุณอาจต้องการตรวจสอบ บางรายการอยู่ที่ขอบด้านข้างของหน้านี้ นี่คือสิ่งหนึ่งที่เกี่ยวข้องกับเมื่อ bootstrap ล้มเหลวและมันมีความหมายอย่างไรต่อการล้มเหลว

— พระคาร์ดินัล

55

มีหลายวิธีที่สามารถใช้ bootstrap ได้ สองวิธีพื้นฐานที่สุดคือสิ่งที่ถือว่าเป็น bootstrap "nonparametric" และ "parametric" อันที่สองสมมติว่าโมเดลที่คุณใช้นั้นถูกต้อง

ลองเน้นไปที่อันแรกก่อน เราจะคิดว่าคุณมีการสุ่มกลุ่มตัวอย่างกระจายไปตามฟังก์ชั่นการกระจายF(สมมติว่าต้องใช้วิธีแก้ไข) ให้เป็นการแจกแจงเชิงประจักษ์ ฟังก์ชัน แรงจูงใจส่วนใหญ่สำหรับ bootstrap มาจากข้อเท็จจริงสองสามข้อ $X_1, X_2, \ldots, X_n$ $F$ $\hat{F}_n(x) = n^{-1} \sum_{i=1}^n \mathbf{1}(X_i \leq x)$

Dvoretzky – Kiefer – Wolfowitz ความไม่เท่าเทียม

P (sup_{x \in R} | {\hat{F}}_{n} (x) - F (x) | > ε) \leq 2 e^{- 2 n ε^{2}} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr\big( \textstyle\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| > \varepsilon \big) \leq 2 e^{-2n \varepsilon^2} \> .$

สิ่งนี้แสดงให้เห็นว่าฟังก์ชั่นการกระจายเชิงประจักษ์ลู่สม่ำเสมอกับฟังก์ชั่นการกระจายความจริงชี้แจงอย่างรวดเร็วในความน่าจะเป็น อันที่จริงความไม่เท่าเทียมนี้ประกอบกับ Borel – Cantelli บทแทรกแสดงทันทีว่าเกือบแน่นอน $\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| \to 0$

ไม่มีเงื่อนไขเพิ่มเติมในรูปแบบของเพื่อรับประกันการบรรจบกันนี้ $F$

heuristically แล้วถ้าเรามีความสนใจในการทำงานบางอย่างของฟังก์ชันการกระจายที่เรียบแล้วเราคาดว่าจะใกล้เคียงกับ(F) $T(F)$ $T(\hat{F}_n)$ $T(F)$

(Pointwise) ความเป็นกลางของ $\hat{F}_n(x)$

เป็นเส้นตรงอย่างง่าย ๆ ของความคาดหวังและคำจำกัดความของสำหรับแต่ละ , $\hat{F}_n(x)$ $x \in \mathbb{R}$

E_{F} {\hat{F}}_{n} (x) = F (x) .

$\newcommand{\e}{\mathbb{E}} \e_F \hat{F}_n(x) = F(x) \>.$

สมมติว่าเรามีความสนใจในความหมาย(F) จากนั้นความเป็นกลางของการวัดเชิงประจักษ์จะขยายไปถึงความไม่เอนเอียงของฟังก์ชันเชิงเส้นของการวัดเชิงประจักษ์ ดังนั้น $\mu = T(F)$

E_{F} T ({\hat{F}}_{n}) = E_{F} {\bar{X}}_{n} = μ = T (F) .

$\e_F T(\hat{F}_n) = \e_F \bar{X}_n = \mu = T(F) \> .$

ดังนั้นถูกต้องโดยเฉลี่ยและตั้งแต่อย่างรวดเร็วใกล้แล้ว (heuristically),อย่างรวดเร็ววิธี(F) $T(\hat{F}_n)$ $\hat{F_n}$ $F$ $T(\hat{F}_n)$ $T(F)$

เพื่อสร้างช่วงความมั่นใจ ( ซึ่งโดยพื้นฐานแล้วสิ่งที่บูทสแตรปเกี่ยวกับ ) เราสามารถใช้ทฤษฎีขีด จำกัด กลางความมั่นคงของควอนตัมเชิงประจักษ์และวิธีเดลต้าเป็นเครื่องมือในการย้ายจากฟังก์ชันเชิงเส้นเชิงง่ายไปยังสถิติที่น่าสนใจ .

อ้างอิงที่ดีคือ

B. Efron, วิธี Bootstrap: ดูที่ jackknife , Ann สถิติ ฉบับ 7 หมายเลข 1, 1–26
B. Efron และ R. Tibshirani, คำแนะนำเกี่ยวกับ Bootstrap , Chapman-Hall, 1994
GA หนุ่ม RL สมิ ธEssentials สถิติอนุมาน , Cambridge University Press, 2005 บทที่ 11
AW ฟานเดอร์ฟาร์ต, Asymptotic สถิติ , Cambridge University Press, 1998 บทที่ 23
พีบิซเคลและ D อิสระบางทฤษฎี asymptotic สำหรับบูต แอน สถิติ ฉบับ 9 หมายเลข 6 (1981), 1196–1717

— พระราชาคณะ
แหล่งที่มา

ดีมาก @cardinal (+1)

คำอธิบายที่ชัดเจนมีการอ้างอิงได้รับคำตอบที่ยอดเยี่ยม

— BDSzabo

12

นี่คือวิธีการที่แตกต่างในการคิดเกี่ยวกับมัน:

เริ่มต้นด้วยทฤษฎีที่เรารู้การแจกแจงที่แท้จริงเราสามารถค้นพบคุณสมบัติของสถิติตัวอย่างโดยจำลองจากการแจกแจงที่แท้จริง นี่คือวิธีที่ Gosset พัฒนาการแจกแจงแบบ t และทดสอบ t โดยการสุ่มตัวอย่างจากบรรทัดฐานที่รู้จักและการคำนวณทางสถิติ นี่เป็นรูปแบบหนึ่งของ bootstrap แบบพารามิเตอร์ โปรดทราบว่าเรากำลังจำลองเพื่อค้นหาพฤติกรรมของสถิติ (บางครั้งเกี่ยวข้องกับพารามิเตอร์)

ทีนี้ถ้าเราไม่รู้การกระจายตัวของประชากรเรามีการประเมินการกระจายตัวในการกระจายเชิงประจักษ์และเราสามารถสุ่มตัวอย่างจากนั้นได้ โดยการสุ่มตัวอย่างจากการแจกแจงเชิงประจักษ์ (ซึ่งเป็นที่รู้จักกัน) เราสามารถเห็นความสัมพันธ์ระหว่างตัวอย่างบู๊ตสแตรปและการกระจายเชิงประจักษ์ (ประชากรสำหรับตัวอย่างบู๊ตสแตรป) ตอนนี้เราอนุมานว่าความสัมพันธ์จากตัวอย่างบูตสแตรปกับการกระจายเชิงประจักษ์นั้นเหมือนกับจากตัวอย่างกับประชากรที่ไม่รู้จัก แน่นอนว่าความสัมพันธ์นี้แปลได้ดีเพียงใดขึ้นอยู่กับว่ากลุ่มตัวอย่างเป็นตัวแทนของประชากรอย่างไร

โปรดจำไว้ว่าเราไม่ได้ใช้วิธีการของตัวอย่างบู๊ตสแตรปเพื่อประเมินค่าเฉลี่ยประชากรเราใช้ค่าเฉลี่ยตัวอย่างสำหรับสิ่งนั้น (หรือค่าสถิติที่น่าสนใจ) แต่เราใช้ตัวอย่างบู๊ตสแตรปเพื่อประเมินคุณสมบัติ (สเปรด, อคติ) ของการสุ่มตัวอย่าง และใช้การสุ่มตัวอย่างจากประชากรรู้ (ซึ่งเราหวังว่าจะเป็นตัวแทนของประชากรที่น่าสนใจ) เพื่อเรียนรู้ผลกระทบของการสุ่มตัวอย่างที่สมเหตุสมผลและมีวงกลมน้อยกว่ามาก

— เกร็กสโนว์
แหล่งที่มา

8

เคล็ดลับหลัก (และต่อย) ของการ bootstrapping คือว่ามันเป็นทฤษฎีแบบอะซิมโทติค: ถ้าคุณมีตัวอย่างที่ไม่มีที่สิ้นสุดเริ่มต้นการกระจายเชิงประจักษ์จะใกล้เคียงกับการแจกแจงจริงซึ่งความแตกต่างนั้นเล็กน้อยมาก

น่าเสียดายที่มักใช้การบูตสแตรปในขนาดตัวอย่างขนาดเล็ก ความรู้สึกที่พบบ่อยคือ bootstrapping แสดงให้เห็นว่าตัวเองสามารถทำงานได้ในบางสถานการณ์ที่ไม่แสดงอาการ แต่ต้องระวังให้ดี หากตัวอย่างของคุณมีขนาดเล็กเกินไปคุณจะทำงานอย่างมีเงื่อนไขกับตัวอย่างของคุณซึ่งเป็น 'ตัวแทนที่ดี' ของการแจกแจงที่แท้จริงซึ่งนำไปสู่การให้เหตุผลในแวดวงได้อย่างง่ายดาย :-)

— นิค Sabbe
แหล่งที่มา

นั่นเป็นสิ่งที่ฉันคิด แต่มีบางอย่างเกี่ยวกับเหตุผลนี้ ฉันไม่ใช่นักสถิติ แต่ความรู้สึกของฉันคือการอนุมานเชิงสถิติทำงานเมื่อตัวประมาณของคุณรวมกันอย่างรวดเร็วดังนั้นแม้ว่าตัวอย่างของคุณจะไม่ได้รวมเข้าด้วยกันกับการแจกแจง ในกรณีนี้เราต้องพึ่งพาการกระจายแบบรวมศูนย์ทั้งหมดเพื่อมาบรรจบกันกับการกระจายตัวจริง อาจมีทฤษฎีที่บอกว่า bootstrap ประมาณมาบรรจบกันอย่างรวดเร็ว แต่โดยทั่วไปฉันเห็น bootstrapping ที่ใช้โดยไม่สนใจทฤษฎีบทดังกล่าว

— 4733

4

เหตุผลแบบวงกลมที่ชัดเจนคือเหตุผลว่าทำไมจึงมีชื่อเล่นว่า bootstrap รู้สึกเหมือนมีคนพยายามยกตัวเองด้วยรองเท้าบูทของตัวเอง ต่อมา Efron แสดงให้เห็นว่ามันใช้งานได้จริง

— Greg Snow

ถ้าขนาดตัวอย่างเล็กจริง ๆ คุณต้องเชื่อใจมาก ๆ ไม่ว่าวิธีการใดที่ยูโอใช้ ...

— kjetil b halvorsen

5

ฉันจะเถียงไม่ได้จากมุมมองของ "asymptotically การกระจายเชิงประจักษ์จะใกล้เคียงกับการกระจายตัวจริง" (ซึ่งแน่นอนว่าเป็นจริงมาก) แต่จาก "มุมมองระยะยาว" กล่าวอีกนัยหนึ่งไม่ว่าในกรณีใดการกระจายเชิงประจักษ์ที่ได้จาก bootstrapping จะถูกปิด (บางครั้งก็เลื่อนไปทางนี้มากเกินไปบางครั้งก็เลื่อนไปทางนั้นจนเกินไปบางครั้งก็เอียงด้วยวิธีนี้บางครั้งก็เอียงเกินไป) แต่โดยเฉลี่ยแล้ว จะเป็นการประมาณที่ดีสำหรับการกระจายตัวจริง ในทำนองเดียวกันการประมาณการความไม่แน่นอนของคุณที่ได้รับจากการกระจาย bootstrap จะถูกปิดในกรณีใด ๆ โดยเฉพาะ แต่โดยเฉลี่ยอีกครั้งพวกเขาจะถูก (โดยประมาณ) ถูกต้อง

— โวล์ฟกัง
แหล่งที่มา