การบูตสแตรปปิ้งประมาณการกระจายตัวตัวอย่างของตัวประมาณได้ดีเพียงใด

หลังจากศึกษา bootstrap มาฉันมีคำถามแนวความคิดที่ยังคงไขปริศนาฉันอยู่:

คุณมีประชากรและคุณต้องการทราบแอตทริบิวต์ของประชากรนั่นคือซึ่งฉันใช้เพื่อเป็นตัวแทนของประชากร นี้อาจจะหมายถึงประชากรตัวอย่างเช่น โดยปกติแล้วคุณไม่สามารถรับข้อมูลทั้งหมดจากประชากร คุณวาดตัวอย่างขนาดจากประชากร สมมติว่าคุณมีตัวอย่าง iid เพื่อความง่าย แล้วคุณจะได้รับการประมาณการของคุณ(X) คุณต้องการที่จะใช้ที่จะทำให้การหาข้อสรุปเกี่ยวกับดังนั้นคุณอยากจะรู้ว่าความแปรปรวนของ theta}$\theta=g(P)$$P$$\theta$$X$$N$$\hat{\theta}=g(X)$$\hat{\theta}$$\theta$$\hat{\theta}$

ครั้งแรกมีความเป็นจริงการกระจายตัวอย่างของtheta} ตามแนวคิดคุณสามารถวาดตัวอย่างจำนวนมาก (แต่ละอันมีขนาด ) จากประชากร ในแต่ละครั้งที่คุณมีการรับรู้ตั้งแต่แต่ละครั้งคุณจะมีตัวอย่างที่แตกต่างกัน จากนั้นในท้ายที่สุดแล้วคุณจะสามารถที่จะกู้จริงการกระจายของtheta} ตกลงนี้อย่างน้อยเป็นมาตรฐานแนวคิดสำหรับการประมาณค่าการกระจายของtheta} ผมขอย้ำว่ามัน: เป้าหมายสูงสุดคือการใช้วิธีการต่างๆในการประมาณการหรือใกล้เคียงกับความจริงการกระจายของtheta}$\hat{\theta}$$N$$\hat{\theta}=g(X)$$\hat{\theta}$$\hat{\theta}$$\hat{\theta}$

ตอนนี้ที่นี่คำถามมา โดยปกติคุณจะมีหนึ่งตัวอย่างที่มีจุดข้อมูลแล้วคุณ resample จากนี้ตัวอย่างหลายครั้งและคุณจะเกิดขึ้นกับการกระจายของบูตtheta} คำถามของฉันคือการกระจาย bootstrap นี้ใกล้กับการแจกแจงตัวอย่างที่แท้จริงของแค่ไหน มีวิธีหาปริมาณหรือไม่$X$$N$$\hat{\theta}$$\hat{\theta}$

ในทฤษฎีข้อมูลวิธีการทั่วไปในการหาจำนวนวิธี "ปิด" การแจกแจงแบบหนึ่งไปยังอีกแบบคือการใช้KL-divergence

เรามาลองอธิบายด้วยชุดข้อมูลหางยาวที่บิดเบือนอย่างมาก - ความล่าช้าของการมาถึงของเครื่องบินในสนามบินฮูสตัน (จากแพ็คเกจhflights ) ให้θจะประมาณการค่าเฉลี่ย ครั้งแรกที่เราพบว่าการกระจายการสุ่มตัวอย่างของθและจากนั้นการกระจายบูตของθ$\hat \theta$$\hat \theta$$\hat \theta$

นี่คือชุดข้อมูล:

ค่าเฉลี่ยจริงคือ 7.09 นาที

ครั้งแรกที่เราทำจำนวนหนึ่งของกลุ่มตัวอย่างที่จะได้รับการกระจายตัวอย่างของθแล้วเราใช้เวลาหนึ่งตัวอย่างและนำตัวอย่างบูตมากมายจากมัน$\hat \theta$

ตัวอย่างเช่นลองดูที่สองการแจกแจงด้วยการทำซ้ำขนาดตัวอย่าง 100 และ 5000 เราเห็นว่าการแจกแจงเหล่านี้แยกออกจากกันและค่าเบี่ยงเบนของ KL คือ 0.48

แต่เมื่อเราเพิ่มขนาดตัวอย่างเป็น 1,000 พวกเขาก็เริ่มมาบรรจบกัน (KL divergence คือ 0.11)

และเมื่อขนาดของกลุ่มตัวอย่างเป็น 5,000 พวกเขาอยู่ใกล้มาก (ค่าเบี่ยงเบนของ KL คือ 0.01)

นี้แน่นอนขึ้นอยู่กับว่ากลุ่มตัวอย่างบูตคุณจะได้รับ แต่ผมเชื่อว่าคุณจะเห็นว่าแตกต่าง KL ไปลงในขณะที่เราเพิ่มขนาดตัวอย่างและการกระจายของบูตจึงθแนวทางการกระจายตัวอย่างθในแง่ของ KL Divergence เพื่อให้แน่ใจว่าคุณสามารถลองบูตหลาย ๆ อันและใช้ค่าเฉลี่ยของ KL divergence$\hat \theta$$\hat \theta$

นี่คือรหัส R ของการทดลองนี้: https://gist.github.com/alexeygrigorev/0b97794aea78eee9d794

เงินทุนจะขึ้นอยู่กับการบรรจบกันของ CDF เชิงประจักษ์กับ CDF ลู่(เป็น nไปที่อินฟินิตี้)เพื่อ F ( x )สำหรับทุกx ดังนั้นการบรรจบกันของการกระจาย bootstrap ของ

$$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)$$ $n$$F(x)$$x$ คือการขับเคลื่อนด้วยการบรรจบกันนี้ซึ่งเกิดขึ้นในอัตราที่$\hat{\theta}(X_1,\ldots,X_n)=g(\hat{F}_n)$สำหรับแต่ละxตั้งแต่$\sqrt{n}$ $x$แม้ว่าอัตรานี้และการ จำกัด การกระจายไม่โอนโดยอัตโนมัติเพื่อกรัม( F n). ในทางปฏิบัติในการประเมินความแปรปรวนของการประมาณที่คุณสามารถผลิตการประเมินผลการบูตของการกระจายของกรัม( F $$\sqrt{n}\{\hat{F}_n(x)-F(x)\}\stackrel{\text{dist}}{\longrightarrow}\mathsf{N}(0,F(x)[1-F(x)])$$ $g(\hat{F}_n)$โดย double-bootstrap เช่นโดย bootstrapping การประเมิน bootstrap$g(\hat{F}_n)$

ขณะที่การปรับปรุงที่นี่คือการใช้งานที่ฉันภาพประกอบในชั้นเรียน: ที่ LHS เปรียบเทียบ CDF จริงกับ CDF เชิงประจักษ์$F$สำหรับn=100สังเกตและ RHS แปลง250แบบจำลองของ LHS สำหรับ 250 ตัวอย่างที่แตกต่างกันในการสั่งซื้อ เพื่อวัดความแปรปรวนของการประมาณ cdf ในตัวอย่างฉันรู้ความจริงและด้วยเหตุนี้ฉันสามารถจำลองจากความจริงเพื่อประเมินความแปรปรวน ในสถานการณ์จริงผมไม่ทราบว่าFและด้วยเหตุนี้ฉันต้องเริ่มต้นจาก F nแทนในการผลิตกราฟที่คล้ายกัน$\hat{F}_n$$n=100$$250$$F$$\hat{F}_n$

การปรับปรุงเพิ่มเติม:นี่คือลักษณะของหลอดภาพเมื่อเริ่มจาก cdf เชิงประจักษ์: