เพราะเหตุใดโดยเฉลี่ยแต่ละตัวอย่าง bootstrap มีประมาณสองในสามของการสังเกต?

ฉันได้วิ่งข้ามการยืนยันว่าแต่ละตัวอย่าง bootstrap (หรือ tree bagged) จะมีค่าเฉลี่ยประมาณของการสังเกต$2/3$

ฉันเข้าใจว่าโอกาสที่จะไม่ถูกเลือกในเสมอใด ๆจากตัวอย่างที่มีการแทนที่คือซึ่งคิดเป็นประมาณของโอกาสที่จะไม่ถูกเลือก$n$$n$$(1- 1/n)^n$$1/3$

อะไรคือคำอธิบายทางคณิตศาสตร์สำหรับสาเหตุที่สูตรนี้ให้เสมอ?$\approx 1/3$

โดยพื้นฐานแล้วปัญหาคือการแสดงให้เห็นว่า (และแน่นอนe ^ {- 1} = 1 / e \ โดยประมาณ 1/3อย่างน้อยที่สุดก็ประมาณ)$\lim_{n\to\infty}(1- 1/n)^n=e^{-1}$
$e^{-1} =1/e \approx 1/3$

มันไม่ได้ทำงานที่มีขนาดเล็กมาก$n$ - เช่นที่$n=2$ , $(1- 1/n)^n=\frac{1}{4}${4} มันผ่าน$\frac{1}{3}$ที่$n=6$ผ่าน$0.35$ที่$n=11$และ$0.366$โดยn$n=99$เมื่อคุณไปไกลกว่า$n=11$ , $\frac{1}{e}$เป็นประมาณดีกว่า$\frac{1}{3}${3}

เส้นประสีเทาอยู่ที่$\frac{1}{3}$ ; เส้นสีแดงและสีเทาที่$\frac{1}{e}${E}

แทนที่จะแสดงที่มาอย่างเป็นทางการ (ซึ่งสามารถพบได้ง่าย) ฉันจะให้เค้าร่าง (นั่นคือการโต้แย้งที่ใช้งานง่าย, handwavy) ว่าทำไมผล (ทั่วไป) มากกว่าถือ:

$$e^x = \lim_{n\to \infty} \left(1 + x/n \right)^n$$

(หลายคนใช้สิ่งนี้เป็นคำนิยามของแต่คุณสามารถพิสูจน์ได้จากผลลัพธ์ที่ง่ายกว่าเช่นการกำหนดเป็น .)$\exp(x)$$e$$\lim_{n\to \infty} \left(1 + 1/n \right)^n$

ความจริง 1:สิ่งนี้ตามมาจากผลลัพธ์พื้นฐานเกี่ยวกับพลังและการยกกำลัง$\exp(x/n)^n=\exp(x)\quad$

ความเป็นจริงที่ 2: เมื่อมีขนาดใหญ่นี้ต่อไปนี้จากการขยายตัวของซีรีส์สำหรับ x$n$$\exp(x/n) \approx 1+x/n\quad$$e^x$

(ฉันสามารถให้ข้อโต้แย้งที่สมบูรณ์กว่าสำหรับแต่ละข้อได้ แต่ฉันคิดว่าคุณรู้จักพวกเขาอยู่แล้ว)

ทดแทน (2) ใน (1) ทำ (เพื่อให้การทำงานเป็นอาร์กิวเมนต์ที่เป็นทางการมากกว่านี้จะใช้งานได้เพราะคุณต้องแสดงให้เห็นว่าคำศัพท์ที่เหลืออยู่ในความเป็นจริง 2 ไม่ใหญ่พอที่จะทำให้เกิดปัญหาเมื่อนำไปสู่อำนาจแต่นี่คือสัญชาตญาณ มากกว่าการพิสูจน์แบบเป็นทางการ)$n$

[หรือมิฉะนั้นเพียงนำซีรี่ส์ซีรี่ส์ของไปยังลำดับที่หนึ่ง วิธีง่าย ๆ ที่สองคือการขยายทวินามของและใช้คำ จำกัด คำต่อคำการแสดงมันให้คำในชุดสำหรับ .]$\exp(x/n)$$\left(1 + x/n \right) ^n$$\exp(x/n)$

ดังนั้นถ้าเพียงแทนx$e^x = \lim_{n\to \infty} \left(1 + x/n \right) ^n$$x=-1$

ทันทีเรามีผลลัพธ์ที่ด้านบนสุดของคำตอบนี้$\lim_{n\to\infty}(1- 1/n)^n=e^{-1}$

---

ตามที่ gung ชี้ให้เห็นในความคิดเห็นผลลัพธ์ในคำถามของคุณคือที่มาของกฎบูตสแตรป 632

เช่นเห็น

Efron, B. และ R. Tibshirani (1997),
"การปรับปรุงข้ามการตรวจสอบความถูกต้อง: วิธีบูต .rap. 632+,"
วารสารสมาคมสถิติอเมริกันเล่มที่ 6 92, หมายเลข 438. (มิ.ย. ), หน้า 548-560

อย่างแม่นยำยิ่งขึ้นแต่ละตัวอย่าง bootstrap (หรือต้นไม้ที่มีถุง) จะมีของตัวอย่าง$1-\frac{1}{e} \approx 0.632$

เรามาดูกันว่า bootstrap ทำงานอย่างไร เรามีตัวอย่างดั้งเดิมโดยมีรายการอยู่ในนั้น เราวาดรายการด้วยการเปลี่ยนจากชุดเดิมนี้จนกว่าเราจะมีชุดของขนาดอื่นn$x_1, x_2, \ldots x_n$$n$$n$

จากนั้นก็ต่อว่าน่าจะเป็นของการเลือกรายการใดคนหนึ่ง (พูด, ) บนวาดแรกคือ{n} ดังนั้นความน่าจะเป็นของการไม่เลือกรายการที่เป็น{n} นั่นเป็นเพียงการดึงครั้งแรก; มีทั้งหมดของดึงทุกคนที่มีความเป็นอิสระดังนั้นน่าจะเป็นของที่ไม่เคยเลือกรายการนี้ที่ใด ๆ ของเหลือคือ n$x_1$$\frac{1}{n}$$1 - \frac{1}{n}$$n$$(1-\frac{1}{n})^n$

ทีนี้ลองคิดดูว่าจะเกิดอะไรขึ้นเมื่อมีขนาดใหญ่ขึ้นเรื่อย ๆ เราสามารถใช้ขีด จำกัด เมื่อไปสู่อนันต์โดยใช้เทคนิคแคลคูลัสปกติ (หรือ Wolfram Alpha): $n$$n$

$$\lim_{n \rightarrow \infty} \big(1-\frac{1}{n}\big)^n = \frac{1}{e} \approx 0.368$$

นั่นเป็นความน่าจะเป็นของรายการที่ไม่ได้ถูกเลือก ลบออกจากหนึ่งเพื่อค้นหาความน่าจะเป็นของรายการที่เลือกซึ่งจะให้คุณ 0.632

การสุ่มตัวอย่างด้วยการแทนที่สามารถสร้างแบบจำลองเป็นลำดับของการทดลองแบบทวินามที่ "ความสำเร็จ" เป็นตัวอย่างที่ถูกเลือก สำหรับชุดข้อมูลเดิมของกรณีน่าจะเป็นของ "ความสำเร็จ" เป็นและความน่าจะเป็นของ "ความล้มเหลว" คือ n สำหรับขนาดตัวอย่างของอัตราการเลือกอินสแตนซ์ที่แน่นอนครั้งนั้นได้รับจากการแจกแจงทวินาม:$n$$1/n$$(n-1)/n$$b$$x$

$$P(x,b,n) = \bigl(\frac{1}{n}\bigr)^{x} \bigl(\frac{n-1}{n}\bigr)^{b-x} {b \choose x}$$

ในกรณีที่เฉพาะเจาะจงของกลุ่มตัวอย่างบูตขนาดตัวอย่างเท่ากับจำนวนของกรณีที่nปล่อยให้วิธีอินฟินิตี้ที่เราได้รับ:$b$$n$$n$

$$\lim_{n \rightarrow \infty} \bigl(\frac{1}{n}\bigr)^{x} \bigl(\frac{n-1}{n}\bigr)^{n-x} {n \choose x} = \frac{1}{ex!}$$

หากชุดข้อมูลดั้งเดิมของเรามีขนาดใหญ่เราสามารถใช้สูตรนี้เพื่อคำนวณความน่าจะเป็นที่อินสแตนซ์นั้นถูกเลือกเท่าในตัวอย่างบูตสแตรป สำหรับ , น่าจะเป็นหรือประมาณ0.368น่าจะเป็นของอินสแตนซ์ที่ถูกเก็บตัวอย่างอย่างน้อยหนึ่งครั้งจึง0.632$x$$x = 0$$1/e$$0.368$$1 - 0.368 = 0.632$

ไม่จำเป็นต้องพูดเลยว่าฉันได้รับความเจ็บปวดจากการใช้ปากกาและกระดาษและไม่เคยคิดที่จะใช้ Wolfram Alpha

เพียงเพิ่มคำตอบของ @ retsreg สิ่งนี้สามารถแสดงให้เห็นได้อย่างง่ายดายผ่านการจำลองเชิงตัวเลขใน R:

N <- 1e7 # number of instances and sample size
bootstrap <- sample(c(1:N), N, replace = TRUE)
round((length(unique(bootstrap))) / N, 3)
## [1] 0.632

สามารถมองเห็นได้ง่ายโดยการนับ มีตัวอย่างที่เป็นไปได้ทั้งหมดกี่ตัวอย่าง n ^ n ไม่ได้มีค่าเฉพาะจำนวนเท่าใด (n-1) ^ n ความน่าจะเป็นของตัวอย่างที่ไม่มีค่าเฉพาะ - (1-1 / n) ^ n ซึ่งมีค่าประมาณ 1/3