ค่าเฉลี่ยของตัวอย่างบู๊ตสแตรปเทียบกับสถิติของตัวอย่าง

บอกว่าผมมีตัวอย่างและตัวอย่างบูตจากตัวอย่างนี้สำหรับ stastitic $\chi$ (เช่นค่าเฉลี่ย) ในฐานะที่เราทุกคนรู้ว่าตัวอย่างบูตนี้ประมาณการกระจายการสุ่มตัวอย่างของประมาณการของสถิติที่

ทีนี้ค่าเฉลี่ยของตัวอย่าง bootstrapนี้เป็นการประมาณค่าสถิติประชากรได้ดีกว่าสถิติของตัวอย่างดั้งเดิมหรือไม่? ภายใต้เงื่อนไขใดที่เป็นเช่นนั้น

เรามาคุยกันเพื่อที่จะมุ่งเน้นไปที่ปมของเรื่อง ฉันจะสะกดรายละเอียดที่น้อยที่สุดเพื่อไม่ต้องสงสัย การวิเคราะห์ต้องการเพียงสิ่งต่อไปนี้:

1. มัชฌิมเลขคณิตของชุดของตัวเลขถูกกำหนดให้เป็น$z_1, \ldots, z_m$

   $$\frac{1}{m}\left(z_1 + \cdots + z_m\right).$$

2. ความคาดหวังเป็นตัวดำเนินการเชิงเส้น นั่นคือเมื่อเป็นตัวแปรสุ่มและα iเป็นตัวเลขดังนั้นความคาดหวังของชุดค่าผสมเชิงเส้นคือชุดค่าผสมเชิงเส้นของความคาดหวัง$Z_i, i=1,\ldots,m$$\alpha_i$

   $$\mathbb{E}\left(\alpha_1 Z_1 + \cdots + \alpha_m Z_m\right) = \alpha_1 \mathbb{E}(Z_1) + \cdots + \alpha_m\mathbb{E}(Z_m).$$

Let $B$ be a sample $(B_1, \ldots, B_k)$ obtained from a dataset $x = (x_1, \ldots, x_n)$ by taking $k$ elements uniformly from $x$ with replacement. Let $m(B)$ be the arithmetic mean of $B$. This is a random variable. Then

$$\mathbb{E}(m(B)) = \mathbb{E}\left(\frac{1}{k}\left(B_1+\cdots+B_k\right)\right) = \frac{1}{k}\left(\mathbb{E}(B_1) + \cdots + \mathbb{E}(B_k)\right)$$

follows by linearity of expectation. Since the elements of $B$ are all obtained in the same fashion, they all have the same expectation, $b$ say:

$$\mathbb{E}(B_1) = \cdots = \mathbb{E}(B_k) = b.$$

This simplifies the foregoing to

$$\mathbb{E}(m(B)) = \frac{1}{k}\left(b + b + \cdots + b\right) = \frac{1}{k}\left(k b\right) = b.$$

By definition, the expectation is the probability-weighted sum of values. Since each value of $X$ is assumed to have an equal chance of $1/n$ of being selected,

$$\mathbb{E}(m(B)) = b = \mathbb{E}(B_1) = \frac{1}{n}x_1 + \cdots + \frac{1}{n}x_n = \frac{1}{n}\left(x_1 + \cdots + x_n\right) = \bar x,$$

the arithmetic mean of the data.

To answer the question, if one uses the data mean $\bar x$ to estimate the population mean, then the bootstrap mean (which is the case $k=n$) also equals $\bar x$, and therefore is identical as an estimator of the population mean.

---

For statistics that are not linear functions of the data, the same result does not necessarily hold. However, it would be wrong simply to substitute the bootstrap mean for the statistic's value on the data: that is not how bootstrapping works. Instead, by comparing the bootstrap mean to the data statistic we obtain information about the bias of the statistic. This can be used to adjust the original statistic to remove the bias. As such, the bias-corrected estimate thereby becomes an algebraic combination of the original statistic and the bootstrap mean. For more information, look up "BCa" (bias-corrected and accelerated bootstrap) and "ABC". Wikipedia provides some references.

Since the bootstrap distribution is defined as

$$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)\,,$$ the mean of the bootstrap distribution is $$\mathbb{E}_{\hat{F}_n}[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_ n$$ When you (if you have to) implement a simulation version of this expectation, i.e., an average of random draws, there is Monte Carlo variability in this approximation of $\mathbb{E}_{\hat{F}_n}[X]$, but its mean (the expactation of the empirical average) and its limit when the number of bootstrap simulations grows to infinity are both exactly $\bar{X}_ n$.