CDF ปกติใดของการแจกแจงแบบแปรผันตามตัวแปรสุ่มเบต้า

สมมติว่าคุณกำหนด:

$$X\sim\mbox{Beta}(\alpha,\beta)$$

$$Y\sim \Phi^{-1}(X)$$

ที่$\Phi^{-1}$เป็นสิ่งที่ตรงกันข้ามของCDF ของการกระจายแบบปกติมาตรฐาน

คำถามของฉันคือมีการกระจายง่ายที่$Y$ต่อไปนี้หรือที่สามารถใกล้เคียงกับ$Y$ ? ฉันถามเพราะฉันสงสัยอย่างมากจากผลการจำลอง (แสดงด้านล่าง) ที่$Y$เปลี่ยนเป็นการแจกแจงแบบปกติเมื่อ$\alpha$และ$\beta$สูง แต่ฉันไม่รู้ว่าทำไมมันถึงเป็นคณิตศาสตร์ (แน่นอนว่าเมื่อ$\alpha=1;\beta=1$ , $X$จะเหมือนกันและ$Y$จะเป็นมาตรฐานปกติ แต่ทำไมมันจะเป็นจริงสำหรับค่าที่สูงขึ้น?)

หากไม่มาบรรจบกันเพื่อปกติสิ่งที่จะพารามิเตอร์ของการที่เป็นปกติในแง่ของ$\alpha$และ$\beta$ ? (ฉันคาดหวังว่าค่าเฉลี่ยจะเป็น$\Phi^{-1}(\frac{\alpha}{\alpha+\beta})$เนื่องจากเป็นการเปลี่ยนแปลงของโหมด แต่ฉันไม่รู้ค่าเบี่ยงเบนมาตรฐาน)

(วางวิธีอื่นนี้อาจจะถามว่า "ไม่$\Phi(\mbox{Norm}(\mu, \sigma))$บรรจบกับการกระจายเบต้าสำหรับทิศทางของบาง$\mu$และ$\sigma$ " ผมไม่แน่ใจว่าไม่ว่าจะเป็นเรื่องง่ายที่จะตอบ)

ผลการจำลอง

ที่นี่ฉันแสดงเหตุผลที่ฉันสงสัยว่าผลที่ได้เป็นเรื่องปกติ (เนื่องจากฉันไม่สามารถสำรองด้วยคณิตศาสตร์) การจำลองการสามารถทำได้ใน R กับและ ตัวอย่างเช่นการเลือกพารามิเตอร์สูงα = 3000และβ = 7000 :$Y$qnormrnorm$\alpha=3000$$\beta=7000$

hist(qnorm(rbeta(5000, 3000, 7000)))

สิ่งนี้ดูปกติqqnormและการทดสอบ Shapiro-Wilk (ซึ่งปกติคือสมมุติฐานว่าง) แนะนำเช่น:

qqnorm(qnorm(rbeta(5000, 3000, 7000)))

shapiro.test(qnorm(rbeta(5000, 3000, 7000)))
#> 
#>  Shapiro-Wilk normality test
#> 
#> data:  qnorm(rbeta(5000, 3000, 7000))
#> W = 0.99954, p-value = 0.2838

เพื่อสำรวจความเป็นมาตรฐานที่ลึกกว่านี้ฉันทำการจำลอง 2,000 ครั้งในแต่ละครั้งที่จำลองค่า 5,000 ค่าจากจากนั้นทำการทดสอบเพื่อเปรียบเทียบกับค่าปกติ (ฉันเลือกค่า 5K เพราะนั่นคือค่าสูงสุดที่สามารถจัดการได้และเพิ่มพลังในการตรวจจับความเบี่ยงเบนจากค่าปกติ)$Y$shapiro.test

ถ้าการแจกแจงเป็นเรื่องปกติเราจะคาดหวังว่าค่า p จะเหมือนกัน (เนื่องจากค่าเป็นจริง) พวกเขาอยู่ใกล้กับเครื่องแบบจริงโดยบอกว่าการแจกแจงนั้นใกล้เคียงกับปกติมาก:

hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 3000, 7000)))$p.value))

บางคนแสดงให้เห็นว่าการทดลองว่าสูงกว่าและβอยู่ใกล้การกระจายที่ได้รับเข้าสู่ภาวะปกติ (เช่นค่อนข้างห่างไกลจากปกติ แต่ลองและมันดูเหมือนจะเป็นหนึ่งในระหว่าง)$\alpha$$\beta$rbeta(5000, 3, 7)hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 30, 70)))$p.value))

สรุป

คุณได้ค้นพบส่วนหนึ่งของการก่อสร้างใหม่ที่อธิบายไว้ในทฤษฎีลิมิตขั้นกลางสำหรับตัวอย่างมีเดียซึ่งแสดงการวิเคราะห์ค่ามัธยฐานของตัวอย่าง (การวิเคราะห์เห็นได้ชัดว่ามีผลบังคับใช้โดยอนุโลมกับจำนวนใด ๆ ไม่ใช่แค่ค่ามัธยฐาน) ดังนั้นจึงไม่น่าแปลกใจที่พารามิเตอร์เบต้าขนาดใหญ่ (ตรงกับตัวอย่างขนาดใหญ่) การแจกแจงแบบปกติเกิดขึ้นภายใต้การแปลงที่อธิบายไว้ในคำถาม สิ่งที่น่าสนใจคือใกล้เคียงกับการแจกแจงปกติถึงแม้จะเป็นพารามิเตอร์เบต้า ขนาดเล็ก นั่นสมควรคำอธิบาย

ฉันจะร่างการวิเคราะห์ด้านล่าง เพื่อให้โพสต์นี้มีความยาวที่เหมาะสมมันเกี่ยวข้องกับการโบกมือด้วยมือที่มีการชี้นำหลายอย่าง: ฉันตั้งเป้าที่จะชี้เฉพาะความคิดหลัก ๆ เท่านั้น ให้ฉันสรุปผลลัพธ์ที่นี่:

1. เมื่อใกล้กับβทุกอย่างจะสมมาตร นี่ทำให้การแจกแจงที่ถูกแปลงแล้วดูเป็นปกติ$\alpha$$\beta$

2. ฟังก์ชั่นในรูปแบบดูค่อนข้างปกติในสถานที่แรกแม้สำหรับค่าเล็ก ๆ ของαและβ(ให้ทั้งเกิน1และอัตราของพวกเขาคือไม่มากเกินไป ใกล้กับ0หรือ1)$\Phi^{\alpha-1}(x)\left(1-\Phi(x)\right)^{\beta-1}$$\alpha$$\beta$$1$$0$$1$

3. Normality ที่ชัดเจนของการแจกแจงแบบเปลี่ยนรูปนั้นเกิดจากความจริงที่ว่าความหนาแน่นของมันประกอบด้วยความหนาแน่นปกติคูณด้วยฟังก์ชันใน (2)

4. เมื่อและβเพิ่มขึ้นการออกเดินทางจาก Normality สามารถวัดได้ในเทอมที่เหลือในซีรี่ส์ Taylor สำหรับความหนาแน่นของบันทึก คำสั่งของnลดลงตามสัดส่วนของ$\alpha$$\beta$$n$อำนาจของ αและβ ซึ่งหมายความว่าในที่สุดสำหรับขนาดใหญ่พอสมควร αและ β , เงื่อนไขของการใช้พลังงาน n = 3หรือสูงกว่าได้กลายเป็นที่ค่อนข้างเล็กเหลือเพียงกำลังสอง: ที่แม่นยำความหนาแน่นเข้าสู่ระบบของการกระจายปกติ$(n-2)/2$$\alpha$$\beta$$\alpha$$\beta$$n=3$

เรียกรวมกันว่าพฤติกรรมเหล่านี้เป็นอย่างดีอธิบายว่าทำไมแม้สำหรับขนาดเล็กและเบต้า quantiles ที่ไม่รุนแรงของ IID ปกติตัวอย่างดูประมาณปกติ$\alpha$$\beta$

---

การวิเคราะห์

เพราะมันจะมีประโยชน์ที่จะพูดคุยให้เป็นใด ๆฟังก์ชั่นการกระจายถึงแม้ว่าเรามีในใจF = Φ$F$$F=\Phi$

ฟังก์ชันความหนาแน่นของตัวแปรBeta ( α , β )คือโดยนิยามตามสัดส่วน$g(y)$$(\alpha,\beta)$

$$y^{\alpha-1}(1-y)^{\beta-1}dy.$$

ปล่อยให้เป็นความน่าจะเป็นการแปลงอินทิกรัลของxและการเขียนfสำหรับอนุพันธ์ของF , มันจะเกิดขึ้นทันทีที่xมีความหนาแน่นตามสัดส่วน$y=F(x)$$x$$f$$F$$x$

$$G(x;\alpha,\beta)=F(x)^{\alpha-1}(1-F(x))^{\beta-1}f(x)dx.$$

เพราะนี่คือการแปลงแบบโมโนโทนิของการกระจายแบบแรงเดียว (เบต้า) ยกเว้นว่าค่อนข้างแปลกการกระจายแบบเปลี่ยนรูปจะเป็นแบบ unimodal เช่นกัน เพื่อศึกษาว่ามันใกล้เคียงกับ Normal มากแค่ไหนลองตรวจสอบลอการิทึมของความหนาแน่น$F$

$$\log G(x;\alpha,\beta) = (\alpha-1)\log F(x) + (\beta-1)\log(1-F(x)) + \log f(x) + C\tag{1}$$

โดยที่คือค่าคงที่ที่ไม่เกี่ยวข้องของการทำให้เป็นมาตรฐาน$C$

ขยายส่วนประกอบของในซีรี่ส์ Taylor เพื่อสั่งสามค่า x 0 (ซึ่งจะอยู่ใกล้กับโหมด) ตัวอย่างเช่นเราอาจเขียนส่วนขยายของบันทึกFเป็น$\log G(x;\alpha,\beta)$$x_0$$\log F$

$$\log F(x) = c^{F}_0 + c^{F}_1 (x-x_0) + c^{F}_2(x-x_0)^2 + c^{F}_3h^3$$

สำหรับบางด้วย| h | ≤ | x $h$. ใช้สัญกรณ์คล้ายกันสำหรับการเข้าสู่ระบบ( 1 - F )และเข้าสู่ระบบฉ $|h| \le |x-x_0|$$\log(1-F)$$\log f$

เงื่อนไขเชิงเส้น

คำเชิงเส้นในจะกลายเป็น$(1)$

$$g_1(\alpha,\beta) = (\alpha-1)c^{F}_1 + (\beta-1)c^{1-F}_1 + c^{f}_1.$$

เมื่อเป็นโหมดของG $x_0$การแสดงออกนี้เป็นศูนย์ โปรดทราบว่าเนื่องจากสัมประสิทธิ์เป็นฟังก์ชันต่อเนื่องของ x 0เนื่องจาก αและ βมีการเปลี่ยนแปลงโหมด x 0จะแตกต่างกันอย่างต่อเนื่องเช่นกัน นอกจากนี้เมื่อ αและ βมีขนาดใหญ่พอที่คฉ 1ระยะกลายเป็นค่อนข้างเล็กน้อย ถ้าเราตั้งเป้าหมายที่จะศึกษาขีด จำกัด เป็น α → ∞และ β → ∞ซึ่ง α : βอยู่ในสัดส่วนคงที่ γ$G(\,;\alpha,\beta)$$x_0$$\alpha$$\beta$$x_0$$\alpha$$\beta$$c^{f}_1$$\alpha\to\infty$$\beta\to\infty$ $\alpha:\beta$$\gamma$เราอาจดังนั้นทันทีและสำหรับทั้งหมดเลือกจุดฐานที่$x_0$

$$\gamma c^{F}_1 + c^{1-F}_1 = 0.$$

กรณีที่ดีคือที่ที่α = βตลอดและFสมมาตรเกี่ยวกับ0 ในกรณีที่ว่าก็เป็นที่ชัดเจนx 0 = F ( 0 ) = 1 / 2$\gamma=1$$\alpha=\beta$$F$$0$$x_0=F(0)=1/2$

เราประสบความสำเร็จในวิธีการโดย (a) ในขีด จำกัด คำสั่งที่หนึ่งในชุดเทย์เลอร์หายตัวไปและ (b) ในกรณีพิเศษที่เพิ่งอธิบาย

เงื่อนไขกำลังสอง

เหล่านี้คือผลรวม

$$g_2(\alpha,\beta) = (\alpha-1)c^{F}_2 + (\beta-1)c^{1-F}_2 + c^{f}_2.$$

Comparing to a Normal distribution, whose quadratic term is $-(1/2)(x-x_0)^2/\sigma^2$, we may estimate that $-1/(2g_2(\alpha,\beta))$ is approximately the variance of $G$. Let us standardize $G$ by rescaling $x$ by its square root. we don't really need the details; it suffices to understand that this rescaling is going to multiply the coefficient of $(x-x_0)^n$ in the Taylor expansion by $(-1/(2g_2(\alpha,\beta)))^{n/2}.$

Remainder term

Here's the punchline: the term of order $n$ in the Taylor expansion is, according to our notation,

$$g_n(\alpha,\beta) = (\alpha-1)c^{F}_n + (\beta-1)c^{1-F}_n + c^{f}_n.$$

After standardization, it becomes

$$g_n^\prime(\alpha,\beta) = \frac{g_n(\alpha,\beta)}{(-2g_2(\alpha,\beta))^{n/2})}.$$

Both of the $g_i$ are affine combination of $\alpha$ and $\beta$. By raising the denominator to the $n/2$ power, the net behavior is of order $-(n-2)/2$ in each of $\alpha$ and $\beta$. As these parameters grow large, then, each term in the Taylor expansion after the second decreases to zero asymptotically. In particular, the third-order remainder term becomes arbitrarily small.

The case when $F$ is normal

The vanishing of the remainder term is particularly fast when $F$ is standard Normal, because in this case $f(x)$ is purely quadratic: it contributes nothing to the remainder terms. Consequently, the deviation of $G$ from normality depends solely on the deviation between $F^{\alpha-1}(1-F)^{\beta-1}$ and normality.

This deviation is fairly small even for small $\alpha$ and $\beta$. To illustrate, consider the case $\alpha=\beta$. $G$ is symmetric, whence the order-3 term vanishes altogether. The remainder is of order $4$ in $x-x_0=x$.

Here is a plot showing how the standardized fourth order term changes with small values of $\alpha \gt 1$:

The value starts out at $0$ for $\alpha=\beta=1$, because then the distribution obviously is Normal ($\Phi^{-1}$ applied to a uniform distribution, which is what Beta$(1,1)$ is, gives a standard Normal distribution). Although it increases rapidly, it tops off at less than $0.008$--which is practically indistinguishable from zero. After that the asymptotic reciprocal decay kicks in, making the distribution ever closer to Normal as $\alpha$ increases beyond $2$.

Convergence

Suppose that $\alpha = \beta$ and let $\alpha \to \infty$ and take any small $\varepsilon > 0$. Then $var(X) \to 0$. By Chebyshev's inequality we have $\mathbb{P} [\vert X - 0.5 \vert > \varepsilon] \to 0$ and $\mathbb{P} [\vert Y \vert > \varepsilon] \to 0$. This means that $Y$ converges in probability (not in distribution actually it converges in distribution - to singleton).

Exact distribution

Denote by $f_X$ the density of beta distribution. Then your variable $Y$ has density

$$f_Y (y) = f_X ( \Phi (y) ) \phi (y).$$ Since $\Phi$ does not have a closed form I believe that this is the furthest you can get (analytically). You can try to put it into FullSimplify function in Wolfram Mathematica to see if it finds some better form.

Here is the density in R so you can plot it instead of histogram.

f_y <- function(x, alpha, beta) {
  dbeta(pnorm(x), alpha, beta) * dnorm(x)
}

Modification

However, you are maybe interested in distribution of

$$Z = \Phi^{-1} (\sqrt{\alpha} X)$$ . (still assuming $\alpha = \beta$) This may be useful because $var(\sqrt{\alpha} X) \to 1/8$ (useful because it is not zero).

Here I present a heuristic explanation (which can be made rigorous at least asymptotically). For simplicity, take $k \in \mathbb N$, $k \geq 2$. Let $X \sim \text{Beta}(k,k)$. I want to argue that $Y = \Phi^{-1}(X)$ is approximately normal.

Now let $n=2k-1$. We start by drawing $n$ i.i.d. uniformly distributed random variables $U_1, \dotsc, U_n$. Next, form the order statistics $U_{(1)} \leq \dotsc \leq U_{(n)}$.

It is well known that $U_{(k)} \sim \text{Beta}(k, n+1-k)$, thus:

$$U_{(k)} \sim \text{Beta}(k, k)$$

In other words: The sample median of $n$ i.i.d. uniformly distributed random variables is $\text{Beta}(k,k)$ distributed.

Now let's transform by $Z_i = \Phi^{-1}(U_i)$. Then by the probability integral transform, the $Z_i$ are i.i.d. normally distributed. Also form the order statistics of the $Z_i$ ($Z_{(1)} \leq \dotsc \leq Z_{(n)}$). Since $\Phi^{-1}$ is strictly increasing, it follows that:

$$\Phi^{-1}(U_{(k)}) = Z_{(k)}$$

Therefore, to show that $Y$ is approximately normal, we just have to argue that the sample median of $n$ i.i.d. normal random variables is approximately normal.

For $k$ large, this can be made precise by a central limit theorem for sample medians. For $k$ small, say $k=2$, I will let everyone's gut feeling do the speaking.

For $a \neq b$ (but not too different) one can argue similarly by using corresponding quantiles.