เป็นไปได้ไหมที่จะมีตัวแปรสุ่มแบบเกาส์ซึ่งเป็นการกระจายข้อต่อไม่ใช่เกาส์เซียน

ใครบางคนถามคำถามนี้กับฉันในการสัมภาษณ์งานและฉันตอบว่าการกระจายข้อต่อเป็นแบบเกาส์น ฉันคิดว่าฉันสามารถเขียนเกาส์ไบรอาริเอตด้วยวิธีและความแปรปรวนและความแปรปรวนร่วมได้ ฉันสงสัยว่าอาจมีกรณีที่น่าจะเป็นร่วมกันของ Gaussians สองไม่ Gaussian?

การแจกแจงแบบปกติแบบ bivariate เป็นข้อยกเว้นไม่ใช่กฎ!

สิ่งสำคัญคือต้องตระหนักว่าการแจกแจงร่วม "เกือบทั้งหมด" ที่มีระยะขอบปกติไม่ใช่การกระจายตัวแบบปกติแบบสองตัวแปร นั่นคือมุมมองทั่วไปที่การแจกแจงร่วมกับระยะขอบปกติที่ไม่ใช่ค่า bivariate ปกติเป็นอย่างใด "พยาธิวิทยา" เป็นบิตเข้าใจผิด

แน่นอนว่าหลายตัวแปรปกติมีความสำคัญอย่างยิ่งเนื่องจากความเสถียรของมันภายใต้การแปลงเชิงเส้นและได้รับความสนใจจำนวนมากในการใช้งาน

ตัวอย่าง

การเริ่มต้นด้วยตัวอย่างมีประโยชน์ รูปด้านล่างประกอบด้วยแผ่นความร้อนของการแจกแจง bivariate หกรูปซึ่งทั้งหมดนั้นมีระยะขอบปกติมาตรฐาน ด้านซ้ายและกลางในแถวบนสุดเป็นบรรทัดฐานของ bivariate ส่วนที่เหลือไม่ได้ (ตามที่ควรจะเป็น) พวกเขากำลังอธิบายเพิ่มเติมด้านล่าง

กระดูกเปลือยของ copulas

คุณสมบัติของการพึ่งพาอาศัยกันมักจะมีการวิเคราะห์อย่างมีประสิทธิภาพโดยใช้copulas เชื่อม bivariateเป็นเพียงชื่อแฟนซีสำหรับการกระจายความน่าจะเป็นในหน่วยตารางกับเครื่องแบบมาร์จิน$[0,1]^2$

สมมติว่าเป็น copula แบบ bivariate จากนั้นเราจะรู้ทันทีว่าC ( u , v ) ≥ 0 , C ( u , 1 ) = uและC ( 1 , v ) = v , ตัวอย่างเช่น$C(u,v)$$C(u,v) \geq 0$$C(u,1) = u$$C(1,v) = v$

เราสามารถสร้างตัวแปรสุ่มแบบ bivariate บนระนาบแบบยุคลิดด้วยระยะขอบที่กำหนดไว้ล่วงหน้าโดยการแปลงรูปแบบของบิวริเอตแบบง่าย ๆ ขอให้และF 2จะกำหนดแจกแจงร่อแร่สำหรับคู่ของตัวแปรสุ่ม( X , Y ) จากนั้นถ้าC ( u , v )เป็น copula bivariate, F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) $F_1$$F_2$$(X,Y)$$C(u,v)$

$$F(x,y) = C(F_1(x), F_2(y))$$ เป็นฟังก์ชั่นการกระจายสองตัวแปรที่มีมาร์จินและF 2 หากต้องการดูข้อเท็จจริงล่าสุดนี้โปรดทราบว่า อาร์กิวเมนต์เดียวกันการทำงานสำหรับF_2$F_1$$F_2$ $$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$$ $F_2$

อย่างต่อเนื่องและ , ทฤษฎีบท Sklar ของอ้างสนทนาหมายความเอกลักษณ์ นั่นคือจากการแจกแจงไบวาริเอทมีมาร์ต่อเนื่อง , , copula ที่สอดคล้องกันนั้นมีลักษณะเฉพาะ (บนพื้นที่พิสัยที่เหมาะสม)$F_1$$F_2$$F(x,y)$$F_1$$F_2$

ค่าปกติของไบวาเรียเป็นพิเศษ

ทฤษฎีบทของ Sklar บอกเรา (โดยหลักแล้ว) ว่ามีเพียงโคคูล่าเพียงตัวเดียวที่สร้างการกระจายตัวแบบไบวาเรียปกติ นี่คือชื่อ aptly ตัวเกาส์เกาส์ซึ่งมีความหนาแน่นใน ที่ตัวเศษคือการแจกแจงปกติแบบ bivariate ที่มีสหสัมพันธ์ประเมินที่และ(V)$[0,1]^2$

$$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$$ $\rho$$\Phi^{-1}(u)$$\Phi^{-1}(v)$

แต่มีจำนวนมากของ copulas อื่น ๆ และทั้งหมดของพวกเขาจะให้การกระจายสองตัวแปรที่มีมาร์จินปกติซึ่งเป็นไม่ bivariate ปกติโดยใช้การเปลี่ยนแปลงที่อธิบายไว้ในส่วนก่อนหน้านี้

รายละเอียดบางอย่างเกี่ยวกับตัวอย่าง

โปรดทราบว่าถ้าเป็น am copula โดยพลการที่มีความหนาแน่น , ความหนาแน่นของ bivariate ที่สอดคล้องกับระยะขอบปกติมาตรฐานภายใต้การแปลงคือ $C(u,v)$$c(u,v)$$F(x,y) = C(\Phi(x),\Phi(y))$

$$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$$

โปรดทราบว่าด้วยการใช้เกาส์เกาส์ในสมการข้างต้นเราจะได้ค่าความหนาแน่นปกติที่เท่ากัน แต่สำหรับทางเลือกอื่น ๆ ของเราจะไม่$c(u,v)$

ตัวอย่างในรูปถูกสร้างขึ้นดังนี้ (ข้ามแต่ละแถวทีละหนึ่งคอลัมน์):

1. Bivariate ปกติพร้อมส่วนประกอบอิสระ
2. bivariate ปกติ-0.4$\rho = -0.4$
3. ตัวอย่างที่กำหนดในคำตอบนี้ของดิลลิป Sarwate มันสามารถเห็นได้อย่างง่ายดายว่าจะถูกเหนี่ยวนำโดย copulaด้วยความหนาแน่น1)})$C(u,v)$$c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
4. สร้างขึ้นจากเชื่อมแฟรงก์กับพารามิเตอร์2$\theta = 2$
5. สร้างขึ้นจากเชื่อมเคลย์ตันกับพารามิเตอร์1$\theta = 1$
6. ที่สร้างขึ้นจากการปรับเปลี่ยนไม่สมมาตรของเคลย์ตันเชื่อมกับพารามิเตอร์3$\theta = 3$

มันเป็นความจริงที่แต่ละองค์ประกอบของเวกเตอร์ปกติหลายตัวแปรนั้นมีการกระจายตัวตามปกติและคุณสามารถอนุมานค่าเฉลี่ยและความแปรปรวนได้ อย่างไรก็ตามมันไม่เป็นความจริงที่ว่าตัวแปรสุ่มของ Guassian ใด ๆ จะถูกกระจายกันตามปกติ นี่คือตัวอย่าง:

แก้ไข: ในการตอบสนองต่อฉันทามติว่าตัวแปรสุ่มที่เป็นมวลจุดสามารถคิดว่าเป็นตัวแปรกระจายตามปกติด้วยฉันกำลังเปลี่ยนตัวอย่างของฉัน$\sigma^2=0$

---

ปล่อยให้และให้โดยที่คือตัวแปรสุ่ม นั่นคือแต่ละคนมีความน่าจะเป็น1/2Y = X ⋅ ( 2 B - 1 $X \sim N(0,1)$$Y = X \cdot (2B-1)$$B$${\rm Bernoulli}(1/2)$$Y = \pm X$$1/2$

ก่อนอื่นเราแสดงว่ามีการแจกแจงแบบปกติมาตรฐาน $Y$โดยกฎหมายของความน่าจะรวม ,

$$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$$

ต่อไป,

$$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$$

ที่เป็นมาตรฐาน CDF ในทำนองเดียวกัน$\Phi$

$$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$$

ดังนั้น,

$$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$$

ดังนั้น CDF ของเป็นจึง(0,1)$Y$$\Phi(\cdot)$$Y \sim N(0,1)$

ตอนนี้เราแสดงให้เห็นว่าไม่ได้กระจายกันตามปกติ $X,Y$เมื่อ @ cardinal ชี้ให้เห็นว่าการจำแนกลักษณะหลายตัวแปรตามปกติคือการรวมกันเชิงเส้นขององค์ประกอบทั้งหมดจะกระจายตามปกติ ไม่มีคุณสมบัตินี้ตั้งแต่$X,Y$

$$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$$

ดังนั้นคือการผสมของตัวแปรสุ่มและมวลจุดที่ 0 ดังนั้นจึงไม่สามารถกระจายได้ตามปกติ$Y+X$$50/50$$N(0,4)$

โพสต์ต่อไปนี้มีโครงร่างของการพิสูจน์เพียงเพื่อให้แนวคิดหลักและเริ่มต้นใช้งาน

ปล่อยให้เป็นสองตัวแปรสุ่มเกาส์เซียนอิสระและให้เป็น $z = (Z_1, Z_2)$$x = (X_1, X_2)$

$$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$$

แต่ละตัวแต่เนื่องจากทั้งคู่รวมกันเป็นเส้นตรงของ r.vs อิสระเดียวกันพวกเขาจึงต้องพึ่งพากัน$X_i \sim N(\mu_i, \sigma_i^2)$

นิยาม คู่ของ r.vsจะกล่าวว่าเป็น bivariate กระจายตามปกติ IFF ก็สามารถเขียนเป็นเส้นตรงกันอิสระปกติ r.vsZ_2)$x = (X_1, X_2)$$x = Az$$z = (Z_1, Z_2)$

เล็มม่า ถ้าเป็นตัวแปรแบบเกาส์เบียสแล้วการรวมกันเชิงเส้นอื่น ๆ ของพวกมันจะเป็นตัวแปรสุ่มแบบปกติอีกครั้ง$x = (X_1, X_2)$

พิสูจน์ ไม่สำคัญเลยข้ามเพื่อไม่ให้ใครขุ่นเคือง

คุณสมบัติ ถ้าไม่มีความสัมพันธ์กันแสดงว่าพวกเขาเป็นอิสระและในทางกลับกัน$X_1, X_2$

การกระจายของ$X_1 | X_2$

สมมติว่าเป็น Gaussian r.vs เหมือนเดิม แต่สมมติว่าพวกมันมีความแปรปรวนในเชิงบวกและไม่มีค่าเฉลี่ยสำหรับความเรียบง่าย$X_1, X_2$

หากเป็นพื้นที่ว่างที่ถูกขยายโดยให้และS}$\mathbf S$$X_2$$X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$$X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$และเป็นการรวมกันเชิงเส้นของดังนั้นก็เช่นกัน พวกเขาอยู่ด้วยกันเสียนไม่เกี่ยวข้อง (พิสูจน์) และเป็นอิสระ$X_2$$z$$X_2, X_1^{\mathbf S^\perp}$

การสลายตัว ถือกับ

$$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$$ $\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

$$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$$

จากนั้น

$$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$$

ตัวแปรสุ่มแบบเกาส์สองตัวแปรที่ไม่แปรนั้นเป็นแบบเกาส์ร่วมกันหากเงื่อนไขและก็เป็น Gaussian ด้วยเหมือนกันX | Y Y | $X, Y$$X | Y$$Y|X$