สัญชาตญาณที่อยู่เบื้องหลังความเป็นอิสระของ

18

ฉันหวังว่าจะมีคนเสนอข้อโต้แย้งว่าทำไมตัวแปรสุ่ม และ , มีการแจกแจงแบบปกติมาตรฐานมีความเป็นอิสระทางสถิติ การพิสูจน์ความจริงนั้นเกิดขึ้นได้อย่างง่ายดายจากเทคนิค MGF แต่ฉันพบว่ามันตอบโต้ได้ง่ายมาก $Y_1=X_2-X_1$ $Y_2=X_1+X_2$ $X_i$

ฉันจะขอบคุณสัญชาตญาณที่นี่ถ้ามี

ขอบคุณล่วงหน้า.

แก้ไข : ห้อยไม่ได้ระบุสถิติการสั่งซื้อ แต่การสังเกต IID จากการกระจายปกติมาตรฐาน

probability self-study mathematical-statistics

— JohnK
แหล่งที่มา

"เทคนิค MGF" คืออะไร?

— อะมีบาพูดว่า Reinstate Monica

@amoeba มันคือการใช้ฟังก์ชั่นสร้างช่วงเวลาเพื่อกำหนดการกระจายตัวของตัวแปรสุ่ม ในกรณีของฉันฉันอ้างถึงทฤษฎีบทว่าและมีความเป็นอิสระถ้าหาก ,เท่ากับt_2Y_2}) เลือกเทคนิคอื่นและฉันมั่นใจว่าคุณจะมาถึงผลลัพธ์เดียวกัน

Y_{1}

$Y_1$

Y_{2}

$Y_2$

M (t_{1}, t_{2}) = M (t_{1}, 0) \times M (0, t_{2})

$M(t_1,t_2)=M(t_1,0) \times M(0,t_2)$

M (t_{1}, t_{2})

$M(t_1,t_2)$

E (e^{t_{1} Y_{1} + t_{2} Y_{2}})

$E(e^{t_1Y_1+t_2Y_2})$

— JohnK

1

คุณอาจพบความเข้าใจบางอย่างในหัวข้อที่เกี่ยวข้องอย่างใกล้ชิดที่stats.stackexchange.com/questions/71260

— whuber

คุณอาจได้รับสัญชาติญาณบางอย่างโดยพิจารณาจากสิ่งที่เกิดขึ้นกับแต่ละเหล่านี้ถ้าคุณเพิ่มอย่างต่อเนื่องบางพูดเพื่อให้แต่ละXและจะเกิดอะไรขึ้นถ้าคุณคูณค่าแต่ละค่าด้วยค่าคงที่พูด

μ

$\mu$

X

$X$

X

$X$

σ

$\sigma$

— rvl

1

ที่เกี่ยวข้องอย่างใกล้ชิดอ้างอิงสำหรับการรวมและความแตกต่างของตัวแปรความสัมพันธ์อย่างมากเป็น uncorrelated

— gung - Reinstate Monica

22

นี่คือข้อมูลการแจกแจงแบบปกติมาตรฐาน: พล็อตกระจายในระบบพิกัดแรก สังเกตว่าการแจกแจงเป็นแบบสมมาตรไหลเวียน

เมื่อคุณสลับไปที่และคุณจะหมุนและปรับแกนได้อย่างมีประสิทธิภาพเช่นนี้: ระบบพิกัดใหม่นี้มีจุดกำเนิดเดียวกันกับจุดกำเนิดดั้งเดิมและแกนนั้นเป็นฉากมุมฉาก เนื่องจากสมมาตรไหลเวียนตัวแปรยังคงเป็นอิสระในระบบพิกัดใหม่ $Y_1 = X_2 - X_1$ $Y_2 = X_1 + X_2$ พล็อตกระจายที่มีระบบพิกัดแบบหมุน

— dobiwan
แหล่งที่มา

4

ผลลัพธ์จะมีผลแม้ว่าและจะสัมพันธ์กับระยะขอบปกติของหน่วย ดังนั้นคำอธิบายของคุณครอบคลุมเฉพาะกรณีย่อยของผลลัพธ์ต้นฉบับ อย่างไรก็ตามแนวคิดพื้นฐานที่นี่คือเสียง

X_{1}

$X_1$

X_{2}

$X_2$

— Glen_b -Reinstate Monica

1

@Glen_b ใช่คุณพูดถูก ฉันต้องการที่จะมุ่งเน้นไปที่กรณีง่าย ๆ เนื่องจาก JohnK ดูเหมือนจะรู้วิธีพิสูจน์กรณีทั่วไปแล้ว แต่ขาดความไม่เข้าใจง่าย

— dobiwan

7

ผลลัพธ์ใช้งานได้สำหรับร่วมกันปกติ (เช่นมีความสัมพันธ์ $(X_1,X_2)$ ) กับที่พบบ่อยσ $-1<\rho<1$ $\sigma$

หากคุณรู้ว่ามีผลลัพธ์พื้นฐานสองสามประการนี่คือสิ่งที่คุณต้องการ:

$\quad\quad\quad$ ป้อนคำอธิบายรูปภาพที่นี่

แนวทางของ dobiwan นั้นค่อนข้างดี - เพียงว่าผลลัพธ์นั้นกว้างกว่ากรณีที่เกี่ยวข้อง

— Glen_b -Reinstate Monica
แหล่งที่มา

3

+1 สำหรับการแยกผลลัพธ์ที่ต้องการออกเป็นสิ่งจำเป็น ฉันจะเพิ่มว่าสำหรับกรณีทั่วไปมากขึ้นของความปกติร่วมกับความแปรปรวนที่ไม่เท่ากันการหมุนของแกนโดย

แทนที่จะเป็น

θ = \frac{1}{2} \arctan (\frac{2 ρ \cdot σ_{1} σ_{2}}{σ_{1}^{2} - σ_{2}^{2}})

$\theta = \frac{1}{2}\arctan\left ( \frac{2\rho\cdot\sigma_1\sigma_2}{\sigma_1^2 - \sigma_2^2}\right )$

ในนัย

ผลิตอิสระตัวแปรสุ่มปกติ

\pm \frac{π}{4}

$\pm \frac{\pi}{4}$

(X_{1}, X_{2}) \to (X_{1} + X_{2} . X_{1} - X_{2})

$(X_1,X_2) \to (X_1+X_2. X_1-X_2)$

— Dilip Sarwate

6

ผลลัพธ์ที่คุณอ้างว่าเป็นจริงนั้นไม่เป็นความจริงโดยทั่วไปไม่ใช่แม้แต่ในกรณีที่ทุกสิ่งที่เป็นที่รู้จักคือและเป็นตัวแปรสุ่มปกติที่มีความแปรปรวนเหมือนกัน แต่ผลลัพธ์ $X_1$ $X_2$ นั้นจะถือตามการตีความตามเงื่อนไขปกติ คุณระบุในภายหลัง:

ตัวห้อยไม่ได้ระบุสถิติการสั่งซื้อ แต่การสังเกตจากการกระจายปกติมาตรฐาน

การตีความตามปกติของคำสองสามคำสุดท้ายในข้อความนี้คือแน่นอนว่าและเป็น ตัวแปรสุ่มแบบอิสระ (ปกติ) และด้วยเหตุนี้ $X_1$ $X_2$ ตัวแปรสุ่มร่วมกัน

สำหรับตัวแปรสุ่มปกติร่วมกันที่มีความแปรปรวนเหมือนกันมันเป็นความจริงว่าและเป็นตัวแปรสุ่มแบบอิสระ (ปกติ) (โดยทั่วไปความแปรปรวนที่ไม่เท่ากัน) และคำอธิบายที่เข้าใจง่ายสำหรับสิ่งนี้ ในคำตอบของ Glen_b สำหรับคุณกรณีพิเศษของ และเป็นอิสระเช่นเดียวกับคำตอบ dobiwan ซึ่งคุณได้รับการยอมรับเป็นที่ง่ายที่สุดและแน่นอนเผยให้เห็นว่าใด ๆการหมุนของแกนที่ไม่เพียง แต่โดย $X_1+X_2$ $X_1-X_2$ $X_1$ $X_2$ นัยในการแปลง $\pm \frac{\pi}{4}$ $(X_1,X_2)\to (X_1+X_2, X_1-X_2)$ , จะให้ตัวแปรสุ่มแบบอิสระ

โดยทั่วไปสามารถพูดอะไรได้บ้าง ในทุกสิ่งที่ฉันพูดด้านล่างโปรดจำไว้ว่าและ $X$ $Y$ มีความแปรปรวนเดียวกันไม่ว่าคุณสมบัติอื่นใดที่อาจนำมาประกอบกัน

ถ้าและเป็นตัวแปรสุ่มใด ๆ (หมายเหตุ: ไม่จำเป็นต้องเป็นปกติ) ที่มีความแปรปรวนเหมือนกันดังนั้น และเป็นตัวแปรสุ่มที่ไม่มีการเชื่อมโยงกัน (นั่นคือพวกเขามีศูนย์แปรปรวนร่วม) นี่เป็นเพราะฟังก์ชั่นความแปรปรวนร่วมนั้นเป็นแบบสองส่วน : $X$ $Y$ $X+Y$ $X-Y$ นี่เราได้ใช้ความจริงที่ว่าเป็นเพียงความแปรปรวนของ(และคล้ายกันกับ) และแน่นอน . โปรดทราบว่าผลลัพธ์นี้จะเก็บไว้เมื่อและเป็นตัวแปรสุ่มปกติ (เล็กน้อย) แต่ไม่จำเป็นต้องร่วมกัน

\begin{aligned} cov (X + Y, X - Y) & = cov (X, X) - cov (X, Y) + cov (Y, X) - cov (Y, Y) \\ = var (X) - cov (X, Y) + cov (X, Y) - var (Y) \\ = 0. \end{aligned}

$\begin{align} \operatorname{cov}(X+Y, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) + \operatorname{cov}(Y,X) - \operatorname{cov}(Y,Y)\\ &= \operatorname{var}(X) - \operatorname{cov}(X,Y) + \operatorname{cov}(X,Y) - \operatorname{var}(Y)\\ &= 0. \end{align}$

cov (X, X)

$\operatorname{cov}(X,X)$

var (X)

$\operatorname{var}(X)$

X

$X$

Y

$Y$

cov (Y, X) = cov (X, Y)

$\operatorname{cov}(Y,X) = \operatorname{cov}(X,Y)$

X

$X$

Y

$Y$ ตัวแปรสุ่มปกติ (หากคุณไม่คุ้นเคยกับแนวคิดเรื่องความเป็นมาตรฐานของชายขอบซึ่งไม่เหมือนกับบรรทัดฐานร่วมโปรดดู คำตอบที่ยอดเยี่ยมนี้โดยพระคาร์ดินัล) ในกรณีพิเศษเมื่อ

และ

มีร่วมกัน ปกติ ( แต่ไม่จำเป็นต้องเป็นอิสระ) ปกติตัวแปรสุ่มดังนั้น

และ

กันปกติและเนื่องจากความแปรปรวนของพวกเขาคือ

,

และ

มีความเป็นอิสระแบบสุ่ม ตัวแปร

X

$X$

Y

$Y$

X + Y

$X+Y$

X - Y

$X-Y$

0

$0$

X + Y

$X+Y$

X - Y

$X-Y$

— Dilip Sarwate
แหล่งที่มา

2

ครั้งแรกที่ผมเถียงทั่วไปเหมือนกันกระจายที่หมายถึงเงื่อนไขของเงื่อนไขในเป็นค่าคงที่0จากสิ่งนี้ฉันยืนยันว่าความแปรปรวนร่วมของ เท่ากับ 0 จากนั้นภายใต้ภาวะปกติความแปรปรวนร่วมศูนย์มีความเป็นอิสระ $X_1,X_2$ $Y_1$ $Y_2$ $0$ $Y_1,Y_2$

ค่าเฉลี่ยตามเงื่อนไข

ปรีชา: ไม่ได้บอกเป็นนัยถึงองค์ประกอบใดที่ทำให้เกิดผลรวมมากกว่า (เช่นน่าจะเป็น $X_1+X_2=y$ $X_1=x, X_2 = y-x$ $X_1 = y-x, X_2=x$ ) ดังนั้นความแตกต่างที่คาดหวังจะต้องเป็น 0

พิสูจน์: และมีการแจกแจงที่เหมือนกันและนั้นสมมาตรเทียบกับการจัดทำดัชนี ดังนั้นสำหรับเหตุผลสมมาตรเงื่อนไขการจำหน่ายต้องเท่ากับเงื่อนไขการจำหน่าย Yดังนั้นการแจกแจงแบบมีเงื่อนไขก็มีค่าเฉลี่ยเดียวกันและ $X_1$ $X_2$ $X_1+X_2$ $X_1 \mid Y_2 = y$ $X_2 \mid Y_2 = y$

E (Y_{1} ∣ Y_{2} = y) = E (X_{1} - X_{2} ∣ X_{1} + X_{2} = y) = E (X_{1} ∣ X_{1} + X_{2} = y) - E (X_{2} ∣ X_{1} + X_{2} = y) = 0.

$\begin{equation} \mathbb{E}(Y_1 \mid Y_2 = y) = \mathbb{E}(X_1 - X_2 \mid X_1+X_2 = y) \\ = \mathbb{E}(X_1 \mid X_1+X_2 = y) - \mathbb{E}(X_2 \mid X_1+X_2 = y)= 0. \end{equation}$

(Caveat: ฉันไม่ได้พิจารณาความเป็นไปได้ที่ค่าเฉลี่ยตามเงื่อนไขอาจไม่มีอยู่)

ค่าเฉลี่ยของเงื่อนไขคงที่หมายถึงศูนย์สหสัมพันธ์ / ความแปรปรวนร่วม

ปรีชา: สหสัมพันธ์วัดว่ามีแนวโน้มที่จะเพิ่มขึ้นเมื่อเพิ่มขึ้น หากการสังเกตไม่เคยเปลี่ยนค่าเฉลี่ยของ , และ $Y_1$ $Y_2$ $Y_2$ $Y_1$ $Y_1$ $Y_2$ จะไม่มีการแยกกัน

พิสูจน์: ตามคำนิยามความแปรปรวนร่วมคือ กับความคาดหวังนี้เราใช้กฎของ การคาดคะเนซ้ำ: รับความคาดหวังของเงื่อนไขการคาดการณ์ตามเงื่อนไขบน :

C o v (Y_{1}, Y_{2}) = E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2}))]

$\begin{equation} Cov(Y_1,Y_2) = \mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right)\right] \end{equation}$

Y_{2}

$Y_2$

จำได้ว่าค่าเฉลี่ยตามเงื่อนไขนั้นแสดงให้เห็นว่าเป็นอิสระจาก

ดังนั้นการแสดงออกจึงลดความซับซ้อนลงเป็น

= E [E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2})) ∣ Y_{2}]] = E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1}) ∣ Y_{2}]] .

$\begin{equation} = \mathbb{E}\left[\mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right) \mid Y_2\right]\right] = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1 - \mathbb{E}(Y_1) \mid Y_2\right] \right]. \end{equation}$

Y_{2}

$Y_2$

แต่ความคาดหวังภายในคือ

และเราได้รับ

= E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1})]]

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1-\mathbb{E}(Y_1)\right]\right] \end{equation}$

0

$0$

= E [(Y_{2} - E (Y_{2})) \times 0] = 0.

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\times0\right] = 0. \end{equation}$

ความเป็นอิสระ

$X_1,X_2$ $Y_1$ $Y_2$ $X_1,X_2$ $Y_1,Y_2$

— Juho Kokkala
แหล่งที่มา