เส้นตรงของความแปรปรวน

16

ฉันคิดว่าสองสูตรต่อไปนี้เป็นจริง:

V a r (a X) = a^{2} V a r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ ในขณะที่ a เป็นค่าคงตัว

V a r (X + Y) = V a r (X) + V a r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$ ถ้า

X

$X$ ,

Y

$Y$ เป็นอิสระ

อย่างไรก็ตามฉันไม่แน่ใจว่ามีอะไรผิดปกติด้านล่าง:

V a r (2 X) = V a r (X + X) = V a r (X) + V a r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ ซึ่งไม่เท่ากับ

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$ คือ

4 V a r (X)

$4\mathrm{Var}(X)$ )

ถ้ามันจะสันนิษฐานว่า $X$ คือตัวอย่างที่นำมาจากประชากรผมคิดว่าเราสามารถสมมติ $X$ จะเป็นอิสระจากที่อื่น ๆ $X$ s

ดังนั้นเกิดอะไรขึ้นกับความสับสนของฉัน

variance linearity fallacy

— lanselibai
แหล่งที่มา

8

ความแปรปรวนไม่เป็นเชิงเส้น - แสดงให้เห็นว่าคำสั่งแรกของคุณ (ถ้าเป็นคุณต้องการมี

. แปรปรวนในมืออื่น ๆ เป็น bilinear.

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$

— แบทแมน

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

ปัญหาของการใช้เหตุผลของคุณคือ

"ฉันคิดว่าเราสามารถถือว่าเป็นอิสระจาก s อื่น ๆได้เสมอ" $X$ $X$

ไม่ได้เป็นอิสระของXสัญลักษณ์กำลังถูกใช้เพื่ออ้างถึงตัวแปรสุ่มเดียวกันที่นี่ เมื่อคุณทราบค่าของแรกที่ปรากฏในสูตรของคุณสิ่งนี้จะแก้ไขค่าของที่สองที่จะปรากฏ หากคุณต้องการให้พวกเขาอ้างถึงตัวแปรสุ่มที่แตกต่างกัน (และอาจเป็นอิสระ) คุณต้องแสดงว่าพวกเขาด้วยตัวอักษรที่แตกต่างกัน (เช่นและ ) หรือใช้ตัวห้อย (เช่นและ ); หลังมักจะ (แต่ไม่เสมอไป) ใช้เพื่อแสดงตัวแปรที่ดึงมาจากการแจกแจงแบบเดียวกัน $X$ $X$ $X$ $X$ $X$ $X$ $Y$ $X_1$ $X_2$

หากทั้งสองตัวแปรและมีความเป็นอิสระแล้วเป็นเช่นเดียวกับ : การรู้ค่าของไม่ได้ให้ข้อมูลเพิ่มเติมเกี่ยวกับค่าของXแต่คือถ้าและอย่างอื่น: รู้ค่าของ $X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ $1$ $a=b$ $0$ $X$ ให้ข้อมูลที่สมบูรณ์เกี่ยวกับค่าของX[คุณสามารถแทนที่ความน่าจะเป็นในย่อหน้านี้ด้วยฟังก์ชันการแจกแจงสะสมหรือฟังก์ชันความหนาแน่นของความน่าจะเป็นที่เหมาะสมเพื่อให้ได้ผลเช่นเดียวกัน] $X$

วิธีการเห็นสิ่งก็คือว่าถ้าสองตัวแปรที่มีความเป็นอิสระจากนั้นพวกเขามีความสัมพันธ์เป็นศูนย์ (แม้ว่าศูนย์ความสัมพันธ์ไม่ได้หมายความถึงความเป็นอิสระ !) แต่อยู่ในทำเลที่ดีเลิศมีความสัมพันธ์กับตัวเองดังนั้นไม่สามารถเป็นอิสระ ของตัวเอง โปรดทราบว่าเนื่องจากความแปรปรวนร่วมถูกกำหนดโดย $X$ $\Corr(X,X)=1$ $X$ , จากนั้น $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

สูตรทั่วไปที่มากกว่าสำหรับความแปรปรวนของผลรวมของตัวแปรสุ่มสองตัวคือ

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

โดยเฉพาะอย่างยิ่งดังนั้น $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

ซึ่งเป็นเช่นเดียวกับที่คุณจะอนุมานได้จากการใช้กฎ

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

หากคุณมีความสนใจในเชิงเส้นแล้วคุณอาจจะสนใจในbilinearityความแปรปรวนร่วม สำหรับตัวแปรสุ่ม , , และ (ไม่ว่าจะขึ้นอยู่กับหรืออิสระ) และค่าคงที่ , , และเรามี $W$ $X$ $Y$ $Z$ $a$ $b$ $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

และโดยรวม

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

จากนั้นคุณสามารถใช้สิ่งนี้เพื่อพิสูจน์ผลลัพธ์ (ไม่ใช่เชิงเส้น) สำหรับความแปรปรวนที่คุณเขียนไว้ในโพสต์ของคุณ:

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

The latter gives, as a special case when $a=b=1$ ,

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

When $X$ and $Y$ are uncorrelated (which includes the case where they are independent), then this reduces to $\Var(X+Y) = \Var(X) + \Var(Y)$ . So if you want to manipulate variances in a "linear" way (which is often a nice way to work algebraically), then work with the covariances instead, and exploit their bilinearity.

— Silverfish
แหล่งที่มา

1

Yes! I think you pinpointed at the beginning that the confusion was essentially a notational one. I found it very helpful when one book (very explicitly, some might say laboriously) explained the interpretation of and rules of evaluating a probabilistic statement (so that, e.g., even if you know what you mean by

Pr (X + X = n)

$\Pr (X+X=n)$ where

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$ , it is technically incorrect if you're considering throwing a

n

$n$ in craps (and

X + X = 2 X

$X+X=2X$

X_{1}, X_{2}

$X_1,X_2$

1

2+PRNG(6)+PRNG(6)

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$ in which different instances are genuinely intended to be independent.

— Vandermonde

@Vandermonde That's an interesting point. I initially considered mentioning the use of subscripts to distinguish between "different

X

$X$ s" but didn't bother - think I might edit it in now. The argument that "you'd never get an odd total score if the sum was

2 X

$2X$ " is very clear and convincing to someone who can't see the need to distinguish: thanks for sharing it.

— Silverfish

0

Another way of thinking about it is that with random variables $2X \neq X + X$ .

$2X$ would mean two times the value of the outcome of $X$ , while $X + X$ would mean two trials of $X$ . In other words, it's the difference between rolling a die once and doubling the result, vs rolling a die twice.

— Benjamin
แหล่งที่มา

+1 This is a perfectly clear and correct answer. Welcome to our site!

— whuber

Thanks @whuber!

— Benjamin