กฎของความแปรปรวนรวมเป็นทฤษฎีบทพีทาโกรัส

สมมติว่า $X$ และ $Y$ มีช่วงเวลาที่สองแน่นอน ในช่องว่างของฮิลแบร์ตของตัวแปรสุ่มด้วยช่วงเวลาที่ จำกัด (ด้วยผลิตภัณฑ์ภายในของ $T_1,T_2$ กำหนดโดย $E(T_1T_2)$ , $||T||^2=E(T^2)$ ) เราอาจตีความ $E(Y|X)$ เมื่อการฉายภาพของ $Y$ บนพื้นที่ของฟังก์ชั่นของ $X$ X

เรายังไม่ทราบว่ากฎหมายของรวมแปรปรวนอ่าน

V a R (Y) = E (V a R (Y | X)) + V a R (E (Y | X))

$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$

มีวิธีตีความกฎหมายนี้ในรูปของรูปเรขาคณิตข้างต้นหรือไม่? ผมได้รับการบอกว่ากฎหมายเป็นเช่นเดียวกับพีทาโกรัสทฤษฎีบทเหลี่ยมมุมฉากกับด้าน $Y, E(Y|X), Y-E(Y|X)$ )ฉันเข้าใจว่าทำไมสามเหลี่ยมมุมฉาก แต่ไม่ใช่ทฤษฎีบทพีทาโกรัสที่จับกฎความแปรปรวนรวม

variance conditional-expectation

— renrenthehamster
แหล่งที่มา

คำตอบ:

ฉันคิดว่าคุณพอใจกับสามเหลี่ยมมุมฉากเพราะความหมายว่าและเป็นตัวแปรสุ่มที่ไม่เกี่ยวข้องกัน สำหรับตัวแปรสุ่มและไม่มีการเชื่อมโยง, และอื่น ๆ ถ้าเราตั้ง $E[Y\mid X]$ $Y - E[Y\mid X]$ $A$ $B$

\begin{matrix} (1) & var (A + B) = var (A) + var (B), \end{matrix}

$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$

และ

เพื่อให้

เราได้รับ

มันยังคงแสดงให้เห็นว่า

A = Y - E [Y ∣ X]

$A = Y - E[Y\mid X]$

B = E [Y ∣ X]

$B = E[Y\mid X]$

A + B = Y

$A+B = Y$

\begin{matrix} (2) & var (Y) = var (Y - E [Y | X]) + var (E [Y | X]) . \end{matrix}

$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$

var (Y - E [Y ∣ X])

$\operatorname{var}(Y-E[Y\mid X])$ เหมือนกับ

เพื่อให้เราสามารถเปลี่ยนสถานะ

เป็น

E [var (Y ∣ X)]

$E[\operatorname{var}(Y\mid X)]$

(2)

$(2)$

\begin{matrix} (3) & var (Y) = E [var (Y | X)] + var (E [Y | X]) \end{matrix}

$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$ ซึ่งเป็นสูตรผลต่างทั้งหมด

มันเป็นที่รู้จักกันดีว่ามูลค่าที่คาดหวังของตัวแปรสุ่มคือ , ที่อยู่, ]ดังนั้นเราจะเห็นว่า $E[Y\mid X]$ $E[Y]$ $E\biggr[E[Y\mid X]\biggr] = E[Y]$ จากการที่มันตามที่ , ที่อยู่, ให้แทนตัวแปรสุ่ม

E [A] = E [Y - E [Y | X]] = E [Y] - E [E [Y | X]] = 0,

$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$

var (A) = E [A^{2}]

$\operatorname{var}(A) = E[A^2]$

\begin{matrix} (4) & var (Y - E [Y | X]) = E [(Y - E [Y | X])^{2}] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$

C

$C$

เพื่อให้เราสามารถเขียนว่า

แต่

โดยที่

(Y - E [Y ∣ X])^{2}

$(Y-E[Y\mid X])^2$

\begin{matrix} (5) & var (Y - E [Y | X]) = E [ค] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$

E [C] = E [E [C ∣ X]]

$E[C] = E\biggr[E[C\mid X]\biggr]$

ตอนนี้ได้รับที่

การกระจายตามเงื่อนไขของ

มีค่าเฉลี่ย

และอื่น ๆ

กล่าวอีกนัยหนึ่ง

E [C ∣ X] = E [(Y - E [Y ∣ X])^{2} | X] .

$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$

X = x

$X = x$

Y

$Y$

E [Y ∣ X = x]

$E[Y\mid X=x]$

E [(Y - E [Y | X = x])^{2} | X = x] = var (Y | X = x) .

$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$

เพื่อให้ตัวแปรสุ่ม

เป็นเพียง

)

ดังนั้น

E [C ∣ X = x] = var (Y ∣ X = x)

$E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$

E [C ∣ X]

$E[C\mid X]$

var (Y ∣ X)

$\operatorname{var}(Y\mid X)$

\begin{matrix} (6) & E [ค] = E [E [ค | X]] = E [var (Y | X)], \end{matrix}

$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$ ซึ่งเมื่อเปลี่ยนตัวลงไป

แสดงให้เห็นว่า

นี้ทำให้ด้านขวาของ

สิ่งที่เราต้องการและเพื่อให้เราได้พิสูจน์แล้วว่าสูตรแปรปรวนทั้งหมด

)

(5)

$(5)$

var (Y - E [Y | X]) = E [var (Y | X)] .

$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$

(2)

$(2)$

(3)

$(3)$

— Dilip Sarwate
แหล่งที่มา

Y - E (Y | X)

$Y-E(Y|X)$

v a r (Y - E (Y | X)) = E [Y - E (Y | X)]^{2}

$var(Y-E(Y|X))=E[Y-E(Y|X)]^2$

E v a r (Y | X) = E [E ((Y - E (Y | X))^{2} | X)] = E [Y - E (Y | X)]^{2}

$Evar(Y|X)=E[E((Y-E(Y|X))^2|X)]=E[Y-E(Y|X)]^2$

E [(Y - E [Y | X])^{2}]

$E\bigr[(Y-E[Y|X])^2\bigr ]$

Dilip, probabilists หลายคนจะตีความสมการของ @ mpiktas ได้อย่างถูกต้อง วงเล็บชุดพิเศษมักจะถูกทิ้ง บางทีดวงตาของฉันอาจหลอกลวงฉัน แต่ฉันคิดว่าสัญกรณ์ของเขานั้นสอดคล้องกันตลอด ฉันยินดีที่จะช่วยแก้ไขสิ่งต่าง ๆ หากต้องการ :-)

— พระคาร์ดินัล

E X

$EX$

E X

$\mathbb EX$

X

$X$

E X^{2}

$EX^2$

v a r \dots

$var\ldots$

คำให้การ:

$T_1$ $T_2$ $\langle T_1,T_2\rangle = 0$

\begin{matrix} (1) & | | T_{1} + T_{2} | |^{2} = | | T_{1} | |^{2} + | | T_{2} | |^{2} . \end{matrix}

$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$ หรือกล่าวอีกนัยหนึ่งสำหรับเวกเตอร์มุมฉากความยาวกำลังสองของผลรวมคือผลรวมของความยาวยกกำลังสอง

กรณีของเรา:

ในกรณีของเรา $T_1 = E(Y|X)$ และ $T_2 = Y - E[Y|X]$ เป็นตัวแปรสุ่มค่ากำลังสองมาตรฐานคือ $||T_i||^2 = E[T_i^2]$ และผลิตภัณฑ์ภายใน $\langle T_1,T_2\rangle = E[T_1T_2]$ . แปล $(1)$ เป็นภาษาสถิติให้เรา:

\begin{matrix} (2) & E [Y^{2}] = E [{E (Y | X)}^{2}] + E [(Y - E [Y | X])^{2}], \end{matrix}

$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$ เพราะ

E [T_{1} T_{2}] = Cov (T_{1}, T_{2}) = 0

$E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$ . เราสามารถทำให้มันดูเหมือนกฎความแปรปรวนโดยรวมของคุณได้หากเราเปลี่ยน

(2)

$(2)$ โดย ...

ลบออก $(E[Y])^2$ จากทั้งสองด้านทำให้ด้านซ้ายมือ $\operatorname{Var}[Y]$ ,
สังเกตทางด้านขวามือว่า $E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$ ,
สังเกตว่า $E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$ .

ดูรายละเอียดเกี่ยวกับหัวข้อย่อยทั้งสามนี้ได้ที่โพสต์ของ @DilipSarwate เขาอธิบายรายละเอียดทั้งหมดนี้มากกว่าที่ฉันทำ

— เทย์เลอร์
แหล่งที่มา