ลักษณะทั่วไปของกฎหมายว่าด้วยความคาดหวังซ้ำแล้วซ้ำอีก

43

ฉันเพิ่งเจอตัวตนนี้:

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

แน่นอนว่าฉันคุ้นเคยกับกฎฉบับนั้นง่ายกว่านั่นคือแต่ฉันไม่สามารถหาเหตุผลในการวางหลักเกณฑ์ทั่วไปได้ $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$

ฉันจะขอบคุณถ้ามีคนสามารถชี้ให้ฉันอ้างอิงที่ไม่ช่างเทคนิคสำหรับความจริงที่ว่าหรือดีกว่าถ้ามีคนสามารถวางหลักฐานง่าย ๆ สำหรับผลลัพธ์ที่สำคัญนี้

self-study conditional-probability conditional-expectation

— JohnK
แหล่งที่มา

2

ถ้า

มีเงื่อนไขใน

แล้วจะไม่ตกรุ่นที่ง่ายกว่านี้หรือไม่

y

$y$

x

$x$

— Mehrdad

36

การรักษาอย่างไม่เป็นทางการ

เราควรจำไว้ว่าสัญกรณ์ที่เรามีเงื่อนไขกับตัวแปรสุ่มนั้นไม่ถูกต้องแม้ว่าจะเป็นเรื่องประหยัดก็ตาม ในความเป็นจริงเรามีเงื่อนไขกับซิกม่า - พีชคณิตที่ตัวแปรสุ่มเหล่านี้สร้าง ในคำอื่น ๆจะหมายถึงค่าเฉลี่ย ]คำพูดนี้อาจดูเหมือนไม่เหมาะสมใน "การรักษาแบบไม่เป็นทางการ" แต่เตือนเราว่าหน่วยงานปรับสภาพของเราเป็นชุดของชุด (และเมื่อเรามีเงื่อนไขในค่าเดียวดังนั้นนี่คือชุดซิงเกิล) ชุดเหล่านี้มีอะไรบ้าง? พวกเขามีข้อมูล $E[Y\mid X]$ $E[Y\mid \sigma(X)]$ ซึ่งค่าที่เป็นไปได้ของตัวแปรสุ่มจัดหาเราเกี่ยวกับสิ่งที่อาจเกิดขึ้นกับการสำนึกของY การนำแนวคิดของสารสนเทศมาใช้ทำให้เราคิด (และใช้) กฎแห่งการทำซ้ำ (บางครั้งเรียกว่า "Tower Property") ด้วยวิธีการที่เข้าใจง่ายมาก: ซิกม่า - พีชคณิตที่สร้างโดยตัวแปรสุ่มสองตัวเป็นอย่างน้อย มีขนาดใหญ่เป็นที่สร้างขึ้นโดยตัวแปรสุ่มที่หนึ่ง: ในความหมายที่ตั้งทฤษฎีที่เหมาะสม ดังนั้นข้อมูลเกี่ยวกับอยู่ใน $X$ $Y$

$\sigma (X) \subseteq \sigma(X,Z)$ $Y$ เป็นอย่างน้อยเป็นใหญ่เป็นข้อมูลที่สอดคล้องกันใน ) ขณะนี้เป็นสัญลักษณ์การเสียดสีชุดและ Zจากนั้นเราสามารถเขียน LHS ของสมการได้ $\sigma(X,Z)$ $\sigma (X)$
$\sigma (X) \equiv I_x$ $\sigma(X,Z) \equiv I_{xz}$

อธิบายด้วยวาจาข้างต้นที่เรามี: "อะไรคือความคาดหวังของ {ค่าคาดหวังของได้รับข้อมูล } เนื่องจากเรามีข้อมูลที่มีเพียงเท่านั้น"

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

เราสามารถ "คำนึงถึง" ไหม? ไม่มี - เรารู้เพียงว่า xแต่ถ้าเราใช้สิ่งที่เรามี (ตามที่เราต้องการโดยการแสดงออกที่เราต้องการที่จะแก้ไข) แล้วเราจะพูดสิ่งที่เกี่ยวกับภายใต้การดำเนินการตามความคาดหวังคือเราพูดว่า " " ไม่มาก - เราเพิ่งหมดข้อมูลของเรา $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

ดังนั้น

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

หากมีคนอื่นไม่ฉันจะกลับไปรักษาอย่างเป็นทางการ

การรักษารูปแบบ (อีกเล็กน้อย)

เรามาดูกันว่าหนังสือทฤษฎีความน่าจะเป็นที่สำคัญสองเล่มคืออะไรความน่าจะเป็นและการวัดของ P. Billingsley (3d ed. -1995) และ D. Williams "ความน่าจะเป็นกับ Martingales" (1991) รักษาเรื่องการพิสูจน์
Billingsley คลับคล้ายคลับคลาสามบรรทัดเพื่อพิสูจน์ วิลเลียมส์และฉันพูดพูดว่า

"(The Tower Property) แทบจะทันทีจากคำจำกัดความของการคาดการณ์ตามเงื่อนไข"

นั่นคือข้อความบรรทัดเดียว การพิสูจน์ของ Billingsley นั้นไม่ทึบแสง

พวกเขาถูกต้องแน่นอน: คุณสมบัติที่สำคัญและใช้งานง่ายมากของความคาดหวังตามเงื่อนไขนี้เกิดขึ้นโดยตรง (และเกือบจะทันที) จากคำจำกัดความ - ปัญหาเดียวคือฉันสงสัยว่าคำจำกัดความนี้มักจะไม่ได้สอนหรืออย่างน้อยก็ไม่เน้น หรือวัดวงกลมตามหลักวิชา แต่เพื่อที่จะแสดงใน (เกือบ) สามบรรทัดที่กฎหมายของการทำซ้ำความคาดหวังถือเราต้องการคำจำกัดความของความคาดหวังตามเงื่อนไขหรือค่อนข้างกำหนดคุณสมบัติของมัน

ให้พื้นที่ความน่าจะเป็นและ integrable ตัวแปรสุ่มYให้เป็นอนุกรรมการพีชคณิตของ , Fจากนั้นจะมีฟังก์ชั่นที่เป็น -measable สามารถรวมกันได้และ (นี่คือคุณสมบัติที่กำหนด) $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

ที่เป็นฟังก์ชั่นตัวบ่งชี้ของชุดGเราบอกว่าคือ ("เวอร์ชันของ") ความคาดหวังตามเงื่อนไขของให้และเราเขียน $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ โดยมีรายละเอียดสำคัญที่จะทราบว่านี่คือความคาดหวังที่มีเงื่อนไขมีค่าที่คาดหวังเช่นเดียวกับไม่ได้เพียงกว่าทั้ง ,แต่ในทุกเซตของG $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(ฉันจะลองตอนนี้เพื่อนำเสนอว่าคุณสมบัติของ Tower มาจากคำจำกัดความของการคาดการณ์แบบมีเงื่อนไข)

เป็นตัวแปรสุ่ม -measurable พิจารณาแล้วบางส่วนย่อยพีชคณิตพูด Gจากนั้น Gดังนั้นในลักษณะที่คล้ายคลึงกันก่อนหน้านี้เรามีความคาดหวังแบบมีเงื่อนไขของให้กล่าวว่า $W$ $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ ที่โดดเด่นด้วย $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

ตั้งแต่สมการและให้เรา $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

แต่นี้เป็นกำหนดคุณสมบัติของความคาดหวังที่มีเงื่อนไขของให้H $Y$ $\mathcal H$ ดังนั้นเรามีสิทธิ์เขียน เนื่องจากเรามีการก่อสร้างด้วยเราเพิ่งพิสูจน์สมบัติของ Tower หรือรูปแบบทั่วไปของกฎแห่งความคาดหวังซ้ำ - ในแปดบรรทัด $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— Alecos Papadopoulos
แหล่งที่มา

6

(+1) นี่เป็นวิธีที่มีประโยชน์ในการอธิบายแนวคิดที่เป็นนามธรรมและยาก ฉันเชื่อว่าวลี "... ไม่ยิ่งใหญ่กว่า ... " ควรเป็น "ไม่เล็ก" ยังดีกว่าส่วนนั้นสามารถทำให้ชัดเจนขึ้นโดยลบเชิงลบและใช้การก่อสร้างแบบขนานเช่นเดียวกับใน "พีชคณิตซิกม่าที่สร้างโดยสองตัวแปรอย่างน้อยที่สุดก็ใหญ่พอ ๆ กับที่สร้างขึ้นโดยตัวแปรสุ่มหนึ่ง ... ดังนั้นข้อมูลเกี่ยวกับ

มีอยู่ ใน

อย่างน้อยก็เยี่ยมยอดเหมือนข้อมูลใน

"

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— whuber

ขอบคุณทั้งคู่ cc @whuber นี่เป็นทฤษฎีบทที่มีประโยชน์มาก

— JohnK

@ whuber ขอบคุณที่จำสิ่งนี้ - และสำหรับข้อเสนอแนะ

— Alecos Papadopoulos

24

วิธีที่ฉันเข้าใจความคาดหวังตามเงื่อนไขและสอนนักเรียนของฉันมีดังต่อไปนี้:

ความคาดหวังตามเงื่อนไขเป็นภาพที่ถ่ายโดยกล้องที่มีความละเอียด $E[Y|\sigma(X)]$ $\sigma(X)$

$E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$ . ความคาดหวังคือตัวดำเนินการหาค่าเฉลี่ย (ตัวดำเนินการ "เบลอ") Scenary อาจมีหลายสิ่ง แต่ภาพที่คุณถ่ายด้วยกล้องที่มีความละเอียดต่ำจะทำให้รายละเอียดบางอย่างหายไปอย่างแน่นอนเช่นอาจมีจานบินบนท้องฟ้าที่มองเห็นได้ด้วยตาเปล่า แต่ไม่ ปรากฏในรูปภาพของคุณที่ถ่ายโดย (iphone 3?)

$\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

$E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ $\sigma(X)$

$E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$ ยังคง นี่เป็นเพราะ: หากภาพแรกของคุณถูกถ่ายโดย iphone 1 (เช่นความละเอียดต่ำ) และตอนนี้คุณต้องการใช้กล้องที่ดีกว่า (เช่น iphone 3) เพื่อสร้างภาพอีกภาพในรูปแรกแล้วไม่มีทางเลย สามารถปรับปรุงคุณภาพของภาพถ่ายแรก

— KevinKim
แหล่งที่มา

2

รักมัน! :) คำอธิบายที่ดี

— jessica

1

@ jessica ฉันดีใจที่มันช่วย :-) ฉันใช้เวลาสักครู่กว่าจะได้คำอธิบายนี้มา

— KevinKim

21

$E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ $Y$ $X$ $Y$ $p_{X,Y}(x,y)$

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$

X

$X$

Y

$Y$

Y

$Y$

$E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ $E[Y\mid X]$ $X$ $x$

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$

X

$X$

X

$X$

x

$x$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

$x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— Dilip Sarwate
แหล่งที่มา