ปัญหาเกี่ยวกับการพิสูจน์ความคาดหวังตามเงื่อนไขว่าเป็นตัวพยากรณ์ที่ดีที่สุด

19

ฉันมีปัญหากับการพิสูจน์

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

ซึ่งน่าจะเปิดเผยความเข้าใจผิดที่คาดการณ์ไว้อย่างลึกซึ้งและความคาดหวังตามเงื่อนไข

หลักฐานที่ฉันรู้จะเป็นดังนี้ (สามารถพบหลักฐานอีกรุ่นหนึ่งได้ที่นี่ )

\begin{aligned} หาเรื่อง \underset{ก. (X)}{นาที} E [(Y - ก. (x))^{2}] \\ = & หาเรื่อง \underset{ก. (X)}{นาที} E [(Y - E (Y | X) + E (Y | X) - ก. (X))^{2}] \\ = & หาเรื่อง \underset{ก. (x)}{นาที} E [(Y - E (Y | X))^{2} + 2 (Y - E (Y | X)) (E (Y | X) - ก. (X)) + (E (Y | X) - ก. (X))^{2}] \\ = & หาเรื่อง \underset{ก. (x)}{นาที} E [2 (Y - E (Y | X)) (E (Y | X) - ก. (X)) + (E (Y | X) - ก. (X))^{2}] \end{aligned}

$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$

โดยทั่วไปแล้วข้อพิสูจน์จะยังคงมีข้อโต้แย้งแสดงว่าและด้วยเหตุนี้ $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$

\begin{aligned} หาเรื่อง \underset{ก. (x)}{นาที} E [(Y - ก. (x))^{2}] = หาเรื่อง \underset{ก. (x)}{นาที} E [(E (Y | X) - ก. (X))^{2}] \end{aligned}

$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$

ซึ่งสามารถมองเห็นที่จะลดลงเมื่อ $g(X) = E(Y|X)$ X)

ปริศนาของฉันเกี่ยวกับการพิสูจน์ดังต่อไปนี้:

พิจารณา

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ บิ๊ก]

สำหรับฉันแล้วดูเหมือนว่าเป็นอิสระจากการโต้แย้งใด ๆ ที่แสดงว่าเทอมแรกมีค่าเท่ากับศูนย์เสมอเราจะเห็นว่าการตั้งค่า $g(X) = E(Y|X)$ ลดการแสดงออกเมื่อมันมีความหมาย $\big(E(Y|X) - g(X)\big) =0$ และด้วยเหตุนี้

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0

แต่ถ้าเรื่องนี้เป็นเรื่องจริงคนหนึ่งอาจทำซ้ำการพิสูจน์แทนโดยฟังก์ชั่นอื่น ๆ ของ , พูดและได้ข้อสรุปว่ามันเป็นที่ลดการแสดงออก ดังนั้นจะต้องมีสิ่งที่ฉันเข้าใจผิด (ใช่ไหม) $E(Y|X)$ $X$ $h(X)$ $h(X)$

ฉันมีข้อสงสัยเกี่ยวกับความหมายของในการแถลงปัญหา สัญกรณ์ควรตีความได้อย่างไร? มันหมายความว่า $E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ ,หรือ ? $E_Y[(Y−g(X))^2]$ $E_{XY}[(Y−g(X))^2]$

— Martin Van der Linden
แหล่งที่มา

11

(นี่คือการดัดแปลงจาก Granger & Newbold (1986) "ซีรีย์การพยากรณ์เศรษฐกิจแบบเวลา")

โดยการก่อสร้างของฟังก์ชั่นค่าใช้จ่ายข้อผิดพลาดเป็น 2 นี้จะรวมเป็นสมมติฐานที่สำคัญ (ที่ฟังก์ชั่นค่าใช้จ่ายข้อผิดพลาดคือสมมาตรรอบศูนย์) -a ฟังก์ชั่นค่าใช้จ่ายข้อผิดพลาดที่แตกต่างกันจะไม่จำเป็นต้องมีค่าคาดว่าเงื่อนไขเป็นของมูลค่าที่คาดว่าจะ คุณไม่สามารถลดฟังก์ชั่นค่าใช้จ่ายข้อผิดพลาดให้น้อยที่สุดเนื่องจากมีจำนวนที่ไม่รู้จัก ดังนั้นคุณตัดสินใจที่จะลดค่าที่คาดหวังไว้แทน จากนั้นฟังก์ชั่นวัตถุประสงค์ของคุณจะกลายเป็น $\left[Y-g(X)\right]^2$ $\arg \min$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} {[y - g (X)]}^{2} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$

ซึ่งฉันเชื่อว่ายังตอบคำถามที่สองของคุณ มันง่ายว่ามูลค่าที่คาดว่าจะเป็นเงื่อนไขในเนื่องจากเรากำลังพยายามที่จะประเมิน / การคาดการณ์บนพื้นฐานของXย่อยสลายสี่เหลี่ยมเพื่อให้ได้ $Y$ $X$ $Y$ $X$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} y^{2} f_{Y | X} (y | x) d y - 2 g (X) \int_{- \infty}^{\infty} y f_{Y | X} (y | x) d y + [g (X)]^{2} \int_{- \infty}^{\infty} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$

เทอมแรกไม่มีดังนั้นจึงไม่มีผลต่อการย่อขนาดและมันสามารถถูกละเว้นได้ อินทิกรัลในระยะที่สองเท่ากับค่าคาดหวังตามเงื่อนไขของกำหนดและอินทิกรัลในระยะสุดท้ายเท่ากับความสามัคคี ดังนั้น $g(X)$ $Y$ $X$

\arg min_{g (x)} E {[Y - g (X)]}^{2} = \arg min_{g (x)} {- 2 g (X) E (Y ∣ X) + [g (X)]^{2}}

$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$

อนุพันธ์อันดับแรก wrtคือนำไปสู่เงื่อนไขการสั่งซื้อครั้งแรกสำหรับการย่อในขณะที่อนุพันธ์อันดับสองเท่ากับซึ่งเพียงพอสำหรับขั้นต่ำ $g(X)$ $-2E(Y\mid X) + 2g(X)$ $g(X) = E(Y\mid X)$ $2>0$

เพิ่ม: ตรรกะของวิธีการพิสูจน์ "เพิ่มและลบ"

OP สับสนด้วยวิธีการที่ระบุไว้ในคำถามเพราะดูเหมือนว่าซ้ำซาก ไม่ใช่เพราะในขณะที่ใช้กลยุทธ์การเพิ่มและลบทำให้ส่วนหนึ่งของฟังก์ชันวัตถุประสงค์เป็นศูนย์สำหรับการเลือกคำศัพท์ที่เพิ่มและลบโดยพลการมันไม่ได้ทำให้ฟังก์ชั่นค่าเท่ากันคือค่าของวัตถุประสงค์ การประเมินฟังก์ชั่นที่ตัวลดขนาดตัวเลือก

สำหรับตัวเลือกเรามีฟังก์ชั่นค่า สำหรับตัวเลือกโดยพลการเรามีค่า funtionบิ๊ก] $g(X) = E(Y \mid X)$ $V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$ $g(X) = h(X)$ $V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

ฉันอ้างว่า

V (E (Y ∣ X)) \leq V (h (X))

$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$

\Rightarrow E (Y^{2} ∣ X) - 2 E [(Y E (Y ∣ X)) ∣ X] + E [(E (Y ∣ X))^{2} ∣ X] \leq E (Y^{2} ∣ X) - 2 E [(Y h (X)) ∣ X] + E [(h (X))^{2} ∣ X]

$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$

เทอมแรกของ LHS และ RHS ยกเลิก นอกจากนี้ยังทราบว่าความคาดหวังด้านนอกเป็นเงื่อนไขในการXด้วยคุณสมบัติของความคาดหวังตามเงื่อนไขที่เรามี $X$

. . . \Rightarrow - 2 E (Y ∣ X) \cdot E (Y ∣ X) + [E (Y ∣ X)]^{2} \leq - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X)]^{2} - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X) - h (x)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$ ซึ่งถือกับความไม่เท่าเทียมกันที่เข้มงวดถ้าX) ดังนั้นจึงเป็นตัวย่อขนาดและไม่ซ้ำใคร

h (x) \neq E (Y ∣ X)

$h(x) \neq E(Y \mid X)$

E (Y ∣ X)

$E(Y \mid X)$

แต่สิ่งนี้ยังบอกว่าวิธีการ "เพิ่มและลบ" ไม่ใช่วิธีการพิสูจน์ที่สว่างที่สุดที่นี่

— Alecos Papadopoulos
แหล่งที่มา

ขอบคุณสำหรับคำตอบ ช่วยชี้แจงคำถามที่สองของฉัน ในขณะที่ฉันพยายามสื่อในชื่อคำถามประเด็นหลักของฉัน (ฉบับแรกในโพสต์) เป็นเรื่องเกี่ยวกับกลไกการพิสูจน์ ความกังวลหลักของฉันคือเกี่ยวกับความเข้าใจของฉันของหลักฐานที่ฉันนำเสนอในคำถาม ดังที่ฉันได้อธิบายความเข้าใจของฉันเกี่ยวกับการพิสูจน์ทำให้ฉันมีคำแถลงที่โจ่งแจ้งอย่างมีปัญหา ดังนั้นฉันอยากจะเข้าใจว่าข้อผิดพลาดของฉันคือมันอาจเปิดเผยความเข้าใจที่คลาดเคลื่อนเกี่ยวกับแนวคิดของการตอบสนองและความคาดหวังตามเงื่อนไข มีความคิดเห็นเกี่ยวกับเรื่องนี้ไหม?

— Martin Van der Linden

1

ฉันเพิ่มคำอธิบายบางอย่างเกี่ยวกับวิธีการ "เพิ่มและลบ" เพื่อพิสูจน์

— Alecos Papadopoulos

ใช้เวลาสักครู่เพื่อทำความเข้าใจ แต่ในที่สุดฉันก็ได้รับข้อผิดพลาดพื้นฐาน: จริงพอเมื่อแต่ไม่ได้หมายความว่าลดการแสดงออก . ไม่มีเหตุผลใดที่นิพจน์วงเล็บเหลี่ยมต้องไม่ต่ำกว่าศูนย์ เนื่องจากเครื่องหมายลบที่ด้านหน้าเราสามารถหาเช่น .

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] = 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] = 0$

g (X) = h (X)

$g(X) = h(X)$

h (X)

$h(X)$

(Y - h (X)) (h (X) - g (X))

$\big(Y - h(X) \big) \big(h(X) - g(X)\big)$

g (X)

$g(X)$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] < 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] < 0$

— Martin Van der Linden

1

อืม ... เครื่องหมายลบในนิพจน์ที่คุณอ้างถึงเป็นข้อผิดพลาด - ควรเป็นเครื่องหมายบวก แน่นอนคุณสามารถจัดเรียงเงื่อนไขใหม่เพื่อให้ได้เครื่องหมายลบ ... สิ่งนี้ส่งผลกระทบต่อสัญชาตญาณที่คุณได้รับหรือไม่?

— Alecos Papadopoulos

ขอขอบคุณที่ติดตามคำถาม ฉันแก้ไขโพสต์เริ่มต้นเพื่อแก้ไขข้อผิดพลาดนี้ โชคดีที่ฉันคิดว่ามันไม่ได้ทำร้ายสัญชาตญาณที่ได้รับ ที่จริงแล้วมันช่วยให้ฉันเข้าใจถึงความผิดพลาดอีกครั้ง: ฉันคิดว่าเครื่องหมายลบเป็นสิ่งสำคัญที่จะรับประกันว่าไม่จำเป็นต้องมีค่าต่ำสุดของ2] แต่ฉันรู้ว่านี่ไม่ใช่แค่สัญญาณก่อนหน้า 2 (หวังว่า) สิ่งที่ฉันต้องเข้าใจจริงๆคือโดยทั่วไป (เช่นสำหรับ )ไม่จำเป็นต้องย่อให้เล็กสุดเมื่อ (ใช่ไหม?)

0

$0$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}]

$E[−2(Y−h(X))(h(X)−g(X))+(h(X)−g(X))^2]$

h (X)

$h(X)$

E [2 (Y - h (X)) (h (X) - g (X))]

$E[2(Y−h(X))(h(X)−g(X))]$

g (X) = h (X)

$g(X)=h(X)$

— Martin Van der Linden

5

โปรดทราบว่าเพื่อพิสูจน์คำตอบคุณจำเป็นต้องแสดงให้เห็นเท่านั้น

E [- 2 (Y - E (Y | X)) (E (Y | X) - ก. (X))] = 0

$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$

สำหรับสิ่งที่คาดหวังว่าจะได้รับ

หาเรื่อง \underset{ก. (X)}{นาที} E [(Y - ก. (X))^{2}]

$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

ไม่ได้ทำให้รู้สึกเป็นเป็นตัวแปรสุ่มถ้าเป็นและไม่X} แสดงว่าคุณควรเขียนหรือเพื่อทำให้ชัดเจน ตอนนี้เมื่อได้รับการชี้แจงคำว่าเป็นค่าคงที่และสามารถดึงออกนอกการประมาณค่าและคุณมี: $g(X)$ $E$ $E_{XY}$ $E_{Y|X}$ $E\Big[\big(Y - g(X)\big)^2|X\Big]$ $E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$ $\big(E(Y|X) - g(X)\big)$

- 2 (E (Y | X) - ก. (X)) E [(Y - E (Y | X)) | X] = - 2 (E (Y | X) - ก. (X)) [E (Y | X) - E [E (Y | X) | X]] = - 2 (E (Y | X) - ก. (X)) [E (Y | X) - E (Y | X)] = 0

ดังนั้นคุณสามารถเขียนฟังก์ชันวัตถุประสงค์เป็น:

E_{Y | X} [(Y - ก. (X))^{2}] = E_{Y | X} [(Y - E_{Y | X} (Y | X))^{2}] + (E_{Y | X} (Y | X) - ก. (X))^{2}

$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$

ตัวย่อที่เห็นได้ชัดจากที่นี่ โปรดทราบว่าหากคุณมีค่าเฉลี่ยมากกว่าเช่นกันสามารถใช้อาร์กิวเมนต์ที่คล้ายคลึงกันเพื่อแสดง: $X$

E_{X} [(E (Y | X) - ก. (X))^{2}] = E_{X} [(E_{Y | X} (Y | X) - E_{X} [E_{Y | X} (Y | X)])^{2}] + (E_{X} [E_{Y | X} (Y | X)] - E_{X} [ก. (X)])^{2}

$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$

นี่แสดงให้เห็นว่าถ้าคุณตั้งค่าสำหรับแต่ละคุณก็จะมีตัวย่อขนาดเล็กกว่าฟังก์ชันนี้เช่นกัน ดังนั้นในความรู้สึกบางอย่างมันไม่ได้เรื่องจริงๆไม่ว่าจะเป็นเป็นหรือX} $g(X)=E_{Y|X}(Y|X)$ $X$ $E$ $E_{YX}$ $E_{Y|X}$

— probabilityislogic
แหล่งที่มา

3

มีมุมมองทางคณิตศาสตร์ที่ง่ายมาก สิ่งที่คุณมีคือปัญหาการฉายภาพในอวกาศของฮิลแบร์ตเหมือนกับการฉายเวกเตอร์ในไปยังพื้นที่ย่อย $\mathbb{R}^n$

อนุญาตแสดงถึงความน่าจะเป็นพื้นฐาน สำหรับปัญหาที่เกิดขึ้นจะทำให้ความรู้สึกพิจารณาตัวแปรสุ่มที่มีช่วงเวลาที่สองแน่นอนนั่นคือพื้นที่ HilbertMU) ปัญหาคือตอนนี้: กำหนดค้นหาภาพของ ลงบนพื้นที่ย่อยที่เป็น -subalgebra ของสร้างโดยX(เช่นเดียวกับในกรณีขอบเขต จำกัด การย่อระยะห่างจากพื้นที่ย่อยหมายถึงการค้นหาการฉายภาพ) การฉายภาพที่ต้องการคือ $(\Omega, \mathcal{F}, \mu)$ $L^2(\Omega, \mathcal{F}, \mu)$ $X, Y \in L^2(\Omega, \mathcal{F}, \mu)$ $Y$ $L^2(\Omega, \mathcal{F}_X, \mu)$ $\mathcal{F}_X$ $\sigma$ $\mathcal{F}$ $X$ $L^2$ $E(X|Y)$ โดยการก่อสร้าง (นี่คือลักษณะๆ ถ้ามีคนตรวจสอบหลักฐานการมีอยู่) $E(X|Y)$

— ไมเคิล
แหล่งที่มา

นี่คือการตอบสนองที่สวยงาม

— jII

0

เกี่ยวกับคำถามสุดท้ายของคุณความคาดหวังอาจเป็น wrt (ข้อผิดพลาดที่ไม่มีเงื่อนไข) หรือ wrt (ข้อผิดพลาดตามเงื่อนไขที่แต่ละค่า ) อย่างมีความสุขการลดความผิดพลาดตามเงื่อนไขในแต่ละค่ายังช่วยลดข้อผิดพลาดที่ไม่มีเงื่อนไขดังนั้นนี่จึงไม่ใช่ความแตกต่างที่สำคัญ $p(x,y)$ $p(y\mid x)$ $X = x$ $X = x$

— Ulisses Braga-Neto
แหล่งที่มา