การถดถอยเชิงเส้นการคาดการณ์ตามเงื่อนไขและค่าที่คาดหวัง

ตกลงดังนั้นนิดหน่อยในบางสิ่งบางอย่างความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชมมาก ฉันเข้าใจว่าแบบจำลองการถดถอยเชิงเส้นถูกคาดการณ์ผ่านการคาดการณ์ตามเงื่อนไข

E (Y | X) = ข + X ข + อี

$E(Y|X)=b+Xb+e$

เราคิดว่าทั้งและเป็นตัวแปรสุ่มที่มีการแจกแจงความน่าจะเป็นที่ไม่รู้จักบ้างไหม? มันเป็นความเข้าใจของฉันว่าเฉพาะค่าตกค้างและค่าสัมประสิทธิ์เบต้าโดยประมาณคือตัวแปรสุ่ม ถ้าเป็นเช่นนั้นถ้าความอ้วนและอายุถ้าเราใช้ความคาดหวังตามเงื่อนไขความหมายอะไรคือค่าที่คาดหวังของการเป็นโรคอ้วนถ้าบุคคลนั้นมีตัวอย่าง เพียงแค่ใช้ค่าเฉลี่ย (ค่าเฉลี่ย) ของปีสำหรับข้อสังเกตเหล่านั้นที่ ? ยังไม่ได้คาดหวังค่าที่นำมาซึ่งเราจะต้องคูณด้วยความน่าจะเป็นที่เกิดขึ้น? แต่ในแง่นี้เราพบว่าความน่าจะเป็นของ $X$ $Y$ $Y =$ $X =$ $E(Y|X=35)$ $35$ $X=35$ $X$ - ค่าแปรปรวนที่เกิดขึ้นถ้ามันแสดงถึงสิ่งที่ชอบอายุ?
ถ้าแทนค่าอัตราแลกเปลี่ยนนี่จะจัดเป็นแบบสุ่มหรือไม่? คุณจะพบคุณค่าที่คาดหวังของสิ่งนี้บนโลกได้อย่างไรโดยไม่ทราบว่าความน่าจะเป็น หรือค่าที่คาดหวังจะเท่ากับค่าเฉลี่ยในขีด จำกัด $X$
ถ้าเราไม่คิดว่าตัวแปรตามเป็นตัวสุ่มตัวแปรเนื่องจากเราไม่ได้แยกแยะความน่าจะเป็นเราจะถือว่ามันคืออะไร เพียงแค่ค่าคงที่หรืออะไร แต่ถ้าเป็นกรณีนี้เราจะกำหนดเงื่อนไขให้กับตัวแปรที่ไม่ใช่แบบสุ่มเริ่มต้นได้อย่างไร เราคิดอย่างไรเกี่ยวกับการกระจายตัวแปรอิสระ

ขออภัยหากมีสิ่งใดที่ไม่สมเหตุสมผลหรือชัดเจนสำหรับทุกคน

regression

— William Carulli
แหล่งที่มา

สัมประสิทธิ์การถดถอย

เป็นค่าคงที่ที่ไม่รู้จักไม่ใช่ตัวแปรสุ่ม (ในโลกอย่างน้อยประจำ)

β

$\beta$

— Richard Hardy

สิ่งที่คุณหมายถึงตามความคาดหวังตามเงื่อนไข? E (Y | X) หมายถึง Y ที่ได้รับ X นั่นคือค่าคาดหวังของ Y ที่ X. พูด y = 5 + x จากนั้นคุณ E (Y | X = 5) คือ 10 ฉันไม่ได้รับคะแนนของคุณด้วย ความคาดหวังตามเงื่อนไข

— Zamir Akimbekov

@RichardHardy ฉันเข้าใจว่าเนื่องจาก B เป็นค่าเฉลี่ยของการกระจายตัวตัวอย่างของเบต้าดังนั้นจึงเป็นตัวแปรสุ่มที่มีการแจกแจงแบบปกติ คุณหมายถึงแบบจำลองประชากรหรือไม่

— William Carulli

ใช่แบบจำลองประชากร

— Richard Hardy

@WilliamCarulli Richard หมายถึงความแตกต่างระหว่างพารามิเตอร์ประชากรและพารามิเตอร์โดยประมาณ พารามิเตอร์โดยประมาณเป็นตัวแปรสุ่ม แต่พารามิเตอร์ประชากรจริง (ไม่ทราบ) เป็นค่าคงที่

— Matthew Drury

คำตอบ:

ในรูปแบบความน่าจะเป็นพื้นฐานการถดถอยเชิงเส้น X และ Y เป็นตัวแปรสุ่ม

ถ้าเป็นเช่นนั้นถ้า Y = ความอ้วนและ X = อายุถ้าเราใช้ความคาดหวังตามเงื่อนไข E (Y | X = 35) ความหมายอะไรคือค่าที่คาดหวังของการเป็นโรคอ้วนถ้าบุคคลนั้นมี 35 ตัวอย่าง แค่ใช้ค่าเฉลี่ย (ค่าเฉลี่ยเลขคณิต) ของ y สำหรับการสังเกตเหล่านั้นโดยที่ X = 35

ถูกตัอง. โดยทั่วไปคุณไม่สามารถคาดหวังได้ว่าคุณจะมีข้อมูลเพียงพอที่ค่าเฉพาะแต่ละค่าของ X หรือเป็นไปไม่ได้ที่จะทำเช่นนั้นหาก X สามารถใช้ช่วงค่าอย่างต่อเนื่อง แต่แนวคิดนี้ถูกต้อง

ยังไม่ได้คาดหวังค่าที่นำมาซึ่งเราจะต้องคูณด้วยความน่าจะเป็นที่เกิดขึ้น?

นี่คือความแตกต่างระหว่างที่ไม่มีเงื่อนไขความคาดหวังของและเงื่อนไขความคาดหวังของ ]ความสัมพันธ์ระหว่างพวกเขาคือ $E[Y]$ $E[Y \mid X = x]$

E [Y] = \underset{x}{Σ} E [Y | X = x] P R [X = x]

$E[Y] = \sum_x E[Y \mid X = x] Pr[X = x]$

ซึ่งเป็นกฎแห่งความคาดหวังทั้งหมด

แต่ในแง่ที่ว่าเราจะพบความน่าจะเป็นของตัวแปร X-value เกิดขึ้นได้อย่างไรถ้ามันแสดงถึงอายุบางอย่าง

โดยทั่วไปคุณไม่ได้อยู่ในการถดถอยเชิงเส้น เนื่องจากเรากำลังพยายามที่จะตรวจสอบเราไม่จำเป็นต้องรู้ ] $E[Y \mid X]$ $Pr[X = x]$

หากเราไม่คิดว่าตัวแปรอิสระเป็นตัวแปรสุ่มเองเนื่องจากเราไม่ได้แยกแยะความน่าจะเป็นเราจะถือว่ามันเป็นอย่างไร เพียงแค่ค่าคงที่หรืออะไร

เราไม่คิดว่า Y เป็นตัวแปรสุ่ม วิธีคิดอย่างหนึ่งเกี่ยวกับการถดถอยเชิงเส้นคือแบบจำลองความน่าจะเป็นสำหรับ $Y$

Y ~ X β + ยังไม่มีข้อความ (0, σ)

$Y \sim X \beta + N(0, \sigma)$

ที่บอกว่าเมื่อคุณรู้ค่าของ X, รูปแบบสุ่มใน Y ถูกกักขังอยู่กับตัวตั้ง ) $N(0, \sigma)$

— Matthew Drury
แหล่งที่มา

ขอบคุณมากสำหรับความคิดเห็นของคุณช่วยฉันอย่างมาก ไชโย

— วิลเลียม Carulli

@ WilliamCarulli ยินดีต้อนรับ! อย่าลังเลที่จะถามคำถามติดตามและฉันจะพยายามอย่างดีที่สุดที่จะตอบ หากฉันแก้ไขปัญหาทั้งหมดของคุณจริงๆคุณสามารถยอมรับได้เช่นกัน

— Matthew Drury

นี่คือโพสต์ที่ดี อย่างไรก็ตามฉันคิดว่าคำตอบใด ๆ ที่ไม่ยอมรับว่า

(a) สามารถแก้ไขได้หรือ (b) อาจเป็นตัวแปรสุ่ม (โดยมีสมมติฐานว่ามีความเป็นอิสระ) ไม่ได้ตอบคำถามที่เกี่ยวข้องในคำถาม

X

$X$

— whuber

@ MatthewDrury เพียงแค่ชี้แจงหากตัวแปรตามของฉันบอกว่าอัตราแลกเปลี่ยนและขึ้นอยู่กับฉันคืออัตราดอกเบี้ยในประเทศแล้ว

— William Carulli

@ MatthewDrury @ MatthewDrury เพียงชี้แจงหากตัวแปรตามของฉันบอกว่าอัตราแลกเปลี่ยนและการพึ่งพาของฉันคืออัตราดอกเบี้ยในประเทศแล้ว E (E (อัตราแลกเปลี่ยน | อัตราดอกเบี้ย)) = E (อัตราแลกเปลี่ยน) = ค่าเฉลี่ยตัวอย่าง ของอัตราแลกเปลี่ยน? ฉันเดาว่าสิ่งที่ทำให้ฉันสับสนคือฉันมักจะคิดว่าความคาดหวังนั้นคำนวณจากความน่าจะเป็นฉันไม่เห็นเหตุผลที่บอกว่าการถดถอยเชิงเส้นเป็นความคาดหวังแบบมีเงื่อนไขเมื่อแก้มันผ่านพีชคณิตเมทริกซ์นั้นแตกต่างกันมาก

— วิลเลียม Carulli

จะมีคำตอบมากมายสำหรับคำถามนี้ แต่ฉันยังต้องการเพิ่มอีกหนึ่งคำถามเนื่องจากคุณทำคะแนนที่น่าสนใจ เพื่อความเรียบง่ายฉันพิจารณาเฉพาะโมเดลเชิงเส้นอย่างง่ายเท่านั้น

   It is my understanding that the linear regression model
   is predicted via a conditional expectation E(Y|X)=b+Xb+e

E (Y | X) = β_{0} + β_{1} X,

$\mathbb E(Y\,|\,X) = \beta_0 +\beta_1X,$

Y

$Y$

X

$X$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

Y = β_{0} + β_{1} X + ε,

$Y = \beta_0+\beta_1X+\epsilon,$

ϵ

$\epsilon$

E (ϵ) = 0

$\mathbb E(\epsilon) = 0$

Do we assume that both X and Y are Random variables with some unknown 
probability distribution? ... If we don't assume the independent variables 
are themselves random

$X$ $Y$

$\{X_1,...,X_n\}$ $X$

$\beta_0$ $\beta_1$ $X$ $X$

if we take the conditional expectation E(Y|X=35) ... would we just take 
the average(arithmetic mean) of y for those observations where X=35?

$\hat\varphi(x)$ $\mathbb E(Y|X = x)$ $\hat \beta_0$ $\hat \beta_1$

\hat{φ} (x) = {\hat{β}}_{0} + {\hat{β}}_{1} x

$\hat\varphi(x) = \hat\beta_0+\hat\beta_1x$
ตัวประมาณกำลังสองน้อยที่สุดแบบมีเงื่อนไขมีนิพจน์เท่ากับที่คุณอธิบายถ้าแบบจำลองของคุณใช้น้ำหนักต่างกันเป็นระดับของปัจจัยเดียว แบบจำลองเหล่านี้รู้จักกันในชื่อ ANOVA แบบทางเดียวซึ่งเป็นกรณีเฉพาะของแบบจำลองเชิงเส้น (ไม่ใช่แบบง่าย)

— Mur1lo
แหล่งที่มา

X

$X$

{\hat{β}}_{0}

$\hat\beta_0$

{\hat{β}}_{1}

$\hat\beta_1$

X

$X$

@whuber "First, model เรียกว่า" linear "เพราะมันเป็น linear ในพารามิเตอร์" ฉันอธิบายความหมายของสมการไม่ใช่ความหมายของ "linear" ใน "linear model" "ค่าประมาณ β̂ 0 และ β̂ 1 เป็นตัวแปรสุ่มโดยไม่คำนึงถึงสิ่งที่สันนิษฐานว่าเกี่ยวกับ X" แต่การกระจายตัวของตัวแปรสุ่มเหล่านั้นจะเปลี่ยนไปตามวิธีที่คุณปฏิบัติกับ X

— Mur1lo

@whuber ฉันเห็นด้วยกับคะแนนสุดท้ายของคุณทั้งหมด ฉันจะแก้ไขคำตอบของฉันเพื่อให้ชัดเจนในทุกประเด็นที่คุณชี้ ขอบคุณสำหรับความคิดเห็น.

— Mur1lo