สมมติฐานการกระจายตัวแบบตกค้าง

12

ทำไมจึงจำเป็นต้องวางสมมุติฐานการกระจายในข้อผิดพลาดเช่น

$y_i = X\beta + \epsilon_{i}$ กับ $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$ )

ทำไมไม่เขียน

$y_i = X\beta + \epsilon_{i}$ กับ $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$ ,

ที่ว่าในกรณีใด $\epsilon_i = y_i - \hat{y}$ Y
ฉันเคยเห็นมันเน้นว่าข้อสันนิษฐานของการกระจายสินค้าถูกวางไว้บนข้อผิดพลาดไม่ใช่ข้อมูล แต่ไม่มีคำอธิบาย

ฉันไม่เข้าใจความแตกต่างระหว่างสูตรทั้งสองนี้จริงๆ บางแห่งที่ฉันเห็นสมมติฐานการกระจายถูกวางไว้บนข้อมูล (Bayesian lit. ดูเหมือนว่าส่วนใหญ่) แต่เวลาส่วนใหญ่ข้อสันนิษฐานที่วางอยู่บนข้อผิดพลาด

เมื่อสร้างแบบจำลองทำไม / ควรเลือกที่จะเริ่มต้นด้วยสมมติฐานหนึ่งหรืออื่น ๆ ?

— bill_e
แหล่งที่มา

อันดับแรกไม่ใช่ "จำเป็น" ขึ้นอยู่กับสิ่งที่คุณตั้งใจจะทำ มีคำตอบที่ดี แต่ฉันคิดว่าปมเป็นข้อสันนิษฐานพื้นฐานของความเป็นเหตุเป็นผลในแง่ของ Xs "ทำให้" y และถ้าคุณดูในแบบที่คุณเห็นว่าการกระจายของ y คือ "เกิด" โดย การกระจายตัวของ rhs ซึ่งก็คือการพูด Xs และข้อผิดพลาด (ถ้ามี) คุณสามารถทำเศรษฐมิติได้มากมายด้วยข้อ จำกัด ด้านการกระจายสินค้าที่ จำกัด มากและโดยเฉพาะอย่างยิ่ง ขอบคุณพระเจ้า.

— PatrickT

3

ไม่

และค่าเฉลี่ยของประชากร

's ไม่ได้เช่นเดียวกับการประมาณการตัวอย่างของมัน ซึ่งก็คือการบอกว่าสิ่งที่สองคือไม่จริงในสิ่งเดียวกันเป็นครั้งแรก แต่ถ้าคุณแทนที่ด้วยความคาดหวัง (

) ทั้งสองจะเทียบเท่า

\hat{y}

$\hat y$

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— Glen_b -Reinstate Monica

คืออะไร

? และถ้า

แตกต่างกันกับ

ทำไมไม่

แตกต่างกัน? โปรดคิดว่าสัญลักษณ์ที่คุณต้องการใช้คือเวกเตอร์หรือเมทริกซ์ ตอนนี้ถ้าเราคิดว่า

สัญกรณ์ของคุณเป็นมากกว่า Bizzare:

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$ คือคุณนิยามการกระจายของ

ในแง่ของตัวมันเองและการสังเกตอื่น ๆ ทั้งหมด

!

y_{i}

$y_i$

y_{j}

$y_j$

— mpiktas

1

ฉันลงคะแนนคำถามเพราะฉันคิดว่าสัญกรณ์สับสนและนี่ทำให้คำตอบที่ขัดแย้งกันหลายข้อ

— mpiktas

9

ในการตั้งค่าการถดถอยเชิงเส้นมันเป็นเรื่องธรรมดาที่จะทำการวิเคราะห์และได้ผลลัพธ์ตามเงื่อนไขบนคือเงื่อนไขบน "ข้อมูล" ดังนั้นสิ่งที่คุณต้องการคือเป็นเรื่องปกตินั่นคือคุณต้องเป็นปกติ ดังตัวอย่างของ Peter Flom เราสามารถมีค่าปกติของโดยไม่มีค่าปกติของและดังนั้นเนื่องจากสิ่งที่คุณต้องการคือค่าปกติของนั่นคือสมมติฐานที่สมเหตุสมผล $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— Ekvall
แหล่งที่มา

9

ฉันจะเขียนคำจำกัดความที่สองเป็น

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

หรือ (ตามที่ Karl Oskar แนะนำ +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

$\sigma^2$ $y_i$ $X_i$

$\epsilon_i$ $\hat{y}$

— Dikran Marsupial
แหล่งที่มา

3

ความแตกต่างนั้นง่ายที่สุดในการอธิบายด้วยตัวอย่าง นี่คือตัวอย่างง่ายๆ:

สมมติว่า Y เป็น bimodal โดยมีตัวแปรที่คิดขึ้นโดยตัวแปรอิสระ เช่นสมมติว่า Y คือส่วนสูงและตัวอย่างของคุณ (ไม่ว่าจะด้วยเหตุผลใดก็ตาม) ประกอบด้วยผู้จัดรายการและผู้เล่นบาสเก็ตบอล เช่นในR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

ความหนาแน่นแรกนั้นไม่ธรรมดามาก แต่ส่วนที่เหลือจากโมเดลนั้นใกล้เคียงกับปกติมาก

ทำไมถึงมีข้อ จำกัด เช่นนี้ - ฉันจะให้คนอื่นตอบคำถามนั้น

— Peter Flom - Reinstate Monica
แหล่งที่มา

1

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

ในกรณีนั้น heteroscedasticity จะเป็นปัญหาและคุณจะต้องใช้การถดถอยรูปแบบอื่นหรืออาจเป็นการเปลี่ยนแปลงบางอย่างหรือคุณอาจเพิ่มตัวแปรอื่น (ในตัวอย่างที่โง่เขลาตำแหน่งที่เล่นในบาสเก็ตอาจทำได้)

— Peter Flom - Reinstate Monica

ฉันไม่แน่ใจว่าสูตรนี้มีวัตถุประสงค์เพื่อแนะนำว่า ys นั้นมีการแจกแจงแบบปกติเพียงแค่พวกเขามีการแจกแจงแบบมีเงื่อนไขปกติ

— Dikran Marsupial

2

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

$\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$ (และเห็นได้ชัดว่าความแปรปรวนเท่ากัน) กล่าวอีกนัยหนึ่งนี่ไม่ใช่ความแตกต่างในข้อสมมติฐาน

ดังนั้นคำถามจะกลายเป็นมีเหตุผลที่จะชอบที่จะนำเสนอความคิดโดยใช้สูตรแรก?

ฉันคิดว่าคำตอบคือใช่ด้วยเหตุผลสองประการ:

ผู้คนมักสับสนว่าข้อมูลดิบควรได้รับการแจกแจงแบบปกติ (เช่น ) หรือถ้าข้อมูลตามเงื่อนไขบน / ข้อผิดพลาดควรถูกแจกจ่ายตามปกติ (เช่น / ) ดู : จะเกิดอะไรขึ้นถ้ามีการแจกแจงปกติ แต่ y ไม่ใช่ $Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
ผู้คนมักสับสนในสิ่งที่ควรจะเป็นอิสระข้อมูลดิบหรือข้อผิดพลาด ยิ่งกว่านั้นเรามักพูดถึงความจริงที่ว่าสิ่งที่ควรจะเป็น iid (อิสระและกระจายเหมือนกัน); หากคุณกำลังคิดในแง่ของนี่อาจเป็นอีกแหล่งที่มาของความสับสนในขณะที่สามารถเป็นอิสระ แต่ไม่สามารถกระจายตัวเหมือนกันเว้นแต่สมมติฐานว่างถือ (เพราะค่าเฉลี่ยจะแตกต่างกัน) $Y|\bf X$ $Y|\bf X$

ฉันเชื่อว่า Confustions เหล่านี้มีแนวโน้มที่จะใช้สูตรที่สองมากกว่าครั้งแรก

— gung - Reinstate Monica
แหล่งที่มา

1

@Glen_b ฉันไม่ได้ติดตามความคิดเห็นของคุณ การเรียกร้องของฉันไม่ได้ว่าเท่ากับแต่ที่เท่ากับเบต้า} ห้อยตัวดัชนีการสังเกตมีความเกี่ยวข้อง ความคิดคือค่าคาดการณ์สำหรับการสังเกตให้เป็นเบต้า} นี้มีอะไรจะทำอย่างไร w / ค่าเฉลี่ยประชากรY(ดูเหมือนว่าฉันลืมที่จะเพิ่มหมวกให้กับ betas ของฉัน แต่ฉันแก้ไขให้ถูกต้องแล้ว)

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

— gung - Reinstate Monica

@Glen_b ว่ามันเป็นตัวอย่างหมายความว่ามันจะเป็นมากกว่า{y} ผมเริ่มพบสัญกรณ์ทำให้เกิดความสับสนเช่นกัน แต่ความจริงที่ว่าดังนี้จากงบที่และ{y} เพื่อให้สิ่งเหล่านี้เป็นจริงสามารถเป็นได้เท่านั้น

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$

— Dikran Marsupial