เหตุใด RSS จึงกระจายไคสแควร์ถึง np

ฉันต้องการที่จะเข้าใจว่าทำไมภายใต้รูปแบบ OLS ที่ RSS (ผลรวมที่เหลือของสี่เหลี่ยม) มีการกระจาย ( เป็นจำนวนของพารามิเตอร์ในรูปแบบที่จำนวนสังเกต)

χ^{2} \cdot (n - p)

$\chi^2\cdot (n-p)$

p

$p$

n

$n$

ฉันขอโทษที่ถามคำถามพื้นฐาน แต่ดูเหมือนว่าฉันจะไม่สามารถหาคำตอบออนไลน์ได้ (หรือในตำราเรียนที่เน้นการประยุกต์ใช้มากขึ้น)

regression distributions least-squares

— Tal Galili
แหล่งที่มา

โปรดทราบว่าคำตอบแสดงให้เห็นถึงการยืนยันที่ไม่ถูกต้อง: การกระจายของ RSS คือ

σ^{2}

$\sigma^2$ (ไม่ใช่

n - p

$n-p$ )

χ^{2} (n - p)

$\chi^2(n-p)$ การกระจาย

โดยที่

σ^{2}

$\sigma^2$ เป็นความแปรปรวนที่แท้จริงของข้อผิดพลาด

— whuber

คำตอบ:

ผมคิดรูปแบบเชิงเส้นต่อไปนี้: ${y} = X \beta + \epsilon$ ε

เวกเตอร์ของส่วนที่เหลืออยู่ประมาณ

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$

ที่ $Q = I - X (X'X)^{-1} X'$ '

$\textrm{tr}(Q) = n - p$ $Q'=Q=Q^2$ $Q$ $0$ $1$ $V$

V^{'} Q V = Δ = diag (\underset{n - p times}{\underset{⏟}{1, \dots, 1}}, \underset{p times}{\underset{⏟}{0, \dots, 0}})

$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$

$K = V' \hat{\epsilon}$

$\hat{\epsilon} \sim N(0, \sigma^2 Q)$ $K \sim N(0, \sigma^2 \Delta)$ $K_{n-p+1}=\ldots=K_n=0$

\frac{‖ K ‖^{2}}{σ^{2}} = \frac{‖ K^{⋆} ‖^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$

กับ{NP})' $K^{\star} = (K_1, \ldots, K_{n-p})'$

นอกจากนี้ในขณะที่เป็นเมทริกซ์รวมเราก็มี $V$

‖ \hat{ϵ} ‖^{2} = ‖ K ‖^{2} = ‖ K^{⋆} ‖^{2}

$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$

ดังนั้น

\frac{RSS}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$

สุดท้ายสังเกตว่าผลลัพธ์นี้มีความหมายว่า

E (\frac{RSS}{n - p}) = σ^{2}

$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$

ตั้งแต่ที่พหุนามน้อยที่สุดของแบ่งพหุนามZ ดังนั้นค่าลักษณะเฉพาะของอยู่ในหมู่และ1ตั้งแต่ยังเป็นผลรวมของค่าลักษณะเฉพาะคูณด้วยหลายหลากของพวกเขาที่เราจำเป็นต้องมีที่เป็นค่าเฉพาะกับหลายหลากและศูนย์เป็นค่าเฉพาะกับหลายหลากพี $Q^2 - Q =0$ $Q$ $z^2 - z$ $Q$ $0$ $1$ $\textrm{tr}(Q) = n-p$ $1$ $n-p$ $p$

— ocram
แหล่งที่มา

(+1) คำตอบที่ดี เราสามารถจำกัดความสนใจของ orthogonal แทนที่จะรวมกันเนื่องจากนั้นเป็นจริงและสมมาตร นอกจากนี้คืออะไร ฉันไม่เห็นมันกำหนดไว้ โดยการทบทวนข้อโต้แย้งเล็กน้อยเราสามารถหลีกเลี่ยงการใช้ความเสื่อมปกติในกรณีที่ทำให้เกิดความหวาดกลัวต่อผู้ที่ไม่คุ้นเคย

V

$V$

Q

$Q$

S C R

$\mathrm{SCR}$

— พระคาร์ดินัล

@Cardinal จุดดี. SCR ('Somme des CarrésRésiduels' ในภาษาฝรั่งเศส) ควรเป็น RSS

— ocram

ขอบคุณสำหรับคำตอบอย่างละเอียด Ocram! บางขั้นตอนจะทำให้ฉันต้องมองเพิ่มเติม แต่ฉันมีเค้าร่างที่จะคิดตอนนี้ - ขอบคุณ!

— Tal Galili

@Glen_b: โอ้ฉันแก้ไขไปสองสามวันแล้วเพื่อเปลี่ยน SCR เป็น SRR ฉันจำไม่ได้ว่า SCR ถูกกล่าวถึงในความคิดเห็นของฉัน ขอโทษสำหรับความสับสน.

— ocram

@Glen_b: มันควรจะหมายถึง RSS: -S แก้ไขอีกครั้ง ขอบคุณ

— ocram

IMHO สัญกรณ์การแต่งงานทำให้สิ่งต่าง ๆ ซับซ้อนขึ้น ภาษาอวกาศเวกเตอร์ที่บริสุทธิ์นั้นสะอาดกว่า แบบจำลองสามารถเขียนได้โดยที่มีการแจกแจงแบบปกติมาตรฐานบนและถือว่าเป็นของเวกเตอร์สเปซย่อย n $Y=X\beta+\epsilon$ $\boxed{Y=\mu + \sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W \subset \mathbb{R}^n$

ตอนนี้ภาษาของเรขาคณิตเบื้องต้นเข้ามาเล่น ตัวประมาณกำลังสองน้อยที่สุดของไม่ได้เป็นอะไรนอกจาก : การประมาณการมุมฉากของสังเกตได้บนพื้นที่ซึ่งถือเป็นของ เวกเตอร์ของเหลือคือ : ประมาณการ orthogonal ประกอบของในn} มิติของมี(W) $\hat\mu$ $\mu$ $P_WY$ $Y$ $W$ $\mu$ $P^\perp_WY$ $W^\perp$ $W$ $\mathbb{R^n}$ $W^\perp$ $\dim(W^\perp)=n-\dim(W)$

ในที่สุดและ มีการแจกแจงแบบปกติมาตรฐานในดังนั้นจึงเป็นมาตรฐานที่ยกกำลังสอง การพร้อมองศาความอิสระ

P_{W}^{⊥} Y = P_{W}^{⊥} (μ + σ G) = 0 + σ P_{W}^{⊥} G,

$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$

P_{W}^{⊥} G

$P^\perp_WG$

W^{⊥}

$W^\perp$

χ^{2}

$\chi^2$

\dim (W^{⊥})

$\dim(W^\perp)$

การสาธิตนี้ใช้ทฤษฎีบทเพียงข้อเดียวจริงๆแล้วนิยามของทฤษฎีบท:

นิยามและทฤษฎีบท เวกเตอร์แบบสุ่มในมีการแจกแจงแบบปกติมาตรฐานบนปริภูมิเวกเตอร์หากใช้ค่าในและพิกัดในหนึ่ง (ทุกตัว) พื้นฐาน orthonormal ofเป็นอิสระการแจกแจงแบบปกติหนึ่งมิติมาตรฐาน $\mathbb{R}^n$ $U \subset \mathbb{R}^n$ $U$ $\iff$ $U$

(จากคำจำกัดความของทฤษฎีบทนี้ทฤษฎีบทของ Cochran เห็นได้ชัดว่าไม่คุ้มที่จะกล่าวถึง)

— Stéphane Laurent
แหล่งที่มา