ทำไมความสัมพันธ์ของคนตกค้างจึงไม่สำคัญเมื่อทำการทดสอบความเป็นปกติ?

เมื่อไหร่ $Y = AX + \varepsilon$ (เช่น $Y$ มาจากตัวแบบการถดถอยเชิงเส้น)

$$\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{})$$ และในกรณีที่เหลือ $\hat{e}_1, \ldots, \hat{e}_n$มีความสัมพันธ์และไม่เป็นอิสระ แต่เมื่อเราทำการวิเคราะห์การถดถอยและต้องการทดสอบสมมติฐาน $\varepsilon \sim \mathcal{N}(0, \sigma^2 I)$หนังสือเรียนทุกเล่มแนะนำให้ใช้แผนการถาม - ตอบและการทดสอบทางสถิติเกี่ยวกับส่วนที่เหลือ $\hat{e}$ ที่ถูกออกแบบมาเพื่อทดสอบว่า $\hat{e} \sim \mathcal{N}(0, \sigma^2 I)$ สำหรับบางคน $\sigma^2 \in \mathbb{R}$.

ทำไมมันไม่สำคัญสำหรับการทดสอบเหล่านี้ว่ามีความสัมพันธ์กับส่วนที่เหลือและไม่เป็นอิสระ? มันมักจะแนะนำให้ใช้สารตกค้างมาตรฐาน:

$$\hat{e}_i' = \frac{\hat{e}_i}{\sqrt{1 - h_{ii}}},$$ แต่นั่นทำให้พวกเขาเป็นคนรักร่วมเพศไม่เป็นอิสระ

ในการเรียบเรียงคำถามใหม่:เศษเหลือจากการถดถอยของ OLS มีความสัมพันธ์กัน ฉันเข้าใจว่าในทางปฏิบัติความสัมพันธ์เหล่านี้มีขนาดเล็กมาก (เกือบตลอดเวลาหรือไม่เสมอไป) พวกเขาสามารถเพิกเฉยเมื่อทำการทดสอบว่าส่วนที่เหลือมาจากการแจกแจงแบบปกติหรือไม่ คำถามของฉันคือทำไม

ในสัญลักษณ์ของคุณ $H$ คือการประมาณการพื้นที่คอลัมน์ของ $X$นั่นคือ subspace ซึ่งประกอบไปด้วย regressors ทั้งหมด ดังนั้น$M:=I_{n}-H$ คือการฉายภาพทุกอย่างที่ตั้งฉากกับพื้นที่ย่อยที่ถูกขยายโดย regressors ทั้งหมด

ถ้า $X\in\mathbb{R}^{n\times k}$จากนั้น $\hat{e}\in\mathbb{R}^{n}$ คือการกระจายแบบเอกพจน์ปกติและองค์ประกอบมีความสัมพันธ์ตามที่คุณระบุ

ข้อผิดพลาด $\varepsilon$ ไม่สามารถสังเกตเห็นได้และโดยทั่วไปไม่ได้ตั้งฉากกับพื้นที่ย่อยที่ถูกขยายโดย $X$. เพื่อประโยชน์ในการโต้แย้งสมมติว่าข้อผิดพลาด$\varepsilon\perp\operatorname{span}\left(X\right)$. ถ้านี่เป็นเรื่องจริงเราก็คงจะมี$y=X\beta+\varepsilon=\tilde{y}+\varepsilon$ กับ $\tilde{y}\perp\varepsilon$. ตั้งแต่$\tilde{y}=X\beta\in\operatorname{span}\left(X\right)$เราสามารถย่อยสลายได้ $y$ และรับความจริง $\varepsilon$.

สมมติว่าเรามีพื้นฐาน $b_{1},\ldots,b_{n}$ ของ $\mathbb{R}^{n}$ที่แรก $b_{1},\ldots,b_{k}$ เวกเตอร์พื้นฐานขยายพื้นที่ย่อย $\operatorname{span}\left(X\right)$ และที่เหลือ $b_{k+1},\ldots,b_{n}$ ระยะ $\operatorname{span}\left(X\right)^{\perp}$. In general, the error $\varepsilon=\alpha_{1}b_{1}+\ldots+\alpha_{n}b_{n}$ จะมีองค์ประกอบที่ไม่ใช่ศูนย์ $\alpha_{i}$ สำหรับ $i\in\left\{1,\ldots,k\right\}$. ส่วนประกอบที่ไม่เป็นศูนย์นี้จะได้รับการผสมกับ$X\beta$ และดังนั้นจึงไม่สามารถกู้คืนได้โดยการฉายบน $\operatorname{span}\left(X\right)$.

เนื่องจากเราไม่สามารถหวังที่จะกู้คืนข้อผิดพลาดที่แท้จริง $\varepsilon$ และ $\hat{e}$ มีความสัมพันธ์เอกพจน์ $n$มิติปกติเราเปลี่ยนได้ $\hat{e}\in\mathbb{R}^{n}\mapsto e^{*}\in\mathbb{R}^{n-k}$. ที่นั่นเราสามารถมีสิ่งนั้นได้

$$\begin{equation} e^{*}\sim\mathcal{N}_{n-k}\left(0,\sigma^{2}I_{n-k}\right) \textrm{,} \end{equation}$$ กล่าวคือ $e^{*}$ไม่มีการแจกแจงแบบไม่มีเอกพจน์และ homoscedastic ปกติ ของตกค้าง$e^{*}$จะเรียกว่าTheil ของเหลือ

ในบทความสั้น ๆเกี่ยวกับการทดสอบการถดถอยเพื่อความเป็นปรกติคุณจะพบการเปรียบเทียบของ OLS และ BLUS ที่เหลือ ในการตั้งค่า Monte Carlo ที่ทดสอบแล้วค่าตกค้าง OLS นั้นเหนือกว่าค่า BLUS แต่นี่ควรเป็นจุดเริ่มต้นให้คุณ