สมมติว่าเรามีรูปแบบ $Y_i = \beta_0 + \beta_1X_{i1} + \beta_2X_{i2} + \dots + \beta_kX_{ik} + \epsilon_i$.

การถดถอยมีข้อสมมติฐานหลายประการเช่นข้อผิดพลาด $\epsilon_i$ควรกระจายตามปกติด้วยค่าเฉลี่ยศูนย์และความแปรปรวนคงที่ ฉันได้รับการสอนให้ตรวจสอบสมมติฐานเหล่านี้โดยใช้พล็อต QQ ปกติเพื่อทดสอบความเป็นไปได้ของส่วนที่เหลือ$e_i = Y_i - \hat{Y}_i$ และส่วนที่เหลือเทียบกับพล็อตที่ติดตั้งเพื่อตรวจสอบว่าส่วนที่เหลือแตกต่างกันไปรอบ ๆ ศูนย์ด้วยความแปรปรวนคงที่

อย่างไรก็ตามการทดสอบเหล่านี้ทั้งหมดเกี่ยวกับส่วนที่เหลือไม่ใช่ข้อผิดพลาด

จากสิ่งที่ฉันเข้าใจข้อผิดพลาดหมายถึงการเบี่ยงเบนของการสังเกตแต่ละครั้งจากค่าเฉลี่ยที่แท้จริงของพวกเขา ดังนั้นเราสามารถเขียน$\epsilon_i = Y_i - \mathbb{E}[Y_i]$. เราไม่สามารถสังเกตเห็นข้อผิดพลาดเหล่านี้ได้ * * * *

คำถามของฉันคือสิ่งนี้: สิ่งที่เหลืออยู่ของงานทำอย่างไรในการเลียนแบบข้อผิดพลาด?

หากสมมติฐานปรากฏว่าพอใจในส่วนที่เหลือหมายความว่าพวกเขามีความพึงพอใจต่อข้อผิดพลาดด้วยหรือไม่? มีวิธีอื่น ๆ (ดีกว่า) ในการทดสอบสมมติฐานเช่นการปรับโมเดลให้เหมาะกับชุดข้อมูลการทดสอบและรับส่วนที่เหลือจากที่นั่นหรือไม่?

---

* นอกจากนี้สิ่งนี้ไม่ต้องการให้มีการระบุรุ่นอย่างถูกต้องหรือไม่? นั่นคือการตอบสนองจะมีความสัมพันธ์กับผู้ทำนาย$X_1, X_2,$ ฯลฯ ตามวิธีที่ระบุโดยรุ่น

หากเราไม่มีผู้ทำนายบางตัว (พูด $X_{k+1}\ \text{to}\ X_p$) จากนั้นความคาดหวัง $\mathbb{E}[Y_i] = \beta_0 + \beta_1X_{i1} + \beta_2X_{i2} + \dots + \beta_kX_{ik}$ จะไม่ได้เป็นค่าเฉลี่ยที่แท้จริงและการวิเคราะห์เพิ่มเติมเกี่ยวกับแบบจำลองที่ไม่ถูกต้องดูเหมือนไร้ประโยชน์

เราจะตรวจสอบว่าแบบจำลองนั้นถูกต้องได้อย่างไร

ส่วนที่เหลือเป็นค่าประมาณของข้อผิดพลาด

คำตอบสั้น ๆ สำหรับคำถามนี้ค่อนข้างง่าย: สมมติฐานในตัวแบบการถดถอยคือสมมติฐานเกี่ยวกับพฤติกรรมของข้อผิดพลาดและส่วนที่เหลือเป็นค่าประมาณของข้อผิดพลาด อีกทั้ง , การตรวจสอบพฤติกรรมของสารตกค้างที่สังเกตได้นั้นบอกเราว่าสมมติฐานเกี่ยวกับข้อผิดพลาดนั้นมีเหตุผลหรือไม่

เพื่อทำความเข้าใจกับเหตุผลทั่วไปของรายละเอียดเพิ่มเติมนี้จะช่วยในการตรวจสอบรายละเอียดพฤติกรรมของส่วนที่เหลือในรูปแบบการถดถอยมาตรฐาน ภายใต้การถดถอยเชิงเส้นแบบหลายค่ามาตรฐานพร้อมเงื่อนไขข้อผิดพลาด homoskedastic อิสระการกระจายของเวกเตอร์ที่เหลือนั้นเป็นที่รู้จักซึ่งช่วยให้คุณสามารถทดสอบสมมติฐานการกระจายพื้นฐานในรูปแบบการถดถอย แนวคิดพื้นฐานคือคุณหาการแจกแจงของเวกเตอร์ที่เหลือภายใต้สมมติฐานการถดถอยแล้วตรวจสอบว่าค่าที่เหลือน่าจะตรงกับการกระจายทางทฤษฎีนี้หรือไม่ การเบี่ยงเบนจากการแจกแจงส่วนที่เหลือตามทฤษฎีแสดงให้เห็นว่าการแจกแจงแบบสันนิษฐานของข้อผิดพลาดนั้นผิดในบางแง่

หากคุณใช้การกระจายข้อผิดพลาดพื้นฐาน $\epsilon_i \sim \text{IID N}(0, \sigma^2)$ สำหรับรูปแบบการถดถอยมาตรฐานและคุณใช้การประมาณค่า OLS สำหรับสัมประสิทธิ์จากนั้นการกระจายตัวของเศษซากสามารถแสดงให้เห็นว่าเป็นการกระจายตัวแบบหลายตัวแปรแบบปกติ:

$$\boldsymbol{r} = (\boldsymbol{I} - \boldsymbol{h}) \boldsymbol{\epsilon} \sim \text{N}(\boldsymbol{0}, \sigma^2 (\boldsymbol{I} - \boldsymbol{h})),$$

โดยที่เป็นหมวกเมทริกซ์สำหรับการถดถอย การตกค้างเวกเตอร์เลียนแบบเวกเตอร์ข้อผิดพลาด แต่เมทริกซ์ความแปรปรวนมีระยะคูณเพิ่มเติม{H} เพื่อทดสอบสมมติฐานการถดถอยเราใช้เศษเหลือของนักเรียนที่มีการแจกแจง T$\boldsymbol{h} = \boldsymbol{x} (\boldsymbol{x}^{\text{T}} \boldsymbol{x})^{-1} \boldsymbol{x}^{\text{T}}$$\boldsymbol{I} - \boldsymbol{h}$

$$s_i \equiv \frac{r_i}{\hat{\sigma}_{\text{Ext}} \cdot (1-l_i)} \sim \text{T}(\text{df}_{\text{Res}}-1).$$

(สูตรนี้มีไว้สำหรับเหลือ studentised ภายนอกที่แปรปรวนประมาณการไม่รวมตัวแปรภายใต้การพิจารณา. ค่าเป็นค่างัดซึ่งเป็นค่าเส้นทแยงมุมในเมทริกซ์หมวก . the เหลือ studentised ไม่ได้ เป็นอิสระ แต่ถ้ามีขนาดใหญ่พวกมันก็อยู่ใกล้กับอิสระนั่นหมายความว่าการกระจายขอบเป็นที่รู้จักง่าย ๆ แต่การกระจายข้อต่อมีความซับซ้อน) ตอนนี้ถ้า จำกัดมีอยู่จากนั้นจะสามารถแสดงให้เห็นว่าตัวประมาณค่าสัมประสิทธิ์เป็นตัวประมาณความสอดคล้องของสัมประสิทธิ์การถดถอยที่แท้จริงและส่วนที่เหลือเป็นตัวประมาณที่สอดคล้องกันของ ข้อผิดพลาดที่แท้จริง$l_i = h_{i,i}$$n$$\lim_{n \rightarrow \infty} (\boldsymbol{x}^{\text{T}} \boldsymbol{x}) / n = \Delta$

โดยพื้นฐานแล้วนี่หมายความว่าคุณทดสอบสมมติฐานการกระจายต้นแบบสำหรับเงื่อนไขข้อผิดพลาดโดยการเปรียบเทียบค่าส่วนที่เหลือของนักเรียนกับการแจกแจงแบบ T คุณสมบัติพื้นฐานแต่ละข้อของการแจกแจงข้อผิดพลาด (เส้นตรง, homoskedasticity, ข้อผิดพลาด uncorrelated, ภาวะปกติ) สามารถทดสอบได้โดยใช้คุณสมบัติคล้ายคลึงของการกระจายตัวของเศษซากนักเรียน หากระบุโมเดลอย่างถูกต้องดังนั้นสำหรับมีขนาดใหญ่ควรอยู่ใกล้กับเงื่อนไขข้อผิดพลาดจริงและมีรูปแบบการกระจายที่คล้ายกัน$n$

การละเว้นตัวแปรอธิบายจากตัวแบบการถดถอยนำไปสู่การละเว้นอคติของตัวแปรในตัวประมาณค่าสัมประสิทธิ์และสิ่งนี้มีผลต่อการกระจายตัวที่เหลือ ทั้งค่าเฉลี่ยและความแปรปรวนของเวกเตอร์ที่เหลือได้รับผลกระทบจากตัวแปรที่ละเว้น ถ้าคำที่ถูกละเว้นในการถดถอยคือดังนั้นเวกเตอร์ที่เหลือจะกลายเป็นepsilon}) ถ้าข้อมูลเวกเตอร์ในเมทริกซ์ที่ถูกตัดเป็นเวกเตอร์ปกติของ IID และเป็นอิสระจากข้อกำหนดข้อผิดพลาดแล้ว$\boldsymbol{Z} \boldsymbol{\delta}$$\boldsymbol{r} = (\boldsymbol{I} - \boldsymbol{h}) (\boldsymbol{Z \delta} + \boldsymbol{\epsilon})$$\boldsymbol{Z}$$\boldsymbol{Z \delta} + \boldsymbol{\epsilon} \sim \text{N} (\mu \boldsymbol{1}, \sigma_*^2 \boldsymbol{I})$ เพื่อให้การกระจายตัวที่เหลือกลายเป็น:

$$\boldsymbol{r} = (\boldsymbol{I} - \boldsymbol{h}) (\boldsymbol{Z \delta} + \boldsymbol{\epsilon}) \sim \text{N} \Big( \mu (\boldsymbol{I} - \boldsymbol{h}) \boldsymbol{1}, \sigma_*^2 (\boldsymbol{I} - \boldsymbol{h}) \Big).$$

หากมีคำศัพท์ดักจับอยู่แล้วในแบบจำลอง (เช่นถ้าหน่วยเวกเตอร์อยู่ในเมทริกซ์การออกแบบ) ดังนั้น$\boldsymbol{1}$$(\boldsymbol{I} - \boldsymbol{h}) \boldsymbol{1} = \boldsymbol{0}$ซึ่งหมายความว่ารูปแบบการกระจายมาตรฐานของส่วนที่เหลือจะถูกเก็บรักษาไว้ หากไม่มีคำดักจับในโมเดลตัวแปรที่ละเว้นอาจให้ค่าเฉลี่ยที่ไม่ใช่ศูนย์สำหรับค่าส่วนที่เหลือ หรือถ้าตัวแปรที่ละเว้นนั้นไม่ใช่ IID ปกติก็สามารถนำไปสู่การเบี่ยงเบนอื่น ๆ จากการแจกแจงส่วนที่เหลือมาตรฐาน ในกรณีหลังนี้การทดสอบที่เหลือไม่น่าจะตรวจจับสิ่งใดที่เป็นผลมาจากการมีตัวแปรที่ถูกตัดออก มันเป็นไปไม่ได้ที่จะตัดสินว่าการเบี่ยงเบนจากการแจกแจงเชิงทฤษฎีเกิดขึ้นเนื่องจากตัวแปรที่ละเว้นหรือเนื่องจากความสัมพันธ์ที่ไม่ดีกับตัวแปรที่รวมอยู่ (และเนื้อหาเหล่านี้เป็นสิ่งเดียวกันในทุกกรณี)

โดยปกติแล้วคำที่เหลือและข้อผิดพลาดหมายถึงสิ่งเดียวกัน หากแบบจำลองของคุณไม่มีตัวทำนาย E (Y) ย่อมเป็นค่าเฉลี่ยของ Y ด้วยตัวทำนาย (เช่นเดียวกับในแบบจำลองของคุณ) E (Y) คือค่าของ Y ที่คาดการณ์จากแต่ละ X ดังนั้นค่าที่เหลือจะแตกต่างกัน และทำนายว่าวาย