เหตุใดเศษที่เหลือในการถดถอยเชิงเส้นจึงรวมเป็นศูนย์เสมอเมื่อมีการสกัดกั้น?

14

ฉันกำลังเรียนหลักสูตรรูปแบบการถดถอยและหนึ่งในคุณสมบัติที่มีให้สำหรับการถดถอยเชิงเส้นคือส่วนที่เหลือจะรวมเป็นศูนย์เสมอเมื่อมีการสกัดกั้น

ใครสามารถให้คำอธิบายที่ดีว่าทำไมถึงเป็นเช่นนี้

regression residuals

— dts86
แหล่งที่มา

3

คุณอาจต้องการไตร่ตรองคำถามที่เกี่ยวข้องอย่างใกล้ชิด แต่ง่ายกว่าว่าทำไมในตัวอย่างที่ไม่มีการเปลี่ยนแปลงส่วนที่เหลือที่คุณได้รับโดยการลบค่าเฉลี่ยตัวอย่างจากแต่ละค่ายังรวมเป็น 0 (ลองทำตามพีชคณิตผ่านถ้าทำได้)

— Glen_b - Reinstate Monica

3

ทันทีที่คุณรับรู้ว่า "ผลรวมเป็นศูนย์" หมายถึง "มุมฉากของตัวแปรอธิบายอย่างใดอย่างหนึ่ง" คำตอบจะชัดเจนทางเรขาคณิต

— whuber

18

สิ่งนี้ติดตามโดยตรงจากสมการปกตินั่นคือสมการที่ตัวประมาณ OLS แก้

X^{'} \underset{e}{\underset{⏟}{(y - X b)}} = 0

$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$

เวกเตอร์ที่อยู่ในวงเล็บคือเวกเตอร์ที่เหลือหรือการฉายไปยังส่วนประกอบมุมฉากของพื้นที่คอลัมน์ของหากคุณชอบพีชคณิตเชิงเส้น ทีนี้การรวมเวกเตอร์ของวัตถุในเมทริกซ์ซึ่งไม่จำเป็นต้องอยู่ในคอลัมน์แรกเหมือนทำตามอัตภาพนำไปสู่ $\mathbf{y}$ $X$ $\mathbf{X}$

1^{'} e = 0 ⟹ \sum_{i = 1}^{n} e_{i} = 0

$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$

ในปัญหาสองตัวแปรนี้เห็นได้ง่ายกว่าเช่นการลดจำนวนรวมของส่วนที่เหลือกำลังสองให้เหลือน้อยที่สุด

\sum_{i = 1}^{n} (y_{i} - a - b x_{i}) = 0

$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$

เมื่อเราหาอนุพันธ์เทียบกับการสกัดกั้น จากนี้เราจะดำเนินการขอรับตัวประมาณที่คุ้นเคย

a = \bar{y} - b \bar{x}

$a = \bar{y} - b \bar{x}$

อีกครั้งที่เราเห็นว่าการสร้างตัวประมาณของเรากำหนดเงื่อนไขนี้

— JohnK
แหล่งที่มา

17

ในกรณีที่คุณกำลังมองหาคำอธิบายที่ค่อนข้างง่าย

ในบางแง่มุมตัวแบบการถดถอยเชิงเส้นคืออะไร แต่หมายถึงแฟนซี ในการหาค่าเฉลี่ยเลขคณิตในบางค่าเราจะพบค่าที่วัดจากศูนย์กลางในแง่ที่ว่าผลรวมของการเบี่ยงเบนทั้งหมด (โดยที่แต่ละส่วนเบี่ยงเบนถูกกำหนดเป็น ) ทางด้านขวาของค่าเฉลี่ยเท่ากับผลรวมของการเบี่ยงเบนทั้งหมดทางซ้ายของค่าเฉลี่ยนั้น ไม่มีเหตุผลโดยธรรมชาติที่ว่าทำไมการวัดนี้จึงเป็นวิธีที่ดีที่สุดในการอธิบายค่าเฉลี่ยของตัวอย่าง แต่เพียงผู้เดียว จุดสำคัญคือว่าโดยการกำหนดค่าเฉลี่ยเลขคณิตด้วยวิธีนี้เราจำเป็นต้องทำตามนั้นเมื่อเราสร้างค่าเฉลี่ยเลขคณิตการเบี่ยงเบนทั้งหมดจากค่าเฉลี่ยนั้นจะต้องเท่ากับศูนย์โดยการกำหนด! $\bar{x}$ $x_1, x_2, \dots, x_n$ $u_i = x_i - \bar{x}$

ในการถดถอยเชิงเส้นนี่ไม่แตกต่างกัน เราพอดีกับเส้นดังกล่าวว่าผลรวมของความแตกต่างระหว่างค่านิยมของเราติดตั้ง (ซึ่งอยู่ในบรรทัดถดถอย) และค่าที่แท้จริงที่มีอยู่เหนือเส้นตรงเท่ากับผลรวมของความแตกต่างระหว่างเส้นถดถอยและค่าทั้งหมดด้านล่างไลน์. อีกครั้งไม่มีเหตุผลโดยธรรมชาติว่าทำไมนี่คือวิธีที่ดีที่สุดในการสร้างแบบเต็ม แต่มันตรงไปตรงมาและน่าสนใจอย่างสังหรณ์ใจ เช่นเดียวกับค่าเฉลี่ยเลขคณิต: โดยการสร้างค่าติดตั้งของเราในลักษณะนี้มันจำเป็นต้องตามด้วยการก่อสร้างว่าความเบี่ยงเบนทั้งหมดจากบรรทัดนั้นต้องรวมกันเป็นศูนย์มิฉะนั้นนี่จะไม่ใช่การถดถอยของ OLS

— มานูเอล
แหล่งที่มา

2

+1 สำหรับคำตอบที่ตรงไปตรงมาเรียบง่ายและใช้งานง่าย!

คำอธิบายที่ยอดเยี่ยม แต่ฉันไม่แน่ใจ "อีกครั้งไม่มีเหตุผลโดยธรรมชาติทำไมนี่คือวิธีที่ดีที่สุดในการสร้างความฟิต แต่มันก็ตรงไปตรงมาและน่าสนใจ ถูกต้อง เป็นที่รู้จักกันดีโดยทฤษฎีบท Gauss-Markov ที่ตัวประมาณ OLS เป็นสีน้ำเงิน: ดีที่สุด (ความแปรปรวนต่ำสุด) การประมาณแบบไม่เอนเอียงแบบเส้นตรง บ่อยครั้งที่ "ความรู้สึก" ที่ใช้งานง่ายของเราเกี่ยวกับสิ่งที่น่าดึงดูด / สมเหตุสมผลนั้นได้รับการสำรองทางคณิตศาสตร์เช่นเดียวกับกรณีที่นี่

— Meg

3

เมื่อมีการสกัดกั้นในการถดถอยเชิงเส้นหลายเส้น ในการถดถอยกำลังสองน้อย ผลรวมของกำลังสองของข้อผิดพลาดจะลดลง ใช้บางส่วน อนุพันธ์ของ SSE เทียบกับและตั้งค่าเป็นศูนย์

{\hat{y}}_{i} = β_{0} + β_{1} x_{i, 1} + β_{2} x_{i, 2} + \dots + β_{p} x_{i, p}

$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$

S S E = \sum_{i = 1}^{n} {(e_{i})}^{2} = \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2} = \sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{2}

$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$

β_{0}

$\beta_0$

\frac{\partial S S E}{\partial β_{0}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{1} (- 1) = - 2 \sum_{i = 1}^{n} e_{i} = 0

$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$ ดังนั้นส่วนที่เหลือจะรวมเป็นศูนย์เสมอเมื่อมีการสกัดกั้นในการถดถอยเชิงเส้น

— DavidCruise
แหล่งที่มา

1

การสังเกตที่สำคัญคือเนื่องจากโมเดลมีจุดตัดซึ่งเป็นคอลัมน์แรกของเมทริกซ์การออกแบบสามารถเขียนเป็น ที่คือเวกเตอร์คอลัมน์ที่มีศูนย์ทั้งหมด แต่เป็นองค์ประกอบแรก นอกจากนี้ยังทราบในสัญกรณ์เมทริกซ์ผลรวมของเหลือเป็นเพียง{y}) $1$ $X$

1 = X e,

$1 = Xe,$

e

$e$

1^{T} (y - \hat{y})

$1^T(y - \hat{y})$

ดังนั้น

\begin{aligned} 1^{T} (y - \hat{y}) = 1^{T} (I - H) y \\ = & e^{T} X^{T} (I - X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T} X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T}) y \\ = & 0. \end{aligned}

$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$

— Zhanxiong
แหล่งที่มา

0

การสืบทอดอย่างง่ายโดยใช้พีชคณิตเมทริกซ์:

$\sum e$ สามารถเขียนเป็น $1^Te$

แล้วก็

$1^Te = 1^T(M_x y)$ โดยที่คือเมทริกซ์มุมฉาก เนื่องจากมีความสมมาตรเราจึงสามารถจัดเรียงใหม่เพื่อให้ $M_x$ $M_x$ $(M_x1)^Ty$

ซึ่งเท่ากับศูนย์ถ้าและเป็น orthogonal ซึ่งเป็นกรณีที่เมทริกซ์ของ regressorsมีจุดตัด (เวกเตอร์ของ , แน่นอน) $M_x$ $1$ $x$ $1$

— Mino
แหล่งที่มา

ฉันไม่คิดว่ามันถูกต้อง

— Michael R. Chernick

หากคุณอธิบายว่าทำไมฉันยินดีที่จะเรียนรู้บางสิ่งบางอย่าง

— Mino

0

$e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
$\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ ดังนั้น $\hat{a} = \frac{1}{n}\sum v_i$
$\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..

— Hunaphu
แหล่งที่มา