จะหาค่าตัวประมาณกำลังสองน้อยที่สุดสำหรับการถดถอยเชิงเส้นหลายเส้นได้อย่างไร

ในกรณีที่เรียบง่ายเชิงเส้นถดถอย$y=\beta_0+\beta_1x$คุณสามารถได้รับมาอย่างน้อยประมาณตารางβ 1 = Σ ( x ฉัน - ˉ x ) ( Y ฉัน - ˉ Y )$\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$เช่นที่คุณไม่จำเป็นต้องรู้ β 0เพื่อประเมิน β 1$\hat\beta_0$$\hat\beta_1$

สมมติว่าฉันมี$y=\beta_1x_1+\beta_2x_2$ , วิธีการที่ฉันไม่ได้รับมาβ 1โดยไม่ต้องประเมินβ 2 ? หรือเป็นไปไม่ได้?$\hat\beta_1$$\hat\beta_2$

ที่มาในสัญกรณ์เมทริกซ์

เริ่มจาก$y= Xb +\epsilon$ซึ่งจริงๆแล้วก็เหมือนกับ

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

มันทั้งหมดลงมาเพื่อ minimzing :$e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

ดังนั้นการลดขนาดให้กับเรา:$e'e'$

e ′ e = ( y - X b ) ′ ( y - X b $min_{b}$ $e'e = (y-Xb)'(y-Xb)$

e ′ e = y ′ y - 2 b ′ X ′ y + b ′ X ′ X $min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

สิ่งสุดท้ายทางคณิตศาสตร์เงื่อนไขลำดับที่สองสำหรับค่าต่ำสุดกำหนดให้เมทริกซ์นั้นเป็นค่าบวกแน่นอน ข้อกำหนดนี้เป็นจริงในกรณีที่Xมีอันดับเต็ม$X'X$$X$

ความแม่นยำที่มาซึ่งผ่านขั้นตอนทั้งหมดในเชิงลึกมากขึ้นสามารถดูได้ที่http://economictheoryblog.com/2015/02/19/ols_estimator/

เป็นไปได้ที่จะประมาณค่าสัมประสิทธิ์เพียงอย่างเดียวในการถดถอยแบบหลายค่าโดยไม่ต้องประมาณค่าอื่น ๆ

$\beta_1$$x_2$$y$$x_1$

---

ในกรณีปัจจุบันการถดถอยหลายครั้งสามารถทำได้โดยใช้สามขั้นตอนการถดถอยปกติ:

1. $y$$x_2$$y = \alpha_{y,2}x_2 + \delta$

   $$\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$$ $$\delta = y - \alpha_{y,2}x_2.$$ $\delta$$y$$x_2$

2. $x_1$$x_2$$x_1 = \alpha_{1,2}x_2 + \gamma$

   $$\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$$ $$\gamma = x_1 - \alpha_{1,2}x_2.$$ $\gamma$$x_1$$x_2$

3. $\delta$$\gamma$

   $$\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$$ $\delta = \hat\beta_1 \gamma + \varepsilon$$\hat\beta_1$$\delta$$y$$x_2$$\gamma$$x_1$$x_2$

$\beta_2$$\hat\beta_0$$\hat\beta_1$$\varepsilon$$y$$x_1$$x_2$

$x_2$

$\hat\beta_1$$y$$x_1$$y$

$\beta$$\beta$$Y_i$$X_{ki}$

$(\beta_0, \beta_1, ...,\beta_k)$

$$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$$

$\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$$i=1,...,n$$\mathbf{X}$$n\times k$$n$$k^{th}$$X_k$$\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$ซึ่งก็คือ

$$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$$

สมมติว่าสิ่งที่ตรงกันข้ามมีอยู่ ค่าสัมประสิทธิ์โดยประมาณเป็นหน้าที่ของข้อมูลไม่ใช่จากค่าสัมประสิทธิ์โดยประมาณอื่น ๆ$(\mathbf{X}^\prime \mathbf{X})^{-1}$

หมายเหตุเล็กน้อยหนึ่งเกี่ยวกับทฤษฎีและการปฏิบัติ ทางคณิตศาสตร์สามารถประมาณได้ด้วยสูตรต่อไปนี้:$\beta_0, \beta_1, \beta_2 ... \beta_n$

$$\hat{\beta} = (X'X)^{-1} X'Y$$

โดยที่คือข้อมูลอินพุตดั้งเดิมและเป็นตัวแปรที่เราต้องการประมาณ สิ่งนี้ตามมาจากการลดข้อผิดพลาดให้น้อยที่สุด ฉันจะทำสิ่งนี้ก่อนที่จะทำประเด็นเล็ก ๆ$X$$Y$

ให้มีข้อผิดพลาดที่ทำให้การถดถอยเชิงเส้นที่จุดฉันแล้ว:$e_i$$i$

$$e_i = y_i - \hat{y_i}$$

ข้อผิดพลาดกำลังสองทั้งหมดที่เราทำคือตอนนี้:

$$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$$

เพราะเรามีโมเดลเชิงเส้นเรารู้ว่า:

$$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$$

ซึ่งสามารถเขียนใหม่ในเมทริกซ์สัญกรณ์เป็น:

$$\hat{Y} = X\beta$$

เรารู้ว่า

$$\sum_{i=1}^n e_i^2 = E'E$$

เราต้องการลดข้อผิดพลาดกำลังสองทั้งหมดให้น้อยที่สุดเท่าที่จะทำได้

$$E'E = (Y-\hat{Y})' (Y-\hat{Y})$$

นี่เท่ากับ:

$$E'E = (Y-X\beta)' (Y-X\beta)$$

การเขียนใหม่อาจดูสับสน แต่มันมาจากพีชคณิตเชิงเส้น ขอให้สังเกตว่าเมทริกซ์ทำงานคล้ายกับตัวแปรเมื่อเราคูณมันในบางเรื่อง

เราต้องการค้นหาค่าของเพื่อให้นิพจน์นี้มีขนาดเล็กที่สุดเท่าที่จะทำได้ เราจะต้องแยกความแตกต่างและตั้งค่าอนุพันธ์เท่ากับศูนย์ เราใช้กฎลูกโซ่ที่นี่$\beta$

$$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$$

สิ่งนี้ให้:

$$X'X\beta = X'Y$$

เช่นนั้นในที่สุด:

$$\beta = (X'X)^{-1} X'Y$$

ในทางคณิตศาสตร์ดูเหมือนว่าเราจะได้พบทางออก มีปัญหาหนึ่งข้อและนั่นคือนั้นยากมากที่จะคำนวณว่าเมทริกซ์นั้นใหญ่มาก สิ่งนี้อาจทำให้เกิดปัญหาความแม่นยำเชิงตัวเลข อีกวิธีในการค้นหาค่าที่เหมาะสมที่สุดสำหรับในสถานการณ์นี้คือการใช้วิธีการไล่ระดับสีแบบไล่ระดับ ฟังก์ชั่นที่เราต้องการเพิ่มประสิทธิภาพนั้นไม่ได้ถูก จำกัด และนูนดังนั้นเราจะใช้วิธีการไล่ระดับสีในทางปฏิบัติหากจำเป็น $(X'X)^{-1}$$X$$\beta$

การได้มาอย่างง่ายสามารถทำได้โดยใช้การตีความทางเรขาคณิตของ LR

การถดถอยเชิงเส้นสามารถตีความได้ว่าการฉายของบนพื้นที่คอลัมน์Xดังนั้นข้อผิดพลาดตั้งฉากกับพื้นที่คอลัมน์ของX $Y$$X$$\hat{\epsilon}$$X$

ดังนั้นผลิตภัณฑ์ภายในระหว่างและข้อผิดพลาดจะต้องเป็น 0 คือ $X'$

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

ซึ่งหมายความว่า

$(X'X)^{-1}X'y = \hat{\beta}$เบต้า}

ตอนนี้สามารถทำได้โดย:

(1) การฉายบน (ข้อผิดพลาด ), ,$Y$$X_2$$\delta = Y-X_2 \hat{D}$$\hat{D} = (X_2'X_2)^{-1}X_2'y$

(2) การฉายสู่ (ข้อผิดพลาด ), ,X 2 γ = X 1 - X 2 G G = ( X ' 1 X 1 ) - 1 X 1 X $X_1$$X_2$$\gamma = X_1 - X_2 \hat{G}$$\hat{G} = (X_1'X_1)^{-1}X_1X_2$

และในที่สุดก็,

(3) การฉายไปยัง ,แกมมาบีตา$\delta$$\gamma$$\hat{\beta}_1$