สัญชาตญาณด้านหลังในรูปแบบปิดของ w ในการถดถอยเชิงเส้น

รูปแบบปิดของ w ในการถดถอยเชิงเส้นสามารถเขียนได้

$\hat{w}=(X^TX)^{-1}X^Ty$

เราจะอธิบายบทบาทของในสมการนี้ได้อย่างไร$(X^TX)^{-1}$

ฉันพบว่าข้อความเหล่านี้มีประโยชน์เป็นพิเศษ:

จะหาค่าตัวประมาณกำลังสองน้อยที่สุดสำหรับการถดถอยเชิงเส้นหลายเส้นได้อย่างไร

ความสัมพันธ์ระหว่าง SVD และ PCA วิธีการใช้ SVD เพื่อทำ PCA

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

ถ้าเป็นเมทริกซ์แล้วเมทริกซ์กำหนดฉายลงบนพื้นที่คอลัมน์ของXสังหรณ์ใจคุณมีระบบ overdetermined ของสมการ แต่ยังคงต้องการที่จะใช้ในการกำหนดเส้นแผนที่ที่จะ map แถวของเพื่อสิ่งที่ใกล้เคียงกับมูลค่า ,\} ดังนั้นเราจึงตัดสินใจส่งไปยังสิ่งที่ใกล้เคียงที่สุดไปยังซึ่งสามารถแสดงเป็นการรวมเชิงเส้นของคุณสมบัติของคุณ (คอลัมน์ของ ) n × p X ( X T X ) - 1 X T X R p → R x ฉัน X y ฉันฉัน∈ { 1 , … , n } X y $X$$n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$$X$$y$$X$

เท่าที่การตีความของฉันยังไม่มีคำตอบที่น่าอัศจรรย์ ฉันรู้ว่าคุณสามารถนึกถึงว่าเป็นเมทริกซ์ความแปรปรวนร่วมของชุดข้อมูล ( X T X $(X^TX)^{-1}$$(X^TX)$

มุมมองทางเรขาคณิต

มุมมองที่รูปทรงเรขาคณิตอาจจะเป็นเหมือนเวกเตอร์ n มิติและจุดอยู่ใน n มิติพื้นที่Vที่ไหนยังอยู่ในสเปซทอดเวกเตอร์x_mX β V X β W x 1 , x 2 , ⋯ , x $y$$X\beta$$V$$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

พิกัดสองประเภท

สำหรับพื้นที่ย่อยเราสามารถนึกภาพพิกัดสองแบบที่แตกต่างกัน :$W$

• $\boldsymbol{\beta}$เป็นเช่นพิกัดสำหรับพื้นที่ประสานงานปกติ เวกเตอร์ในพื้นที่เป็นชุดเชิงเส้นของเวกเตอร์W x ฉัน Z = β 1 x 1 + β 2 x 1 + . . . β m x $z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• $\boldsymbol{\alpha}$ไม่ได้พิกัดในความรู้สึกปกติ แต่พวกเขาจะกำหนดจุดในสเปซWแต่ละเกี่ยวข้องกับตั้งฉากประมาณการบนเวกเตอร์x_iถ้าเราใช้เวกเตอร์หน่วย (สำหรับความเรียบง่าย) แล้ว "พิกัด"สำหรับเวกเตอร์สามารถแสดงเป็น:α i x i x i α i$W$$\alpha_i$$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  และชุดของพิกัดทั้งหมดเป็น:

การจับคู่ระหว่างพิกัดและ$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

สำหรับนิพจน์ของ "พิกัด"กลายเป็นการแปลงจากพิกัดเป็น "พิกัด"$\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

คุณสามารถเห็นเป็นการแสดงว่าแต่ละโครงการมีจำนวนเท่าใดต่ออีกหนึ่ง$(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

จากนั้นการตีความทางเรขาคณิตของสามารถมองเห็นได้จากแผนที่จากเวกเตอร์ฉาย "พิกัด"กับพิกัดเชิงเส้น .$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

นิพจน์ให้การฉาย "พิกัด" ของและเปลี่ยนเป็น .$\mathbf{X^Ty}$$\mathbf{y}$$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$

หมายเหตุ : การฉาย "พิกัด" ของจะเหมือนกับการฉาย "พิกัด" ของตั้งแต่X}$\mathbf{y}$ $\mathbf{\hat{y}}$$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

สมมติว่าคุณคุ้นเคยกับการถดถอยเชิงเส้นอย่างง่าย: และวิธีแก้ปัญหา : β = c o v [ x i , y i

มันง่ายที่จะดูว่าตรงกับตัวเศษด้านบนและแผนที่กับตัวส่วน เนื่องจากเรากำลังจัดการกับเมทริกซ์ลำดับสำคัญ เป็น KxK matrix และเป็น Kx1 เวกเตอร์ ดังนั้นลำดับคือ:X ′ X X ′ X X ′ y ( X ′ X ) - 1 X ′$X'y$$X'X$$X'X$$X'y$$(X'X)^{-1}X'y$