การตีความทางเรขาคณิตของสัมประสิทธิ์สหสัมพันธ์

ฉันสนใจในความหมายทางเรขาคณิตของค่าสหสัมพันธ์และสัมประสิทธิ์การตัดสินใจในการถดถอยหรือในสัญกรณ์เวกเตอร์ $R$ $R^2$ $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

y = X β + ϵ

$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$

นี่คือการออกแบบเมทริกซ์มีแถวและคอลัมน์ที่แรกคือ , เวกเตอร์ของ 1s ที่สอดคล้องกับการตัด\ $\mathbf{X}$ $n$ $k$ $\mathbf{x}_1 = \mathbf{1}_n$ $\beta_1$

รูปทรงเรขาคณิตน่าสนใจยิ่งขึ้นในพื้นที่หัวเรื่อง -dimensional มากกว่าในพื้นที่ตัวแปร -dimensional กำหนดเมทริกซ์หมวก: $n$ $k$

H = {X (X^{⊤} X)}^{- 1} X^{⊤}

$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$

นี่คือการฉายฉากบนพื้นที่คอลัมน์ของคือแบน ผ่านกำเนิดทอดโดยเวกเตอร์เป็นตัวแทนของแต่ละตัวแปรคนแรกซึ่งเป็น\จากนั้นโครงการเวกเตอร์ของการตอบสนองที่สังเกตบน "เงา" ของมันบนพื้นราบเวกเตอร์ของค่าติดตั้งและถ้าเรา มองไปตามเส้นทางของเส้นโครงที่เราเห็นเวกเตอร์ของเศษเหลือสร้างด้านที่สามของรูปสามเหลี่ยม สิ่งนี้น่าจะให้ทางเราสองทางในการตีความทางเรขาคณิตของ $\mathbf{X}$ $k$ $\mathbf{x}_i$ $\mathbf{1}_n$ $\mathbf{H}$ $\mathbf{y}$ $\mathbf{\hat{y}} = \mathbf{Hy}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $R^2$ :

ตารางของค่าสัมประสิทธิ์สหสัมพันธ์หลายซึ่งถูกกำหนดให้เป็นความสัมพันธ์ระหว่างและ{y}} สิ่งนี้จะปรากฏทางเรขาคณิตเป็นโคไซน์ของมุม $R$ $\mathbf{y}$ $\mathbf{\hat{y}}$
ในแง่ของความยาวของเวกเตอร์: ยกตัวอย่างเช่น 2 $SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

ฉันยินดีที่จะเห็นบัญชีสั้น ๆ ซึ่งอธิบาย:

รายละเอียดปลีกย่อยสำหรับ (1) และ (2)
ทำไม (1) และ (2) จึงเท่ากัน
สั้น ๆ ว่าความเข้าใจทางเรขาคณิตช่วยให้เราเห็นภาพคุณสมบัติพื้นฐานของ $R^2$ อย่างไรตัวอย่างเช่นทำไมมันถึง 1 เมื่อความแปรปรวนของเสียงไปที่ 0 (ท้ายที่สุดแล้วถ้าเราไม่สามารถตรัสรู้จากการมองเห็นของเราได้ ภาพสวย.)

ฉันขอขอบคุณที่นี่ตรงไปตรงมามากขึ้นถ้าตัวแปรอยู่ตรงกลางก่อนซึ่งจะตัดการสกัดออกจากคำถาม อย่างไรก็ตามในบัญชีตำราเรียนส่วนใหญ่ที่แนะนำการถดถอยหลายครั้งเมทริกซ์การออกแบบเป็นไปตามที่ฉันได้จัดทำ แน่นอนว่ามันเป็นเรื่องที่ดีถ้างานนิทรรศการเจาะลึกลงไปในอวกาศที่ถูกแปรโดยตัวแปรที่อยู่กึ่งกลาง แต่สำหรับการทำความเข้าใจเกี่ยวกับพีชคณิตเชิงเส้นของหนังสือเรียน ลึกซึ้งจริงๆคำตอบอาจอธิบายได้ว่าเป็นสิ่งที่จะหมดสภาพเรขาคณิตเมื่อระยะตัดจะลดลง - คือเมื่อเวกเตอร์ $\mathbf{X}$ $\mathbf{1}_n$ จะถูกลบออกจากชุดสแปน ฉันไม่คิดว่าจุดสุดท้ายนี้สามารถแก้ไขได้โดยพิจารณาจากตัวแปรที่อยู่ตรงกลาง

— สีเงิน
แหล่งที่มา

หากมีคำที่คงที่ในแบบจำลองอยู่ในพื้นที่คอลัมน์ของ (เช่นซึ่งจะมีประโยชน์ในภายหลัง) การติดตั้งคือมุมฉากของภาพสังเกตได้บนที่ราบที่เกิดจากพื้นที่คอลัมน์ ซึ่งหมายความว่าเวกเตอร์ของคลาดเคลื่อนจะตั้งฉากกับแบนและด้วยเหตุนี้เพื่อ{} เมื่อพิจารณาจากผลิตภัณฑ์ dot เราจะเห็นดังนั้นส่วนประกอบของจะต้องรวมเป็นศูนย์ เนื่องจากเราจึงสรุปได้ว่า $\mathbf{1_n}$ $\mathbf{X}$ $\bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $\sum_{i=1}^n e_i = 0$ $\mathbf{e}$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ เพื่อให้ตอบสนองทั้งการติดตั้งและการสังเกตมีค่าเฉลี่ย{Y} $\bar{Y}$

เวกเตอร์ในหัวเรื่องของการถดถอยหลายครั้ง

เส้นประในแผนภาพแสดงและซึ่งเป็นเวกเตอร์กึ่งกลางสำหรับการตอบสนองที่สังเกตและติดตั้ง โคไซน์ของมุมระหว่างเวกเตอร์เหล่านี้จึงจะมีความสัมพันธ์ของและซึ่งโดยความหมายเป็นหลายค่าสัมประสิทธิ์สหสัมพันธ์Rรูปสามเหลี่ยมเวกเตอร์เหล่านี้มีเวกเตอร์ของเศษเหลืออยู่เป็นมุมฉากตั้งแต่อยู่ในแนวราบ แต่ เป็นมุมฉากกับมัน ดังนั้น: $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $Y$ $\hat{Y}$ $R$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

R = \cos (θ) = \frac{adj}{hyp} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖}{‖ Y - \bar{Y} 1_{n} ‖}

$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$

เราสามารถใช้พีทาโกรัสกับสามเหลี่ยมได้:

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

ซึ่งอาจคุ้นเคยมากกว่าดังนี้:

\sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}

$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$

นี่คือการสลายตัวของผลรวมของช่องสี่เหลี่ยมที่{ถดถอย}} $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

นิยามมาตรฐานสำหรับสัมประสิทธิ์การตัดสินใจคือ:

R^{2} = 1 - \frac{S S_{residual}}{S S_{total}} = 1 - \frac{\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = 1 - \frac{‖ Y - \hat{Y} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

เมื่อผลรวมของสี่เหลี่ยมสามารถแบ่งได้มันต้องใช้พีชคณิตแบบตรงไปตรงมาเพื่อแสดงว่านี่เทียบเท่ากับสูตร "สัดส่วนของความแปรปรวนอธิบาย"

R^{2} = \frac{S S_{regression}}{S S_{total}} = \frac{\sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

มีวิธีเรขาคณิตในการดูสิ่งนี้จากสามเหลี่ยมโดยมีพีชคณิตน้อยที่สุด สูตร definitional ให้และตรีโกณมิติพื้นฐานเราสามารถลดความซับซ้อนนี้เพื่อtheta) นี่คือการเชื่อมโยงระหว่างและR $R^2 = 1 - \sin^2(\theta)$ $\cos^2(\theta)$ $R^2$ $R$

สังเกตว่าการวิเคราะห์นี้มีความสำคัญเพียงใดสำหรับการติดตั้งคำดักเพื่อให้ อยู่ในพื้นที่คอลัมน์ โดยไม่ต้องนี้เหลือจะไม่ได้สรุปให้เป็นศูนย์และค่าเฉลี่ยของค่าติดตั้งจะไม่ได้ใกล้เคียงกับค่าเฉลี่ยของYในกรณีนั้นเราไม่สามารถวาดสามเหลี่ยมได้ ผลรวมของสี่เหลี่ยมจัตุรัสจะไม่ย่อยสลายในรูปแบบของพีทาโกรัส; จะไม่ได้มีรูปแบบที่พบบ่อยที่ยกมามิได้เป็นตารางของRในสถานการณ์เช่นนี้ซอฟต์แวร์บาง (รวม) ใช้สูตรที่แตกต่างกันสำหรับโดยสิ้นเชิง $\mathbf{1_n}$ $Y$ $R^2$ $SS_{\text{reg}}/SS_{\text{total}}$ $R$ R $R^2$

— สีเงิน
แหล่งที่มา

+1 รูปและการเขียนดีมาก ฉันประหลาดใจที่มันมีเพียง upvote เดียวของฉัน

— อะมีบาพูดว่า Reinstate Monica

+1 โปรดทราบว่ารูปของคำตอบของคุณด้วย "พื้นที่คอลัมน์ X", Y, Ypred เป็นพาหะ ฯลฯ เป็นสิ่งที่เป็นที่รู้จักกันในสถิติหลายตัวแปรว่าเป็น "(ลดลง) การแทนพื้นที่หัวข้อ" ( ดูพร้อมลิงก์เพิ่มเติมที่ฉันใช้ )

— ttnphns