สมการความสัมพันธ์ตัวอย่างและสถิติ R สำหรับการถดถอยเชิงเส้นอย่างง่าย

10

มันมักจะระบุว่าสแควร์ของความสัมพันธ์ตัวอย่างเทียบเท่ากับสัมประสิทธิ์การตัดสินใจสำหรับการถดถอยเชิงเส้นอย่างง่าย ฉันไม่สามารถแสดงให้เห็นถึงสิ่งนี้ได้ด้วยตนเองและขอขอบคุณที่พิสูจน์ความจริงทั้งหมดนี้ $r^2$ $R^2$

regression correlation

— edwardsm88
แหล่งที่มา

1

หากนี่เป็นคำถามที่ศึกษาด้วยตนเองโปรดเพิ่มแท็กที่เหมาะสม

— Andy

คำถามนี้ยังถามว่าทำไม 2

R^{2} = r^{2}

$R^2=r^2$

— Silverfish

8

ดูเหมือนว่าจะมีการเปลี่ยนแปลงบางอย่างในสัญกรณ์: ในการถดถอยเชิงเส้นที่เรียบง่ายที่ผมเคยเห็นมักจะวลี "ค่าสัมประสิทธิ์สหสัมพันธ์ตัวอย่าง" ที่มีสัญลักษณ์ที่อ้างอิงถึงความสัมพันธ์ระหว่างสังเกตและค่า นี่คือสัญลักษณ์ที่ฉันได้นำมาใช้สำหรับคำตอบนี้ ฉันได้เห็นวลีและสัญลักษณ์เดียวกันที่ใช้เพื่ออ้างถึงความสัมพันธ์ระหว่างสังเกตและที่ติดตั้ง ; ในคำตอบของฉันฉันได้นี้เรียกว่า "ค่าสัมประสิทธิ์สหสัมพันธ์หลาย" และใช้สัญลักษณ์Rคำตอบนี้อยู่ทำไมค่าสัมประสิทธิ์การตัดสินใจเป็นทั้งสองของและยังตารางของ $r$ $x$ $y$ $y$ $\hat y$ $R$ $r$ $R$ ดังนั้นจึงไม่ควรกังวลว่าจะใช้งานแบบใด

ผลดังนี้ในหนึ่งบรรทัดของพีชคณิตครั้งเดียวบางส่วนข้อเท็จจริงที่ตรงไปตรงมาเกี่ยวกับความสัมพันธ์และความหมายของจะจัดตั้งขึ้นเพื่อให้คุณอาจต้องการที่จะข้ามลงไปที่สมการบรรจุกล่อง ฉันคิดว่าเราไม่ต้องพิสูจน์คุณสมบัติพื้นฐานของความแปรปรวนร่วมและความแปรปรวนโดยเฉพาะอย่างยิ่ง: $r^2$ $R$

Cov (a X + b, Y) = a Cov (X, Y)

$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$

Var (a X + b) = a^{2} Var (X)

$\text{Var}(aX+b) = a^2\text{Var}(X)$

หมายเหตุที่หลังจะได้รับจากอดีตเมื่อเราทราบความแปรปรวนที่เป็นสมมาตรและว่าX) จากที่นี่เราได้รับข้อเท็จจริงพื้นฐานอีกเรื่องเกี่ยวกับสหสัมพันธ์ สำหรับและตราบใดที่และมีความแปรปรวนที่ไม่ใช่ศูนย์ $\text{Var}(X)= \text{Cov}(X,X)$ $a \neq 0$ $X$ $Y$

\begin{aligned} Cor (a X + b, Y) & = \frac{Cov (a X + b, Y)}{\sqrt{Var (a X + b) Var (Y)}} \\ = \frac{a}{\sqrt{a^{2}}} \times \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}} \\ Cor (a X + b, Y) & = sgn (a) Cor (X, Y) \end{aligned}

$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$

นี่เป็นฟังก์ชัน signum หรือ sign : ค่าของมันคือถ้าและถ้า . มันเป็นความจริงที่ถ้าแต่กรณีนั้นไม่เกี่ยวข้องกับเรา:จะเป็นค่าคงที่ดังนั้นใน ตัวส่วนและเราไม่สามารถคำนวณความสัมพันธ์ได้ อาร์กิวเมนต์ที่สมมาตรให้เราพูดคุยกันผลลัพธ์นี้สำหรับ : $\text{sgn}(a)$ $\text{sgn}(a) = +1$ $a>0$ $\text{sgn}(a) = -1$ $a<0$ $\text{sgn}(a) = 0$ $a=0$ $aX+b$ $\text{Var}(aX+b) = 0$ $a, \, c \neq 0$

Cor (a X + b, c Y + d) = sgn (a) sgn (c) Cor (X, Y)

$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$

เราไม่ต้องการสูตรทั่วไปมากขึ้นเพื่อตอบคำถามปัจจุบัน แต่ฉันรวมไว้เพื่อเน้นเรขาคณิตของสถานการณ์: มันเพียงแค่ระบุว่าสหสัมพันธ์นั้นไม่เปลี่ยนแปลงเมื่อตัวแปรถูกปรับหรือแปล แต่กลับเข้าสู่ระบบเมื่อตัวแปรคือ สะท้อนให้เห็นถึง

เราจำเป็นต้องใช้ความเป็นจริงมากขึ้นเพราะรูปแบบเชิงเส้นรวมทั้งระยะคงที่ค่าสัมประสิทธิ์การตัดสินใจเป็นตารางของหลายค่าสัมประสิทธิ์สหสัมพันธ์ซึ่งเป็นความสัมพันธ์ระหว่างการตอบสนองสังเกตและค่าติดตั้งรูปแบบของY นี้ใช้สำหรับทั้งหลายและง่ายถดถอย แต่ให้เรา จำกัด ความสนใจของเราไปแบบเชิงเส้นอย่างง่ายX ผลลัพธ์ดังต่อไปนี้จากการสังเกตว่าเป็นส่วนที่ปรับขนาดอาจสะท้อนและแปลแล้ว: $R^2$ $R$ $Y$ $\hat Y$ $\hat Y = \hat \beta_0 + \hat \beta_1 X$ $\hat Y$ $X$

R = Cor (\hat{Y}, Y) = Cor ({\hat{β}}_{0} + {\hat{β}}_{1} X, Y) = sgn ({\hat{β}}_{1}) Cor (X, Y) = sgn ({\hat{β}}_{1}) r

$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$

ดังนั้นโดยที่เครื่องหมายตรงกับเครื่องหมายของความชันโดยประมาณซึ่งรับประกันว่าจะไม่เป็นลบ เห็นได้ชัดว่า 2 $R = \pm r$ $R$ $R^2 = r^2$

อาร์กิวเมนต์ก่อนหน้านี้ถูกทำให้ง่ายขึ้นโดยไม่ต้องพิจารณาผลบวกของกำลังสอง เพื่อให้บรรลุสิ่งนี้ฉันข้ามรายละเอียดของความสัมพันธ์ระหว่างซึ่งโดยปกติเราคิดในแง่ของผลรวมของกำลังสองและซึ่งเราคิดเกี่ยวกับสหสัมพันธ์ของการตอบสนองที่พอดีและสังเกต สัญลักษณ์ที่ทำให้ความสัมพันธ์ดูเหมือนจะซ้ำซาก แต่ไม่ใช่ในกรณีนี้และความสัมพันธ์จะแยกออกหากไม่มีคำดักจับในแบบจำลอง! ฉันจะให้ภาพร่างสั้น ๆ ของการโต้แย้งทางเรขาคณิตเกี่ยวกับความสัมพันธ์ระหว่าง และ นำมาจากคำถามที่แตกต่าง : แผนภาพถูกวาดในพื้นที่หัวเรื่อง -dimensional $R^2$ $R$ $R^2 = (R)^2$ $R$ $R^2$ $n$ ดังนั้นแต่ละแกน (ไม่แสดง) หมายถึงหนึ่งหน่วยของการสังเกตและตัวแปรจะแสดงเป็นเวกเตอร์ คอลัมน์ของเมทริกซ์การออกแบบคือ vector (สำหรับคำศัพท์คงที่) และเวกเตอร์ของการสังเกตการณ์ของตัวแปรอธิบายดังนั้นพื้นที่คอลัมน์จึงมีสองมิติ $\mathbf{X}$ $\mathbf{1_n}$

เวกเตอร์ในหัวเรื่องของการถดถอยหลายครั้ง

ติดตั้งเป็นประมาณการมุมฉากของที่สังเกตบนพื้นที่คอลัมน์ของ{X} ซึ่งหมายความว่าเวกเตอร์ของคลาดเคลื่อนจะตั้งฉากกับแบนและด้วยเหตุนี้เพื่อ{} ผลิตภัณฑ์ dot เป็นe_i เมื่อผลรวมที่เหลือเป็นศูนย์และดังนั้นเพื่อให้ทั้งติดตั้งและสังเกตการตอบสนอง มีค่าเฉลี่ย{Y} เส้นประในแผนภาพและ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{X}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ $\bar{Y}$ $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ เป็นดังนั้นจึงเป็นศูนย์กลางพาหะสำหรับการตอบสนองข้อสังเกตและติดตั้งและโคไซน์ของมุมที่ระหว่างพวกเขาคือความสัมพันธ์ของพวกเขาR $\theta$ $R$

รูปสามเหลี่ยมเหล่านี้เป็นเวกเตอร์ที่มีเวกเตอร์ของส่วนที่เหลือเป็นมุมฉากเนื่องจากอยู่ในแนวราบ แต่ เป็นมุมฉากกับมัน การใช้ Pythagoras: $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

นี่เป็นเพียงการสลายตัวของผลรวมของช่องสี่เหลี่ยมที่{ถดถอย}} สูตรดั้งเดิมสำหรับสัมประสิทธิ์การตัดสินใจคือซึ่งในรูปสามเหลี่ยมนี้คือเป็นจัตุรัสของอย่างแน่นอน คุณอาจคุ้นเคยกับสูตรซึ่งให้แต่ให้สังเกตว่าเป็นแบบทั่วไปและจะลดลงเป็น $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $1 - \sin^2 \theta = \cos^2 \theta$ $R$ $R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$ $\cos^2 \theta$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $\frac{SS_{\text{regression}}}{SS_{\text{total}}}$ ถ้าระยะคงที่รวมอยู่ในรูปแบบ

— สีเงิน
แหล่งที่มา

+1 ขอบคุณสำหรับความพยายามในการสร้างคณิตศาสตร์และกราฟที่ดี !!

— Haitao Du

4

ถูกกำหนดให้เป็น สัมประสิทธิ์สหสัมพันธ์ตัวอย่างกำลังสอง: เทียบเท่ากันเนื่องจากสามารถตรวจสอบได้อย่างง่ายดายโดยใช้: (ดูVerbeek , §2.4) $R^2$

R^{2} = \frac{\hat{V} ({\hat{y}}_{i})}{\hat{V} (y_{i})} = \frac{1 / (N - 1) \sum_{i = 1}^{N} ({\hat{y}}_{i} - \bar{y})^{2}}{1 / (N - 1) \sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}} = \frac{E S S}{T S S}

$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$

r^{2} (y_{i}, {\hat{y}}_{i}) = \frac{{(\sum_{i = 1}^{N} (y_{i} - \bar{y}) ({\hat{y}}_{i} - \bar{y}))}^{2}}{(\sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}) (\sum_{i = 1}^{N} ({\hat{y}}_{i} - \bar{y})^{2})}

$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$

\hat{V} (y_{i}) = \hat{V} ({\hat{y}}_{i}) + \hat{V} (e_{i})

$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$

— เซร์คิโอ
แหล่งที่มา

คุณช่วยเพิ่มรายละเอียดเพิ่มเติมได้ไหม ฉันพยายามพิสูจน์เรื่องนี้ แต่ไม่มีความสำเร็จ ...

— ชายชราในทะเล