สามารถสร้างมาตรฐาน

ฉันพยายามตีความผลลัพธ์ของบทความที่พวกเขาใช้การถดถอยหลายครั้งเพื่อทำนายผลลัพธ์ต่าง ๆ อย่างไรก็ตาม 's (ค่าสัมประสิทธิ์ B มาตรฐานกำหนดเป็นโดยที่นั้นขึ้นอยู่กับ ตัวแปรและเป็นตัวทำนาย) ที่รายงานดูเหมือนจะไม่ตรงกับที่รายงาน : $\beta$ $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ $y$ $x_1$ $R^2$

แม้จะมีของ -0.83, -0.29, -0.16, -0.43, 0.25 และ -0.29 แต่รายงานมีค่าเพียง 0.20 $\beta$ $R^2$

นอกจากนี้ผู้ทำนายทั้งสาม: น้ำหนักค่าดัชนีมวลกายและ% ไขมันเป็นหลายคอลลิแนร์มีความสัมพันธ์รอบ r = 0.8-0.9 ซึ่งกันและกันในเพศเดียวกัน

เป็นค่าเป็นไปได้กับเหล่านี้หรือไม่มีความสัมพันธ์แบบตรงระหว่าง 's และหรือไม่? $R^2$ $\beta$ $\beta$ $R^2$

นอกจากนี้ปัญหาของตัวทำนายหลายค่าอาจส่งผลต่อของตัวทำนายที่สี่ (VO2max) ซึ่งสัมพันธ์กับ r = 0.4 ด้วยตัวแปรสามตัวดังกล่าวข้างต้นหรือไม่ $\beta$

— Sakari Jukarainen
แหล่งที่มา

คืออะไรในบริบทนี้? สัมประสิทธิ์เบต้า (การถดถอยมาตรฐาน) หรืออย่างอื่น? ถ้าเป็นเช่นนั้นพวกเขาจะไม่สามารถพูดอะไรได้ทั้งหมดที่คุณได้รับคือการตีความในแง่ของการเบี่ยงเบนมาตรฐาน ความจริงที่ว่าสัมประสิทธิ์แสดงถึงเอฟเฟกต์ใหญ่ไม่ได้หมายความถึงค่าสูง

β

$\beta$

R^{2}

$R^2$

— Repmat

ßย่อมาจากค่าสัมประสิทธิ์ b มาตรฐาน สำหรับผู้ทำนาย 1 รายßเท่ากับ pearson's r ซึ่งสัมพันธ์โดยตรงกับ R-squared แต่ในกรณีหลายตัวแปรนี้ทำไมไม่สูงßก็แปลว่า R-squared สูง?

— Sakari Jukarainen

ไม่ในกรณี regressor เดียวไม่เท่ากับสหสัมพันธ์ของเพียร์สัน:x) ความสัมพันธ์ระหว่าง s และนั้นไม่ง่ายเลย

β

$\beta$

β = \frac{Cov (y, x)}{Var (x)} \neq \frac{Cov (y, x)}{\sqrt{Var (y) \times Var (x)}} = ρ (y, x)

$\beta=\frac{\text{Cov}(y,x)}{\text{Var}(x)}\neq\frac{\text{Cov}(y,x)}{ \sqrt{ \text{Var}(y)\times\text{Var}(x) } }=\rho(y,x)$

β

$\beta$

R^{2}

$R^2$

— Richard Hardy

@ RichardHardy ฉันสงสัยว่าความสับสนคือ Sakari ได้นิยามให้เป็นสัมประสิทธิ์การถดถอยมาตรฐาน ในการถดถอยเชิงเส้น bivariate สัมประสิทธิ์การถดถอย (ในสัญกรณ์ของ Sakari) คือโดยที่คือสหสัมพันธ์และส่วนเบี่ยงเบนมาตรฐาน ในการสร้างมาตรฐานสัมประสิทธิ์การถดถอยเราแบ่งสัมประสิทธิ์ด้วยค่าเบี่ยงเบนมาตรฐานของและคูณกับค่าเบี่ยงเบนมาตรฐานนั้นของดังนั้นเหลือเพียงค่าสหสัมพันธ์ Sakari ถูกต้อง

β

$\beta$

b

$b$

r_{x y} \frac{s_{y}}{s_{x}}

$r_{xy}\frac{s_y}{s_x}$

r

$r$

s

$s$

y

$y$

x

$x$

— Maarten Buis

ฉันยังไม่เห็นว่าทำไมคุณคิดว่าสิ่งนี้ผิด หากมีสถิติสรุปบางอย่างในกระดาษคุณสามารถตรวจสอบว่ามีตัวเลขเพิ่มขึ้นหรือไม่ คุณยังให้สูตรที่จะทำ คุณไม่สามารถสรุปได้เพราะเอฟเฟ็กต์มีขนาดใหญ่ในแง่ abosulte แบบจำลองนั้นทำงานได้ดีในการอธิบายความแปรปรวนใน y

— Repmat

การตีความทางเรขาคณิตของการถดถอยกำลังสองน้อยที่สุดให้มุมมองที่จำเป็น

ส่วนใหญ่ของสิ่งที่เราจำเป็นต้องรู้สามารถเห็นได้ในกรณีของสอง regressors $x_1$ และ $x_2$ ด้วยการตอบสนอง $y$ . สัมประสิทธิ์มาตรฐานหรือ "เบต้า" เกิดขึ้นเมื่อทั้งสามเวกเตอร์มีมาตรฐานความยาวที่พบบ่อย (ซึ่งเราอาจต้องใช้เวลาที่จะเป็นความสามัคคี) ดังนั้น, $x_1$ และ $x_2$ เป็นเวกเตอร์หน่วยในระนาบ $E^2$ - พวกเขาอยู่ในวงกลมหน่วย - และ $y$ เป็นเวกเตอร์หน่วยในปริภูมิแบบยุคลิดแบบสามมิติ $E^3$ มีเครื่องบินลำนั้น ค่าติดตั้ง $\hat y$ เป็นมุมฉาก (ตั้งฉาก) การฉายของ $y$ ไปยัง $E^2$ . เพราะ $R^2$ ความยาวกำลังสองของ $\hat y$ เราไม่ต้องการแม้แต่จะมองเห็นทั้งสามมิติ: ข้อมูลทั้งหมดที่เราต้องการสามารถวาดลงในระนาบนั้นได้

รีจิสเตอร์แบบมุมฉาก

สถานการณ์ที่ดีที่สุดคือเมื่อรีจีสเตอร์เป็นฉากฉากในรูปแรก

$รูปที่ 1 แสดง regressors และ $ \ hat y $ เป็นพาหะในเครื่องบิน$

ในภาพนี้และส่วนที่เหลือฉันจะวาดดิสก์ยูนิตเป็นสีขาวและ regressors อย่างต่อเนื่องเป็นลูกศรสีดำ $x_1$ จะชี้ไปทางขวาเสมอ ลูกศรสีแดงหนาแสดงถึงองค์ประกอบของ $\hat y$ ใน $x_1$ และ $x_2$ เส้นทาง: นั่นคือ $\beta_1 x_1$ และ $\beta_2 x_2$ . ความยาวของ $\hat y$ คือรัศมีของวงกลมสีเทาที่อยู่ - แต่จำไว้ $R^2$ เป็นตารางของความยาวที่

พีทาโกรัสทฤษฎีบทอ้าง

R^{2} = | \hat{y} |^{2} = | β_{1} x_{1} |^{2} + | β_{2} x_{2} |^{2} = β_{1}^{2} (1) + β_{2}^{2} (1) = β_{1}^{2} + β_{2}^{2} .

$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$

เนื่องจากทฤษฎีบทพีทาโกรัสมีอยู่ในมิติใด ๆ การใช้เหตุผลนี้ทำให้จำนวนผู้ลงทะเบียนทุกคนยอมให้ผลลัพธ์แรกของเรา:

เมื่อ regressors เป็นมุมฉาก $R^2$ เท่ากับผลรวมของกำลังสองของ betas

ผลทันทีคือเมื่อมีเพียงหนึ่ง regressor - univariate ถดถอย - $R^2$ คือกำลังสองของความชันมาตรฐาน

ความสัมพันธ์

regressors ที่มีความสัมพันธ์เชิงลบจะพบกันที่มุมที่มากกว่ามุมฉาก

เห็นได้ชัดในภาพนี้ว่าผลรวมของกำลังสองของเบต้านั้นมีค่ามากกว่า $R^2$ . สิ่งนี้สามารถพิสูจน์ได้เกี่ยวกับพีชคณิตโดยใช้กฎของโคไซน์หรือโดยการทำงานกับเมทริกซ์ของสมการปกติ

โดยการทำให้สองตัวตั้งค่าเกือบขนานกันเราสามารถจัดตำแหน่ง $\hat y$ ใกล้แหล่งกำเนิด (สำหรับ $R^2$ ใกล้ $0$ ) ในขณะที่ยังคงมีองค์ประกอบขนาดใหญ่ใน $x_1$ และ $x_2$ ทิศทาง. ดังนั้นจึงไม่มีการ จำกัด ขนาดที่เล็ก $R^2$ อาจจะ.

เรามารำลึกถึงผลลัพธ์ที่เห็นได้ชัดนี้สิ่งที่เกิดขึ้นทั่วไปครั้งที่สองของเรา:

เมื่อ regressors สัมพันธ์กัน $R^2$ อาจเล็กกว่าผลรวมของกำลังสองของพล

อย่างไรก็ตามนี่ไม่ใช่ความสัมพันธ์ที่เป็นสากลตามที่แสดงให้เห็นต่อไป

ตอนนี้ $R^2$ เกินกว่าผลรวมของกำลังสองของเบต้าอย่างเคร่งครัด โดยการวาดสอง regressors ชิดกันและรักษา $\hat y$ ระหว่างพวกเขาเราอาจทำให้ betas เข้าใกล้ทั้งคู่ $1/2$ แม้เมื่อ $R^2$ อยู่ใกล้กับ $1$ . การวิเคราะห์เพิ่มเติมอาจต้องใช้พีชคณิต: ฉันทำด้านล่าง

ฉันปล่อยให้จินตนาการของคุณสร้างตัวอย่างที่คล้ายกันกับ regressors ที่มีความสัมพันธ์เชิงบวกซึ่งจะพบกันที่มุมแหลม

โปรดสังเกตว่าข้อสรุปเหล่านี้ไม่สมบูรณ์: มีข้อ จำกัด เกี่ยวกับจำนวนที่น้อยลง $R^2$ อาจเปรียบเทียบกับผลรวมของกำลังสองของ betas โดยเฉพาะอย่างยิ่งโดยการตรวจสอบความเป็นไปได้อย่างรอบคอบคุณอาจสรุป (สำหรับการถดถอยด้วยสองถดถอย) ว่า

เมื่อ regressors มีความสัมพันธ์เชิงบวกและ betas มีสัญญาณทั่วไปหรือเมื่อ regressors สัมพันธ์เชิงลบและ betas มีอาการต่างกัน $R^2$ อย่างน้อยต้องใหญ่เท่ากับผลรวมของสี่เหลี่ยมจัตุรัส

ผลลัพธ์เกี่ยวกับพีชคณิต

โดยทั่วไปให้ regressors เป็น (เวกเตอร์คอลัมน์) $x_1, x_2, \ldots, x_p$ และการตอบสนองเป็น $y$ . การทำให้เป็นมาตรฐานหมายถึง (a) แต่ละอันตั้งฉากกับเวกเตอร์ $(1,1,\ldots,1)^\prime$ และ (b) มีความยาวหน่วย:

| x_{i} |^{2} = | y |^{2} = 1.

$|x_i|^2 = |y|^2 = 1.$

รวบรวมเวกเตอร์คอลัมน์ $x_i$ เป็น $n\times p$ มดลูก $X$ . กฎของการคูณเมทริกซ์บ่งบอกว่า

Σ = X^{'} X

$\Sigma = X^\prime X$

เป็นเมทริกซ์สหสัมพันธ์ของ $x_i$ . Betas ได้รับจากสมการปกติ

β = (X^{'} X)^{- 1} X^{'} y = Σ^{- 1} (X^{'} y) .

$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$

ยิ่งไปกว่านั้นตามความหมายพอดีคือ

\hat{y} = X β = X (Σ^{- 1} X^{'} y) .

$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$

ความยาวกำลังสองของมันให้ $R^2$ ตามคำนิยาม:

R^{2} = | \hat{y} |^{2} = {\hat{y}}^{'} \hat{y} = (X β)^{'} (X β) = β^{'} (X^{'} X) β = β^{'} Σ β .

$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$

การวิเคราะห์ทางเรขาคณิตแนะนำให้เรามองหาความไม่เท่าเทียมที่เกี่ยวข้อง $R^2$ และผลรวมของกำลังสองของ betas

\sum_{i = 1}^{p} β_{i}^{2} = β^{'} β .

$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$

$L_2$ บรรทัดฐานของเมทริกซ์ใด ๆ $A$ ได้มาจากผลรวมของกำลังสองของสัมประสิทธิ์ (โดยทั่วไปถือว่าเมทริกซ์เป็นเวกเตอร์ของ $p^2$ ส่วนประกอบในปริภูมิแบบยุคลิด)

| A |_{2}^{2} = \sum_{i, j} a_{i j}^{2} = tr (A^{'} A) = tr (A A^{'}) .

$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$

ความไม่เท่าเทียมกันของ Cauchy-Schwarz

R^{2} = tr (R^{2}) = tr (β^{'} Σ β) = tr (Σ β β^{'}) \leq | Σ |_{2} | β β^{'} |_{2} = | Σ |_{2} β^{'} β .

$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$

เนื่องจากสัมประสิทธิ์สหสัมพันธ์กำลังสองต้องไม่เกิน $1$ และมีเพียง $p^2$ ของพวกเขาใน $p\times p$ มดลูก $\Sigma$ , $|\Sigma|_2$ ต้องไม่เกิน $\sqrt{1\times p^2} = p$ . ดังนั้น

R^{2} \leq p β^{'} β .

$R^2 \le p\, \beta^\prime \beta.$

ความไม่เท่าเทียมเกิดขึ้นได้เช่นเมื่อทุกสิ่ง $x_i$ มีความสัมพันธ์เชิงบวกอย่างสมบูรณ์

มีขีด จำกัด สูงสุดว่าขนาดใหญ่เพียงใด $R^2$ อาจจะ. ค่าเฉลี่ยต่อการถดถอย $R^2/p$ ต้องไม่เกินผลรวมของกำลังสองของสัมประสิทธิ์มาตรฐาน

สรุปผลการวิจัย

โดยทั่วไปแล้วเราจะสรุปอะไรได้บ้าง? เห็นได้ชัดว่าข้อมูลเกี่ยวกับโครงสร้างความสัมพันธ์ของ regressors เช่นเดียวกับสัญญาณของ betasสามารถใช้เพื่อผูกค่าที่เป็นไปได้ของ $R^2$ หรือแม้กระทั่งการคำนวณอย่างแน่นอน ไม่มีข้อมูลที่สมบูรณ์สามารถพูดได้น้อยกว่าความจริงที่เห็นได้ชัดว่าเมื่อรีจีสเตอร์มีความเป็นอิสระในเชิงเส้นตรงเบต้าที่ไม่ใช่ศูนย์เดียวก็หมายถึง $\hat y$ ไม่ใช่ศูนย์แสดงให้เห็น $R^2$ ไม่ใช่ศูนย์

สิ่งหนึ่งที่เราสามารถสรุปได้อย่างแน่นอนจากผลลัพธ์ในคำถามคือข้อมูลมีความสัมพันธ์กัน: เนื่องจากผลรวมของกำลังสองของ betas เท่ากับ $1.1301$ เกินค่าสูงสุดที่เป็นไปได้ของ $R^2$ (คือ $1$ ) ต้องมีความสัมพันธ์กันบ้าง

อีกสิ่งหนึ่งก็คือเนื่องจากเบต้าที่ใหญ่ที่สุด (ขนาด) คือ $-0.83$ ซึ่งเป็นสี่เหลี่ยมจัตุรัส $0.69$ - ไกลเกินกว่ารายงาน $R^2$ ของ $0.20$ - เราอาจสรุปได้ว่าผู้ลงทะเบียนบางรายต้องมีความสัมพันธ์เชิงลบ (ในความเป็นจริง, $\text{VO}_{2\,\text{max}}$ มีความสัมพันธ์เชิงลบอย่างมากกับอายุน้ำหนักและไขมันในตัวอย่างใด ๆ ที่ครอบคลุมค่านิยมที่หลากหลายในช่วงหลัง)

หากมีเพียงสอง regressors เราสามารถอนุมานมากขึ้นเกี่ยวกับ $R^2$ จากความรู้เกี่ยวกับสหสัมพันธ์ถดถอยสูงและการตรวจสอบของ betas เพราะสิ่งนี้จะช่วยให้เราสามารถวาดร่างที่ถูกต้องของวิธีการ $x_1$ , $x_2$ และ $\hat y$ จะต้องตั้งอยู่ น่าเสียดายที่ผู้ลงทะเบียนเพิ่มเติมในปัญหาหกตัวแปรนี้มีความซับซ้อนมาก ในการวิเคราะห์ตัวแปรสองตัวใด ๆ เราต้อง "take out" หรือ "control for" อีกสี่ regressors ("covariates") ในการทำเช่นนั้นเราย่อทั้งหมด $x_1$ , $x_2$ และ $y$ ตามจำนวนที่ไม่รู้จัก (ขึ้นอยู่กับว่าทั้งสามเกี่ยวข้องกับ covariates อย่างไร) ทำให้เราไม่รู้อะไรเลยเกี่ยวกับขนาดที่แท้จริงของเวกเตอร์ที่เราทำงานด้วย

— whuber
แหล่งที่มา

+1 แต่ฉันไม่เข้าใจว่าทำไมคุณจึงฉายในกรณีที่ไม่ใช่แบบมุมฉาก

\hat{y}

$\hat y$ เวกเตอร์ตั้งฉากกับแกนทำนายเมื่อเทียบกับการทำให้เส้นประยื่นออกไปขนานกับตัวทำนายอื่น ฟังดูยุ่งยาก แต่ฉันคิดว่าคุณจะเห็นว่าฉันหมายถึงอะไร "การฉายภาพ" (เวกเตอร์สีแดงขนาดเล็กสองอัน) ของคุณไม่ได้ขึ้นอยู่กับการได้รับสีแดงขนาดใหญ่

\hat{y}

$\hat y$ เวกเตอร์

— อะมีบา

@amoeba คุณพูดถูก ฉันรีบร้อนเกินไปในการสร้างภาพเหล่านี้! ฉัน (หวังว่าจะเป็นการชั่วคราว) ลบโพสต์นี้จนกว่าฉันจะมีโอกาสแก้ไขปัญหา ขอบคุณที่ชี้นำสิ่งนี้

— whuber

@ Amoeba ฉันได้แก้ไขรูปภาพและแก้ไขการวิเคราะห์เพื่อให้ตรงกับพวกเขา แม้ว่ารายละเอียดมีการเปลี่ยนแปลงอย่างมีนัยสำคัญข้อสรุปยังคงเหมือนเดิม

— whuber

@amoeba อีกครั้งคุณถูกต้อง มีความเสี่ยงที่จะสูญเสียผู้อ่านที่สนใจ แต่ตอนนี้รู้สึกว่าถูกบังคับให้ต้องใช้สัญชาตญาณเชิงปริมาณฉันได้สรุปข้อสรุปนั้นและทำให้มันถูกต้องด้วยพีชคณิตเล็กน้อย (ฉันเชื่อว่าพีชคณิตถูกต้อง!)

— whuber

ขอบคุณมาก! ในฐานะ sidenote, VO2max มีความสัมพันธ์เชิงลบกับน้ำหนักและ BMI เนื่องจากมีความสัมพันธ์กับมวลร่างกายที่สูงขึ้น ในตารางดังกล่าว VO2max จริง ๆ แล้วสอดคล้องกับ VO2max หารด้วยน้ำหนัก (ซึ่งเป็นวิธีที่ไม่ดีในการปรับขนาด VO2max กับขนาดของร่างกาย) VO2max / น้ำหนักในตารางมีความสัมพันธ์เชิงลบกับตัวทำนายอื่น ๆ ทั้งหมดยกเว้นเพศซึ่งอาจอธิบายค่าสูง แต่ต่ำ R-squared ตามที่คุณกล่าวถึง

— Sakari Jukarainen