ผลของการตอบสนองการสลับและตัวแปรอธิบายในการถดถอยเชิงเส้นอย่างง่าย

48

สมมติว่ามีความสัมพันธ์ "จริง" ระหว่าง $y$ กับ $x$ เช่น $y = ax + b + \epsilon$ โดยที่ $a$ และ $b$ เป็นค่าคงที่และ $\epsilon$ คือเสียงรบกวนปกติ เมื่อฉันสุ่มสร้างข้อมูลจากรหัส R ว่าx <- 1:100; y <- ax + b + rnorm(length(x))แล้วเหมาะสมกับรูปแบบเหมือนy ~ xที่ผมเห็นได้ชัดว่าได้รับการประมาณการที่ดีพอสมควรสำหรับและข $a$ $b$

ถ้าฉันสลับบทบาทของตัวแปรในขณะ(x ~ y)นั้นจากนั้นเขียนผลลัพธ์ใหม่เพื่อให้ $y$ เป็นฟังก์ชันของ $x$ ความชันที่ได้จะเป็นทางลาดชันเสมอ (อาจเป็นลบมากกว่าหรือเป็นบวกมากกว่า) โดยประมาณจากการy ~ xถดถอย ฉันพยายามที่จะเข้าใจว่าทำไมถึงเป็นเช่นนั้นและจะขอบคุณถ้าใครสามารถให้สัญชาตญาณฉันว่าเกิดอะไรขึ้นที่นั่น

regression

— Greg Aponte
แหล่งที่มา

1

โดยทั่วไปไม่เป็นเช่นนั้น บางทีคุณอาจเห็นสิ่งนั้นในข้อมูลของคุณ วางรหัสนี้: y = rnorm (10); x = rnorm (10); LM (y ~ x); LM (x ~ y); ใน R หลายครั้งแล้วคุณจะพบว่ามันไปได้ทั้งสองทาง

— มาโคร

มันแตกต่างจากที่ฉันอธิบายอยู่เล็กน้อย ในตัวอย่างของคุณ y ไม่ใช่ฟังก์ชันของ x เลยดังนั้นจึงไม่มี "ความชัน" (ตัวอย่าง 'a' ในตัวอย่างของฉัน)

— Greg Aponte

lm (y ~ x) เหมาะกับโมเดล

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$ โดยกำลังสองน้อยที่สุด (เทียบเท่ากับการประมาณ ML เมื่อข้อผิดพลาดคือ iid ปกติ) มีความลาดชัน

— มาโคร

2

คำถามของคุณจะถูกถามและตอบ (ประเภท) ที่stats.stackexchange.com/questions/13126และstats.stackexchange.com/questions/18434 อย่างไรก็ตามฉันเชื่อว่าไม่มีใครให้คำอธิบายที่เรียบง่ายและชัดเจนเกี่ยวกับความสัมพันธ์ระหว่าง (a) การถดถอยของ

Y

$Y$ vs

X

$X$ , (b) การถดถอยของ

X

$X$ vs

Y

$Y$ , (c) การวิเคราะห์ความสัมพันธ์ของ

X

$X$ และ

Y

$Y$ , (d) ข้อผิดพลาดในการถดถอยของตัวแปร

X

$X$ และ

Y

$Y$ และ (จ) การปรับการกระจายปกติ bivariate การ

(X, Y)

$(X,Y)$ )

นี่จะเป็นสถานที่ที่ดีสำหรับการจัดนิทรรศการ :-)

— whuber

2

แน่นอนว่ามาโครนั้นถูกต้อง: เนื่องจาก x และ y มีบทบาทที่เทียบเท่าในคำถามซึ่งความชันนั้นมากเกินไปเป็นเรื่องของโอกาส อย่างไรก็ตามเรขาคณิตแสดงให้เห็น (ไม่ถูกต้อง) ว่าเมื่อเราย้อนกลับ x และ y ในการถดถอยเราควรได้รับการยอมแพ้ของความชันดั้งเดิม สิ่งนั้นไม่เคยเกิดขึ้นยกเว้นเมื่อ x และ y ขึ้นอยู่กับแนวเส้นตรง คำถามนี้สามารถตีความได้ว่าถามว่าทำไม

— whuber

23

ได้รับจุดข้อมูลในเครื่องบินให้เราวาดเส้นตรง ขถ้าเราคาดการณ์เป็นค่าของแล้วข้อผิดพลาดคือ $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ ที่ผิดพลาดยกกำลังสองคือ และข้อผิดพลาด Squared รวม 2เราถาม $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

ตัวเลือกใดของและ ย่อขนาด ? $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

เนื่องจากคือระยะทางแนวดิ่งของจากเส้นตรงเราจึงถามหาเส้นดังกล่าวว่าผลรวมของกำลังสองของระยะทางแนวดิ่งของคะแนนจาก บรรทัดมีขนาดเล็กที่สุด ตอนนี้ เป็นฟังก์ชันกำลังสองของทั้งและและบรรลุค่าต่ำสุดเมื่อและเป็นเช่นนั้น $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$ จากสมการที่สองเราได้

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

โดยที่

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

มีค่าเฉลี่ยเลขคณิตของ

's และ

' s ตามลำดับ แทนค่าลงในสมการแรกเราจะได้

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$

y_{i}

$y_i$

x_{i}

$x_i$

ดังนั้นบรรทัดที่ย่อขนาด

สามารถแสดงเป็น

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

และค่าต่ำสุดของ

คือ

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

ถ้าเราแลกเปลี่ยนบทบาทของและวาดเส้น และขอค่าของ และที่ลด ที่อยู่, เราต้องการเส้นดังกล่าวว่าผลรวมของสี่เหลี่ยมที่แนวนอนระยะห่างของจุดจากบรรทัดที่มีขนาดเล็กที่สุดเท่าที่เป็นไปได้แล้วที่เราได้รับ $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

และค่าต่ำสุดของคือ

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

โปรดทราบว่าทั้งสองเส้นผ่านจุด แต่เนินเขาที่มี $(\mu_x,\mu_y)$ แตกต่างกันโดยทั่วไป ที่จริงเมื่อ @whuber ชี้ให้เห็นในความคิดเห็นเนินเขาจะเหมือนกันเมื่อคะแนนทั้งหมดอยู่บนเส้นตรงเดียวกัน หากต้องการดูนี้ทราบว่า

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— Dilip Sarwate
แหล่งที่มา

ขอบคุณ! abs (สหสัมพันธ์) <1 อธิบายสาเหตุที่ความชันลาดชันอย่างเป็นระบบในกรณีที่ตรงกันข้าม

— Greg Aponte

(+1) แต่ผมเพิ่มคำตอบมีเพียงภาพของสิ่งที่คุณเพิ่งกล่าวว่าที่ผมมีจิตใจเรขาคณิต :)

— เอลวิส

การตอบกลับในชั้นเรียน (+1)

— Digio

39

เพียงเพื่อแสดงคำตอบของ Dilip: ในภาพต่อไปนี้

จุดสีดำเป็นจุดข้อมูล
ด้านซ้าย, เส้นสีดำคือเส้นถดถอยที่ได้จากy ~ x, ซึ่งจะลดกำลังสองของความยาวของส่วนสีแดง;
ด้านขวาเส้นสีดำคือเส้นถดถอยที่ได้จากx ~ yซึ่งจะลดกำลังสองของความยาวของส่วนสีแดง

เส้นการถดถอย

แก้ไข (การถดถอยสี่เหลี่ยมน้อยที่สุด)

$y$ $x$

$Y = aX + b + \epsilon$
$\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
$\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

นี่คือภาพประกอบที่มีจุดข้อมูลเดียวกันสำหรับแต่ละจุดจะมีการคำนวณ "รูปสี่เหลี่ยมผืนผ้า" เป็นผลคูณของความยาวของส่วนสีแดงสองส่วนและผลรวมของรูปสี่เหลี่ยมผืนผ้าจะถูกย่อให้เล็กสุด ฉันไม่รู้อะไรมากเกี่ยวกับคุณสมบัติของการถดถอยนี้และฉันก็ไม่ค่อยพบอะไรกับ google

สี่เหลี่ยมผืนผ้าน้อยที่สุด

— เอลวิส
แหล่งที่มา

14

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

14

δ = 1

$\delta = 1$

2

@cardinal ความคิดเห็นที่น่าสนใจมาก! (+1) ฉันเชื่อว่าแกนหลัก (การลดระยะห่างในแนวตั้งฉากระหว่าง reg. line และจุดทั้งหมด, à la PCA) หรือลดการถดถอยของแกนหลักหรือการถดถอยประเภท II ตามที่อธิบายไว้ในแพ็คเกจ lmodel2 R โดย P Legendre เนื่องจากเทคนิคเหล่านั้นใช้เมื่อมันยากที่จะบอกว่าบทบาท (การตอบสนองหรือการทำนาย) เล่นแต่ละตัวแปรหรือเมื่อเราต้องการบัญชีสำหรับข้อผิดพลาดในการวัด

— chl

1

@chl: (+1) ใช่ฉันเชื่อว่าคุณพูดถูกและหน้า Wikipedia บนพื้นที่สี่เหลี่ยมจัตุรัสขั้นต่ำสุดแสดงรายการชื่ออื่น ๆ อีกหลายชื่อสำหรับขั้นตอนเดียวกันไม่ใช่ทั้งหมดที่ฉันคุ้นเคย แต่ดูเหมือนว่ามันจะกลับไปอย่างน้อยอาร์ Frisch, วิเคราะห์บรรจบกันทางสถิติโดยวิธีการของระบบการถดถอยสมบูรณ์ , Universitetets Økonomiske Instituut 1934 ที่มันถูกเรียกว่าการถดถอยเส้นทแยงมุม

— พระคาร์ดินัล

3

@ cardinal ฉันควรระวังให้มากขึ้นเมื่ออ่านรายการ Wikipedia ... สำหรับการอ้างอิงในอนาคตนี่คือภาพจากการออกแบบและวิเคราะห์ทางชีวสถิติโดยใช้ Rโดย M. Logan (Wiley, 2010; Fig. 8.4, p. 174) ซึ่งสรุปวิธีการต่าง ๆ เหมือนภาพวาดที่สวยงามของ Elvis

— chl

13

$x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

ดังนั้นสัดส่วนของความแปรปรวนที่มากขึ้นอธิบายให้มากขึ้นความชันที่ได้จากแต่ละกรณี โปรดทราบว่าสัดส่วนของความแปรปรวนที่อธิบายไว้คือสมมาตรและเท่ากับความสัมพันธ์กำลังสองในการถดถอยเชิงเส้นอย่างง่าย

— probabilityislogic
แหล่งที่มา

1

$y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

$b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

$\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

เชื่อมโยงกับคำตอบอื่น ๆ

$R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

$b_{x\sim y}=1/\beta$

— Matifou
แหล่งที่มา

0

มันน่าสนใจเมื่อมีสัญญาณรบกวนในอินพุตของคุณ (ซึ่งเราสามารถโต้แย้งได้เสมอในกรณีนี้ไม่มีคำสั่งหรือการสังเกตใดที่สมบูรณ์แบบ)

$x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

เห็นผลลัพธ์ที่แตกต่างกัน (odr นี่คือการถดถอยระยะทางมุมฉากคือเช่นเดียวกับการถดถอยสี่เหลี่ยมน้อยที่สุด):

รหัสทั้งหมดอยู่ในนั้น:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— Levesque
แหล่งที่มา

0

เส้นการถดถอยไม่ใช่ (เสมอ) เหมือนกับความสัมพันธ์ที่แท้จริง

คุณอาจมีความสัมพันธ์เชิงสาเหตุบางอย่างเช่น

y = a + b x + ϵ

$y = a + bx + \epsilon$

แต่พอดีเส้นถดถอยy ~ xหรือx ~ yไม่ได้หมายความว่าเหมือนความสัมพันธ์เชิงสาเหตุที่ (แม้ในทางปฏิบัติการแสดงออกสำหรับหนึ่งในสายการถดถอยอาจตรงกับการแสดงออกสำหรับความสัมพันธ์ 'จริง' สาเหตุ)

ความสัมพันธ์ที่แม่นยำยิ่งขึ้นระหว่างทางลาด

สำหรับการถดถอยเชิงเส้นแบบสลับสองแบบง่าย ๆ :

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

คุณสามารถเชื่อมโยงความลาดชันดังต่อไปนี้:

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

ดังนั้นทางลาดจึงไม่ตรงกันข้ามกัน

ปรีชา

เหตุผลก็คือ

เส้นการถดถอยและสหสัมพันธ์ไม่จำเป็นต้องสอดคล้องกันแบบหนึ่งต่อหนึ่งกับความสัมพันธ์เชิงสาเหตุ
เส้นการถดถอยมีความสัมพันธ์โดยตรงกับความน่าจะเป็นแบบมีเงื่อนไขหรือการทำนายที่ดีที่สุด

คุณสามารถจินตนาการว่าความน่าจะเป็นแบบมีเงื่อนไขเกี่ยวข้องกับจุดแข็งของความสัมพันธ์ เส้นการถดถอยแสดงถึงสิ่งนี้และความลาดชันของเส้นอาจมีทั้งความตื้นเมื่อความแข็งแรงของความสัมพันธ์มีขนาดเล็กหรือสูงชันทั้งสองเมื่อความแข็งแรงของความสัมพันธ์นั้นแข็งแกร่ง ความลาดชันไม่ได้ตรงกันข้ามกัน

ตัวอย่าง

$X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

แทน

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

มันจะดีกว่าที่จะใช้

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

$\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

ค่าที่คาดหวังตามเงื่อนไข (สิ่งที่คุณจะได้รับจากการถดถอยเชิงเส้น) คือ

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

$X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

$\rho X$ $1-\rho^2$

$\rho$ Y ~ XX ~ Y

— Sextus Empiricus
แหล่งที่มา

0

คำตอบสั้น ๆ

เป้าหมายของการถดถอยเชิงเส้นอย่างง่ายคือการคาดคะเนyตัวแปรที่ดีที่สุดโดยกำหนดค่าของxตัวแปร นี่คือเป้าหมายที่แตกต่างจากการพยายามหาคำทำนายที่ดีที่สุดของxตัวแปรโดยให้ค่าของyตัวแปร

การถดถอยเชิงเส้นที่เรียบง่ายของy ~ xช่วยให้คุณ 'ที่ดีที่สุดรูปแบบที่เป็นไปได้ในการทำนายที่กำหนดy xดังนั้นหากคุณเหมาะสมกับรูปแบบการและพีชคณิตคว่ำมันรูปแบบที่จะทำได้ดีที่สุดเพียงทำเช่นเดียวกับรูปแบบที่ดีมากสำหรับx ~ y y ~ xแต่กลับหัวเป็นแบบจำลองสำหรับx ~ yมักจะทำเลวร้ายที่ทำนายyได้รับxเมื่อเทียบกับ 'ดีที่สุด' y ~ xรุ่นเพราะ "ฤๅษีx ~ yรุ่น" ถูกสร้างขึ้นเพื่อตอบสนองวัตถุประสงค์ที่แตกต่างกัน

ภาพประกอบ

ลองนึกภาพคุณมีชุดข้อมูลต่อไปนี้:

เมื่อคุณเรียกใช้ OLS regression y ~ xคุณจะพบกับโมเดลต่อไปนี้

y = 0.167 + 1.5*x

สิ่งนี้จะปรับการคาดการณ์ของyโดยทำการคาดการณ์ต่อไปนี้ซึ่งมีข้อผิดพลาดที่เกี่ยวข้อง:

การทำนายถดถอยของ OLS นั้นเหมาะสมที่สุดในแง่ที่ว่าผลรวมของค่าในคอลัมน์ขวาสุด (เช่นผลรวมของกำลังสอง) มีขนาดเล็กเท่าที่จะทำได้

เมื่อคุณใช้ OLS regression x ~ yคุณจะพบกับโมเดลที่แตกต่าง:

x = -0.07 + 0.64*y

สิ่งนี้ปรับการทำนายของ x ด้วยการคาดการณ์ต่อไปนี้พร้อมกับข้อผิดพลาดที่เกี่ยวข้อง

สิ่งนี้เป็นวิธีที่ดีที่สุดในแง่ที่ว่าผลรวมของค่าของคอลัมน์ขวาสุดมีขนาดเล็กที่สุดเท่าที่จะเป็นไปได้ (เท่ากับ0.071)

ทีนี้ลองนึกภาพว่าคุณพยายามที่จะย้อนกลับโมเดลแรกy = 0.167 + 1.5*xโดยใช้พีชคณิตเพื่อให้แบบจำลองx = -0.11 + 0.67*xแก่คุณ

สิ่งนี้จะให้การคาดการณ์และข้อผิดพลาดที่เกี่ยวข้องกับคุณดังต่อไปนี้:

ผลรวมของค่าในคอลัมน์ขวาสุดคือ0.074ซึ่งมีขนาดใหญ่กว่าผลรวมที่สอดคล้องกันจากแบบจำลองที่คุณได้รับจากการถดถอย x บน y นั่นคือx ~ yแบบจำลอง ในคำอื่น ๆ ที่ "คว่ำy ~ xรุ่น" จะทำงานที่เลวร้ายที่ทำนาย x กว่ารุ่น OLS x ~ yของ

— bschneidr
แหล่งที่มา