การถดถอยเชิงเส้นใน y กับ x กับ x กับ y แตกต่างกันอย่างไร?

สัมประสิทธิ์สหสัมพันธ์ของ Pearson ของ x และ y ไม่ว่าคุณจะคำนวณ pearson (x, y) หรือ pearson (y, x) นี่แสดงให้เห็นว่าการทำการถดถอยเชิงเส้นของ y ที่ให้ x หรือ x ที่ให้ y ควรเหมือนกัน แต่ฉันไม่คิดว่าเป็นเช่นนั้น

ใครบางคนสามารถแสดงความคิดเห็นได้เมื่อความสัมพันธ์ไม่สมมาตรและวิธีการที่เกี่ยวข้องกับสัมประสิทธิ์สหสัมพันธ์ของเพียร์สัน (ซึ่งฉันคิดเสมอว่าเป็นการสรุปว่าเหมาะสมที่สุด)

วิธีที่ดีที่สุดในการคิดเกี่ยวกับสิ่งนี้คือการจินตนาการจุดกระจายด้วยบนแกนตั้งและแทนด้วยแกนนอน ด้วยกรอบการทำงานนี้คุณจะเห็นจุดต่าง ๆ ซึ่งอาจเป็นรูปวงกลมหรืออาจยืดออกเป็นวงรี สิ่งที่คุณพยายามทำในการถดถอยคือค้นหาสิ่งที่อาจเรียกว่า 'เส้นที่เหมาะสมที่สุด' อย่างไรก็ตามในขณะที่สิ่งนี้ดูตรงไปตรงมาเราจำเป็นต้องเข้าใจว่าเราหมายถึงอะไรโดย 'ดีที่สุด' และนั่นหมายความว่าเราจะต้องกำหนดว่ามันจะเป็นอะไรที่ดีหรือสำหรับหนึ่งบรรทัดจะดีกว่าอีก ฯลฯ โดยเฉพาะ เราต้องกำหนดฟังก์ชั่นการสูญเสีย$y$$x$. ฟังก์ชั่นการสูญเสียทำให้เรามีวิธีที่จะบอกว่าบางสิ่งที่ 'ไม่ดี' คืออะไรและเมื่อเราย่อให้เล็กสุดนั้นเราจะทำให้สายของเราเป็น 'ดี' ที่สุดเท่าที่จะเป็นไปได้หรือหาบรรทัดที่ดีที่สุด

ตามเนื้อผ้าเมื่อเราดำเนินการวิเคราะห์การถดถอยเราพบประมาณการของความลาดชันและตัดเพื่อลดผลรวมของ squared ข้อผิดพลาด สิ่งเหล่านี้ถูกกำหนดไว้ดังนี้:

$$SSE=\sum_{i=1}^N(y_i-(\hat\beta_0+\hat\beta_1x_i))^2$$

ในแง่ของแผนการกระจายของเรานั่นหมายความว่าเราลดระยะทางแนวตั้ง (ผลรวมของกำลังสอง) ให้น้อยที่สุดระหว่างจุดข้อมูลที่สังเกตและเส้น

ในทางกลับกันมันมีเหตุผลอย่างสมบูรณ์แบบที่จะถอยหลังลงบนแต่ในกรณีนี้เราจะวางบนแกนตั้งและอื่น ๆ ถ้าเรารักษาพล็อตของเราตามที่เป็น (โดยบนแกนนอน), ถอยลงบน (อีกครั้งโดยใช้สมการข้างบนที่ดัดแปลงเล็กน้อยด้วยสวิตช์และ ) หมายความว่าเราจะลดผลรวมของระยะทางในแนวนอนy x x x y y x $x$$y$$x$$x$$x$$y$$x$$y$ระหว่างจุดข้อมูลที่สังเกตและเส้น ฟังดูคล้ายกันมาก แต่ก็ไม่เหมือนกัน (วิธีการรับรู้นี้จะทำมันทั้งสองวิธีและจากนั้นพีชคณิตแปลงชุดของการประมาณค่าพารามิเตอร์หนึ่งเป็นเงื่อนไขของอื่น ๆ เปรียบเทียบกับรุ่นแรกกับรุ่นที่ปรับปรุงใหม่ของรุ่นที่สองมันกลายเป็นเรื่องง่ายที่จะเห็นว่าพวกเขา ไม่เหมือนกัน.)

โปรดทราบว่าจะไม่มีวิธีใดที่จะสร้างบรรทัดเดียวกันกับเราได้โดยง่ายหากมีคนส่งกระดาษกราฟให้เราโดยมีจุดที่พล็อตอยู่ ในกรณีที่เราจะวาดเส้นตรงผ่านศูนย์ แต่การลดระยะทางแนวตั้งผลตอบแทนถัวเฉลี่ยบรรทัดที่เล็กน้อยอี๋ (คือมีความลาดชันตื้น) ในขณะที่การลดระยะทางแนวนอนผลตอบแทนถัวเฉลี่ยที่เป็นเส้นเล็กน้อยชัน

สหสัมพันธ์นั้นสมมาตร จะเป็นความสัมพันธ์กับเป็นอยู่กับxอย่างไรก็ตามความสัมพันธ์ระหว่างโมเมนต์ของเพียร์สันสามารถเข้าใจได้ในบริบทการถดถอย สัมประสิทธิ์สหสัมพันธ์, , คือความชันของเส้นถดถอยเมื่อตัวแปรทั้งสองได้มาตรฐานก่อน นั่นคือคุณลบค่าเฉลี่ยออกจากการสังเกตแต่ละครั้งก่อนแล้วหารความแตกต่างด้วยค่าเบี่ยงเบนมาตรฐาน คลาวด์ของจุดข้อมูลจะถูกจัดกึ่งกลางที่จุดกำเนิดและความชันจะเหมือนกันไม่ว่าคุณจะถดถอยลงบนหรือบนy y x r y x x $x$$y$$y$$x$$r$$y$$x$$x$$y$

ทีนี้ทำไมเรื่องนี้ถึงมีความหมาย? ใช้ฟังก์ชั่นการสูญเสียแบบดั้งเดิมของเราเรากำลังบอกว่าข้อผิดพลาดทั้งหมดเป็นเพียงหนึ่งในตัวแปร (viz., ) นั่นคือเรากำลังบอกว่าวัดได้โดยไม่มีข้อผิดพลาดและถือเป็นชุดของค่าที่เราสนใจ แต่นั้นมีข้อผิดพลาดในการสุ่มตัวอย่างx $y$$x$$y$. นี่แตกต่างจากการพูดคุยอย่างมาก นี่เป็นสิ่งสำคัญในตอนประวัติศาสตร์ที่น่าสนใจ: ในช่วงปลายยุค 70 และต้นยุค 80 ในสหรัฐอเมริกาคดีนี้มีการเลือกปฏิบัติต่อสตรีในที่ทำงานและได้รับการสนับสนุนด้วยการวิเคราะห์การถดถอยแสดงให้เห็นว่าผู้หญิงที่มีพื้นฐานเท่าเทียมกัน (เช่น คุณสมบัติประสบการณ์ ฯลฯ ) ได้รับค่าตอบแทนโดยเฉลี่ยน้อยกว่าผู้ชาย นักวิจารณ์ (หรือคนที่มีความละเอียดเป็นพิเศษ) ให้เหตุผลว่าถ้าเรื่องนี้เป็นจริงผู้หญิงที่จ่ายเท่ากันกับผู้ชายจะต้องมีคุณสมบัติสูงกว่า แต่เมื่อตรวจสอบแล้วก็พบว่าถึงแม้ว่าผลลัพธ์จะ 'สำคัญ' เมื่อ ประเมินวิธีการหนึ่งพวกเขาไม่ 'สำคัญ' เมื่อตรวจสอบวิธีอื่นซึ่งทำให้ทุกคนที่เกี่ยวข้องในการ tizzy ดูที่นี่ สำหรับกระดาษที่มีชื่อเสียงที่พยายามจะทำให้ปัญหาชัดเจนขึ้น

---

(อัปเดตมากในภายหลัง) นี่เป็นอีกวิธีหนึ่งในการคิดเกี่ยวกับสิ่งนี้ที่เข้าใกล้หัวข้อผ่านทางสูตรแทนที่จะมองเห็น:

สูตรสำหรับความชันของเส้นการถดถอยแบบง่าย ๆ เป็นผลมาจากฟังก์ชั่นการสูญเสียที่ถูกนำมาใช้ หากคุณใช้ฟังก์ชั่นการสูญเสียกำลังสองมาตรฐานแบบธรรมดา (ตามที่ระบุไว้ด้านบน) คุณสามารถได้รับสูตรสำหรับความชันที่คุณเห็นในทุกตำราแนะนำ สูตรนี้สามารถนำเสนอในรูปแบบต่าง ๆ ; หนึ่งในนั้นที่ฉันเรียกว่าสูตร 'หยั่งรู้' สำหรับความชัน พิจารณาแบบฟอร์มนี้สำหรับทั้งสถานการณ์ที่คุณกำลังถดถอยบนและที่ที่คุณกำลังถดถอยบน : $y$$x$$x$$y$

$$\overbrace{\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}}^{y\text{ on } x}~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\overbrace{\hat\beta_1=\frac{\text{Cov}(y,x)}{\text{Var}(y)}}^{x\text{ on }y}$$ ตอนนี้ผมหวังว่ามันจะเห็นได้ชัดว่าสิ่งเหล่านี้จะไม่เหมือนกันเว้นแต่เท่ากับ(y) หากแปรปรวนมีความเท่าเทียมกัน (เช่นเพราะคุณมาตรฐานตัวแปรแรก) แล้วเพื่อให้มีค่าเบี่ยงเบนมาตรฐานและทำให้ความแปรปรวนทั้งสองจะยังเท่ากับ(y) ในกรณีนี้จะเท่ากับ Pearson'sซึ่งเป็นวิธีเดียวกันโดยอาศัยหลักการของ commutativity : $\text{Var}(x)$$\text{Var}(y)$$\text{SD}(x)\text{SD}(y)$$\hat\beta_1$$r$ $$\overbrace{r=\frac{\text{Cov}(x,y)}{\text{SD}(x)\text{SD}(y)}}^{\text{correlating }x\text{ with }y}~~~~~~~~~~~~~~~~~~~~~~~~~~~\overbrace{r=\frac{\text{Cov}(y,x)}{\text{SD}(y)\text{SD}(x)}}^{\text{correlating }y\text{ with }x}$$

ฉันจะแสดงคำตอบด้วยRรหัสและเอาท์พุท

ก่อนอื่นเราสร้างการแจกแจงแบบปกติแบบสุ่มyด้วยค่าเฉลี่ย 5 และ SD 1:

y <- rnorm(1000, mean=5, sd=1)

ต่อไปฉันจงใจสร้างการแจกแจงแบบปกติแบบที่สองxซึ่งก็คือค่า 5x yสำหรับแต่ละy:

x <- y*5

จากการออกแบบเรามีความสัมพันธ์ที่สมบูรณ์แบบxและy:

cor(x,y)
[1] 1
cor(y,x)
[1] 1

แต่เมื่อเราทำถดถอยที่เรากำลังมองหาฟังก์ชั่นที่โยงxและyเพื่อให้ผลของสัมประสิทธิ์การถดถอยขึ้นอยู่กับที่หนึ่งที่เราใช้เป็นตัวแปรตามและที่เราใช้เป็นตัวแปรอิสระ ในกรณีนี้เราไม่พอดีกับการสกัดกั้นเพราะเราสร้างxฟังก์ชั่นyโดยไม่มีการเปลี่ยนแปลงแบบสุ่ม:

lm(y~x-1)
Call:
lm(formula = y ~ x - 1)

Coefficients:
  x  
0.2

lm(x ~ y-1)
Call:
lm(formula = x ~ y - 1)

Coefficients:
y  
5  

ดังนั้นการถดถอยบอกเราว่าสิ่งใดy=0.2xและx=5yแน่นอนซึ่งเทียบเท่ากัน ค่าสัมประสิทธิ์สหสัมพันธ์นั้นแสดงให้เราเห็นว่ามีการจับคู่ที่ตรงกันในระดับการเปลี่ยนแปลงหน่วยระหว่างxและyเพื่อให้ (ตัวอย่าง) การเพิ่ม 1 หน่วยในการyสร้างการเพิ่มขึ้น 0.2 หน่วยxเสมอ

ข้อมูลเชิงลึกที่ว่าความสัมพันธ์ของเพียร์สันนั้นเหมือนกันไม่ว่าเราจะทำการถดถอยของ x กับ y หรือ y ต่อ x เป็นสิ่งที่ดีเราควรได้การถดถอยเชิงเส้นแบบเดียวกันที่ดี มันไม่ถูกต้องเพียงเล็กน้อยและเราสามารถใช้มันเพื่อทำความเข้าใจกับสิ่งที่เกิดขึ้นจริง

นี่คือสมการสำหรับเส้นตรงซึ่งเป็นสิ่งที่เราพยายามได้จากการถดถอย

สมการสำหรับความชันของเส้นนั้นถูกผลักดันโดยสหสัมพันธ์ของเพียร์สัน

นี่คือสมการสำหรับสหสัมพันธ์ของเพียร์สัน มันเหมือนกันไม่ว่าเราจะถดถอย x กับ y หรือ y ต่อ x

อย่างไรก็ตามเมื่อเรามองกลับไปที่สมการที่สองสำหรับความชันเราจะเห็นว่าความสัมพันธ์ของเพียร์สันไม่ได้เป็นเพียงคำศัพท์เดียวในสมการนั้น หากเราคำนวณ y กับ x เราก็จะมีค่าเบี่ยงเบนมาตรฐานตัวอย่าง y หารด้วยค่าเบี่ยงเบนมาตรฐานตัวอย่างของ x ถ้าเราต้องคำนวณการถดถอยของ x เทียบกับ y เราจะต้องกลับคำสองคำนั้น

ในคำถามเช่นนี้มันเป็นเรื่องง่ายที่จะติดตามประเด็นทางเทคนิคดังนั้นฉันจึงต้องการเน้นเฉพาะคำถามในชื่อของเธรดที่ถาม: อะไรคือความแตกต่างระหว่างการถดถอยเชิงเส้นใน y กับ x และ x กับ y ?

พิจารณาสักครู่แบบจำลองเศรษฐมิติเชิงเศรษฐศาสตร์จากทฤษฎีทุนมนุษย์ (ลิงก์ไปยังบทความโดย Nobel Laureate Gary Becker) สมมติว่าเราระบุรูปแบบของแบบฟอร์มต่อไปนี้: โมเดลนี้สามารถตีความได้ว่าเป็นความสัมพันธ์เชิงสาเหตุระหว่างค่าจ้างและการศึกษา ที่สำคัญเวรกรรมในบริบทนี้หมายถึงทิศทางของเวรกรรมที่เกิดจากการศึกษาไปสู่ค่าแรงไม่ใช่วิธีอื่น ๆ นี่เป็นนัยในรูปแบบที่ได้รับการกำหนด; ตัวแปรตามคือค่าจ้างและตัวแปรอิสระคือปีของการศึกษา

$$\begin{equation} \text{wages} = b_{0} + b_{1}~\text{years of education} + \text{error} \end{equation}$$

ทีนี้ถ้าเราทำการเปลี่ยนกลับของสมการเศรษฐมิติ (นั่นคือเปลี่ยน y บน x เป็น x บน y) เช่นนั้นโมเดลจะกลายเป็น จากนั้นโดยนัยในการกำหนดสมการทางเศรษฐมิติคือเรากำลังบอกว่าทิศทางของความเป็นเหตุเป็นผลมาจากค่าจ้างสู่การศึกษา

$$\begin{equation} \text{years of education} = b_{0} + b_{1}~\text{wages} + \text{error} \end{equation}$$

ฉันแน่ใจว่าคุณสามารถคิดตัวอย่างเพิ่มเติมเช่นนี้ (นอกขอบเขตทางเศรษฐศาสตร์ด้วย) แต่อย่างที่คุณเห็นการตีความของแบบจำลองสามารถเปลี่ยนแปลงได้อย่างมีนัยสำคัญเมื่อเราเปลี่ยนจากการถดถอย y เป็น x เป็น x บน y

ดังนั้นเพื่อตอบคำถาม: อะไรคือความแตกต่างระหว่างการถดถอยเชิงเส้นบน y กับ x และ x กับ y? เราสามารถพูดได้ว่าการตีความของสมการถดถอยนั้นเปลี่ยนไปเมื่อเราถดถอย x บน y แทน y บน x เราไม่ควรมองข้ามประเด็นนี้เพราะแบบจำลองที่มีการตีความเสียงสามารถเปลี่ยนเป็นรูปแบบที่รวดเร็วหรือไม่สมเหตุสมผล

มีปรากฏการณ์ที่น่าสนใจมากเกี่ยวกับหัวข้อนี้ หลังจากการแลกเปลี่ยน x และ y แม้ว่าค่าสัมประสิทธิ์การถดถอยจะเปลี่ยนไป แต่ระดับสถิติและค่านัยสำคัญสำหรับสัมประสิทธิ์ t-statistic / F- จะไม่เปลี่ยนแปลง สิ่งนี้ยังเป็นจริงแม้ในการถดถอยหลายครั้งซึ่งเราแลกเปลี่ยน y กับหนึ่งในตัวแปรอิสระ

มันเป็นเพราะความสัมพันธ์ที่ละเอียดอ่อนระหว่างค่าสถิติ F และสัมประสิทธิ์สหสัมพันธ์ (บางส่วน) ความสัมพันธ์นั้นสัมผัสกับแกนหลักของทฤษฎีแบบจำลองเชิงเส้นมีรายละเอียดเพิ่มเติมเกี่ยวกับข้อสรุปนี้ในสมุดบันทึกของฉัน: เหตุใดการแลกเปลี่ยน y และ x จึงไม่มีผลต่อ p

การขยายคำตอบที่ยอดเยี่ยมของ @ gung:

ในการถดถอยเชิงเส้นอย่างง่ายค่าสัมบูรณ์ของเพียร์สันสามารถมองเห็นได้เป็นค่าเฉลี่ยทางเรขาคณิตของทั้งสองเนินที่เราได้รับถ้าเราถดถอยบนและบนตามลำดับ: เราสามารถหาได้โดยตรงโดยใช้ หรือ $r$$y$$x$$x$$y$

$$\sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}} = \sqrt{\frac{\text{Cov}(x,y)}{\text{Var}(x)} \cdot \frac{\text{Cov}(y,x)}{\text{Var}(y)}} = \frac{|\text{Cov}(x,y)|}{\text{SD}(x) \cdot \text{SD}(y)} = |r|$$ $r$
$$r = sign({\hat{\beta}_1}_{y\,on\,x}) \cdot \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}}$$ $$r = sign({\hat{\beta}_1}_{x\,on\,y}) \cdot \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}}$$

ที่น่าสนใจโดยความไม่เท่าเทียมกันของ AM – GMมันจะตามด้วยค่าสัมบูรณ์ของค่าเฉลี่ยเลขคณิตของสัมประสิทธิ์ความชันสองค่ามากกว่า (หรือเท่ากับ) ค่าสัมบูรณ์ของ Pearson's : $r$

$$|\frac{1}{2} \cdot ({\hat{\beta}_1}_{y\,on\,x} + {\hat{\beta}_1}_{x\,on\,y})| \geq \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}} = |r|$$

ความสัมพันธ์ไม่สมมาตรเพราะเรากำลังแก้ปัญหาการหาค่าเหมาะที่สุดที่แตกต่างกันสองแบบ สามารถเขียนเป็นการแก้ปัญหาต่อไปนี้: $\textbf{ Doing regression of $y$ given $x$}$

$$\min_b \mathbb E(Y - bX)^2$$

ในขณะที่ : ซึ่งสามารถเขียนใหม่เป็น:$\textbf{doing regression of $x$ given $y$}$

$$\min_b \mathbb E(X - bY)^2$$

$$\min_b \frac{1}{b^2} \mathbb E(Y - bX)^2$$

นอกจากนี้ยังเป็นสิ่งสำคัญที่จะต้องทราบว่าปัญหาที่ดูแตกต่างกันสองปัญหาอาจมีวิธีแก้ไขปัญหาเดียวกัน

มันเป็นความจริงที่ว่าสำหรับการถดถอยแบบ bivariate อย่างง่ายค่าสัมประสิทธิ์สหสัมพันธ์เชิงเส้นและ R-Square จะเท่ากันสำหรับสมการทั้งสอง แต่ความลาดชันจะเป็น r Sy / Sx หรือ r Sx / Sy ซึ่งไม่ใช่การแลกเปลี่ยนซึ่งกันและกันยกเว้น r = 1

แนวคิดพื้นฐานของการถดถอยอาจเป็น 'สาเหตุและผลกระทบ' หรือ 'อิสระและขึ้นอยู่กับ' การปฏิบัติตามปกติของการวางตัวแปรอิสระในแกน X และตัวแปรตามในแกน Y จะถูกแสดงด้วย Y = mX + c ไม่ว่าจะเป็นความชันที่จะเรียกว่าเป็น m (X บน Y) หรือ (Y บน X) และการถดถอยเป็น: (X ​​on Y) หรือ (Y on X) มันถูกจัดการทั้งสองวิธีซึ่งไม่ดีและต้องมีการชี้แจง Modellers มักจะใช้ Scatter Plots เพื่อตัดสินว่า Simulated Series นั้นตรงกับ Obsered Series หรือไม่ และหลีกเลี่ยงการใช้เส้นการถดถอย ที่นี่ไม่มีประโยคเชิงสาเหตุ ด้วยความจำเป็นนี้คำถามใบ้ที่โพสต์โดยกระทู้ หรือพูดง่ายๆโปรดอธิบายวิธีเรียกการวิเคราะห์การถดถอยปกติ: X บน Y; หรือ Y ใน X? ไปเกินคำตอบเชิงสาเหตุ มันไม่ใช่คำตอบของเธรดหลัก แต่เป็นคำถามคู่ขนาน