อะไรคือข้อดีของการถดถอยเชิงเส้นมากกว่าการถดถอยเชิงปริมาณ

ตัวแบบการถดถอยเชิงเส้นทำให้เกิดข้อสันนิษฐานว่าการถดถอยเชิงปริมาณไม่ได้และถ้าพบว่าการถดถอยเชิงเส้นเป็นไปตามสัญชาตญาณของฉัน (และประสบการณ์บางอย่างที่ จำกัด มาก) ก็คือการถดถอยแบบมัธยฐานจะให้ผลลัพธ์เกือบเหมือนการถดถอยเชิงเส้น

การถดถอยเชิงเส้นมีข้อดีอย่างไร มันเป็นที่คุ้นเคยมากขึ้น แต่นอกเหนือจากนั้น?

regression multiple-regression quantile-regression

— Peter Flom - Reinstate Monica
แหล่งที่มา

สำหรับ 'คุ้นเคยมากขึ้น' ฉันจะเพิ่ม 'การตีความได้' และ 'ความมั่นคง' แต่สำหรับฉันข้อดีอย่างหนึ่งของการถดถอยเชิงเส้นคือสิ่งที่มันจะบอกคุณเกี่ยวกับค่าเฉลี่ยและความหมายนั้นหมายถึงประชากรตัวอย่างมากแค่ไหน . การถดถอยเชิงเส้นมีค่ามากเมื่อพบกับสมมติฐานและคุ้มค่าเมื่อไม่ตรง

— JustGettin เริ่ม

ฉันจะยืนยันว่ามีการพูดถึงประเด็นสำคัญหนึ่งเรื่องในสองหัวข้อนี้: stats.stackexchange.com/questions/153348/ …และstats.stackexchange.com/questions/146077/ … - ประสิทธิภาพและอาจเป็นไปได้แม้ในแง่ดี สมมติฐาน

— Christoph Hanck

ในฐานะที่เป็นเพิ่มเติม แต่เล็กน้อยจุดหนึ่งอาจจะเพิ่มความเป็นไปได้ของการแก้ปัญหาแบบฟอร์มที่ชัดเจนและปิดที่ไม่สามารถใช้ได้สำหรับการพูด LAD ซึ่งอาจทำให้เทคนิคดังกล่าวน่าสนใจน้อยสำหรับผู้ปฏิบัติงาน

— Christoph Hanck

คำตอบอาจเหมือนกับการเปรียบเทียบกรณีง่าย ๆ ในการประมาณค่าพารามิเตอร์ประชากรเดี่ยวจากนั้นแสดงว่าข้อผิดพลาดกำลังสองน้อยที่สุดทำงานได้ดีขึ้นกับข้อผิดพลาดแบบเกาส์และส่วนที่เหลือสัมบูรณ์แบบสัมบูรณ์ แต่แล้วคำถามนี้เกี่ยวกับตัวแบบเชิงเส้นที่ซับซ้อนมากขึ้นและปัญหาเริ่มซับซ้อนและกว้างขึ้น สัญชาตญาณของปัญหาง่าย ๆ (ประมาณค่าเฉลี่ย / มัธยฐาน) ทำงานให้กับแบบจำลองที่ใหญ่กว่า แต่มันควรจะได้ผลเท่าไหร่? และวิธีการเปรียบเทียบความทนทานต่อค่าผิดปกติการกระจายการคำนวณ?

— Sextus Empiricus

ในกรณีของฉันฉันได้พบการถดถอยเชิงปริมาณที่ดีกว่าเพื่ออธิบายให้กับคนที่ไม่ใช่ด้านเทคนิคเมื่อตัวแปรการตอบสนองเบ้ (เช่นค่าใช้จ่ายของลูกค้า) และการแนะนำของขั้นตอนการเปลี่ยนรูป / ฟังก์ชั่นการเชื่อมโยงบดบังการวิเคราะห์ทั้งหมด ในแง่นั้นฉันจะโต้แย้งการยืนยันว่า " การถดถอยของค่ามัธยฐานจะให้ผลลัพธ์ที่ใกล้เคียงกับการถดถอยเชิงเส้น " เกือบจะเป็นเพียงการทำให้เข้าใจผิดเล็กน้อย มันไม่ได้โดยเฉพาะอย่างยิ่งเมื่อจัดการกับตัวแปรตอบกลับที่อาจบิดเบือน

— usεr11852พูดว่า Reinstate Monic

คำตอบ:

เป็นที่ทราบกันบ่อยมากว่าการลดการเหลือน้อยกำลังสองน้อยที่สุดนั้นเป็นที่ต้องการมากกว่าการลดการตกค้างสัมบูรณ์เนื่องจากเหตุผลที่ทำให้การคำนวณง่ายขึ้น แต่มันอาจจะยังจะดีกว่าสำหรับเหตุผลอื่น ๆ กล่าวคือหากสมมติฐานเป็นจริง (และนี่ไม่ใช่เรื่องผิดปกติ) ดังนั้นจึงมีวิธีแก้ปัญหาที่ (โดยเฉลี่ย) มีความแม่นยำมากขึ้น

โอกาสสูงสุด

การถดถอยกำลังสองน้อยที่สุดและการถดถอยเชิงปริมาณ (เมื่อดำเนินการโดยการลดเศษเหลือสัมสัมบูรณ์) สามารถมองเห็นได้ว่าเป็นการเพิ่มฟังก์ชันความน่าจะเป็นสำหรับการกระจายข้อผิดพลาดแบบเกาส์ / ลาปลาสและในแง่นี้มีความสัมพันธ์อย่างมาก

การกระจายแบบเกาส์:

$ฉ (x) = \frac{1}{\sqrt{2 π σ^{2}}} {อี}^{- \frac{(x - μ)^{2}}{2 σ^{2}}}$ $f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

ด้วยความน่าจะเป็นบันทึกสูงสุดเมื่อลดผลรวมของเศษที่เหลือยกกำลังสอง

$เข้าสู่ระบบ L (x) = - \frac{n}{2} เข้าสู่ระบบ (2 π) - n เข้าสู่ระบบ (σ) - \frac{1}{2 σ^{2}} \underset{ผลรวมของกำลังสองเหลือ}{\underset{⏟}{Σ_{ผม = 1}^{n} (x_{ผม} - μ)^{2}}}$ $\log \mathcal{L}(x) = -\frac{n}{2} \log (2 \pi) - n \log(\sigma) - \frac{1}{2\sigma^2} \underbrace{\sum_{i=1}^n (x_i-\mu)^2}_{\text{sum of squared residuals}}$
การกระจายแบบ Laplace:

$ฉ (x) = \frac{1}{2 ข} {อี}^{- \frac{| x - μ |}{ข}}$ $f(x) = \frac{1}{2b} e^{-\frac{\vert x-\mu \vert}{b}}$

ด้วยความน่าจะเป็นบันทึกสูงสุดเมื่อลดผลรวมของเหลือตกค้างที่แน่นอน

$เข้าสู่ระบบ L (x) = - n เข้าสู่ระบบ (2) - n เข้าสู่ระบบ (ข) - \frac{1}{ข} \underset{ผลรวมของค่าตกค้างสัมบูรณ์}{\underset{⏟}{Σ_{ผม = 1}^{n} | x_{ผม} - μ |}}$ $\log \mathcal{L}(x) = -n \log (2) - n \log(b) - \frac{1}{b} \underbrace{\sum_{i=1}^n |x_i-\mu|}_{\text{sum of absolute residuals}}$

^{หมายเหตุ: การแจกแจงแบบลาปลาซและผลรวมของค่าตกค้างสัมบูรณ์เกี่ยวข้องกับค่ามัธยฐาน แต่สามารถนำไปรวมกับควอนไทล์อื่น ๆ ได้โดยให้น้ำหนักต่างกันสำหรับค่าลบและค่าบวกเชิงลบ}

การกระจายข้อผิดพลาดที่ทราบ

เมื่อเรารู้ว่าการแจกแจงข้อผิดพลาด (เมื่อสมมติฐานเป็นจริง) มันสมเหตุสมผลที่จะเลือกฟังก์ชั่นความน่าจะเป็นที่เกี่ยวข้อง การย่อขนาดฟังก์ชั่นนั้นเหมาะสมที่สุด

บ่อยครั้งที่ข้อผิดพลาดจะกระจายทั่วไป (โดยประมาณ) ในกรณีที่ใช้กำลังสองน้อยที่สุดเป็นวิธีที่ดีที่สุดในการค้นหาพารามิเตอร์ $\mu$ (ซึ่งเกี่ยวข้องกับทั้งค่าเฉลี่ยและค่ามัธยฐาน) มันเป็นวิธีที่ดีที่สุดเพราะมีค่าความแปรปรวนตัวอย่างต่ำสุด (ต่ำสุดของตัวประมาณค่าที่ไม่เอนเอียงทั้งหมด) หรือคุณสามารถพูดได้มากกว่านี้: มันโดดเด่นแบบสุ่ม (ดูภาพประกอบในคำถามนี้เปรียบเทียบการกระจายตัวของค่ามัธยฐานตัวอย่างและค่าเฉลี่ยตัวอย่าง)

ดังนั้นเมื่อความคลาดเคลื่อนมีการแจกแจงปกติแล้วค่าเฉลี่ยตัวอย่างคือตัวประมาณค่าการกระจายที่ดีกว่าค่ามัธยฐานตัวอย่างดังนั้นเมื่อข้อผิดพลาดเป็นเรื่องปกติกระจายแล้วค่าเฉลี่ยของกลุ่มตัวอย่างเป็นประมาณการที่ดีขึ้นของค่ามัธยฐานกระจายกว่าค่าเฉลี่ยของกลุ่มตัวอย่างการถดถอยกำลังสองน้อยที่สุดเป็นตัวประมาณที่เหมาะสมที่สุดของควอนไทล์ มันจะดีกว่าการใช้ผลรวมที่เหลือน้อยที่สุดของสัมบูรณ์

เนื่องจากมีปัญหามากมายที่จัดการกับข้อผิดพลาดแบบกระจายการใช้วิธีกำลังสองน้อยที่สุดจึงเป็นที่นิยมมาก หากต้องการทำงานกับการแจกแจงชนิดอื่นคุณสามารถใช้โมเดลเชิงเส้นทั่วไปได้ และวิธีการของกำลังสองน้อยที่สุดซ้ำซึ่งสามารถใช้ในการแก้ GLMs ยังใช้งานได้สำหรับการกระจาย Laplace (เช่น. สำหรับการเบี่ยงเบนสัมบูรณ์ ) ซึ่งเทียบเท่ากับการหาค่ามัธยฐาน (หรือในรุ่นทั่วไปอื่น ๆ quantiles)

การกระจายข้อผิดพลาดที่ไม่รู้จัก

ความแข็งแรง

ค่ามัธยฐานหรือปริมาณอื่น ๆ มีความได้เปรียบที่แข็งแกร่งมากเกี่ยวกับประเภทของการแจกแจง ค่าจริงไม่ได้มีความสำคัญมากนักและปริมาณจะสนใจเพียงแค่ลำดับ ดังนั้นไม่ว่าการกระจายตัวจะเป็นอย่างไรการลดปริมาณตกค้างสัมบูรณ์ (ซึ่งเทียบเท่ากับการค้นหาปริมาณ) ก็ใช้งานได้ดีมาก

คำถามมีความซับซ้อนและกว้างขวางที่นี่และขึ้นอยู่กับประเภทของความรู้ที่เรามีหรือไม่มีเกี่ยวกับฟังก์ชันการแจกแจง ตัวอย่างเช่นการกระจายอาจจะกระจายปกติประมาณ แต่มีค่าผิดปกติเพิ่มเติมบางส่วน สามารถจัดการได้โดยการลบค่าภายนอก การลบค่าสุดขีดนี้ใช้งานได้ในการประมาณค่าพารามิเตอร์ตำแหน่งของการแจกแจง Cauchyซึ่งค่าเฉลี่ยที่ถูกตัดทอนอาจเป็นตัวประมาณที่ดีกว่าค่ามัธยฐาน ดังนั้นไม่เพียง แต่สำหรับสถานการณ์ในอุดมคติเมื่อมีการสันนิษฐาน แต่สำหรับแอพพลิเคชั่นที่เหมาะสมน้อยกว่า (เช่นค่าผิดปกติเพิ่มเติม) อาจมีวิธีการที่ดีที่ยังคงใช้รูปแบบของผลรวมของส่วนที่เหลือกำลังสองแทนผลรวมของค่าคงที่สัมบูรณ์

ฉันจินตนาการว่าการถดถอยด้วยเศษเหลืออาจจะซับซ้อนกว่านี้มาก ดังนั้นมันอาจจะเป็นการถดถอยเชิงปริมาณซึ่งเป็นประเภทของการถดถอยที่เกิดขึ้นเนื่องจากเหตุผลที่ว่ามันง่ายกว่าการคำนวณ (ไม่ง่ายกว่าธรรมดากว่ากำลังสองน้อยที่สุดธรรมดา แต่ง่ายกว่าการตัดทอนกำลังสองน้อยสุด)

ลำเอียง / เป็นกลาง

ปัญหาอีกอย่างคือลำเอียงเมื่อเทียบกับตัวประมาณที่ไม่เอนเอียง ในข้างต้นฉันได้อธิบายการประมาณความน่าจะเป็นสูงสุดสำหรับค่าเฉลี่ยนั่นคือวิธีแก้ปัญหากำลังสองน้อยที่สุดในฐานะตัวประมาณที่ดีหรือดีกว่าเพราะมักจะมีความแปรปรวนต่ำสุดของตัวประมาณค่าที่ไม่เอนเอียงทั้งหมด แต่ตัวประมาณแบบเอนเอียงอาจดีกว่า (ข้อผิดพลาดกำลังสองรวมที่ต่ำกว่าที่คาดไว้)

นี่ทำให้คำถามกว้างและซับซ้อนอีกครั้ง มีตัวประมาณที่แตกต่างกันจำนวนมากและสถานการณ์ที่แตกต่างกันเพื่อนำไปใช้ การใช้ฟังก์ชันผลรวมการสูญเสียส่วนที่ปรับกำลังสองที่ปรับแล้วมักจะทำงานได้ดีเพื่อลดข้อผิดพลาด (เช่นวิธีการทำให้เป็นมาตรฐานทุกประเภท) แต่อาจไม่จำเป็นต้องทำงานได้ดีในทุกกรณี มันไม่แปลกที่จะจินตนาการว่าเนื่องจากฟังก์ชั่นการสูญเสียส่วนที่เหลือยกกำลังสองมักจะทำงานได้ดีสำหรับผู้ประมาณค่าที่ไม่เอนเอียงทุกคนตัวประมาณค่าเอนเอียงที่ดีที่สุดอาจเป็นสิ่งที่ใกล้เคียงกับผลรวมของฟังก์ชันการสูญเสียส่วนแบ่งกำลังสอง

— Sextus Empiricus
แหล่งที่มา

เมื่อเรารู้ว่าการแจกแจงข้อผิดพลาดมันสมเหตุสมผลแล้วที่จะเลือกฟังก์ชั่นความน่าจะเป็นที่เกี่ยวข้อง การย่อขนาดฟังก์ชั่นนั้นเหมาะสมที่สุด อย่าบอกว่านี่เป็นสิ่งที่ผิด แต่น่าจะมีคุณสมบัติ แน่นอนว่าสิ่งนี้เกี่ยวข้องกับคำถามของฉันอีกครั้ง(ที่คุณตอบ) เกี่ยวกับตัวประมาณที่เหมาะสมภายใต้ฟังก์ชันการสูญเสียที่แตกต่างกัน

— Richard Hardy

เป็นวิธีที่ดีที่สุดเนื่องจากมีค่าความแปรปรวนตัวอย่างต่ำสุด ความแปรปรวนโดยทั่วไปไม่ใช่ฟังก์ชันการสูญเสียที่สมเหตุสมผลเพราะมันละเลยอคติ คู่ที่สมเหตุสมผลจะได้รับการคาดหวังข้อผิดพลาดกำลังสอง (aka หมายถึงข้อผิดพลาดกำลังสอง) ที่คำนึงถึงความแปรปรวนและความเอนเอียง การถดถอยกำลังสองน้อยที่สุดเป็นตัวประมาณที่เหมาะสมที่สุดของควอนไทล์ ค่ามัธยฐาน - ใช่ แต่อื่น ๆ และถ้าใช่แล้วทำไม ไม่ว่าในกรณีใดคำตอบที่ดีของคุณคือคำตอบที่ดีมาก!

— Richard Hardy

@RichardHardy หัวข้อนี้กว้างมาก แท้จริงแล้ว error = variance + bias ฉันถือว่าอคติของค่าเฉลี่ยตัวอย่างเท่ากับค่ามัธยฐานตัวอย่าง (หรือมากกว่าทั่วไป: ผลรวมของกำลังสองน้อยที่สุดและผลรวมของเศษเหลือสัมบูรณ์น้อยที่สุดมีอคติเดียวกัน) นี่คือความจริงที่ได้รับการแจกแจงข้อผิดพลาดต่าง ๆ (เช่นการแจกแจงข้อผิดพลาดแบบสมมาตร) แต่จริงๆแล้วคำถามจะซับซ้อนกว่าสำหรับกรณีอื่น ๆ (ประเด็นสำคัญคือข้อผิดพลาดมักจะกระจายทั่วไปและทำให้การถดถอยกำลังสองน้อยที่สุด)

— Sextus Empiricus

เหมือนกัน (ความซับซ้อนของคำถาม) เป็นจริงเมื่อเราไม่พิจารณาค่ามัธยฐาน ในกรณีที่มีข้อผิดพลาดการกระจายแบบปกติฉันเชื่อว่า MLE ให้ผลลัพธ์ที่ดีที่สุดสำหรับสิ่งใดก็ตาม แต่ฉันยอมรับว่ามันเป็นสัญชาตญาณ อีกปัญหาคือกว้างมาก (ขึ้นอยู่กับจำนวนตัวอย่างชนิดของการกระจายของข้อผิดพลาดและความแน่นอนเกี่ยวกับมัน ฯลฯ )

— Sextus Empiricus

เสียนาฬิกาเป็นสิ่งที่ถูกต้องวันละสองครั้งผมจะไม่เรียก MLE นาฬิกาหัก แน่นอนว่าเมื่อคุณรู้ปัญหาอย่างดีแล้วคุณสามารถแนะนำการลดความแปรปรวนบางอย่างเพื่อปรับปรุงข้อผิดพลาดโดยรวม นี่ไม่ได้เป็นการย้ายไปสู่การถดถอยแบบต่าง ๆ (แบบควอนไทล์) คุณสามารถใส่แยมหรือน้ำผึ้งลงบนขนมปังและเนยที่มีขนาดเล็กที่สุด หากคุณต้องการเปรียบเทียบ MLE กับนาฬิกาที่แตกแล้วมันเป็นนาฬิกาที่เกิดขึ้นกับการยืนนิ่งอยู่ตลอดเวลาที่เราใช้งานให้เกิดประโยชน์สูงสุด

— Sextus Empiricus

การถดถอยเชิงเส้น (LR) ทำให้การหาค่าเหมาะที่สุดกำลังสองน้อยที่สุดเมื่อคำนวณสัมประสิทธิ์ของมัน สิ่งนี้แสดงถึงความสมมาตรในการเบี่ยงเบนจากตัวแบบการถดถอย คำอธิบายที่ดีของการถดถอย quantile (QR) อยู่ในhttps://data.library.virginia.edu/getting-started-with-quantile-regression/

หากสมมติฐาน LR (จำเป็นสำหรับการอนุมาน: ค่า p ช่วงเวลาความเชื่อมั่น ฯลฯ ) เป็นไปตามการคาดการณ์ QR และ LR จะใกล้เคียงกัน แต่หากสมมติฐานถูกละเมิดอย่างรุนแรงการอนุมาน LR มาตรฐานของคุณจะผิด ดังนั้นการถดถอย 0.5 ควอไทล์ (มัธยฐาน) จึงเป็นข้อได้เปรียบเหนือ LR นอกจากนี้ยังให้ความยืดหยุ่นมากขึ้นในการจัดลำดับการถดถอยสำหรับปริมาณอื่น ๆ แบบจำลองเชิงเส้นตรงจะเป็นความเชื่อมั่นที่คำนวณจาก LR (แม้ว่านี่จะผิดถ้า iid ถูกละเมิดอย่างรุนแรง)

แล้วข้อดีของ LR คืออะไร? แน่นอนว่ามันง่ายกว่าในการคำนวณ แต่ถ้าชุดข้อมูลของคุณมีขนาดที่เหมาะสมซึ่งอาจไม่ชัดเจนมาก แต่ที่สำคัญกว่านั้นสมมติฐานอนุมาน LR ให้ข้อมูลที่ช่วยลดความไม่แน่นอน เป็นผลให้ช่วงความเชื่อมั่นของ LR ต่อการคาดการณ์จะแคบลง ดังนั้นหากมีการสนับสนุนทางทฤษฎีที่แข็งแกร่งสำหรับสมมติฐานช่วงเวลาความเชื่อมั่นที่แคบอาจเป็นประโยชน์

— George Ostrouchov
แหล่งที่มา

การถดถอยเชิงเส้นใช้ในการประเมินการตอบสนองค่าเฉลี่ยตามเงื่อนไขที่กำหนดจากข้อมูล $E(Y \vert X)$ ที่ไหน $Y$ คือการตอบสนองและ $X$ คือข้อมูล การถดถอยบอกเราว่า $E(Y \vert X)= X \beta$ . มีสมมติฐานบางอย่าง (คุณสามารถค้นหาได้ในข้อความสถิติใด ๆ ) เพื่อให้การอนุมานนั้นถูกต้อง หากสิ่งเหล่านี้เป็นที่พอใจแล้วโดยทั่วไปประมาณมาตรฐานสำหรับ $\beta$ คือ BLUE (ตัวประมาณค่าแบบไม่มีเส้นตรงที่ดีที่สุด - ดูทฤษฎีบท Gauss-Markov)

Quantile regression สามารถใช้ในการประมาณ quantile ใด ๆ ของการแจกแจงแบบมีเงื่อนไขรวมถึงค่ามัธยฐาน สิ่งนี้ให้ข้อมูลที่อาจมากกว่าค่าเฉลี่ยเกี่ยวกับการแจกแจงแบบมีเงื่อนไข หากการแจกแจงแบบมีเงื่อนไขไม่สมมาตรหรือมีความหนาหาง (เช่นการวิเคราะห์ความเสี่ยง) การถดถอยเชิงปริมาณจะเป็นประโยชน์แม้ถ้าสมมติฐานทั้งหมดของการถดถอยเชิงเส้นเป็นที่พอใจ

แน่นอนว่าการคำนวณเชิงปริมาณมีความเข้มข้นเชิงตัวเลขมากขึ้นเมื่อเทียบกับการถดถอยเชิงเส้น แต่โดยทั่วไปจะมีความแข็งแกร่งกว่ามาก นอกจากนี้ยังเหมาะสมเมื่อการถดถอยเชิงเส้นไม่ได้ - เช่นสำหรับข้อมูลที่ถูกเซ็นเซอร์ การอนุมานอาจมีความซับซ้อนมากขึ้นเนื่องจากการประมาณโดยตรงของเมทริกซ์ความแปรปรวนร่วม - ความแปรปรวนร่วมอาจจะยากหรือมีราคาแพงในการคำนวณ ในกรณีเหล่านั้นสามารถบูตได้

— Kruggles
แหล่งที่มา