การถดถอยเชิงเส้นและการถดถอยโลจิสติกต่างกันอย่างไร

122

คุณจะใช้แต่ละครั้งเมื่อใด

regression logistic linear-model

ในตัวแบบการถดถอยเชิงเส้นตัวแปรที่ขึ้นต่อกันของ

y

$y$ จะถูกพิจารณาอย่างต่อเนื่องในขณะที่ในการถดถอยโลจิสติกมันเป็นหมวดหมู่คือไม่ต่อเนื่อง ในแอปพลิเคชั่นตัวก่อนจะถูกใช้ในการตั้งค่าการถดถอยในขณะที่ตัวหลังจะใช้สำหรับการจำแนกประเภทไบนารีหรือการจำแนกประเภทหลายคลาส

— Pardis

แม้ว่าจะเขียนในบริบทที่แตกต่างกันมันอาจช่วยให้คุณอ่านคำตอบของฉันที่นี่: ความแตกต่างระหว่างโมเดล logit และ probitซึ่งมีข้อมูลมากมายเกี่ยวกับสิ่งที่เกิดขึ้นในการถดถอยโลจิสติกที่อาจช่วยให้คุณเข้าใจสิ่งเหล่านี้ดีขึ้น

— gung

คำตอบก่อนหน้าทั้งหมดถูกต้อง แต่มีเหตุผลหลายประการที่คุณอาจชอบแบบจำลองการถดถอยเชิงเส้นแม้ว่าผลลัพธ์ของคุณจะเป็นขั้วสองขั้ว ผมเคยเขียนเกี่ยวกับเหตุผลที่นี่: statisticalhorizons.com/linear-vs-logistic

— พอลฟอนฮิพเพล

คำตอบ:

111

การถดถอยเชิงเส้นใช้สมการเชิงเส้นทั่วไปที่เป็นตัวแปรขึ้นอยู่อย่างต่อเนื่องและตัวแปรอิสระมีมักจะต่อเนื่อง ( แต่ยังสามารถเป็นไบนารีเช่นเมื่อรูปแบบเชิงเส้นจะถูกนำมาใช้ ใน t-test) หรือโดเมนที่ไม่ต่อเนื่องอื่น ๆ เป็นคำที่แปรปรวนที่ไม่ได้อธิบายได้ด้วยรูปแบบและมักจะถูกเรียกว่าเพียงแค่ "ความผิดพลาด" แล้ว ค่าที่ขึ้นกับแต่ละตัวซึ่งแทนด้วยสามารถแก้ไขได้โดยการแก้ไขสมการเล็กน้อย: $Y=b_0+∑(b_i X_i)+\epsilon$ $Y$ $X_i$ $\epsilon$ $Y_j$ $Y_j=b_0 + \sum{(b_i X_{ij})+\epsilon_j}$

การถดถอยแบบลอจิสติกเป็นขั้นตอนแบบจำลองเชิงเส้น (GLM) อีกรูปแบบหนึ่งโดยใช้สูตรพื้นฐานเดียวกัน แต่แทนที่จะเป็นแบบต่อเนื่องมันจะลดความน่าจะเป็นของผลลัพธ์ที่เป็นหมวดหมู่ ในรูปแบบที่ง่ายที่สุดนี่หมายความว่าเรากำลังพิจารณาตัวแปรผลลัพธ์เพียงอันเดียวและสองสถานะของตัวแปรนั้น - เป็น 0 หรือ 1 $Y$

สมการสำหรับความน่าจะเป็นของมีลักษณะดังนี้: $Y=1$

P (Y = 1) = \frac{1}{1 + e^{- (b_{0} + \sum (b_{i} X_{i}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

ตัวแปรอิสระของคุณสามารถจะต่อเนื่องหรือไบนารี สัมประสิทธิ์การถดถอยสามารถยกกำลังให้คุณเปลี่ยนแปลงอัตราต่อรองของต่อการเปลี่ยนแปลงในเช่น $X_i$ $b_i$ $Y$ $X_i$ $Odds={P(Y=1) \over P(Y=0)}={P(Y=1) \over 1-P(Y=1)}$ ${\Delta Odds}= e^{b_i}$ $\Delta Odds$ $Odds(X_i+1)\over Odds(X_i)$ $Y=1$ $e^{b_i}$ $X_i$

ตัวอย่าง: หากคุณต้องการดูว่าดัชนีมวลกายทำนายระดับคอเลสเตอรอลในเลือด (การวัดต่อเนื่อง) คุณจะใช้การถดถอยเชิงเส้นตามที่อธิบายไว้ที่ด้านบนของคำตอบของฉัน หากคุณต้องการดูว่า BMI ทำนายโอกาสของการเป็นโรคเบาหวาน (การวินิจฉัยแบบไบนารี) คุณจะใช้การถดถอยแบบโลจิสติกส์

— DocBuckets
แหล่งที่มา

ϵ_{i}

$\epsilon_i$

ดูเหมือนว่าฉันบิลว่าเขาหมายถึงการเขียนคือ (ตัวย่อละตินที่เป็น) มากกว่า ei

— Michael Chernick

แต่ฉันไม่ได้อยู่ที่ยอดรวมของเลขชี้กำลัง ดูเหมือนว่าคำว่าเสียงรบกวนในแบบจำลองถูกนำไปที่นั่นโดยไม่ตั้งใจ ข้อสรุปเดียวควรอยู่เหนือทวิที่แสดงถึงค่าสัมประสิทธิ์ p สำหรับ c cvariates

— Michael Chernick

P (Y = 1)

$P(Y=1)$

P (Y = 1) = \frac{1}{1 + \exp {- X β}},

$P(Y=1) = \frac{1}{1 + \exp \{-X \boldsymbol{\beta} \} },$

P (Y = 1) = \frac{1}{1 + \exp {- (X β + ε)}}

$P(Y=1) = \frac{1}{1 + \exp \{ -(X \boldsymbol{\beta}+\varepsilon) \} }$

@samthebrand การถดถอยโลจิสติกไม่ใช่ไบนารีต่อ se มันสามารถใช้ในการจำลองข้อมูลที่มีการตอบสนองไบนารีผ่านความน่าจะเป็นที่อยู่ในช่วงระหว่าง 0 และ 1 ไปเสียบลงคอโพสต์บล็อกของฉันเกี่ยวกับเรื่องนี้ซึ่งควรล้างสับสนของคุณ

— Ben

การถดถอยเชิงเส้นใช้เพื่อสร้างความสัมพันธ์ระหว่างตัวแปรที่ขึ้นกับและอิสระซึ่งมีประโยชน์ในการประมาณค่าตัวแปรที่ขึ้นกับผลลัพธ์ในกรณีการเปลี่ยนแปลงตัวแปรอิสระ ตัวอย่างเช่น:

การใช้การถดถอยเชิงเส้นความสัมพันธ์ระหว่าง Rain (R) และ Umbrella Sales (U) พบว่า - U = 2R + 5000

สมการนี้บอกว่าสำหรับทุก ๆ มิลลิเมตรของฝนมีความต้องการร่ม 5002 ตัว ดังนั้นโดยใช้ Simple Regression คุณสามารถประมาณค่าของตัวแปรได้

Logistic Regressionในอีกทางหนึ่งใช้ในการตรวจสอบความน่าจะเป็นของเหตุการณ์ และเหตุการณ์นี้ถูกจับในรูปแบบไบนารีเช่น 0 หรือ 1

ตัวอย่าง - ฉันต้องการตรวจสอบว่าลูกค้าจะซื้อผลิตภัณฑ์ของฉันหรือไม่ สำหรับสิ่งนี้ฉันจะเรียกใช้ Logistic Regression บนข้อมูล (ที่เกี่ยวข้อง) และตัวแปรตามของฉันจะเป็นตัวแปรไบนารี (1 = ใช่; 0 = ไม่ใช่)

ในแง่ของการเป็นตัวแทนกราฟิกการถดถอยเชิงเส้นให้เส้นตรงเป็นเอาท์พุทเมื่อค่าถูกพล็อตบนกราฟ ในขณะที่การถดถอยโลจิสติกให้เส้น S-Shaped

อ้างอิงจาก Mohit Khurana

— วิชัยราม
แหล่งที่มา

Re: "การถดถอยเชิงเส้นใช้เพื่อสร้างความสัมพันธ์ระหว่างตัวแปร Dependent และ Indipendent" - นี่ก็เป็นจริงเกี่ยวกับการถดถอยโลจิสติก - มันเป็นเพียงว่าตัวแปรตามเป็นไบนารี

— มาโคร

Logistic Regression ไม่เพียง แต่สำหรับการทำนายเหตุการณ์ไบนารี (คลาส) มันสามารถพูดคุยกับคลาส (การถดถอยโลจิสติกพหุนาม)

2

$2$

k

$k$

— tgy

ความแตกต่างได้รับการตัดสินโดย DocBuckets และ Pardis แต่ฉันต้องการเพิ่มวิธีหนึ่งในการเปรียบเทียบประสิทธิภาพที่ไม่ได้กล่าวถึง

การถดถอยเชิงเส้นมักจะถูกแก้ไขโดยการลดความคลาดเคลื่อนกำลังสองน้อยที่สุดของแบบจำลองให้กับข้อมูล การถดถอยโลจิสติกเป็นสิ่งที่ตรงกันข้าม การใช้ฟังก์ชั่นการสูญเสียโลจิสติกส์ทำให้เกิดข้อผิดพลาดขนาดใหญ่ที่จะได้รับการลงโทษให้คงที่แบบไม่แสดงผล

พิจารณาการถดถอยเชิงเส้นของผลลัพธ์ {0,1} หมวดหมู่เพื่อดูว่าทำไมปัญหานี้ถึงเกิดขึ้น หากแบบจำลองของคุณทำนายผลที่ได้คือ 38 เมื่อความจริงเป็น 1 คุณก็ไม่เสียอะไรเลย การถดถอยเชิงเส้นจะพยายามลดค่าที่ 38 โลจิสติกส์ไม่มาก (เท่า)

— J. Abrahamson
แหล่งที่มา

ถ้าเช่นนั้นสถานการณ์ / กรณีที่ถูกลงโทษในโลจิสติกคือในกรณีใดที่เราจะมีความเหมาะสม

— MSIS

ตรงกันข้าม: เมื่อใดก็ตามที่มีการเบี่ยงเบนจากขนาดใหญ่จะได้ผลลัพธ์ที่แย่กว่า ตัวอย่างเช่นการถดถอยแบบโลจิสติกส์นั้นช่วยให้คุณสามารถตีลูกดอกปาเป้าได้ แต่ก็ไม่สามารถทำให้เป้าดูดีได้ หรือในทำนองเดียวกันคิดว่าการพลาดท่าใกล้เคียงของบอร์ดนั้นเหมือนกับการเกาะติดเพื่อนบ้านของคุณ

— J. Abrahamson

คำตอบที่ดี มีงานวิจัยใดที่ทำไปแล้วสร้างความเสียหายต่อประสิทธิภาพของโมเดลหรือไม่ ฉันหมายถึงว่าการถดถอยเชิงเส้นใช้เพื่อทำนายการตอบสนอง = {0,1} แทนที่จะเป็นการถดถอยโลจิสติก

— Tagar