การวินิจฉัยสำหรับการถดถอยโลจิสติก?


74

สำหรับการถดถอยเชิงเส้นเราสามารถตรวจสอบพล็อตการวินิจฉัย (พล็อตส่วนที่เหลือพล็อต QQ ปกติ ฯลฯ ) เพื่อตรวจสอบว่าข้อสันนิษฐานของการถดถอยเชิงเส้นถูกละเมิดหรือไม่

สำหรับการถดถอยโลจิสติกฉันมีปัญหาในการค้นหาทรัพยากรที่อธิบายถึงวิธีการวินิจฉัยแบบจำลองการถดถอยโลจิสติกพอดี ขุดบันทึกบางหลักสูตรสำหรับ GLM เพียงแค่ระบุว่าการตรวจสอบส่วนที่เหลือจะไม่เป็นประโยชน์สำหรับการดำเนินการวินิจฉัยสำหรับการถดถอยแบบโลจิสติก

เมื่อมองไปรอบ ๆ อินเทอร์เน็ตก็ดูเหมือนจะมีขั้นตอน "การวินิจฉัย" ที่หลากหลายเช่นการตรวจสอบความเบี่ยงเบนของแบบจำลองและการทดสอบไคสแควร์ แต่แหล่งข้อมูลอื่นระบุว่าสิ่งนี้ไม่เหมาะสมและคุณควรทำการ Hosmer-Lemeshow ทดสอบ. จากนั้นฉันพบแหล่งข้อมูลอื่นที่ระบุว่าการทดสอบนี้อาจขึ้นอยู่กับการจัดกลุ่มที่แท้จริงและค่าการตัด (อาจไม่น่าเชื่อถือ)

แล้วเราควรวินิจฉัยว่าการถดถอยแบบโลจิสติกส์นั้นเหมาะสมอย่างไร


1
เป็นไปได้ซ้ำ (หรือกรณีพิเศษ) ของstats.stackexchange.com/questions/29271/…หรือstats.stackexchange.com/questions/44643/แม้ว่าจะไม่มีคำตอบที่จะแก้ปัญหาให้คุณจริงๆ
ปีเตอร์เอลลิส

1
ฉันขอแนะนำให้คุณอ่านเอกสารของ Scott Menard ซึ่งเมื่อไม่นานมานี้มีให้บริการฟรีบนเว็บ
rolando2

2
คำถามเกี่ยวกับความดีของมาตรการฟิตสำหรับการถดถอยโลจิสติกอาจเป็นประโยชน์ (แม้ว่าความดีของฟิตนั้นแน่นอนว่าเป็นเพียงส่วนเล็ก ๆ ของการวินิจฉัยแบบ): stats.stackexchange.com/questions/3559/logistic-regression-which-pseudo-r- squared-measure-is-the-one-to-report-cox / 3570
Stephan Kolassa

คำตอบ:


39

เทคนิคใหม่ ๆ สองสามข้อที่ฉันได้พบเพื่อประเมินความเหมาะสมของแบบจำลองการถดถอยโลจิสติกมาจากวารสารรัฐศาสตร์:

  • Greenhill, Brian, Michael D. Ward & Audrey Sacks 2011. พล็อตการแยก: วิธีการทางสายตาแบบใหม่สำหรับการประเมินความพอดีของโมเดลไบนารี่ วารสารอเมริกันรัฐศาสตร์ 55 (4): 991-1002
  • Esarey, Justin & Andrew Pierce 2012 การประเมินคุณภาพที่เหมาะสมและการทดสอบการสะกดผิดในรูปแบบตัวแปรที่ขึ้นกับไบนารี การวิเคราะห์ทางการเมือง 20 (4): 480-500 พิมพ์PDFล่วงหน้าที่นี่

เทคนิคทั้งสองนี้มีวัตถุประสงค์เพื่อแทนที่การทดสอบ Goodness-of-Fit (เช่น Hosmer & Lemeshow) และระบุข้อผิดพลาดที่อาจเกิดขึ้น (โดยเฉพาะการไม่เป็นเชิงเส้นในตัวแปรที่รวมอยู่ในสมการ) เหล่านี้มีประโยชน์โดยเฉพาะอย่างยิ่งมาตรการ R-ตารางแบบฉบับของพอดีมีการวิพากษ์วิจารณ์บ่อย

เอกสารทั้งสองข้างต้นใช้ความน่าจะเป็นที่คาดการณ์ไว้กับผลลัพธ์ที่สังเกตได้ในแปลง - ค่อนข้างหลีกเลี่ยงปัญหาที่ไม่ชัดเจนของสิ่งที่เหลืออยู่ในแบบจำลองดังกล่าว ตัวอย่างของส่วนที่เหลืออาจมีส่วนร่วมในการบันทึกความน่าจะเป็นหรือเพียร์สันที่เหลือ (ฉันเชื่อว่ามีอีกมากมายแม้ว่า) การวัดอื่นที่มักเป็นที่สนใจ (แม้ว่าจะไม่ใช่ส่วนที่เหลือ) ก็คือ DFBeta's (จำนวนเงินที่ประมาณค่าสัมประสิทธิ์เปลี่ยนแปลงเมื่อการสังเกตถูกแยกออกจากแบบจำลอง) ดูตัวอย่างใน Stata สำหรับหน้า UCLA นี้เกี่ยวกับการวินิจฉัยการถดถอยโลจิสติกพร้อมกับขั้นตอนการวินิจฉัยที่เป็นไปได้อื่น ๆ

ฉันไม่สะดวก แต่ฉันเชื่อว่าโมเดลการถดถอยของเจสก็อตต์ลองสำหรับตัวแปรตามหมวดหมู่และแบบ จำกัดขึ้นอยู่กับรายละเอียดที่เพียงพอเกี่ยวกับมาตรการวินิจฉัยที่แตกต่างกันทั้งหมดเหล่านี้ในวิธีที่ง่าย


2
มีหนังสือเล่มอื่นจำนวนมากในถัง (อย่างน้อยก็ในบางส่วนหากไม่ใช่ทั้งหมด) สำหรับการถดถอยโลจิสติก หนังสือข้อความการวิเคราะห์ข้อมูลอย่างละเอียดของ Agresti, Scott Menard, Hosmer และ Lemeshow และหนังสือ RMS ของ Frank Harrell เป็นสิ่งที่ฉันได้เห็นแนะนำในฟอรัมนี้โดยผู้มีส่วนร่วมต่างๆ
Andy W

ขอบคุณสำหรับคำตอบ. ฉันเดาว่าไม่มีคำตอบง่ายๆสำหรับคำถามของฉัน ฉันจะดูคำแนะนำของคุณ ไชโย
ialm

23

คำถามไม่ได้มีแรงจูงใจเพียงพอ จะต้องมีเหตุผลในการเรียกใช้การวิเคราะห์โมเดลเช่น

  • ศักยภาพในการเปลี่ยนรูปแบบเพื่อให้ดีขึ้น
  • ไม่ทราบว่าจะใช้การทดสอบแบบใด (เช่นการทดสอบที่ไม่เป็นเชิงเส้นหรือการโต้ตอบ)
  • P

ยกเว้นการตรวจสอบสิ่งต่าง ๆ ที่เป็นมุมฉากกับข้อกำหนดการถดถอยเชิงพีชคณิต (เช่นการตรวจสอบการกระจายตัวของเศษซากในแบบจำลองเชิงเส้นปกติ) การวินิจฉัยแบบจำลองสามารถสร้างปัญหาได้มากเท่าที่พวกเขาแก้ในความคิดของฉัน นี่เป็นเรื่องจริงโดยเฉพาะอย่างยิ่งของตัวแบบไบนารีโลจิสติกเนื่องจากมันไม่มีข้อสันนิษฐานการกระจาย

ดังนั้นจึงเป็นการดีกว่าที่จะใช้เวลาในการระบุตัวแบบโดยเฉพาะอย่างยิ่งเมื่อไม่คาดเดาความเป็นเส้นตรงสำหรับตัวแปรที่คิดว่ามีความแข็งแรงซึ่งไม่มีหลักฐานมาก่อนแสดงถึงความเป็นเชิงเส้น ในบางโอกาสคุณสามารถระบุแบบจำลองที่จะต้องพอดีตัวอย่างเช่นถ้าจำนวนตัวทำนายมีขนาดเล็กหรือคุณอนุญาตให้ตัวทำนายทั้งหมดเป็นแบบไม่เชิงเส้นและ (ไม่ถูกต้อง) ถือว่าไม่มีการโต้ตอบ

ใครก็ตามที่รู้สึกว่าสามารถใช้การวิเคราะห์โมเดลเพื่อเปลี่ยนโมเดลควรรันกระบวนการนั้นภายในลูปสแตรปเพื่อประเมินความไม่แน่นอนของโมเดลที่เกิดขึ้นอย่างถูกต้อง


4
ฉันยอมรับว่าการวิเคราะห์แบบจำลองควรมาจากจุดประสงค์ของการสร้างแบบจำลอง อย่างไรก็ตามฉันได้รับความประทับใจจากย่อหน้าเปิดของคุณที่คุณคิดว่าเราไม่ควรตรวจสอบโมเดลที่เหมาะสมกับข้อมูล ฉันค่อนข้างแน่ใจว่านี่ไม่ใช่สิ่งที่คุณมีอยู่ในใจ นอกจากนี้รูปแบบโลจิสติกไบนารีมากที่สุดอย่างแน่นอนไม่มีสมมติฐานกระจาย! (ชัดเจนที่สุดคือว่ามีเพียงสองค่าสำหรับการตอบสนอง)
ความน่าจะเป็นทาง

3
นอกเหนือจากสมมติว่ามีค่าที่เป็นไปได้เฉพาะ 2 ค่าสำหรับ Y โมเดลไบนารีโลจิสติกส์ไม่มีระยะทาง สมมติฐาน โดยส่วนตัวฉันไม่ได้ใช้พล็อตการวินิจฉัยที่มีการถดถอยแบบลอจิสติกบ่อยมากเลือกใช้รูปแบบที่ยืดหยุ่นพอที่จะพอดีกับข้อมูลไม่ว่าขนาดตัวอย่างจะให้ความหรูหราในการตรวจสอบหรือไม่ ใน OLS พล็อตการวินิจฉัยหลักที่ฉันใช้คือพล็อต qq สำหรับความเป็นมาตรฐานของส่วนที่เหลือ
Frank Harrell

จากมุมมองโมเดลเชิงเส้นทั่วไปแบบจำลองลอจิสติกเกิดขึ้นจากการแจกแจงทวินาม (การแจกแจงเบอร์นูลลี) แต่ถึงอย่างนั้นมันก็ยังเป็นการตีความสิ่งที่เหลืออยู่
New_to_this

การพูดถึงการแจกแจงเมื่อตัวแปรสุ่มสามารถรับได้เพียงสองค่า (กล่าวคือการแจกแจงเบอร์นูลลี) ไม่มีประโยชน์เพราะไม่มีวิธีใดที่สมมติฐานการแจกแจงอาจผิดไปได้เว้นแต่การสังเกตจะไม่ขึ้นกับใคร
Frank Harrell

1
@ FrankHarrell ฉันรู้ว่าคุณรู้ว่าสิ่งที่คุณกำลังพูดถึงที่นี่ แต่ฉันไม่คิดว่ามันจะมีความชัดเจนต่อชุมชนทั้งหมดจากโพสต์ / ความคิดเห็นของคุณว่าข้อมูลจำเพาะผิดของตัวทำนายเชิงเส้น (หรือแม้แต่ตัวทำนายเพิ่มเติมใน กรอบงาน GAM) อาจทำให้เกิดปัญหาในการถดถอยโลจิสติก หลายคนอาจไม่พอใจที่สิ่งนี้สร้างข้อมูลที่ไม่เป็นอิสระดังที่คุณพูด เมื่อนักเรียนพบการถดถอยเชิงเส้นครั้งแรกพวกเขาเรียนรู้ที่จะตรวจสอบสิ่งตกค้างโดยไม่แยกแยะระหว่างการสะกดผิดของตัวทำนายเชิงเส้นกับการสะกดผิดพลาดของการแจกแจงผิดพลาด
Jacob Socolar

5

เธรดนี้ค่อนข้างเก่า แต่ฉันคิดว่ามันจะมีประโยชน์ในการเพิ่มสิ่งนั้นเนื่องจากเมื่อเร็ว ๆ นี้คุณสามารถใช้แพ็กเกจ DHARMa Rเพื่อแปลงค่าส่วนที่เหลือของ GL (M) M ให้เป็นพื้นที่มาตรฐาน เมื่อทำสิ่งนี้เสร็จแล้วคุณสามารถประเมิน / ทดสอบปัญหาที่เหลือเช่นการเบี่ยงเบนจากการแจกแจงการพึ่งพาส่วนที่เหลือของเครื่องทำนาย heteroskedasticity หรือ autocorrelation ตามปกติ ดูบทความแพคเกจสำหรับตัวอย่างทำงานผ่านยังคำถามอื่น ๆ ใน CV ของที่นี่และที่นี่

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.