Pseudo-ใดที่ใช้ในการรายงานการถดถอยโลจิสติก (Cox & Snell หรือ Nagelkerke)

ฉันมีSPSSเอาต์พุตสำหรับโมเดลการถดถอยโลจิสติก การส่งออกรายงานสองมาตรการสำหรับรูปแบบพอดีและCox & SnellNagelkerke

ดังนั้นตามกฎของหัวแม่มือคุณจะรายงานการวัด$R^²$ใดในรูปแบบที่เหมาะสม?

หรือดัชนีใดที่เหมาะสมเหล่านี้เป็นสิ่งที่มักจะรายงานในวารสาร?

---

พื้นหลังบางส่วน: การถดถอยพยายามทำนายว่ามีหรือไม่มีนก (capercaillie) จากตัวแปรสภาพแวดล้อมบางอย่าง (เช่นความชันความครอบคลุมของพืชพรรณ ... ) น่าเสียดายที่นกไม่ปรากฏบ่อยนัก (35 ครั้งถึง 468 คิดถึง) ดังนั้นการถดถอยจึงทำได้ไม่ดีนัก Cox & Snell คือ. 09, Nagelkerke, .23

หัวเรื่องคือวิทยาศาสตร์สิ่งแวดล้อมหรือนิเวศวิทยา

ปกติฉันจะไม่รายงานเลย Hosmer และ Lemeshow ในหนังสือเรียนApplied Logistic Regression (2nd Ed.) อธิบายว่าทำไม:$R^2$

โดยทั่วไปการวัด [ ] จะขึ้นอยู่กับการเปรียบเทียบค่าต่างๆที่คาดการณ์จากแบบจำลองที่พอดีกับแบบจาก [แบบจำลองพื้นฐาน] ไม่มีข้อมูลหรือรูปแบบการสกัดกั้นเท่านั้นและเป็นผลให้ไม่ประเมินความดีของ -FIT เราคิดว่าการวัดความพอดีที่แท้จริงนั้นขึ้นอยู่กับการเปรียบเทียบการสังเกตกับค่าที่ทำนายไว้จากแบบจำลองที่ติดตั้งไว้อย่างเคร่งครัด$R^2$

[ที่หน้า 164]

เกี่ยวกับ ML รุ่นต่างๆของสถิติ"หลอก " พวกเขาพูดถึงว่ามันไม่ใช่ "แนะนำสำหรับการใช้งานประจำเพราะมันไม่ง่ายที่จะอธิบายอย่างสังหรณ์ใจ" แต่พวกเขารู้สึกจำเป็นต้องอธิบายเพราะ ชุดซอฟต์แวร์รายงาน$R^2$$R^2$

พวกเขาสรุปการอภิปรายนี้โดยการเขียน

... ค่าต่ำในการถดถอยโลจิสติกเป็นบรรทัดฐานและสิ่งนี้นำเสนอปัญหาเมื่อรายงานค่าของพวกเขาไปยังผู้ชมที่คุ้นเคยกับการเห็นค่าการถดถอยเชิงเส้น ... ดังนั้น [การพิจารณาโดยการอ้างอิงถึงตัวอย่างการรันในข้อความ] เราไม่แนะนำให้เผยแพร่ค่าตามปกติพร้อมกับผลลัพธ์จากโมเดลโลจิสติกที่ติดตั้ง อย่างไรก็ตามอาจมีประโยชน์ในการสร้างแบบจำลองเพื่อใช้เป็นสถิติในการประเมินรูปแบบการแข่งขัน$R^2$$R^2$

[ที่หน้า 167]

ประสบการณ์ของฉันกับโมเดลโลจิสติกขนาดใหญ่ (บันทึก 100k ถึง 300k, 100 - 300 ตัวแปรอธิบาย) เป็นสิ่งที่ H & L อธิบาย ฉันสามารถบรรลุค่อนข้างสูงด้วยข้อมูลของฉันสูงถึงประมาณ 0.40 สิ่งเหล่านี้สอดคล้องกับอัตราข้อผิดพลาดการจำแนกระหว่าง 3% ถึง 15% (เชิงลบเท็จและผลบวกปลอมสมดุลตามที่ได้รับการยืนยันโดยใช้ชุดข้อมูล 50% ที่เก็บไว้) ตามที่ H & L บอกไว้ฉันต้องใช้เวลาจำนวนมากในการทำให้ลูกค้าไม่พอใจ (ที่ปรึกษาที่มีความซับซ้อนซึ่งคุ้นเคยกับ ) เกี่ยวกับและทำให้เขาให้ความสำคัญกับสิ่งที่สำคัญในการวิเคราะห์ ราคา). ฉันสามารถแนะนำอย่างอบอุ่นถึงการอธิบายผลลัพธ์ของการวิเคราะห์ของคุณโดยไม่ต้องอ้างอิงถึงซึ่งมีแนวโน้มที่จะทำให้เข้าใจผิดมากกว่าที่เป็นอยู่$R^2$$R^2$$R^2$$R^2$

ดัชนีทั้งสองเป็นตัวชี้วัดความแข็งแกร่งของการเชื่อมโยง (เช่นตัวทำนายใด ๆ ที่เกี่ยวข้องกับผลลัพธ์เช่นเดียวกับการทดสอบ LR) และสามารถใช้เพื่อวัดความสามารถในการทำนายหรือแบบจำลองประสิทธิภาพ ตัวทำนายเดี่ยวอาจมีผลกระทบอย่างมีนัยสำคัญต่อผลลัพธ์ แต่อาจไม่จำเป็นต้องเป็นประโยชน์ในการทำนายการตอบสนองของแต่ละบุคคลดังนั้นจึงจำเป็นต้องประเมินประสิทธิภาพของแบบจำลองโดยรวม (wrt. the null model) Nagelkerkeนั้นมีประโยชน์เพราะมันมีค่าสูงสุด 1.0 ตามที่ Srikant กล่าว นี่เป็นเพียงเวอร์ชันปกติของคำนวณจากอัตราส่วนความน่าจะเป็น$R^2$$R^2$$R^2_{\text{LR}}=1-\exp(-\text{LR}/n)$ซึ่งเชื่อมโยงกับสถิติ Wald สำหรับการเชื่อมโยงโดยรวมตามที่เสนอโดย Cox และ Snell ดัชนีความสามารถในการทำนายอื่น ๆ คือคะแนน Brier, ดัชนี C (ความน่าจะเป็นที่สอดคล้องกันหรือพื้นที่ ROC) หรือซอมเมอร์ 'ดีสองหลังที่ให้การวัดการแบ่งแยกที่ดีกว่า

สมมติฐานเพียงทำในการถดถอยโลจิสติกที่ของเส้นตรงและadditivity (+ อิสระ) แม้ว่าจะมีการเสนอการทดสอบความเหมาะสมระดับโลกหลายประการ (เช่นการทดสอบ Hosmer & Lemeshowแต่ดูความคิดเห็นของฉันที่ @onestop) ได้รับการเสนอพวกเขามักไม่มีอำนาจ สำหรับการประเมินความเหมาะสมกับรูปแบบมันจะดีกว่าที่จะพึ่งพาเกณฑ์ภาพ (ประมาณการแซดอิงพารามิเตอร์เรียบ) ที่ช่วยในการมองเห็นในการออกจากประเทศหรือทั่วโลกระหว่างผลลัพธ์ที่คาดการณ์ไว้และสังเกต (เช่นไม่ใช่เชิงเส้นหรือการโต้ตอบ) และนี่คือรายละเอียดส่วนใหญ่อยู่ใน Harrell ของRMS ข่าวแถลง ในเรื่องที่เกี่ยวข้อง (การทดสอบการสอบเทียบ), Steyerberg ( แบบจำลองการทำนายทางคลินิก$\chi^2$, 2009) ชี้ไปที่แนวทางเดียวกันสำหรับการประเมินข้อตกลงระหว่างผลลัพธ์ที่สังเกตและความน่าจะเป็นที่คาดการณ์:

การสอบเทียบนั้นเกี่ยวข้องกับคุณงามความดีซึ่งเกี่ยวข้องกับความสามารถของแบบจำลองเพื่อให้พอดีกับชุดข้อมูลที่กำหนด โดยทั่วไปแล้วจะไม่มีการทดสอบความเหมาะสมแบบเดียวที่มีพลังดีต่อการขาดแบบจำลองการทำนายทุกชนิด ตัวอย่างของการขาดความพอดีเป็นสิ่งที่ไม่เป็นเส้นตรงการโต้ตอบหรือฟังก์ชันลิงก์ที่ไม่เหมาะสมระหว่างตัวทำนายเชิงเส้นและผลลัพธ์ สามารถทดสอบความดีของความพอดีได้ด้วย สถิติ(หน้า 274)$\chi^2$

นอกจากนี้เขายังแนะนำให้ใช้ความแตกต่างระหว่างผลลัพธ์ที่สังเกตได้อย่างราบรื่นและความน่าจะเป็นที่คาดการณ์ไว้ไม่ว่าจะเป็นภาพหรือด้วยสถิติ E ของ Harrell

รายละเอียดเพิ่มเติมสามารถอ่านได้ในหนังสือของ Harrell กลยุทธ์การสร้างแบบจำลองการถดถอย (หน้า 203-205, 230-244, 247-249) สำหรับการสนทนาล่าสุดดูเพิ่มเติม

Steyerberg, EW, Vickers, AJ, แม่ครัว, NR, Gerds, T, Gonen, M, Obuchowski, N, Pencina, MJ, และ Kattan, MW (2010) การประเมินผลการปฏิบัติงานของการทำนายรุ่นที่กรอบสำหรับมาตรการแบบดั้งเดิมและนวนิยาย ระบาดวิทยา , 21 (1) , 128-138

ฉันคิดว่าปัญหาหลัก ๆ ของการวัดสำหรับการถดถอยโลจิสติกส์คือคุณกำลังเผชิญกับตัวแบบที่มีค่าเสียงที่รู้จัก สิ่งนี้แตกต่างจากการถดถอยเชิงเส้นมาตรฐานซึ่งระดับเสียงมักจะถูกปฏิบัติเหมือนไม่ทราบ สำหรับเราสามารถเขียนฟังก์ชันความหนาแน่นของความน่าจะเป็น GLM ได้ดังนี้:$R^2$

$$f(y_i|\mu_i,\phi)=\exp\left(\frac{y_ib(\mu_i)-c(\mu_i)}{\phi}+d(y_i,\phi)\right)$$

โดยที่เป็นฟังก์ชันที่รู้จักและสำหรับฟังก์ชันลิงก์ผกผัน(.) หากเรากำหนดค่าเบี่ยงเบนมาตรฐาน GLM ตามปกติเป็น$b(.),\ c(.),\ d(.;.)$$\mu_i=g^{-1}(x_i^T\beta)$$g^{-1}(.)$

$$\begin{align} d_i^2 &= 2\phi\left(\log[f(y_i|\mu_i=y_i,\phi)]-\log[f(y_i|\mu_i=\hat{\mu}_i,\phi)]\right) \\ &= 2\phi \left[y_ib(y_i)-y_ib(\hat{\mu}_i)-c(y_i)+c(\hat{\mu}_i)\right] \end{align}$$ พวกเรามี (ผ่านอัตราส่วนความน่าจะเป็นไคสแควร์, )$\chi^2=\frac{1}{\phi}\sum_{i=1}^{N}d_i^2$

$$E\left(\sum_{i=1}^{N}d_i^2\right)=E(\phi\chi^2)\approx (N-p)\phi$$

ที่ไหนเป็นมิติของ\สำหรับการถดถอยโลจิสติกเรามีซึ่งเป็นที่รู้จัก ดังนั้นเราสามารถใช้สิ่งนี้ในการตัดสินใจในระดับที่แน่นอนของสารตกค้างที่ "ยอมรับได้" หรือ "สมเหตุสมผล" ซึ่งมักจะไม่สามารถทำได้สำหรับการถดถอย OLS (ยกเว้นว่าคุณมีข้อมูลก่อนหน้าเกี่ยวกับเสียงรบกวน) คือเราคาดว่าแต่ละอันซ์ที่เหลือจะเกี่ยวกับ1มีจำนวนมากเกินไปและเป็นไปได้ว่าเอฟเฟ็กต์ที่สำคัญหายไปจากรุ่น (under-fitting) มีจำนวนมากเกินไปและเป็นไปได้ว่าจะมีเอฟเฟกต์ซ้ำซ้อนหรือเสแสร้งในโมเดล (สิ่งเหล่านี้อาจหมายถึงการระบุผิดรูปแบบด้วย)$p$$\beta$$\phi=1$$1$$d_i^2\gg1$$d_i^2\ll1$

ตอนนี้สิ่งนี้หมายความว่าปัญหาสำหรับหลอก -คือว่ามันล้มเหลวในการพิจารณาว่าระดับของการเปลี่ยนแปลงแบบทวินามสามารถคาดการณ์ได้ (หากโครงสร้างข้อผิดพลาดทวินามไม่ได้ถูกถาม) ดังนั้นแม้ว่า Nagelkerke จะอยู่ในช่วงตั้งแต่ถึงแต่ก็ยังไม่ได้ปรับขนาดอย่างเหมาะสม นอกจากนี้ฉันไม่สามารถเห็นได้ว่าทำไมสิ่งเหล่านี้เรียกว่าหลอกหากพวกเขาไม่เท่ากับปกติเมื่อคุณใส่ "GLM" ด้วยลิงก์ประจำตัวและข้อผิดพลาดปกติ ตัวอย่างเช่น cox-snell เทียบเท่า R-squared สำหรับข้อผิดพลาดปกติ (ใช้การประมาณค่าความแปรปรวน REML) โดย:$R^2$$0$$1$$R^2$$R^2$

$$R^2_{CS}=1-\exp\left(-\frac{N-p}{N}\cdot \frac{R^2_{OLS}}{1-R^2_{OLS}}\right)$$

ซึ่งดูแปลก ๆ อย่างแน่นอน

ฉันคิดว่าดีกว่า "ความดีของ Fit" มาตรการคือผลรวมของเหลืออันซ์ที่ 2 นี่เป็นเพราะเรามีเป้าหมายที่จะตั้งเป้าหมายไว้$\chi^2$

ฉันพบกระดาษสั้นของ Tue Tjur "ค่าสัมประสิทธิ์การตัดสินใจใน Logistic Regression Model - ข้อเสนอใหม่: ค่าสัมประสิทธิ์การแบ่งแยก" (2009, American Statisticsian )เกี่ยวกับข้อเสนอต่าง ๆ สำหรับค่าสัมประสิทธิ์ของการตัดสินใจในรูปแบบการขนส่งค่อนข้างแจ่มใส เขาทำงานได้ดีในการเน้นข้อดีและข้อเสีย - และแน่นอนมีคำจำกัดความใหม่ แนะนำมาก (แม้ว่าฉันจะไม่ได้เป็นที่ชื่นชอบตัวเอง)

ฉันก็จะพูดว่า 'ไม่ของพวกเขา' ดังนั้นฉันจึง upvoted คำตอบของ whuber

Hosmer & Lemeshow ได้เสนอการวัดทางเลือกที่ดีสำหรับการถดถอยโลจิสติกซึ่งบางครั้งก็มีประโยชน์เช่นเดียวกับการวิพากษ์วิจารณ์ R ^ 2 สิ่งนี้ขึ้นอยู่กับการแบ่งข้อมูลออกเป็นกลุ่มที่มีขนาดเท่ากัน 10 กลุ่ม (หรือใกล้เคียงที่สุดเท่าที่จะทำได้) โดยเรียงลำดับความน่าจะเป็นที่คาดการณ์ (หรือเท่ากันคือตัวทำนายเชิงเส้น) จากนั้นเปรียบเทียบจำนวนที่คาดการณ์ไว้ และทำการทดสอบไคสแควร์ 'การทดสอบความดีของพอดี Hosmer-Lemeshow' นี้มีการใช้งานในแพ็คเกจซอฟต์แวร์ทางสถิติส่วนใหญ่

ฉันชอบ Nagelkerke มากพอ ๆ กับรุ่นนี้เมื่อได้แบบที่พอดีทำให้ผู้อ่านรู้สึกได้ว่าแบบของคุณนั้นสมบูรณ์แบบแค่ไหน Cox & Shell ไม่สามารถบรรลุ 1 สำหรับแบบจำลองที่สมบูรณ์แบบดังนั้นการตีความค่า 0.09 จึงยากขึ้นเล็กน้อย ดู URL นี้สำหรับข้อมูลเพิ่มเติมเกี่ยวกับPseudo RSquaredสำหรับคำอธิบายประเภทที่เหมาะสม

แม้จะมีข้อโต้แย้งในการใช้หลอกหลอกบางคนจะด้วยเหตุผลต่าง ๆ ต้องการที่จะใช้พวกเขาอย่างน้อยในบางช่วงเวลา สิ่งที่ฉันได้ทำให้เป็นภายในจากการอ่านของฉัน (และฉันขอโทษที่ฉันไม่สามารถให้การอ้างอิงในขณะนี้) คือ

• ถ้าทั้ง C&S และ Nag ต่ำกว่า. 5, C&S จะเป็นมาตรวัดที่ดีกว่า
  ถ้าพวกเขาทั้งคู่เหนือ. 5, นาค จะ; และ
  ถ้าพวกเขาเดิน 0.5, ถ่อ

นอกจากนี้สูตรที่ผลลัพธ์มักตกอยู่ระหว่างสองสิ่งนี้ที่ Scott Menard กล่าวถึงในการวิเคราะห์การถดถอยโลจิสติกประยุกต์ (Sage) คือ

[-2LL0 - (-2LL1)]/-2LL0.

นี่แสดงว่าเป็น "L" ในแผนภูมิด้านล่าง