Hosmer-Lemeshow กับ AIC สำหรับการถดถอยโลจิสติก


12

หาก Hosmer-Lemeshow บ่งบอกถึงการขาดความพอดี แต่ AIC นั้นต่ำที่สุดในบรรดานางแบบทั้งหมด .... คุณควรจะใช้แบบจำลองนี้หรือไม่?

ถ้าฉันลบตัวแปรสถิติของ Hosmer-Lemeshow นั้นไม่มีนัยสำคัญ (ซึ่งหมายความว่าไม่มีการขาดความพอดีทั้งหมด) แต่ AIC เพิ่มขึ้น

แก้ไข : ฉันคิดว่าโดยทั่วไปถ้า AIC ของโมเดลที่แตกต่างกันอยู่ใกล้กัน (เช่น ) กันแล้วก็เหมือนกัน แต่ AIC นั้นแตกต่างกันมาก นี่ดูเหมือนจะบ่งบอกว่าสิ่งที่มีค่า AIC ต่ำสุดเป็นสิ่งที่ฉันควรใช้ถึงแม้ว่าการทดสอบ Hosmer-Lemeshow จะระบุเป็นอย่างอื่น<2

บางทีการทดสอบ HL ใช้กับตัวอย่างจำนวนมากเท่านั้นหรือ มันมีพลังงานต่ำสำหรับตัวอย่างขนาดเล็ก (ขนาดตัวอย่างของฉันคือ ~ 300) แต่ถ้าฉันได้รับผลลัพธ์ที่สำคัญ ... ซึ่งหมายความว่าแม้จะใช้พลังงานต่ำฉันก็จะถูกปฏิเสธ

มันจะสร้างความแตกต่างถ้าฉันใช้ AICc กับ AIC หรือไม่? คุณจะได้รับ AICc ใน SAS ได้อย่างไร ฉันรู้ว่าอาจมีปัญหากับความซ้ำซ้อน แต่เบื้องต้นฉันตั้งสมมติฐานว่าตัวแปรมีผลต่อผลลัพธ์

มีคำแนะนำอะไรมั้ย?

แก้ไข 2 : ฉันคิดว่าฉันควรใช้โมเดลที่มีตัวแปรน้อยลงหนึ่งตัวและ AIC ที่สูงขึ้นด้วย HL ที่ไม่สำคัญ เหตุผลก็เพราะตัวแปรสองตัวนั้นมีความสัมพันธ์กัน ดังนั้นการกำจัดอย่างใดอย่างหนึ่งทำให้รู้สึก


พิจารณาว่าทุกรุ่นของคุณอาจเป็นขยะ

@mbq: วิธีนี้ช่วยได้อย่างไร
โทมัส

2
แม้ว่าในกลุ่มของโมเดลที่ไม่สำคัญก็มีรุ่นที่มี AIC ที่ดีที่สุด อย่างไรก็ตามโปรดอย่าใช้คำตอบเพื่อขยายคำถามของคุณ

คำตอบ:


12

การทดสอบ Hosmer-Lemeshow นั้นล้าสมัยไปแล้วเนื่องจากมันต้องการการคาดคะเนความน่าจะเป็นที่คาดการณ์โดยพลการและไม่มีอำนาจที่ยอดเยี่ยมในการตรวจสอบการขาดการสอบเทียบ นอกจากนี้ยังไม่ลงโทษอย่างเต็มที่สำหรับการ overfitting มากของโมเดล มีวิธีที่ดีกว่าเช่น Hosmer, DW; Hosmer, T.; le Cessie, S. & Lemeshow, S. การเปรียบเทียบการทดสอบความดีพอดีสำหรับแบบจำลองการถดถอยโลจิสติก สถิติทางการแพทย์ , 1997, 16 , 965-980 มาตรการใหม่ของพวกเขาถูกนำไปใช้ใน Rrmsบรรจุภัณฑ์ ที่สำคัญกว่าการประเมินแบบนี้เพียงแค่ทำการสอบเทียบโมเดลโดยรวม (ข้อตกลงระหว่างการทำนายและการสังเกต) และไม่ได้กล่าวถึงการขาดความเหมาะสมเช่นการเปลี่ยนเครื่องทำนายที่ไม่ถูกต้อง สำหรับเรื่องนั้นไม่ได้ทำ AIC ยกเว้นว่าคุณใช้ AIC เพื่อเปรียบเทียบสองรุ่นที่หนึ่งมีความยืดหยุ่นมากกว่าที่อื่น ๆ ที่ถูกทดสอบ ฉันคิดว่าคุณมีความสนใจในการเลือกปฏิบัติที่คาดการณ์ซึ่งมาตรการทั่วไปเสริมด้วย -index (พื้นที่ ROC) อาจเหมาะสมกว่าR2c


ดังนั้นการใช้การทดสอบอัตราส่วนความน่าจะเป็นจะดีกว่าสำหรับการประเมินความดีของแบบจำลองที่มี AIC ต่ำที่สุดหรือไม่ เพราะการทดสอบนี้แสดงให้เห็นว่าไม่มีความพอดี
โทมัส

การดู AICs มากกว่า 2 รุ่นจะส่งผลให้มีอคติการเลือก / การตั้งค่าบางอย่างมากเกินไป AIC ไม่ได้ประเมินความเหมาะสมอย่างชัดเจนยกเว้นในบริบทที่ฉันให้ไว้ข้างต้น วิธีที่ดีที่สุดในการประเมินความพอดีคือการแสดงการสอบเทียบที่ดีโดยใช้พล็อตการสอบเทียบแบบไม่มีพารามิเตอร์อย่างต่อเนื่องที่ราบรื่นและแสดงหลักฐานเล็กน้อยสำหรับส่วนประกอบที่ซับซ้อนมากขึ้นซึ่งอาจทำให้แบบจำลองทำนายได้ดี
Frank Harrell

สมมติว่าฉันไม่มีสิทธิ์เข้าถึงเครื่องมือเหล่านี้ รุ่น A ที่มีการทดสอบ HL ที่ไม่มีนัยสำคัญยังมีตัวแปรน้อยกว่าหนึ่งรุ่นที่มีการทดสอบ HL ที่สำคัญ ฉันเปรียบเทียบรุ่นทั้งสองนี้เท่านั้น รุ่น A มีค่า AIC ต่ำสุดและรุ่น B มีค่า AIC สูงกว่ามาก
โทมัส

ฉันหมายถึงรุ่น B มี AIC ต่ำสุดและรุ่น A มี AIC สูงกว่ามาก
โทมัส

2
ฉันไม่แน่ใจว่าคุณได้ศึกษาทั้งหมดข้างต้นแล้ว โดยทั่วไปเราเลือกแบบจำลองที่มีการเลือกปฏิบัติที่สามารถคาดการณ์ได้ในเชิงแข่งขันจากนั้นตรวจสอบว่าดัชนีของการเลือกปฏิบัตินั้นไม่ดีเพียงเพราะมีจำนวนมากเกินไปแล้วตรวจสอบความถูกต้องของการสอบเทียบของแบบจำลอง ขั้นตอนสุดท้ายนั้นทำได้ดีที่สุดโดยใช้เส้นโค้งการปรับเทียบแบบไม่มีพารามิเตอร์ที่ราบรื่นความละเอียดสูง ทุกสิ่งเหล่านี้ถูกนำไปใช้ในrmsแพ็คเกจR และหลีกเลี่ยงการเปรียบเทียบ AIC ของหลายรุ่นซึ่งเป็นอีกวิธีในการใช้เพื่อเลือกตัวแปร หากคุณกำลังเปรียบเทียบรุ่นที่ระบุไว้ล่วงหน้าเพียง 2 รุ่นก็ถือว่าโอเค P
Frank Harrell
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.