เป็นไปได้หรือไม่ที่ AIC และ BIC ให้การเลือกรุ่นที่แตกต่างกันโดยสิ้นเชิง?


12

ฉันกำลังแสดงแบบจำลองการถดถอยปัวซองด้วย 1 ตัวแปรการตอบสนองและ 6 ตัวแปร การเลือกแบบจำลองโดยใช้ผลลัพธ์ AIC ในแบบจำลองที่มี covariates ทั้งหมดรวมถึง 6 เงื่อนไขการโต้ตอบ อย่างไรก็ตาม BIC ส่งผลให้แบบจำลองมี covariates เพียง 2 ตัวและไม่มีเงื่อนไขการโต้ตอบ เป็นไปได้หรือไม่ที่ทั้งสองเกณฑ์นั้นดูคล้ายกันมากให้ผลการเลือกแบบจำลองต่างกันโดยสิ้นเชิง?


6
หากเป็นไปไม่ได้ที่จะได้รับคำแนะนำโมเดลที่แตกต่างจากสองเมทริกแสดงว่าไม่มีเมทริกสองตัวเราจะใช้เพียงแค่หนึ่งเสมอ
Gregor Thomas

คำว่า "แตกต่างกันโดยสิ้นเชิง" ยากที่จะตีความเมื่อแบบจำลองเป็นผลมาจากการเลือกจากชุดของพารามิเตอร์ที่ไม่ต่อเนื่อง
BallpointBen

คำตอบ:


21

เป็นไปได้แน่นอน ตามที่อธิบายไว้ที่https://methodology.psu.edu/AIC-vs-BIC "BIC จะลงโทษความซับซ้อนของแบบจำลองอย่างหนักยิ่งขึ้นวิธีเดียวที่พวกเขาควรไม่เห็นด้วยคือเมื่อ AIC เลือกแบบจำลองที่มีขนาดใหญ่กว่า BIC"

หากเป้าหมายของคุณคือการระบุรูปแบบการทำนายที่ดีคุณควรใช้ AIC หากเป้าหมายของคุณคือการระบุรูปแบบการอธิบายที่ดีคุณควรใช้ BIC Rob Hyndman สรุปคำแนะนำนี้ไว้ที่
https://robjhyndman.com/hyndsight/to-explain-or-predict/ :

"AIC นั้นเหมาะสมกว่าการเลือกแบบจำลองเพื่อการทำนายเนื่องจากมันเป็นแบบ asymptotically เทียบเท่ากับการตรวจสอบความถูกต้องแบบครอส - one-out ในการถดถอยหรือการตรวจสอบความถูกต้องแบบขั้นตอนเดียวในอีกซีกหนึ่ง BIC นั้นเหมาะสมกว่าการเลือกแบบจำลองเพื่อการอธิบายเนื่องจากมันสอดคล้องกัน "

คำแนะนำมาจากรายงานของ Galit Shmueli“ เพื่ออธิบายหรือทำนาย?”, วิทยาศาสตร์สถิติ, 25 (3), 289-310 ( https://projecteuclid.org/euclid.ss/1294167961 )

ภาคผนวก:

มีการสร้างแบบจำลองประเภทที่สาม - การสร้างแบบจำลองเชิงพรรณนา - แต่ฉันไม่รู้การอ้างอิงใด ๆ ที่ AIC หรือ BIC เหมาะสมที่สุดสำหรับการระบุรูปแบบการพรรณนาที่ดีที่สุด ฉันหวังว่าคนอื่น ๆ ที่นี่สามารถพูดสอดแทรกด้วยข้อมูลเชิงลึกของพวกเขา


6
วิธีเดียวที่พวกเขาไม่เห็นด้วยคือเมื่อ AIC เลือกแบบจำลองที่มีขนาดใหญ่กว่า BIC ” เทคนิค BIC สามารถเลือกรูปแบบขนาดใหญ่ถ้าคือ7 หวังว่าตัวอย่างที่มีขนาด 7 นั้นไม่ได้เป็นปัญหามากนัก : pn 7lnn<2n7
Dougal

จุดดี! ด้วยขนาดตัวอย่าง 7 หรือน้อยกว่าฉันจะจินตนาการว่าการเลือกรุ่นอยู่นอกตาราง 😀
Isabella Ghement

มีการสร้างแบบจำลองประเภทที่สาม - การสร้างแบบจำลองเชิงพรรณนา - แต่ฉันไม่รู้การอ้างอิงใด ๆ ที่ AIC หรือ BIC เหมาะสมที่สุดสำหรับการระบุรูปแบบการพรรณนาที่ดีที่สุด ฉันหวังว่าคนอื่น ๆ ที่นี่สามารถพูดสอดแทรกด้วยข้อมูลเชิงลึกของพวกเขา มันเป็นคำตอบหรือคำถาม?
Subhash C. Davar

@ subhashc.davar: ยังไม่มีคำตอบ - ฉันถูกล่อลวงให้ส่งอีเมล Galit Shmueli และถามเธอเกี่ยวกับความคิดของเธอ
Isabella Ghement

1
หากเราเข้าใจความหมายของคำว่า "เชิงพรรณนา" และใช้มันอย่างจริงจังฉันไม่แน่ใจว่ามันสมเหตุสมผลหรือไม่ที่จะพูดถึงการระบุรูปแบบการพรรณนาที่ดีที่สุด
gung - Reinstate Monica

11

คำตอบสั้น ๆ : ใช่มันเป็นไปได้มาก ทั้งสองใช้บทลงโทษที่แตกต่างกันตามจำนวนของพารามิเตอร์โดยประมาณ (2k สำหรับ AIC กับ ln (n) xk สำหรับ BIC โดยที่ k คือจำนวนของพารามิเตอร์โดยประมาณและ n คือขนาดตัวอย่าง) ดังนั้นหากโอกาสที่จะได้รับจากการเพิ่มพารามิเตอร์มีขนาดเล็ก BIC อาจเลือกรูปแบบที่แตกต่างกันเพื่อ AIC ผลกระทบนี้ขึ้นอยู่กับขนาดตัวอย่างอย่างไรก็ตาม


2
จะดีที่จะทำให้ชัดเจนว่า n เป็นขนาดตัวอย่างในสมการข้างต้น
fabiob
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.