ทดสอบความแตกต่างใน AIC ของรุ่นที่ไม่ซ้อนกันสองแบบ

จุดรวมของ AIC หรือเกณฑ์ข้อมูลอื่น ๆ นั้นดีกว่าน้อยกว่า ดังนั้นถ้าฉันมีสองรุ่น M1: y = a0 + XA + e และ M2: y = b0 + ZB + u และถ้า AIC ของรุ่นแรก (A1) น้อยกว่ารุ่นที่สอง (A2) ดังนั้น M1 จะมี แบบที่ดีขึ้นจากมุมมองของทฤษฎีข้อมูล แต่มีเกณฑ์มาตรฐานลัดสำหรับความแตกต่างของ A1-A2 หรือไม่? จริง ๆ แล้วมีจำนวนน้อยเท่าใด อีกนัยหนึ่งมีการทดสอบสำหรับ (A1-A2) ที่นอกเหนือจากการมองด้วยตาหรือไม่

แก้ไข: Peter / Dmitrij ... ขอบคุณที่ตอบกลับ ที่จริงนี่เป็นกรณีที่ความเชี่ยวชาญที่สำคัญของฉันขัดแย้งกับความเชี่ยวชาญทางสถิติของฉัน โดยพื้นฐานแล้วปัญหาไม่ได้เลือกระหว่างสองรุ่น แต่ในการตรวจสอบว่าตัวแปรสองตัวที่ฉันรู้ว่าจะเทียบเท่าเพิ่มข้อมูลจำนวนเท่ากันหรือไม่ (อันที่จริงแล้วตัวแปรหนึ่งตัวในโมเดลแรกและเวกเตอร์ในวินาทีลองคิดถึงกรณีของ กลุ่มของตัวแปรเทียบกับดัชนีของพวกเขา) ตามที่ Dmitrij ชี้ให้เห็นแล้วทางออกที่ดีที่สุดคือการทดสอบ Cox แต่มีวิธีการทดสอบความแตกต่างระหว่างเนื้อหาข้อมูลของทั้งสองรุ่นจริงหรือไม่?

regression aic

— user3671
แหล่งที่มา

คุณอาจสนใจตรวจสอบ Wagonmakers และคณะ (2004) การประเมินโมเดลล้อเลียนโดยใช้พารามิเตอร์ bootstrap วารสารจิตวิทยาคณิตศาสตร์, 48 , 28-50 ( pdf )

— gung - Reinstate Monica

คำตอบ:

คำถามอยากรู้อยากเห็นคือคุณไม่พอใจคำตอบของฉันที่นี่หรือไม่? ถ้าไม่...

การตรวจสอบเพิ่มเติมของคำถามที่ยุ่งยากนี้แสดงให้เห็นว่ามีกฎเกณฑ์ทั่วไปที่ใช้กันทั่วไปซึ่งมีสองแบบที่ไม่สามารถแยกแยะได้โดยเกณฑ์หากความแตกต่าง <2เช่นเดียวกับที่คุณจะอ่านในบทความของวิกิพีเดียใน (โปรดทราบว่าลิงก์นั้นสามารถคลิกได้!) สำหรับผู้ที่ไม่ได้คลิกลิงก์: $AIC$ $|AIC_1 - AIC_2| < 2$ $AIC$

$AIC$ ประมาณการสนับสนุนที่เกี่ยวข้องสำหรับรูปแบบ ในการใช้สิ่งนี้ในทางปฏิบัติเราเริ่มต้นด้วยชุดของแบบจำลองผู้สมัครแล้วหาค่าสอดคล้องกันของแบบจำลอง ถัดไประบุค่าขั้นต่ำ การเลือกแบบจำลองนั้นสามารถทำได้ดังนี้ $AIC$ $AIC$

ตามกฎคร่าวๆของรุ่นที่มีภายในขั้นต่ำได้รับการสนับสนุนอย่างมากและควรได้รับการพิจารณาในการอนุมาน รุ่นของพวกเขามีภายในเวลาประมาณขั้นต่ำได้รับการสนับสนุนมากน้อยในขณะที่รุ่นที่มีของพวกเขาข้างต้นต่ำสุดที่มีทั้งหลักไม่สนับสนุนและอาจถูกมองข้ามจากการพิจารณาต่อไปหรืออย่างน้อยก็ล้มเหลวที่จะอธิบายบางรูปแบบโครงสร้างที่สำคัญใน ข้อมูล. $AIC$ $1–2$ $AIC$ $4–7$ $AIC > 10$

แนวทางทั่วไปมีดังนี้ ...

แสดงว่าค่าของแบบจำลองผู้สมัครโดย ,AICR ให้แสดงค่าต่ำสุดของค่าเหล่านั้น จากนั้นสามารถตีความได้ว่าเป็นความน่าจะเป็นแบบสัมพัทธ์ที่โมเดล th จะลดการสูญเสียข้อมูล (โดยประมาณ) $AIC$ $AIC1$ $AIC2, AIC3, \ldots, AICR$ $AICmin$ $e^{(AICmin−AICi)/2}$ $i$

ตัวอย่างเช่นสมมติว่ามีอยู่สามแบบในชุดผู้สมัครที่มีค่า ,และ110ดังนั้นโมเดลที่สองคือเท่าที่เป็นไปได้สำหรับโมเดลแรกเพื่อลดการสูญเสียข้อมูลและโมเดลที่สามคือครั้ง น่าจะเป็นแบบแรกเพื่อลดการสูญหายของข้อมูล ในกรณีนี้เราอาจละเว้นรุ่นที่สามจากการพิจารณาเพิ่มเติมและรับน้ำหนักเฉลี่ยของสองโมเดลแรกด้วยน้ำหนักและตามลำดับ การอนุมานทางสถิตินั้นจะขึ้นอยู่กับโมเดลหลายน้ำหนัก $AIC$ $100$ $102$ $110$ $e^{(100−102)/2} = 0.368$ $e^{(100−110)/2} = 0.007$ $1$ $0.368$

คำอธิบายที่ดีและคำแนะนำที่เป็นประโยชน์ในความคิดของฉัน อย่ากลัวที่จะอ่านสิ่งที่สามารถคลิกได้!

ในนอกจากนี้ทราบอีกครั้งน้อยกว่าสำหรับชุดข้อมูลขนาดใหญ่ นอกจากคุณอาจพบว่ามีประโยชน์ในการใช้หลักเกณฑ์การแก้ไขเวอร์ชัน(คุณอาจใช้รหัสนี้หรือใช้สูตรโดยที่คือจำนวนพารามิเตอร์โดยประมาณ) แม้ว่ากฎของหัวแม่มือจะเหมือนกัน $AIC$ $BIC$ $AIC$ $AICc$ R $AICc = AIC + \frac{2p(p+1)}{n-p-1}$ $p$

— Dmitrij Celov
แหล่งที่มา

สวัสดี Dmitrij ... ฉันรู้ว่าคุณเห็นจุดนี้ ที่จริงแล้วการตอบคำถามเดิมของคุณทำให้รถไฟขบวนนี้กลิ้งไป ฉันคิดว่านี่น่าจะเป็นคำถามแบบสแตนด์อะโลนที่น่าสนใจ ปัญหาที่ฉันต่อสู้คือการทดสอบทางสถิติ (รวมถึงการทดสอบของ Cox) นั้นบ่อยและคุณสามารถทดสอบความแตกต่างระหว่างสองรุ่นในระดับนัยสำคัญที่กำหนดไว้ล่วงหน้า แต่ AIC / BIC นั้นขึ้นอยู่กับความเป็นไปได้และสำหรับผมแล้วตัวเลขนั้นไม่สามารถเปรียบเทียบได้โดยตรงยกเว้นอย่างที่คุณชี้ให้เห็นโดยกฎง่ายๆ เนื่องจากการวัด IC ขึ้นกับสเกลค่าสัมบูรณ์ (2) อาจเป็นปัญหาได้หรือไม่?

— 3671

@user, ค่าสัมบูรณ์ของไม่เป็นปัญหา คุณอาจจะไปสำหรับข้อเสนอแนะความน่าจะเป็นญาติดังนั้นคุณจะอาจจะมีความมั่นใจมากยิ่งขึ้นกับบางกว่ามูลค่าที่ดีของ2โดยสเกลเอฟเฟ็กต์คุณหมายถึงเมื่อเกณฑ์มีความเอนเอียงน้อยกว่าในกลุ่มตัวอย่างขนาดเล็กและสอดคล้องกันในปริมาณมาก? ลองสอดคล้องกันแทนและสำหรับตัวอย่างขนาดเล็กก็จะเป็นทางเลือกที่ดีเช่นกัน กฎของหัวแม่มือยังใช้งานได้อยู่

2

$2$

2

$2$

B I C

$BIC$

A I C c

$AICc$

— Dmitrij Celov

@DmitrijCelov (+1 บางเวลาที่ผ่านมา) คำตอบที่ดี - ขอบคุณสำหรับการวางข้อความเนื่องจาก Wikipedia ไม่มีคะแนนที่ครอบคลุมในสองย่อหน้าแรก ย่อหน้าที่ถูกลบออกอ้างว่าเป็น p 446:

Burnham, K. P., and Anderson, D.R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, 2nd ed. Springer-Verlag. ISBN 0-387-95364-7.

และหน้า Wiki ก่อนการแก้ไขอยู่ที่นี่

— James Stanley

ฉันควรทราบว่าฉันยังไม่ได้อ่านหนังสือของ Burnham และการอ้างอิง Wiki เก่าแนะนำข้อความตามที่ยกมาเป็นข้อความที่ถอดความ FYI หน้า Wiki ได้รับการแก้ไขเมื่อ 16:52, 15 เมษายน 2011

— James Stanley

คุณอาจช่วยตอบคำถามติดตามนี้ได้ไหม stats.stackexchange.com/questions/349883/…

— Tripartio

ฉันคิดว่านี่อาจเป็นความพยายามที่จะได้สิ่งที่คุณไม่ต้องการ

การเลือกรูปแบบไม่ใช่วิทยาศาสตร์ ยกเว้นในสถานการณ์ที่หายากไม่มีโมเดลที่สมบูรณ์แบบหรือแม้แต่โมเดล "ของจริง" มีน้อยมากแม้แต่รุ่น "ดีที่สุด" การสนทนาของ AIC กับ AICc เทียบกับ BIC กับ SBC กับอะไรก็ตามที่ทำให้ฉันไม่พูดเลย ฉันคิดว่าความคิดคือการได้รับแบบจำลองที่ดีบางอย่าง จากนั้นคุณเลือกระหว่างพวกเขาโดยอาศัยความเชี่ยวชาญที่สำคัญและความคิดทางสถิติ หากคุณไม่มีความเชี่ยวชาญที่มีนัยสำคัญ (แทบจะไม่เป็นกรณีนั้นน้อยกว่าที่คนส่วนใหญ่คิด) ให้เลือก AIC ที่ต่ำที่สุด (หรือ AICc หรืออะไรก็ตาม) แต่คุณมักจะมีความเชี่ยวชาญ - ทำไมคุณถึงตรวจสอบตัวแปรเฉพาะเหล่านี้

— Peter Flom - Reinstate Monica
แหล่งที่มา

+1 สำหรับเน้นความต้องการความเชี่ยวชาญด้านสถิติและเนื้อหาสาระ

— chl