แนวทาง AIC ในการเลือกแบบจำลอง

32

ฉันมักจะใช้ BIC เป็นความเข้าใจของฉันก็คือว่ามันให้ความสำคัญกับความแตกต่างอย่างยิ่งกว่า AIC อย่างไรก็ตามฉันตัดสินใจที่จะใช้วิธีการที่ครอบคลุมมากขึ้นในตอนนี้และต้องการใช้ AIC ด้วยเช่นกัน ฉันรู้ว่า Raftery (1995) นำเสนอแนวทางที่ดีสำหรับความแตกต่างของ BIC: 0-2 อ่อนแอ 2-4 เป็นหลักฐานเชิงบวกสำหรับแบบจำลองที่ดีกว่า ฯลฯ

ฉันดูในตำราเรียนและพวกเขาดูแปลก ๆ ใน AIC (ดูเหมือนความแตกต่างที่มากขึ้นนั้นอ่อนแอและความแตกต่างเล็กน้อยใน AIC หมายถึงแบบจำลองที่ดีกว่า) สิ่งนี้ขัดกับสิ่งที่ฉันรู้ว่าฉันได้รับการสอนแล้ว ความเข้าใจของฉันคือคุณต้องการ AIC ที่ต่ำกว่า

ไม่มีใครทราบว่าแนวทางของ Raftery ขยายไปถึง AIC ด้วยหรือฉันอาจอ้างอิงแนวทางบางประการสำหรับ "ความแข็งแกร่งของหลักฐาน" สำหรับรุ่นหนึ่งเทียบกับอีกรุ่นหนึ่งหรือไม่?

และใช่การตัดไม่ได้ยอดเยี่ยม (ฉันคิดว่ามันน่ารำคาญ) แต่มันมีประโยชน์เมื่อเปรียบเทียบหลักฐานประเภทต่าง ๆ

— ทอมคาร์เพนเตอร์
แหล่งที่มา

1

นี่คือ(pdf)กระดาษ Raftery ที่คุณอ้างถึงใช่ไหม

— gung - Reinstate Monica

4

ผู้อ่านที่นี่อาจสนใจอ่านเธรด CV ที่ยอดเยี่ยมต่อไปนี้: มีเหตุผลใดที่จะชอบ AIC หรือ BIC มากกว่าอีก?

— gung - Reinstate Monica

1

คุณอ้างถึงตำราเล่มใดเมื่อคุณพูดว่า " ฉันดูในตำราเรียนและพวกเขาดูแปลก ๆ ใน AIC (ดูเหมือนว่าความแตกต่างที่ยิ่งใหญ่จะอ่อนแอและความแตกต่างเล็กน้อยใน AIC หมายถึงแบบจำลองหนึ่งที่ดีกว่า) " --- พูด?

— Glen_b -Reinstate Monica

1

Para ที่สองของคุณไม่ชัดเจน คุณอาจหมายถึงสิ่งนี้: ในขณะที่ความแตกต่างที่มีขนาดใหญ่ชี้ให้เห็นว่าแบบจำลองที่มีค่าน้อยกว่านั้นเป็นสิ่งที่ดีกว่า นอกจากนี้นักสถิติยังไม่เห็นด้วยกับความแตกต่างของ 'เล็ก' หรือ 'ใหญ่' - นักร้องและ Willet (2003, p.122)

— จำศีล

1

สำหรับย่อหน้าที่สามของคุณหากคุณต้องการนำหมวดหมู่ของความแข็งแกร่งทางด้านหลักฐานมาใช้โดย Jeffreys (1961, p. 432) ฉันสามารถให้การอ้างอิงแบบเต็มแก่คุณได้

— ไฮเบอร์เนต

23

AIC และ BIC ตีความเหมือนกันในแง่ของการเปรียบเทียบแบบจำลอง นั่นคือความแตกต่างที่มากขึ้นใน AIC หรือ BIC บ่งชี้ถึงหลักฐานที่ชัดเจนกว่าสำหรับแบบจำลองหนึ่งแบบเหนืออีกแบบหนึ่ง (ยิ่งต่ำยิ่งดี) เป็นเพียงแค่ AIC เท่านั้นที่ไม่ได้ลงโทษจำนวนพารามิเตอร์อย่างมากเท่ากับ BIC นอกจากนี้ยังมีการแก้ไข AIC (AICc) ที่ใช้สำหรับตัวอย่างขนาดเล็ก ข้อมูลเพิ่มเติมเกี่ยวกับการเปรียบเทียบ AIC / BIC สามารถพบได้ที่นี่

— dmartin
แหล่งที่มา

5

+1 เพียงเพื่อเพิ่ม / ชี้แจง: AIC (และ AICc) มีการใช้งาน KL-divergence ดังนั้นเนื่องจาก AIC สะท้อนให้เห็นถึงข้อมูล "เพิ่มเติม" ที่มีขนาดเล็กมันจะดีกว่า กล่าวอีกนัยหนึ่งเมื่อขนาดตัวอย่างของเรา

แบบจำลองที่มีคะแนน AIC ขั้นต่ำจะมีความแตกต่าง Kullback-Leibler ที่เล็กที่สุดและจะเป็นแบบจำลองที่ใกล้เคียงที่สุดกับแบบจำลอง "ของจริง"

N \to \infty

$N \rightarrow \infty$

— usεr11852พูดว่า Reinstate Monic

28

คุณกำลังพูดถึงสองสิ่งที่แตกต่างกันและคุณกำลังผสมกัน ในกรณีแรกที่คุณมีสองรุ่น (1 และ 2) และคุณได้รับ AIC ของพวกเขาเช่นและ 2หากคุณต้องการเปรียบเทียบทั้งสองรุ่นตาม AIC ของพวกเขาจากนั้นโมเดลที่มี AIC ที่ต่ำกว่าจะเป็นรุ่นที่ต้องการเช่นถ้าจากนั้นคุณเลือกรุ่นที่ 1 และในทางกลับกัน ในกรณีที่ 2 คุณมีชุดของรุ่นผู้สมัครเช่นรุ่น $AIC_1$ $AIC_2$ $AIC_1< AIC_2$
$(1, 2, ..., n)$ และแต่ละรุ่นคุณคำนวณความแตกต่าง AIC เป็นที่เป็นศูนย์กลางสำหรับรุ่น TH และคือต่ำสุดของ AIC ในหมู่ ทุกรุ่น ตอนนี้โมเดลที่มีไม่ได้รับการสนับสนุนและสามารถ ommited จากการพิจารณาเพิ่มเติมตามที่อธิบายไว้ในการเลือกแบบจำลองและการอนุมานแบบหลายรุ่น: แนวทางปฏิบัติเชิงทฤษฎีข้อมูลเชิงปฏิบัติ $\Delta_i= AIC_i- AIC_{min}$ $AIC_i$ $i$ $AIC_{min}$ $\Delta_i >10$ โดย Kenneth P. Burnham เดวิดอาร์แอนเดอร์สันหน้า 71 ดังนั้นยิ่งใหญ่กว่าคือผู้อ่อนแอจะเป็นต้นแบบของคุณ นี่คือรูปแบบที่ดีที่สุดมี $\Delta_i$ $\Delta_i\equiv\Delta_{min}\equiv0.$

— สถิติ
แหล่งที่มา

1

Aha! นี่เป็นการลบล้าง "ใหญ่กว่า" ทั้งหมด ขอบคุณ!

— Tom Carpenter

7

โดยทั่วไปฉันไม่เคยใช้ AIC หรือ BIC อย่างเป็นกลางเพื่ออธิบายความเหมาะสมที่เพียงพอสำหรับแบบจำลอง ฉันไม่ใช้ของวงจรรวมเหล่านี้เพื่อเปรียบเทียบพอดีญาติของทั้งสองรูปแบบการพยากรณ์ เท่าที่เกี่ยวข้องกับ AIC ของ "2" หรือ "4" มันเป็นบริบทโดยสมบูรณ์ หากคุณต้องการเข้าใจว่าโมเดล "ดี" เหมาะสมอย่างไรคุณสามารถ (ควร) ใช้แบบจำลองได้ตลอดเวลา ความเข้าใจของคุณเกี่ยวกับ AIC นั้นถูกต้อง AIC ได้รับการสนับสนุนในเชิงบวกจากพารามิเตอร์และผลงานด้านลบจากความเป็นไปได้ สิ่งที่คุณพยายามทำคือเพิ่มโอกาสสูงสุดโดยไม่ต้องโหลดแบบจำลองของคุณด้วยพารามิเตอร์จำนวนมาก ดังนั้นความเห็นที่ฟองสบู่ของฉันก็คือการตัด AIC ออกไปจากบริบท

— Adamo
แหล่งที่มา

เกิดอะไรขึ้นถ้าแบบจำลองของคุณไม่อนุญาตการจำลองใด ๆ

— สถิติ

6

ตุตันคาเมน-จุ๊! เป็นไปได้ยังไง? หนึ่งสามารถบูตโลก

— AdamO

พระเจ้าขอให้โชคดีกับสิ่งนั้น ... จำลองโลกทั้งใบฮ่า ๆ ๆ

— Stat

2

@ สถานะฉันจริงจังมากเมื่อพูดว่าฉันไม่สามารถเข้าใจสถานการณ์ที่เป็นไปไม่ได้ที่จะจำลองข้อมูลจากแบบจำลอง อย่างน้อยที่สุดการบูตสแตรปจากชุดข้อมูลการฝึกอบรมถือว่าเป็นวิธีการจำลองที่ถูกต้อง

— AdamO

เมื่อการบูตสแตรปเป็นการตรวจสอบไขว้อย่างหนักหรือแม้แต่การทำแม่แรงแบบง่ายๆก็ควรจะทำงานได้ นอกจากนี้การหาค่าเฉลี่ยของโมเดลยังช่วยให้สามารถปรับข้อมูลจากโมเดลที่มี AIC ที่คล้ายกัน

— N Brouwer

2

นี่คือคำถามที่เกี่ยวข้องเมื่อ - เป็น - มัน - เหมาะสม - เพื่อ - เลือก - แบบ - โดย - ย่อ - a - aic? . มันช่วยให้คุณมีความคิดทั่วไปเกี่ยวกับสิ่งที่ผู้คนที่ไม่รู้จักในโลกการศึกษาพิจารณาที่เหมาะสมในการเขียนและการอ้างอิงที่สำคัญ

โดยทั่วไปแล้วมันเป็นความแตกต่างระหว่างความน่าจะเป็นหรือ AIC ที่สำคัญไม่ใช่ค่าสัมบูรณ์ คุณพลาดคำสำคัญ "ความแตกต่าง" ใน "BIC: 0-2 อ่อน" ในคำถาม - ตรวจสอบตารางที่ 6 ของ Raftery - และมันแปลกที่ไม่มีใครต้องการแก้ไข

ฉันถูกสอนให้มองหา MAICE (ค่า AIC ขั้นต่ำ - อย่างที่ Akaike เรียกว่า) แล้วอะไรล่ะ นี่คือสิ่งที่บุคคลผู้มีชื่อเสียงคนหนึ่งเขียนถึงสุภาพสตรีที่ไม่รู้จัก:

Dear Miss -- 
I have read about sixteen pages of your manuscript ... I suffered exactly the same 
treatment at the hands of my teachers who disliked me for my independence and passed 
over me when they wanted assistants ... keep your manuscript for your sons and
daughters, in order that they may derive consolation from it and not give a damn for
what their teachers tell them or think of them. ... There is too much education
altogether.

ครูของฉันไม่เคยได้ยินบทความที่มีชื่อเรื่องเช่น "การทดสอบว่า AIC สองรายการแตกต่างกันอย่างมีนัยสำคัญหรือไม่" และฉันจำไม่ได้ว่าพวกเขาเคยเรียกสถิติ AIC ว่าจะมีการแจกแจงตัวอย่างและคุณสมบัติอื่น ๆ ฉันถูกสอนว่า AIC เป็นเกณฑ์ที่จะย่อเล็กสุดถ้าเป็นไปได้ในรูปแบบอัตโนมัติบางอย่าง

อีกประเด็นที่สำคัญซึ่งฉันคิดว่าได้รับการแสดงที่นี่เมื่อไม่กี่ปีที่ผ่านมาโดย IrishStat (จากความทรงจำดังนั้นขอโทษถ้าฉันผิดที่ฉันล้มเหลวในการหาคำตอบนั้น) คือ AIC, BIC และเกณฑ์อื่น ๆ ภายใต้เงื่อนไข (สมมติฐาน) ที่แตกต่างกันดังนั้นคุณมักจะไม่สามารถใช้สิ่งเหล่านี้แทนกันได้หากวัตถุประสงค์ของคุณคือการพยากรณ์ คุณไม่สามารถเลือกสิ่งที่ไม่เหมาะสม

แหล่งข้อมูลของฉันแสดงให้เห็นว่าฉันใช้การอ้างถึง Burnham and Anderson (2002, หน้า 70) เพื่อเขียน delta (ความแตกต่าง AIC) ภายใน 0-2 ได้รับการสนับสนุนมากมาย เดลต้าภายใน 4-7 สนับสนุนน้อยมากและเดลต้ามากกว่า 10 เป็นหลักไม่สนับสนุน นอกจากนี้ฉันเขียนว่า "ผู้เขียนยังกล่าวถึงเงื่อนไขซึ่งแนวทางเหล่านี้อาจมีประโยชน์" หนังสือเล่มนี้อ้างถึงในคำตอบของ Stat ซึ่งฉันได้รับการโหวตว่าเกี่ยวข้องมากที่สุด

— จำศีล
แหล่งที่มา

0

เกี่ยวกับเกณฑ์ข้อมูลนี่คือสิ่งที่SASพูดว่า:

"โปรดทราบว่าเกณฑ์ข้อมูลเช่น Akaike's (AIC), Schwarz's (SC, BIC) และ QIC สามารถนำมาใช้เพื่อเปรียบเทียบโมเดลที่ไม่มีคู่แข่งที่แข่งขันกันได้ แต่ไม่ได้ทำการทดสอบเปรียบเทียบ ดีกว่าที่อื่น GENMOD, LOGISTIC, GLIMMIX, MIXED และขั้นตอนอื่น ๆ ให้การวัดเกณฑ์ข้อมูล "

มีขั้นตอนการทดสอบแบบเปรียบเทียบสองแบบ: a) การทดสอบ Vuong และ b) การทดสอบ Clarke ที่ไม่ใช้พารามิเตอร์ ดูกระดาษนี้สำหรับรายละเอียด

— ตัวชี้วัด
แหล่งที่มา

ฉันพบสัญกรณ์ทางคณิตศาสตร์ที่ใช้ใน "กระดาษ" ที่อ้างถึง (เช่นการนำเสนอ) ที่ไม่สามารถเข้าใจได้โดยไม่มีความคิดเห็น โดยเฉพาะอย่างยิ่งเส้นประมีสัญลักษณ์อะไร ความหมาย?

— Adam Ryczkowski