มีเหตุผลใดที่จะชอบ AIC หรือ BIC มากกว่าอีก?

AIC และ BIC เป็นทั้งสองวิธีในการประเมินแบบจำลองที่ถูกลงโทษสำหรับจำนวนพารามิเตอร์โดยประมาณ ดังที่ฉันเข้าใจ BIC จะลงโทษโมเดลสำหรับพารามิเตอร์ฟรีมากกว่า AIC นอกเหนือจากการตั้งค่าตามความเข้มงวดของเกณฑ์แล้วมีเหตุผลอื่นอีกไหมที่จะชอบ AIC มากกว่า BIC หรือในทางกลับกัน?

คำถามของคุณหมายความว่า AIC และ BIC พยายามตอบคำถามเดียวกันซึ่งไม่เป็นความจริง AIC พยายามเลือกแบบจำลองที่อธิบายความเป็นจริงในมิติที่สูงที่ไม่รู้จักอย่างเพียงพอที่สุด ซึ่งหมายความว่าความเป็นจริงไม่เคยอยู่ในชุดของแบบจำลองผู้สมัครที่กำลังพิจารณา ในทางตรงกันข้าม BIC พยายามหาโมเดล TRUE ท่ามกลางกลุ่มผู้สมัคร ฉันคิดว่ามันค่อนข้างแปลกที่สมมติฐานว่าความเป็นจริงนั้นถูกยกตัวอย่างในแบบจำลองที่นักวิจัยสร้างขึ้นไปพร้อมกัน นี่เป็นปัญหาที่แท้จริงสำหรับ BIC

อย่างไรก็ตามมีนักวิจัยจำนวนมากที่กล่าวว่า BIC นั้นดีกว่า AIC โดยใช้แบบจำลองการกู้คืนแบบจำลองเป็นอาร์กิวเมนต์ การจำลองเหล่านี้ประกอบด้วยการสร้างข้อมูลจากแบบจำลอง A และ B และจากนั้นติดตั้งชุดข้อมูลทั้งสองด้วยแบบจำลองทั้งสอง การเกิด overfitting เกิดขึ้นเมื่อรูปแบบที่ไม่ถูกต้องเหมาะสมกับข้อมูลที่ดีกว่าการสร้าง จุดประสงค์ของแบบจำลองเหล่านี้คือการดูว่า AIC และ BIC แก้ไขชุดเหล่านี้ได้ดีเพียงใด โดยทั่วไปแล้วผลลัพธ์จะชี้ให้เห็นว่า AIC นั้นใจกว้างเกินไปและยังคงชอบแบบจำลองที่ซับซ้อนและผิดมากกว่าแบบจำลองที่ง่ายกว่าและเป็นจริง เมื่อมองแวบแรกการจำลองเหล่านี้ดูเหมือนจะเป็นข้อโต้แย้งที่ดีจริงๆ แต่ปัญหาของพวกเขาก็คือพวกเขาไม่มีความหมายสำหรับ AIC ดังที่ฉันได้กล่าวไว้ก่อนหน้านี้ AIC ไม่ได้พิจารณาว่ารูปแบบการสมัครใด ๆ ที่ทดสอบนั้นเป็นจริง ตาม AIC ทุกรุ่นมีความใกล้เคียงกับความเป็นจริง และความเป็นจริงไม่ควรมีมิติต่ำ อย่างน้อยก็ต่ำกว่าบางรุ่นของผู้สมัคร

คำแนะนำของฉันคือการใช้ทั้ง AIC และ BIC ส่วนใหญ่พวกเขาจะเห็นด้วยกับรูปแบบที่ต้องการเมื่อพวกเขาไม่เพียงรายงาน

หากคุณไม่พึงพอใจกับทั้ง AIC และ BIC และมีเวลาว่างในการลงทุนลองค้นหาคำอธิบายความยาวขั้นต่ำ (MDL) ซึ่งเป็นแนวทางที่แตกต่างอย่างสิ้นเชิงที่เอาชนะข้อ จำกัด ของ AIC และ BIC มีหลายมาตรการที่เกิดจาก MDL เช่นโอกาสสูงสุดปกติหรือการประมาณข้อมูลฟิชเชอร์ ปัญหาของ MDL คือความต้องการทางคณิตศาสตร์และ / หรือการคำนวณอย่างเข้มข้น

อย่างไรก็ตามหากคุณต้องการติดตั้งโซลูชันที่เรียบง่ายวิธีที่ดีสำหรับการประเมินความยืดหยุ่นของโมเดล (โดยเฉพาะเมื่อจำนวนพารามิเตอร์เท่ากันการเรนเดอร์ AIC และ BIC ไร้ประโยชน์) กำลังทำ Parametric Bootstrap ซึ่งค่อนข้างง่ายต่อการใช้งาน นี่คือลิงค์ไปยังกระดาษบนมัน

บางคนที่นี่สนับสนุนให้ใช้การตรวจสอบข้าม ฉันได้ใช้มันเป็นการส่วนตัวและไม่ได้ทำอะไรกับมันเลย แต่ปัญหาที่เกิดขึ้นกับมันคือการเลือกระหว่างกฎการตัดตัวอย่าง (การลาออกหนึ่งครั้ง K-fold ฯลฯ ) เป็นสิ่งที่ไม่มีหลักการ

แม้ว่า AIC และ BIC เป็นทั้งการประเมินความเป็นไปได้สูงสุดและการลงโทษพารามิเตอร์ฟรีในความพยายามที่จะต่อสู้ overfitting พวกเขาทำในลักษณะที่ส่งผลให้พฤติกรรมที่แตกต่างกันอย่างมีนัยสำคัญ ให้ดูที่รุ่นหนึ่งที่นำเสนอโดยทั่วไปของวิธีการ (ซึ่งรูปแบบผลลัพธ์ที่กำหนดข้อผิดพลาดการกระจายตามปกติและข้อสันนิษฐานพฤติกรรมอื่น ๆ ที่ดี):

• AIC = -2 * ln (โอกาส) + 2 * k

และ

• BIC = -2 * ln (โอกาส) + ln (N) * k

ที่อยู่:

• k = องศาอิสระโมเดล
• N = จำนวนการสังเกต

แบบจำลองที่ดีที่สุดในกลุ่มเปรียบเทียบคือรุ่นที่ลดคะแนนเหล่านี้ในทั้งสองกรณี เห็นได้ชัดว่า AIC ไม่ได้ขึ้นอยู่กับขนาดตัวอย่างโดยตรง ยิ่งไปกว่านั้นการพูดโดยทั่วไป AIC นำเสนออันตรายที่อาจเกินความคาดหมายในขณะที่ BIC นำเสนออันตรายที่อาจทำให้เกิดความไม่สะดวกเพียงแค่อาศัยวิธีที่พวกเขาลงโทษพารามิเตอร์ฟรี (2 * k ใน AIC; ln (N) * k ใน BIC) Diachronically เป็นข้อมูลถูกนำมาใช้และคะแนนถูกคำนวณใหม่ที่ค่อนข้างต่ำ N (7 และน้อยกว่า) BIC มีความอดทนต่อพารามิเตอร์ฟรีมากกว่า AIC แต่ทนน้อยกว่าที่ N (ตามธรรมชาติของบันทึกของ N 2)

นอกจากนี้ AIC ยังมุ่งหารูปแบบการประมาณที่ดีที่สุดสำหรับกระบวนการสร้างข้อมูลที่ไม่รู้จัก (ผ่านการลดความคลาดเคลื่อน KL ที่คาดไว้โดยย่อ) เช่นนี้มันล้มเหลวในการรวมตัวกันของความน่าจะเป็นของตัวแบบจริง (สมมติว่ามีอยู่ในกลุ่มที่ประเมิน) ในขณะที่ BIC จะมาบรรจบกันเมื่อ N มีแนวโน้มที่จะไม่มีที่สิ้นสุด

ดังนั้นในคำถามเกี่ยวกับระเบียบวิธีหลายข้อซึ่งเป็นที่ต้องการนั้นขึ้นอยู่กับสิ่งที่คุณพยายามทำวิธีการอื่น ๆ ที่มีอยู่หรือไม่และมีคุณลักษณะใด ๆ ที่ระบุไว้ (การบรรจบกันความทนทานต่อสัมพัทธ์สำหรับพารามิเตอร์อิสระ ) พูดกับเป้าหมายของคุณ

คำอธิบายสั้น ๆ ของฉันคือ

• AIC นั้นดีที่สุดสำหรับการคาดคะเนเนื่องจากจะเท่ากับ asymptotically เทียบเท่ากับการตรวจสอบข้าม
• BIC เป็นคำอธิบายที่ดีที่สุดเนื่องจากช่วยให้สามารถประเมินกระบวนการสร้างข้อมูลพื้นฐานได้อย่างต่อเนื่อง

จากประสบการณ์ของฉัน BIC ส่งผลให้เกิดการ underfitting อย่างจริงจังและโดยทั่วไป AIC จะทำงานได้ดีเมื่อเป้าหมายคือการเลือกปฏิบัติที่คาดการณ์ได้สูงสุด

"การสืบทอด" ที่ให้ข้อมูลและเข้าถึงได้ของ AIC และ BIC โดย Brian Ripley สามารถดูได้ที่นี่: http://www.stats.ox.ac.uk/~ripley/Nelder80.pdf

ริปลีย์ให้ข้อสังเกตเกี่ยวกับสมมติฐานที่อยู่เบื้องหลังผลลัพธ์ทางคณิตศาสตร์ ตรงข้ามกับคำตอบอื่น ๆ ที่บ่งบอกว่าริบลีย์เน้นว่า AIC นั้นตั้งอยู่บนพื้นฐานของการสมมติว่าแบบจำลองนั้นเป็นจริง หากโมเดลไม่เป็นจริงการคำนวณทั่วไปจะแสดงว่า "จำนวนพารามิเตอร์" ต้องถูกแทนที่ด้วยปริมาณที่ซับซ้อนมากขึ้น มีการอ้างอิงบางอย่างในสไลด์ของ Ripleys อย่างไรก็ตามโปรดสังเกตว่าสำหรับการถดถอยเชิงเส้น (การพูดอย่างเคร่งครัดกับความแปรปรวนที่รู้จัก) โดยทั่วไปแล้วปริมาณที่ซับซ้อนมากขึ้นจะลดความซับซ้อนของจำนวนพารามิเตอร์

ความแตกต่างเพียงอย่างเดียวคือ BIC คือ AIC ที่ขยายเพื่อพิจารณาจำนวนของวัตถุ (ตัวอย่าง) ฉันจะบอกว่าในขณะที่ทั้งสองค่อนข้างอ่อนแอ (เมื่อเทียบกับการตรวจสอบข้ามตัวอย่าง) มันจะดีกว่าที่จะใช้ AIC มากกว่าคนอื่นจะคุ้นเคยกับตัวย่อ - แน่นอนฉันไม่เคยเห็นกระดาษหรือโปรแกรมที่ BIC จะ ถูกนำมาใช้ (ยังฉันยอมรับว่าฉันลำเอียงกับปัญหาที่เกณฑ์ดังกล่าวก็ไม่ทำงาน)

แก้ไข: AIC และ BIC เทียบเท่ากับการตรวจสอบข้ามที่ให้ไว้สองข้อสมมติฐานที่สำคัญ - เมื่อมีการกำหนดดังนั้นเมื่อรูปแบบเป็นโอกาสสูงสุดที่หนึ่งและเมื่อคุณสนใจเฉพาะประสิทธิภาพของแบบจำลองในข้อมูลการฝึกอบรม ในกรณีที่การยุบข้อมูลบางส่วนลงในฉันทามติบางอย่างพวกเขาก็โอเคอย่างสมบูรณ์แบบ
ในกรณีของการสร้างเครื่องทำนายปัญหาจริงบางอย่างสิ่งแรกเป็นเท็จเนื่องจากชุดฝึกอบรมของคุณเป็นเพียงเศษเสี้ยวของข้อมูลเกี่ยวกับปัญหาที่คุณกำลังเผชิญอยู่ดังนั้นคุณจึงไม่สามารถปรับโมเดลให้เหมาะสมได้ ข้อที่สองเป็นเท็จเพราะคุณคาดหวังว่าแบบจำลองของคุณจะจัดการกับข้อมูลใหม่ที่คุณไม่สามารถคาดหวังได้ว่าชุดฝึกอบรมจะเป็นตัวแทน และท้ายที่สุดนี้ CV ก็ถูกประดิษฐ์ขึ้นมา เพื่อจำลองพฤติกรรมของโมเดลเมื่อเผชิญหน้ากับข้อมูลที่เป็นอิสระ ในกรณีที่เลือกรูปแบบ CV ไม่เพียง แต่ให้คุณภาพโดยประมาณ แต่ยังมีการกระจายคุณภาพโดยประมาณดังนั้นจึงมีข้อได้เปรียบที่ยอดเยี่ยมที่สามารถพูดได้ว่า "ฉันไม่รู้ว่าข้อมูลใหม่จะมาจากอะไร ดีกว่า."

ดังที่คุณกล่าวถึง AIC และ BIC เป็นวิธีการลงโทษแบบจำลองสำหรับการมีตัวแปรถดถอยมากขึ้น ฟังก์ชั่นการลงโทษจะใช้ในวิธีการเหล่านี้ซึ่งเป็นฟังก์ชั่นของจำนวนพารามิเตอร์ในรูปแบบ

• เมื่อใช้ AIC ฟังก์ชั่นการลงโทษคือZ (P) = 2 หน้า

• เมื่อใช้ BIC ฟังก์ชันการลงโทษคือz (p) = p ln ( n ) ซึ่งขึ้นอยู่กับการตีความการลงโทษที่ได้มาจากข้อมูลก่อนหน้า (ดังนั้นชื่อเกณฑ์ข้อมูล Bayesian)

เมื่อnมีขนาดใหญ่ทั้งสองรุ่นจะให้ผลลัพธ์ที่แตกต่างกันมาก จากนั้น BIC จะใช้บทลงโทษที่มีขนาดใหญ่กว่าสำหรับโมเดลที่ซับซ้อนและด้วยเหตุนี้จะนำไปสู่โมเดลที่ง่ายกว่า AIC อย่างไรก็ตามตามที่ระบุไว้ในWikipedia บน BIC :

ควรสังเกตว่าในหลาย ๆ แอปพลิเคชั่น ... BIC จะลดการเลือกความน่าจะเป็นสูงสุดเนื่องจากจำนวนพารามิเตอร์มีค่าเท่ากันสำหรับรุ่นที่น่าสนใจ

จากสิ่งที่ฉันสามารถบอกได้ไม่มีอะไรแตกต่างกันมากระหว่าง AIC และ BIC พวกเขาทั้งสองมีความสะดวกสบายในการประมาณทางคณิตศาสตร์ที่สามารถทำได้เพื่อเปรียบเทียบแบบจำลองได้อย่างมีประสิทธิภาพ หากพวกเขาให้แบบจำลองที่ "ดีที่สุด" ให้คุณแตกต่างนั่นอาจหมายความว่าคุณมีความไม่แน่นอนสูงซึ่งเป็นเรื่องสำคัญที่คุณต้องกังวลมากกว่าว่าคุณควรใช้ AIC หรือ BIC ฉันชอบ BIC มากกว่าเพราะมันถามโมเดลมากขึ้น (น้อยลง) ถ้ามีข้อมูลมากขึ้น (น้อยลง) เพื่อให้พอดีกับพารามิเตอร์ของมัน - เช่นครูขอให้มีมาตรฐานการทำงานที่สูงขึ้น (ต่ำลง) ถ้านักเรียนมีมากขึ้น (น้อยลง) ) เวลาที่จะเรียนรู้เกี่ยวกับเรื่อง สำหรับฉันนี่ดูเหมือนจะเป็นสิ่งที่ใช้งานง่ายที่จะทำ แต่ฉันก็มั่นใจว่ามีข้อโต้แย้งที่ใช้งานง่ายและน่าสนใจสำหรับ AIC เช่นกันด้วยรูปแบบที่เรียบง่าย

ตอนนี้เมื่อใดก็ตามที่คุณทำการประมาณจะมีเงื่อนไขบางอย่างเมื่อการประมาณเหล่านั้นเป็นขยะ สิ่งนี้สามารถเห็นได้อย่างแน่นอนสำหรับ AIC ซึ่งมี "การปรับ" (AICc) จำนวนมากเพื่ออธิบายถึงเงื่อนไขบางประการซึ่งทำให้การประมาณค่าดั้งเดิมไม่ดี สิ่งนี้ยังมีอยู่สำหรับ BIC เนื่องจากมีวิธีการอื่นที่แม่นยำกว่า (แต่ยังมีประสิทธิภาพ) อยู่เช่นการประมาณ Laplace แบบเต็มต่อการผสมของ g-priors ของ Zellner (BIC เป็นการประมาณวิธีการแบบ Laplace ประมาณสำหรับการอินทิกรัล)

ที่เดียวที่พวกเขามีทั้งอึคือเมื่อคุณมีข้อมูลก่อนหน้ามากมายเกี่ยวกับพารามิเตอร์ภายในโมเดลที่กำหนด AIC และ BIC จะทำการลงโทษแบบจำลองโดยไม่จำเป็นซึ่งเป็นที่รู้จักกันเพียงบางส่วนของพารามิเตอร์เมื่อเทียบกับรุ่นที่ต้องการพารามิเตอร์ที่จะประเมินจากข้อมูล

$P(D|M,A)$$P(M|D,A)$$M$$M$$A$

จากนั้นให้กำหนดแบบจำลองความน่าจะเป็นแบบเดียวกันต่อไป (พารามิเตอร์เดียวกันข้อมูลเดียวกันการประมาณแบบเดียวกัน ฯลฯ ) ฉันจะได้ค่า BIC ชุดเดียวกัน มันเป็นเพียงการแนบความหมายที่เป็นเอกลักษณ์บางอย่างกับตัวอักษรตรรกะ "M" เท่านั้นที่จะถูกดึงเข้าไปในคำถามที่ไม่เกี่ยวข้องกับ "รูปแบบที่แท้จริง" (echoes ของ "ศาสนาที่แท้จริง") สิ่งเดียวที่ "กำหนด" M คือสมการทางคณิตศาสตร์ที่ใช้ในการคำนวณของพวกเขา - และนี่ก็แทบจะไม่ได้นิยามคำนิยามเดียว ฉันสามารถนำเสนอการทำนายอย่างเท่าเทียมกันเกี่ยวกับ M ("โมเดล ith จะให้การคาดการณ์ที่ดีที่สุด") โดยส่วนตัวฉันไม่สามารถเห็นได้ว่าสิ่งนี้จะเปลี่ยนโอกาสใด ๆ และด้วยเหตุนี้วิธีการที่ดีหรือไม่ดี BIC จะเป็นอย่างไร (AIC สำหรับเรื่องนั้นเช่นกัน - แม้ว่า AIC ขึ้นอยู่กับการสืบทอดที่แตกต่างกัน)

และนอกจากนี้สิ่งผิดปกติกับคำสั่งหากรูปแบบที่แท้จริงคือในชุดที่ฉันกำลังพิจารณาแล้วมีความเป็นไปได้ 57% ว่ามันเป็นรูปแบบ B ดูเหมือนว่าสมเหตุสมผลพอสำหรับฉันหรือคุณสามารถไปที่ "อ่อน" มากขึ้นมีความน่าจะเป็น 57% ว่ารุ่น B เป็นสิ่งที่ดีที่สุดในการพิจารณา

หนึ่งความคิดเห็นล่าสุด: ฉันคิดว่าคุณจะพบกับความคิดเห็นเกี่ยวกับ AIC / BIC มากเท่าที่มีคนที่รู้เกี่ยวกับพวกเขา

ไม่ควรใช้ AIC เนื่องจากมันใช้ได้เฉพาะกับ asymptotically เท่านั้น เป็นการดีกว่าที่จะใช้ AICc เกือบทุกครั้ง (AIC ด้วย a orrection cสำหรับขนาดตัวอย่าง จำกัด ) AIC มีแนวโน้มที่จะทำให้พารามิเตอร์มากเกินไป: ปัญหานั้นลดลงอย่างมากกับ AICc ข้อยกเว้นหลักในการใช้ AICc คือเมื่อการแจกแจงพื้นฐานเป็นอย่างมาก leptokurtic สำหรับข้อมูลเพิ่มเติมเกี่ยวกับเรื่องนี้ดูหนังสือการเลือกแบบจำลองโดย Burnham & Anderson

AIC และ BIC เป็นเกณฑ์ข้อมูลสำหรับการเปรียบเทียบแบบจำลอง แต่ละคนพยายามที่จะรักษาสมดุลของแบบจำลองและ parsimony และแต่ละการลงโทษแตกต่างกันสำหรับจำนวนของพารามิเตอร์

ฉันไม่เคยได้ยิน KIC

สั้นมาก:

• $n$
• $P(D|M,A) (D=Data, M=model, A=assumptions)$$P(M|D,A)$$n$$n$$k=n[1−1/(log(n)−1)]$$n=$ขนาดตัวอย่าง (Shao 1997) มี BIC รุ่นต่าง ๆ มากมายซึ่งลงมาเพื่อทำการประมาณความแตกต่างของความน่าจะเป็นหรือความแตกต่างของนักบวชที่แตกต่างกัน เช่นแทนที่จะใช้ชุดก่อนของแบบจำลองเป็นไปได้ทั้งหมดในขณะที่ BIC เดิม EBIC ใช้ชุดก่อนของแบบจำลองที่มีขนาดคงที่ ( เฉินและเฉิน 2008 ) ในขณะที่BICq ใช้การกระจาย Bernouilli ระบุความน่าจะเป็นก่อนสำหรับแต่ละพารามิเตอร์ที่จะรวม

$lambda = 2$$lambda=log(n)$ซึ่งการเพิ่มประสิทธิภาพหนึ่งวัตถุประสงค์ (LASSO หรือการถดถอยสุทธิแบบยืดหยุ่น) ตามด้วยการปรับพารามิเตอร์การทำให้เป็นมาตรฐานขึ้นอยู่กับวัตถุประสงค์อื่น (เช่นลดข้อผิดพลาดการตรวจสอบข้ามการตรวจสอบความถูกต้อง AIC หรือ BIC)

$n −1$$n$

โปรดทราบว่าข้อผิดพลาด LOOCV สามารถคำนวณได้จากส่วนที่เหลือและเส้นทแยงมุมของเมทริกซ์ของหมวกโดยไม่ต้องทำการตรวจสอบความถูกต้องไขว้ นี่จะเป็นอีกทางเลือกหนึ่งของ AIC ในฐานะที่เป็นการประมาณค่าเชิงเส้นกำกับของข้อผิดพลาด LOOCV

อ้างอิง

Stone M. (1977) ความเท่าเทียมเชิงซีมโทติคของการเลือกแบบจำลองโดยการตรวจสอบข้ามและเกณฑ์ของ Akaike วารสารสมาคมสถิติราชวงศ์ B. 39, 44–7

Shao J. (1997) ทฤษฎี asymptotic สำหรับการเลือกแบบจำลองเชิงเส้น Statistica Sinica 7, 221-242