การตีความค่า AIC

ค่าทั่วไปของ AIC ที่ฉันเห็นสำหรับโมเดลโลจิสติกอยู่ในหลักพันเป็นอย่างน้อยเป็นร้อย เช่นในhttp://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ AIC คือ 727.39

แม้ว่าจะมีการกล่าวเสมอว่าควรใช้ AIC เพื่อเปรียบเทียบแบบจำลองเท่านั้น แต่ฉันต้องการเข้าใจว่าค่า AIC นั้นหมายถึงอะไร ตามสูตร $AIC= -2 \log(L)+ 2K$

โดยที่ L = ความเป็นไปได้สูงสุดจากตัวประมาณ MLE K คือจำนวนพารามิเตอร์

ในตัวอย่างด้านบน K = 8

ดังนั้นด้วยเลขคณิตอย่างง่าย:

727.9 = -2*log(L)+ 2*8
Hence, 711.39 = -2*log(L)
Hence, log (L)= 711.39/-2 = -355.695
Hence, L = exp(-355.695) = 3.3391E-155

ดังนั้นหากความเข้าใจของฉันถูกต้องนี่เป็นโอกาสของฟังก์ชั่นที่ระบุโดย MLE ที่เหมาะสมกับข้อมูล ดูเหมือนว่าจะต่ำจริงๆ

ฉันหายไปนี่อะไร

นอกจากนี้ไม่มีสิ่งเช่น "ทั่วไป" หรือความน่าจะเป็นที่ถูกต้องสำหรับรูปแบบ เช่นเดียวกันกับAICนั่นคือความน่าจะเป็นบันทึกเชิงลบที่ถูกลงโทษสำหรับพารามิเตอร์จำนวนหนึ่ง ค่าที่ต่ำกว่าของเอไอซีแสดงให้เห็น "ดี" รุ่น แต่มันก็เป็นญาติตัวชี้วัดของรูปแบบพอดี มันใช้สำหรับการเลือกแบบจำลองนั่นคือช่วยให้คุณสามารถเปรียบเทียบแบบจำลองต่างๆที่ประมาณไว้ในชุดข้อมูลเดียวกัน

Recall GEP Box บอกว่า "ทุกรุ่นผิด แต่มีประโยชน์" คุณไม่สนใจที่จะหารูปแบบที่เหมาะสมกับข้อมูลของคุณเพราะมันเป็นไปไม่ได้ . แต่คุณกำลังมองหาสิ่งที่ดีที่สุดที่คุณจะได้รับสิ่งที่ดีที่สุด แนวคิดทั่วไปที่อยู่เบื้องหลัง AIC คือโมเดลที่มีพารามิเตอร์น้อยกว่าจะดีกว่าสิ่งใดที่สอดคล้องกับอาร์กิวเมนต์ของ Occamที่เราชอบแบบง่าย ๆ มากกว่าแบบซับซ้อน

คุณสามารถตรวจสอบเอกสารต่อไปนี้:

แอนเดอร์สัน, D. , & Burnham, K. (2006) ตำนาน AIC และความเข้าใจผิด

Burnham, KP, & Anderson, DR (2004) การอนุมานมัลติโมเดล การทำความเข้าใจ AIC และ BIC ในการเลือกแบบจำลอง วิธีการและการวิจัยทางสังคมวิทยา, 33 (2), 261-304

และหัวข้อเหล่านั้น:

"โอกาส" และ "โอกาส" แตกต่างกันอย่างไร?

มีเหตุผลใดที่จะชอบ AIC หรือ BIC มากกว่าอีก?

AIC มีความเกี่ยวข้องอย่างมากในการทั่วไป ( "หลอก") 2 ฉันชอบที่จะระบุ AIC ในอัตราส่วนความน่าจะเป็นมาตราส่วนแม้ว่าจะไม่ใช่แบบดั้งเดิมนั่นคือ AIC ที่ได้รับการปรับปรุง = df หนึ่งในมาตรการทั่วไปคือn) แม้ว่าเราจะยังไม่ทราบแน่ชัดว่าความใหญ่ของจะเป็นอย่างไรสำหรับแบบจำลองที่ได้รับการพิจารณาว่าเป็นการเลือกปฏิบัติอย่างสูง แต่นั้นไม่มีหน่วยอย่างน้อย$R^2$$\chi^2$$\chi^{2} - 2\times$$R^2$$1 - \exp(-\chi^{2} / n)$$R^2$$R^2$

ดูเหมือนว่าจะต่ำจริงๆ ฉันหายไปนี่อะไร

ปริมาณดังกล่าวเป็นศูนย์กลางที่เกี่ยวข้องกับการใช้งานของการเข้าสู่ระบบความเป็นไปได้มีเพียงความหมายเมื่อเทียบกับปริมาณที่อื่น ๆ เช่น โปรดจำไว้ว่าฟังก์ชั่นความน่าจะเป็นถูกกำหนดให้มีค่าคงที่การปรับเท่านั้นจึงสามารถปรับขนาดขึ้นหรือลงตามความประสงค์ ดังนั้นโอกาสในการบันทึกจะถูกกำหนดขึ้นกับค่าคงที่ตำแหน่งเท่านั้นและสามารถเลื่อนขึ้นหรือลงตามความประสงค์ได้ สิ่งนี้ถือเป็น AIC ด้วยเนื่องจากปริมาณนี้เป็นเพียงความน่าจะเป็นบันทึกการเปลี่ยนแปลงจากการปรับจำนวนพารามิเตอร์ นั่นคือเหตุผลที่ว่ากันว่า AIC ควรใช้เพื่อเปรียบเทียบโมเดลเท่านั้น

ในคอมพิวเตอร์เป็นประจำรูทีนฟังก์ชันความน่าจะเป็นถูกกำหนดโดยตรงจากความหนาแน่นของการสุ่มตัวอย่างโดยไม่ลบค่าคงที่ที่ไม่จำเป็นดังนั้นในกรณีนี้ปัญหาการปรับสเกลอาจไม่เป็นปัจจัย ในR Bloggers ที่คุณโพสต์ลิงก์มีจุดข้อมูลที่ใช้ในการถดถอยโลจิสติก โอกาสในการบันทึกจากตัวเลขที่คุณให้คือ:$n=800$

ดังนั้นความน่าจะเป็นบันทึกเฉลี่ยต่อจุดข้อมูลคือซึ่งสอดคล้องกับค่าความน่าจะเป็นสำหรับจุดข้อมูลเดียว สิ่งนี้ไม่ได้ต่ำโดยเฉพาะและไม่ควรทำให้เกิดสัญญาณเตือนใด ๆ$\hat{\ell}/n = -0.4449375$$0.6408643$

คุณได้ชี้ให้เห็นอย่างถูกต้องว่าหากคุณคำนวณความน่าจะเป็นกลับมาโดยใช้ AIC ที่รายงานโดย R คุณจะได้รับโอกาสต่ำอย่างน่าขัน เหตุผลก็คือค่าของ AIC ที่รายงานโดย R (เรียกว่า AICrep) ไม่ใช่ AIC จริง (AICtrue) AICrep และ AICtrue แตกต่างกันตามค่าคงที่ซึ่งขึ้นอยู่กับข้อมูลที่วัดได้ แต่เป็นอิสระจากโมเดลที่เลือก ดังนั้นโอกาสที่คำนวณกลับจาก AICrep จะไม่ถูกต้อง มันเป็นความแตกต่างใน AICs เมื่อใช้รุ่นที่แตกต่างกันเพื่อให้พอดีกับข้อมูลเดียวกันที่มีประโยชน์ในการเลือกรุ่นที่ดีที่สุด