เหตุใดการเลือกใช้แบบจำลองโดยใช้ AIC จึงให้ค่า p ที่ไม่สำคัญสำหรับตัวแปร

ฉันมีคำถามบางอย่างเกี่ยวกับ AIC และหวังว่าคุณจะสามารถช่วยฉันได้ ฉันใช้การเลือกแบบจำลอง (ย้อนกลับหรือไปข้างหน้า) ตาม AIC กับข้อมูลของฉัน และตัวแปรที่เลือกบางตัวก็จบลงด้วยค่า p> 0.05 ฉันรู้ว่าผู้คนกำลังพูดว่าเราควรเลือกแบบจำลองตาม AIC แทนค่า p ดังนั้นดูเหมือนว่า AIC และค่า p เป็นแนวคิดสองประการที่แตกต่างกัน มีคนบอกฉันว่าอะไรคือความแตกต่าง? สิ่งที่ฉันเข้าใจคือ:

1. สำหรับการเลือกย้อนหลังโดยใช้ AIC สมมติว่าเรามี 3 ตัวแปร (var1, var2, var3) และ AIC ของรุ่นนี้คือ AIC * หากไม่รวมหนึ่งในสามของตัวแปรเหล่านี้จะไม่จบลงด้วย AIC ซึ่งต่ำกว่า AIC * อย่างมาก (ในแง่ของการกระจาย ch-square ด้วย df = 1) จากนั้นเราจะบอกว่าตัวแปรทั้งสามนี้เป็นผลลัพธ์สุดท้าย

2. p-value ที่สำคัญสำหรับตัวแปร (เช่น var1) ในแบบจำลองตัวแปรสามตัวหมายความว่าขนาดเอฟเฟกต์มาตรฐานของตัวแปรนั้นแตกต่างจาก 0 อย่างมาก (อ้างอิงจาก Wald หรือ t-test)

ความแตกต่างพื้นฐานระหว่างสองวิธีนี้คืออะไร ฉันจะตีความมันได้อย่างไรหากมีตัวแปรบางตัวที่มีค่า p ที่ไม่สำคัญในแบบจำลองที่ดีที่สุดของฉัน (ที่ได้รับผ่าน AIC)

AIC และตัวแปรใกล้เคียงกับความแปรปรวนของ$R^2$ p-values ​​ของ regressor แต่ละตัว แม่นยำยิ่งขึ้นพวกเขาถูกลงโทษในรูปแบบของโอกาสในการบันทึก

คุณไม่ต้องการทดสอบความแตกต่างของ AIC โดยใช้ chi-squared คุณสามารถทดสอบความแตกต่างของความน่าจะเป็นได้โดยใช้ไค - สแควร์ (ถ้าแบบจำลองซ้อนอยู่) สำหรับ AIC นั้นต่ำกว่าดีกว่า (ในการใช้งานส่วนใหญ่ของมัน) ไม่จำเป็นต้องทำการปรับเปลี่ยนเพิ่มเติม

คุณต้องการหลีกเลี่ยงวิธีการเลือกรูปแบบอัตโนมัติจริง ๆ ถ้าคุณสามารถทำได้ หากคุณต้องใช้ลอง LASSO หรือ LAR

$\chi^2_1$

ดังนั้นจึงไม่ค่อยน่าแปลกใจถ้าคุณเปรียบเทียบกับการใช้ cutoff ขนาดเล็กกว่าสำหรับค่า p ซึ่งบางครั้งก็มีตัวแปรที่มีค่า p สูงกว่า cutoff นั้น

โปรดทราบว่าค่า p หรือค่า AIC ไม่ได้รับการออกแบบมาสำหรับการเลือกแบบจำลองแบบขั้นตอนในความเป็นจริงข้อสมมติฐานพื้นฐานทั้งสอง (แต่ข้อสมมติฐานที่แตกต่างกัน) ถูกละเมิดหลังจากขั้นตอนแรกในการถดถอยแบบขั้นตอน ตามที่ @PeterFlom พูดถึง LASSO และ / หรือ LAR เป็นทางเลือกที่ดีกว่าถ้าคุณรู้สึกว่าจำเป็นต้องเลือกรูปแบบอัตโนมัติ วิธีการเหล่านั้นดึงการประมาณค่าที่มีขนาดใหญ่โดยบังเอิญ (ซึ่งแบบ stepwise ตอบแทนสำหรับโอกาส) กลับไปที่ 0 และมีแนวโน้มที่จะลำเอียงน้อยกว่า stepwise (และอคติที่เหลือมีแนวโน้มที่จะอนุรักษ์มากกว่า)

ปัญหาใหญ่ของ AIC ที่มักถูกมองข้ามคือขนาดของความแตกต่างในค่า AIC มันเป็นเรื่องธรรมดาที่จะเห็น "ต่ำกว่าดีกว่า" และหยุดที่นั่น (และดำเนินการโดยอัตโนมัติเพียงแค่เน้นสิ่งนี้) หากคุณกำลังเปรียบเทียบรุ่น 2 รุ่นและมีค่า AIC ที่แตกต่างกันมากแสดงว่ามีการตั้งค่าที่ชัดเจนสำหรับรุ่นที่มี AIC ต่ำกว่า แต่บ่อยครั้งที่เราจะมีรุ่น 2 (หรือมากกว่า) ที่มีค่า AIC ซึ่งอยู่ใกล้กัน กรณีนี้ใช้เฉพาะรุ่นที่มีค่า AIC ต่ำสุดเท่านั้นที่จะพลาดข้อมูลที่มีค่า (และสรุปสิ่งต่าง ๆ เกี่ยวกับคำศัพท์ที่อยู่ในหรือไม่อยู่ในรุ่นนี้ แต่แตกต่างจากรุ่นอื่น ๆ ที่คล้ายคลึงกันจะไม่มีความหมายหรือแย่ลง) ข้อมูลจากข้อมูลภายนอกเอง (เช่นความยาก / ราคาแพง) มันคือการรวบรวมชุดของตัวแปรทำนาย) อาจทำให้แบบจำลองที่มี AIC สูงกว่าเล็กน้อยเป็นที่ต้องการมากกว่าที่จะใช้โดยไม่สูญเสียคุณภาพมากนัก อีกวิธีหนึ่งคือการใช้ค่าเฉลี่ยถ่วงน้ำหนักของแบบจำลองที่คล้ายกัน (นี่อาจส่งผลให้การคาดการณ์ขั้นสุดท้ายคล้ายกันกับวิธีการลงโทษเช่นสันเขาถดถอยหรือบ่วง แต่กระบวนการคิดที่นำไปสู่แบบจำลองอาจช่วยในการทำความเข้าใจ)

ประสบการณ์ของฉันกับ AIC คือถ้าตัวแปรปรากฏว่าไม่มีนัยสำคัญ แต่ยังคงปรากฏในโมเดลที่มี AIC ที่เล็กที่สุดสิ่งเหล่านั้นกลายเป็นสิ่งที่สับสนได้

ฉันขอแนะนำให้คุณตรวจสอบว่ารบกวน การลบตัวแปรที่ไม่มีนัยสำคัญดังกล่าวควรเปลี่ยนสนามแม่เหล็กของสัมประสิทธิ์ประมาณค่าที่เหลือประมาณ 25%

ฉันคิดว่าการเลือกรุ่นที่ดีที่สุดคือการใช้แพ็คเกจ MuMIn นี่จะเป็นผลลัพธ์ครั้งเดียวและคุณไม่ต้องมองหาค่า AIC ที่ต่ำที่สุด ตัวอย่าง:

d<-read.csv("datasource")
library(MuMIn)
fit<-glm(y~x1+x2+x3+x4,family=poisson,data=d)
get.models(dredge(fit,rank="AIC"))[1]