เป็นไปได้หรือไม่ที่จะคำนวณ AIC และ BIC สำหรับแบบจำลองการถดถอยแบบ lasso?

เป็นไปได้หรือไม่ที่จะคำนวณค่า AIC หรือ BIC สำหรับตัวแบบการถดถอยแบบบ่วงบาศและตัวแบบที่ทำให้เป็นมาตรฐานอื่นที่พารามิเตอร์จะเข้าสู่สมการเพียงบางส่วนเท่านั้น เรากำหนดระดับของเสรีภาพได้อย่างไร

ฉันใช้ R เพื่อให้พอดีกับแบบจำลองการถดถอยแบบ lasso กับglmnet()ฟังก์ชันจากglmnetแพ็คเกจและฉันต้องการทราบวิธีคำนวณค่า AIC และ BIC สำหรับแบบจำลอง ด้วยวิธีนี้ฉันอาจเปรียบเทียบค่ากับแบบจำลองที่พอดีโดยไม่มีการทำให้เป็นมาตรฐาน เป็นไปได้ที่จะทำ?

คุณอาจพบว่าเอกสารดังต่อไปนี้เป็นที่สนใจ:

RJ Tibshirani เจเทย์เลอร์ (2011), องศาของเสรีภาพในปัญหาเชือก , arXiv preprint:

H. Zou, T. Hastie และ R. Tibshirani (2007), ในระดับของอิสรภาพของบ่วงบาศ , พงศาวดารสถิติ 35 (5), 2173-2192

ฉันพยายามอย่างมากกับวิธีการคำนวณ AIC และ BIC สำหรับรุ่น glmnet อย่างไรก็ตามหลังจากค้นหาค่อนข้างมากฉันพบในหน้าสามของ google ผลลัพธ์คำตอบ มันสามารถพบได้ที่นี่ ฉันโพสต์ไว้ที่นี่สำหรับผู้อ่านในอนาคตเพราะฉันเชื่อว่าฉันไม่สามารถเป็นคนเดียวได้

ในที่สุดฉันได้ใช้ AIC และ BIC ด้วยวิธีดังต่อไปนี้:

fit <- glmnet(x, y, family = "multinomial") 

tLL <- fit$nulldev - deviance(fit)
k <- fit$df
n <- fit$nobs
AICc <- -tLL+2*k+2*k*(k+1)/(n-k-1)
AICc

BIC<-log(n)*k - tLL
BIC

ในลิงค์อ้างอิงโดย johnnyheineken ผู้เขียนกล่าวว่า:

ฉันกลัวว่าสองปริมาณที่มีอยู่จากวัตถุ glmnet (dev.ratio, nulldev) นั้นไม่เพียงพอที่จะได้รับโอกาสสำหรับโมเดลซึ่งคุณต้องคำนวณ AICc คุณมีสองสมการในสามสิ่งที่ไม่รู้จัก: ความน่าจะเป็น (null), ความน่าจะเป็น (โมเดล) และความน่าจะเป็น (อิ่มตัว) ฉันไม่สามารถได้รับโอกาส (โมเดล) ฟรีจากโอกาส (null)

สำหรับฉันแล้วดูเหมือนว่าถ้าคุณเปรียบเทียบ AIC ระหว่างสองรุ่นความจริงที่ว่าคุณไม่สามารถแยกความเบี่ยงเบนที่ไม่เป็นโมฆะได้ก็ไม่สำคัญ เนื่องจากมันมีอยู่ใน "ทั้งสองด้าน" ของความไม่เท่าเทียมกันมันจะแสดงว่าแบบจำลองใดที่ต้องมี AIC ที่ต่ำ สิ่งนี้ขึ้นอยู่กับสองสิ่ง:

1. ข้อมูลเหมือนกันทั้งสองรุ่น (จำเป็นสำหรับการเปรียบเทียบ AIC)
2. ฉันไม่ได้ลืมอะไรบางอย่างจาก Stat101 หรือพีชคณิตมัธยม (ข้อสันนิษฐานที่แข็งแกร่งเมื่อฉันได้รับคาเฟอีนในปัจจุบัน)