การทำความเข้าใจเกณฑ์ AIC และ Schwarz

ฉันกำลังใช้โมเดลโลจิสติก ชุดข้อมูลโมเดลจริงมีตัวแปรมากกว่า 100 ตัว แต่ฉันเลือกชุดข้อมูลทดสอบที่มีตัวแปรประมาณ 25 ตัว ก่อนหน้านั้นฉันยังสร้างชุดข้อมูลซึ่งมีตัวแปร 8-9 ตัว ฉันถูกบอกว่าค่า AIC และ SC สามารถนำมาใช้เพื่อเปรียบเทียบแบบจำลอง ฉันสังเกตว่าโมเดลมีค่า SC สูงกว่าแม้ว่าตัวแปรจะมีค่า p ต่ำ (เช่น 0053) สำหรับสัญชาตญาณของฉันแบบจำลองที่มีตัวแปรที่มีระดับนัยสำคัญที่ดีควรทำให้ค่า SC และ AIC ต่ำ แต่นั่นไม่ได้เกิดขึ้น ใครก็ได้ช่วยอธิบายให้ฟังหน่อยได้ไหม ในระยะสั้นฉันต้องการถามคำถามต่อไปนี้:

จำนวนตัวแปรเกี่ยวข้องกับ SC AIC หรือไม่
ฉันควรมุ่งเน้นที่ค่า p หรือค่า SC AIC ต่ำหรือไม่
อะไรคือวิธีทั่วไปในการลดค่า SC AIC

model-selection logistic aic

— ayush biyani
แหล่งที่มา

คำตอบ:

$-2\log(\ell)+2k$ $k$ $p$

ฉันอยากจะแนะนำให้ดูการถดถอยที่ลงโทษซึ่งอนุญาตให้ทำการเลือกตัวแปรเพื่อหลีกเลี่ยงปัญหาที่มากเกินไป สิ่งนี้ถูกกล่าวถึงในกลยุทธ์การสร้างแบบจำลองการถดถอยของ Frank Harrell (หน้า 207 ff.) หรือ Moons et al., การประเมินความเป็นไปได้สูงสุดในการลงโทษเพื่อปรับรูปแบบการทำนายการวินิจฉัยและพยากรณ์โรคโดยตรงสำหรับ overoptimism: ตัวอย่างทางคลินิก J Clin Epid (2004) 57 ( 12)

ดูเพิ่มเติมที่Design ( lrm) และstepPlr ( step.plr) แพ็คเกจ R หรือแพ็คเกจที่ถูกลงโทษ คุณสามารถเรียกดูคำถามที่เกี่ยวข้องกับการเลือกตัวแปรใน SE นี้

— CHL
แหล่งที่มา

สวัสดี chl ขอบคุณสำหรับการตอบกลับ .. ฉันยอมรับว่าฉันได้รับข้อมูลบางอย่างจากคำตอบของคุณ .. ให้ฉันใส่ความเข้าใจของฉันแล้วคุณสามารถแสดงความคิดเห็นได้โปรด (1) ฉันได้รับคำใบ้ว่าค่า P สามารถลดลงได้ถ้าขนาดตัวอย่างของคุณใหญ่ ... - มันเป็นอย่างนั้นหรือ? เพื่อความเข้าใจของฉันค่า p สามารถแสดงได้ว่าสมมุติฐานว่างของคุณถูกปฏิเสธหรือไม่ (2) ตอนนี้ฉันเข้าใจแล้วว่าฉันต้องการเห็นความแตกต่างของค่า AIC ด้วยการสกัดกั้นเท่านั้นและกับเพื่อนร่วมทุน ฉันคิดว่าเมื่อเราบอกว่าเราต้องการ AIC ที่ต่ำกว่าเราหมายถึงชุดข้อมูลเดียวกัน ฉันได้รับตัวละครตัวละครที่เหลืออยู่ในความคิดเห็นของฉันเพื่อจะแสดงความคิดเห็นอีกครั้งคุณตอบโปรด

— ayush Biyani

@ayush (1) สถิติทดสอบ (เช่น Wald) ขึ้นอยู่กับขนาดตัวอย่าง (ข้อผิดพลาดมาตรฐานลดลงเมื่อเพิ่มขนาดตัวอย่างและคุณมีแนวโน้มที่จะได้รับค่า p ต่ำกว่าด้วยตัวอย่างที่มีขนาดใหญ่ขึ้น) (2) ใช่แม้ว่า AIC อาจถูกนำมาใช้เพื่อเปรียบเทียบแบบจำลองที่ไม่ซ้อนกัน แต่ที่นี่ฉันคิดว่ามันเป็นวิธีการเปรียบเทียบแบบจำลองที่แตกต่างกันของความซับซ้อนที่เพิ่มขึ้น

— chl

ขอบคุณอีกครั้ง .. ฉันได้รับสาระสำคัญของค่า p ตอนนี้ ฉันวิ่งแบบจำลองซึ่งให้ค่า p ต่ำกว่า. 05 สำหรับตัวแปรทั้งหมด แต่ AIC ที่ 28238.407 ด้วยการสกัดกั้นเท่านั้นและกับ covariates 21507.933 ฉันยังมีกรณีที่ AIC คือ 16035.xy ที่มีการสกัดกั้นเท่านั้นและกับ covariates 4234.xy ความคิดเห็นของคุณคือการเปรียบเทียบสองกรณี? โปรดทราบว่าแบบจำลองที่สองมีตัวแปรต่างกัน 25 var ในขณะที่แรกมี 20 ดังนั้นที่สองแม้ว่าจะมีตัวแปรเพิ่มเติม (25 เปรียบเทียบกับ 20) มี AIC ที่ต่ำกว่า แม้ว่าค่า p จะไม่ได้รับการควบคุม. 05 สำหรับทุกคน กรุณาแนะนำ.. เพิ่มเติมที่จะถามหลังจากนี้ .. ขอบคุณ

— ayush biyani

@ayush เป็นการยากที่จะตอบเกี่ยวกับคุณภาพของแบบจำลองโดยไม่รู้ว่าเลือกตัวแปรอย่างไร ช่องว่างใน AIC ระหว่างแบบจำลองรวมถึงการสกัดกั้นและ covariates บางอย่างให้คุณบ่งชี้เกี่ยวกับ "พลังการอธิบาย" ของตัวทำนายเหล่านั้น (การเบี่ยงเบนที่เหลือดูเหมือนจะลดลงตามขอบเขตขนาดใหญ่ในกรณีที่ 2 ที่คุณแสดงและ AIC ลงโทษสำหรับ # พารามิเตอร์ตามที่ฉันพูดในการตอบกลับ) มันไม่ได้เป็นคำตอบที่สมบูรณ์เกี่ยวกับความเกี่ยวข้องของตัวทำนายเหล่านี้ ฉันขอแนะนำให้คุณถามคำถามที่เฉพาะเจาะจงมากขึ้น (IMO) เช่นเกี่ยวกับการเลือกตัวแปรใน GLMสำหรับการศึกษาเฉพาะของคุณ

— chl

การจัดกลุ่ม SC และ AIC ร่วมกันเป็นสิ่งที่ผิด พวกเขาเป็นสิ่งที่แตกต่างกันมากถึงแม้ว่าผู้คนจะใช้พวกเขาในทางที่ผิด AIC มีความหมายเมื่อคุณทำนายสิ่งต่าง ๆ การใช้ SC ในสถานการณ์นี้อาจนำไปสู่ผลลัพธ์ที่ผิด (ไม่ใช่ทุกครั้ง) ในทำนองเดียวกันถ้าคุณมีความสนใจในการเลือกรูปแบบด้วยหลักการของ Parsimony (Occam's Razor) SC จะดีกว่า ฉันไม่ต้องการที่จะลงรายละเอียดเชิงทฤษฎี แต่สรุป: SC - ดีสำหรับแบบจำลองเมื่อคุณต้องการสิ่งที่เทียบเท่ากับแบบจำลองที่เป็นไปได้ง่ายที่สุดในการอธิบายข้อมูลของคุณ AIC - เมื่อคุณต้องการทำนาย AIC ไม่ได้สมมติว่าโมเดลที่แท้จริงของคุณอยู่ในพื้นที่ของโมเดลที่ SC ทำ

ประการที่สองการใช้ P-ค่าและเกณฑ์การข้อมูลร่วมกันอาจจะทำให้เข้าใจผิดยังอธิบายโดยCHL

— suncoolsu
แหล่งที่มา