BIC ลองค้นหานางแบบตัวจริงหรือไม่?

คำถามนี้เป็นการติดตามหรือพยายามที่จะกำจัดความสับสนที่เป็นไปได้เกี่ยวกับหัวข้อที่ฉันและคนอื่น ๆ อีกหลายคนพบว่ายากเล็กน้อยเกี่ยวกับความแตกต่างระหว่าง AIC และ BIC ในคำตอบที่ดีมากโดย @Dave Kellen ในหัวข้อนี้ ( /stats//a/767/30589 ) เราอ่าน:

คำถามของคุณหมายความว่า AIC และ BIC พยายามตอบคำถามเดียวกันซึ่งไม่เป็นความจริง AIC พยายามเลือกแบบจำลองที่อธิบายความเป็นจริงในมิติที่สูงที่ไม่รู้จักอย่างเพียงพอ ซึ่งหมายความว่าความเป็นจริงไม่เคยอยู่ในชุดของแบบจำลองผู้สมัครที่กำลังพิจารณา ในทางตรงกันข้าม BIC พยายามหาโมเดล TRUE ท่ามกลางกลุ่มผู้สมัคร ฉันคิดว่ามันค่อนข้างแปลกที่สมมติฐานว่าความเป็นจริงนั้นถูกยกตัวอย่างในแบบจำลองที่นักวิจัยสร้างขึ้นไปพร้อม นี่เป็นปัญหาที่แท้จริงสำหรับ BIC

ในความคิดเห็นด้านล่างโดย @ gui11aume เราอ่าน:

(-1) คำอธิบายที่ดี แต่ฉันต้องการท้าทายการยืนยัน @Dave Kellen คุณช่วยอ้างอิงถึงความคิดที่ว่าโมเดล TRUE นั้นอยู่ในกลุ่ม BIC ได้หรือไม่? ฉันต้องการตรวจสอบเรื่องนี้เนื่องจากในหนังสือเล่มนี้ผู้เขียนให้หลักฐานที่น่าเชื่อถือว่านี่ไม่ใช่กรณี - gui11aume 27 พฤษภาคม '12 เวลา 21:47

ดูเหมือนว่าการยืนยันนี้มาจาก Schwarz ตัวเอง (1978) แม้ว่าการยืนยันนั้นไม่จำเป็น: โดยผู้เขียนคนเดียวกัน (ในขณะที่ @ gui11aume ลิงก์ไปยัง) เราอ่านจากบทความของพวกเขา "การอนุมาน Multimodel: เข้าใจ AIC และ BIC อัมและแอนเดอร์สัน, 2004):

การสืบทอดของ BIC ถือว่าการมีอยู่จริงของโมเดลจริงหรืออย่างแคบกว่านั้นคือโมเดลจริงที่สันนิษฐานว่าอยู่ในชุดจำลองเมื่อใช้ BIC หรือไม่? (ที่มาของชวาตซ์ระบุเงื่อนไขเหล่านี้) ... คำตอบ ... ไม่ นั่นคือ BIC (เป็นพื้นฐานสำหรับการประมาณค่าอินทิกรัลแบบเบย์) สามารถได้มาโดยไม่สมมติว่าแบบจำลองพื้นฐานที่ได้มานั้นเป็นจริง (ดู, เช่น Cavanaugh and Neath 1999; Burnham and Anderson 2002: 293-5) แน่นอนในการใช้ BIC ชุดรูปแบบไม่จำเป็นต้องมีรูปแบบจริง (ไม่มี) ที่เป็นตัวแทนของความเป็นจริงเต็มรูปแบบ ยิ่งไปกว่านั้นการลู่เข้าของความน่าจะเป็นของแบบจำลองที่เลือก BIC กับแบบจำลอง Targbet (ภายใต้อุดมคติของตัวอย่าง iid) ไม่ได้หมายความว่าแบบจำลองเป้าหมายนั้นต้องเป็นการกระจายข้อมูลที่สร้างจริง

ดังนั้นฉันคิดว่ามันคุ้มค่าที่จะพูดคุยหรือให้ความกระจ่าง (ถ้าจำเป็น) ในเรื่องนี้ ตอนนี้สิ่งที่เรามีคือความคิดเห็นจาก @ gui11aume (ขอบคุณ!) ภายใต้คำตอบที่ได้รับการโหวตอย่างสูงเกี่ยวกับความแตกต่างระหว่าง AIC และ BIC

model-selection aic bic

— Erosennin
แหล่งที่มา

เพื่อมุ่งเน้นคำถามที่ดีขึ้น AIC อาจถูกลบออกจากชื่อเพราะถ้าฉันเข้าใจอย่างถูกต้องคำถามนี้เกี่ยวกับว่าแบบจำลองที่แท้จริงจำเป็นต้องอยู่ในชุดผู้สมัครเมื่อใช้ BIC หรือไม่

— Juho Kokkala

@JuhoKokkala: ฉันเห็นด้วย

— Erosennin

สำหรับฉันบรรทัดล่างคือว่าในการใช้งานจริงมากที่สุดผลลัพธ์ของ BIC ในการทำ underfitting และ AIC จะประเมินประสิทธิภาพของรูปแบบที่ถูกต้องกับข้อมูลใหม่ที่ไม่ได้อยู่ในมือ แต่ไม่ว่าคุณจะใช้ AIC หรือ BIC ถ้าคุณเลือกจากการพูด 3 ชุดรูปแบบการแข่งขัน / คุณสมบัติชุดรูปแบบผลลัพธ์สามารถ overfit AIC และ BIC ทำงานได้ดีที่สุดเมื่อจำนวนโมเดลที่มีศักยภาพต่ำหรือโมเดลเชื่อมต่อกันด้วยพารามิเตอร์จำนวนเล็กน้อย (เช่นการลงโทษ)

— Frank Harrell

ขอบคุณ @Erosennin สำหรับการขุดอ้างอิง ตอนนี้ฉันเข้าใจว่าแนวคิดที่ว่าโมเดล TRUE นั้นต้องมาจากไหน

— gui11aume

@FrankHarrell: คุณช่วยอธิบายความหมายของ "แอปพลิเคชันที่ใช้งานได้" ได้ไหม? ถ้าฉันเข้าใจ Burnham และ Anderson อย่างถูกต้องดูเหมือนว่า BIC จะส่งผลให้ข้อมูลต่ำเมื่อข้อมูลขาดแคลน เมื่อเรามีข้อมูลจำนวนมาก BIC จะเลือก / ค้นหาแบบจำลองเสมือนจริงที่ซับซ้อนกว่า AIC AIC และ BIC มี "โมเดลเป้าหมาย" ที่แตกต่างกัน ฉันจะรักความประณีตของสิ่งที่คุณพูดถ้าเพียงชี้ฉันไปที่บทความ / หนังสือ

— Erosennin

เกณฑ์ข้อมูลโดย Schwarz (1978) ได้รับการออกแบบด้วยคุณสมบัติที่มันเลือกรูปแบบที่มีอัตราต่อรองหลังที่สูงกว่านั่นคือแบบจำลองที่มีโอกาสสูงกว่าที่ได้รับข้อมูลภายใต้นักบวชที่เท่าเทียมกัน คร่าวๆ

\frac{p (M_{1} | y)}{p (M_{2} | y)} > 1 \overset{A}{\sim} S I C (M_{1}) < S I C (M_{2})

$\frac{p(M_1|y)}{p(M_2|y)} > 1 \overset{A}{\sim} SIC(M_1) < SIC(M_2)$

\overset{A}{\sim}

$\overset{A}{\sim}$

p (M_{j} | y)

$p(M_j|y)$

j

$j$

y

$y$

I C (k) = - \frac{2}{T} l (\hat{θ}; y) + k g (T)

$IC(k) = -\frac{2}{T} \mathcal{l}(\hat{\theta};y) + k g(T)$

l (\hat{θ}; y)

$\mathcal{l}(\hat{\theta};y)$

\hat{θ}

$\hat{\theta}$

k

$k$

T

$T$

g (T) \to 0 as \infty

$g(T) \to 0 \; \text{as} \;\infty$

T g (T) \to \infty as \infty

$Tg(T) \to \infty \; \text{as} \;\infty$

g_{A I C} (T) = \frac{2}{T}, g_{S I C} (T) = \frac{\ln T}{T}

$g_{AIC}(T) = \frac{2}{T},\;\; g_{SIC}(T) = \frac{\ln{T}}{T}$

Elliott, G. และ A. Timmermann (2016, เมษายน) การพยากรณ์เศรษฐกิจ สำนักพิมพ์มหาวิทยาลัยพรินซ์ตัน

ชวาตซ์กิดเดียน "การประมาณขนาดของโมเดล" บันทึกข้อมูลสถิติ 6.2 (1978): 461-464

— Matthias Schmidtblaicher
แหล่งที่มา