การบัญชีสำหรับพารามิเตอร์ที่ไม่ต่อเนื่องหรือไบนารีในเกณฑ์ข้อมูลเบย์

BIC ลงโทษตามจำนวนพารามิเตอร์ เกิดอะไรขึ้นถ้าพารามิเตอร์บางตัวเป็นตัวแปรตัวบ่งชี้ไบนารีบางประเภท นับเป็นพารามิเตอร์แบบเต็มหรือไม่ แต่ผมสามารถรวมพารามิเตอร์ไบนารีในตัวแปรที่ไม่ต่อเนื่องหนึ่งที่จะนำค่าใน\} สิ่งเหล่านี้จะนับเป็นพารามิเตอร์หรือพารามิเตอร์เดียวหรือไม่ $m$ $\{0,1,...,2^m-1\}$ $m$

— highBandWidth
แหล่งที่มา

ส่วนหนึ่งเป็นเพราะความไม่แน่นอนนี้ใน "จำนวนพารามิเตอร์" ใน BIC ที่ DIC ( เกณฑ์ข้อมูลเบี่ยงเบน ) แนะนำจำนวนพารามิเตอร์ที่มีประสิทธิภาพเป็น

{พี}_{D} (x) = E [D (θ) | x] - D (E [θ | x])

$p_D(x) = \mathbb{E}[D(\theta)|x] - D(\mathbb{E}[\theta|x])$ ที่ไหน

D (θ) = - 2 เข้าสู่ระบบ ฉ (x | θ)

$D(\theta)=-2\log f(x|\theta)$ และ

DIC (x) = {พี}_{D} (x) + E [D (θ) | x]

$\text{DIC}(x) = p_D(x) + \mathbb{E}[D(\theta)|x]$ สังเกตได้ว่า

p_{D} (x)

$p_D(x)$ จะขึ้นอยู่กับข้อมูล (ดังที่กล่าวไว้ที่นั่น DIC ก็มีปัญหาของมันเอง!)

— ซีอาน
แหล่งที่มา

ดังนั้นฉันสับสนเล็กน้อย ฉันคิดว่า BIC เป็นการประมาณ

E [l o g P (y | M o d e l)] = \log (\int P (y | θ) P_{m o d e l} (θ) d θ)

$E[log P(y|Model)] = \log(\int P(y|\theta)P_{model}(\theta)d\theta)$ ซึ่งสามารถคำนวณได้จากการจำลอง MCMC ทำไมเราจะคำนวณ DIC

— highBandWidth

ใช่ BIC เป็นการประมาณค่าความเป็นไปได้เล็กน้อย อย่างไรก็ตามมันเป็นเพียงการประมาณที่แปรเปลี่ยนเป็น "ความจริง" เมื่อขนาดตัวอย่างเติบโตเป็นไม่สิ้นสุด ดังนั้นจึงไม่ใช่ Bayesian โดยตรง (ไม่ได้ใช้ก่อนหน้านี้สำหรับสิ่งหนึ่ง!) และไม่เกี่ยวข้องกับ MCMC อย่างสมบูรณ์ (โดยที่การประมาณนั้นเป็นประเภท Monte Carlo: ถ้าฉันเพิ่มจำนวนการจำลองการประมาณจะดีขึ้น) หลายคนคิดว่า DIC เป็นชาวเบย์มากขึ้น (รวมถึง B. Carlin และ D. Spiegelhatler)

— ซีอาน

ฉันเดาว่าคำถามของฉันคือ DIC เป็นการประมาณค่าความน่าจะเป็นของตัวแบบขอบหรือไม่? ฉันเดาว่าฉันควรอ่านเกี่ยวกับมันด้วยตัวเอง แต่เนื่องจากเรากำลังคุยกันอยู่ฉันคิดว่าการอธิบายสิ่งนี้จะทำให้คำตอบสมบูรณ์ยิ่งขึ้น ขอบคุณ!

— highBandWidth