ที่โมเดล Normal และ Binomial ความแปรปรวนด้านหลังจะน้อยกว่าความแปรปรวนก่อนหน้าเสมอหรือไม่

10

หรือมีเงื่อนไขอะไรรับประกันได้บ้าง โดยทั่วไป (และไม่เพียง แต่แบบจำลองทั่วไปและแบบทวินาม) ฉันคิดว่าเหตุผลหลักที่ทำให้การอ้างสิทธิ์นี้แตกต่างกันคือมีความไม่สอดคล้องกันระหว่างแบบจำลองตัวอย่างและแบบก่อน แต่มีอะไรอีกบ้าง ฉันเริ่มต้นด้วยหัวข้อนี้ดังนั้นฉันขอขอบคุณตัวอย่างง่าย ๆ

bayesian variance information-theory

— เสียงสีแดง
แหล่งที่มา

9

เนื่องจากความแปรปรวนด้านหลังและก่อนหน้าบนสนอง (ด้วยแสดงถึงตัวอย่าง) สมมติว่ามีปริมาณทั้งหมดอยู่คุณสามารถคาดหวังความแปรปรวนด้านหลังให้เล็กลงโดยเฉลี่ย (เป็น ) นี่คือโดยเฉพาะในกรณีที่ความแปรปรวนหลังเป็นค่าคงที่ในXแต่ดังที่แสดงโดยคำตอบอื่น ๆ อาจมีการรับรู้ของความแปรปรวนด้านหลังที่มีขนาดใหญ่กว่าเนื่องจากผลที่ได้คาดหวังเท่านั้น $\theta$ $X$

var (θ) = E [var (θ | X)] + var (E [θ | X])

$\text{var}(\theta) = \mathbb{E}[\text{var}(\theta|X)]+\text{var}(\mathbb{E}[\theta|X])$

X

$X$

X

$X$

อ้างจาก Andrew Gelman

เราพิจารณาสิ่งนี้ในบทที่ 2 ในการวิเคราะห์ข้อมูลแบบเบย์ฉันคิดว่าในปัญหาการบ้านสองสามข้อ คำตอบสั้น ๆ คือในความคาดหมายความแปรปรวนด้านหลังจะลดลงเมื่อคุณได้รับข้อมูลเพิ่มเติม แต่ขึ้นอยู่กับรุ่นนั้น ๆ ในบางกรณีความแปรปรวนสามารถเพิ่มขึ้นได้ สำหรับบางรุ่นเช่นปกติและทวินามความแปรปรวนหลังสามารถลดลงได้เท่านั้น แต่ให้พิจารณาโมเดล t ที่มีระดับความเป็นอิสระต่ำ (ซึ่งสามารถตีความได้ว่าเป็นส่วนผสมของบรรทัดฐานที่มีค่าเฉลี่ยและความแปรปรวนต่างกัน) หากคุณสังเกตคุณค่าที่มากเกินไปนั่นเป็นหลักฐานว่าความแปรปรวนนั้นสูงและแน่นอนว่าความแปรปรวนด้านหลังของคุณจะเพิ่มขึ้น

— ซีอาน
แหล่งที่มา

@ เซียนคุณช่วยลองดูคำตอบของฉันซึ่งดูเหมือนจะขัดแย้งกับคุณได้ไหม? ถ้า Gelman และคุณพูดอะไรบางอย่างเกี่ยวกับสถิติแบบเบย์ฉันมีแนวโน้มที่จะเชื่อใจคุณมากกว่าตัวฉันเอง ...

— Christoph Hanck

1

ไม่มีความขัดแย้งระหว่างคำตอบของเรา มีแม้แต่แบบฝึกหัดในBDAที่สอดคล้องกับตัวอย่างของคุณเช่นค้นหาข้อมูลที่ตั้งค่าความแปรปรวนของหลังรุ่นเบต้าให้ใหญ่กว่าความแปรปรวนก่อนหน้า

— ซีอาน

คำถามติดตามที่น่าสนใจน่าจะมีเงื่อนไขอะไรบ้างที่รับประกันการบรรจบกันของความแปรปรวนเป็น 0 เมื่อขนาดตัวอย่างเพิ่มขึ้น

— Julien

8

นี่จะเป็นคำถามที่ @ Xi'an มากกว่าคำตอบ

ฉันจะตอบว่าความแปรปรวนหลัง กับจำนวนของการทดลองที่จำนวนที่ประสบความสำเร็จและค่าสัมประสิทธิ์ของเบต้าก่อนที่เกินความแปรปรวนก่อน เป็นไปได้ในรูปแบบทวินามตามตัวอย่างด้านล่างซึ่งมีโอกาสและ ก่อนหน้านี้อยู่ในทางตรงกันข้ามโดยสิ้นเชิงเพื่อให้หลังเป็น "ไกลเกินไปในระหว่าง" ดูเหมือนจะขัดแย้งกับคำพูดของ Gelman

V (θ | y) = \frac{α_{1} β_{1}}{(α_{1} + β_{1})^{2} (α_{1} + β_{1} + 1)} = \frac{(α_{0} + k) (n - k + β_{0})}{(α_{0} + n + β_{0})^{2} (α_{0} + n + β_{0} + 1)},

$V(\theta|y)=\frac{\alpha_{1}\beta_1}{(\alpha_{1}+\beta_1)^2(\alpha_{1}+\beta_1+1)}=\frac{(\alpha _{0}+k)(n-k+\beta_{0})}{(\alpha_{0}+n+\beta_0)^2(\alpha_{0}+n+\beta_0+1)},$

n

$n$

k

$k$

α_{0}, β_{0}

$\alpha_{0},\beta_0$

V (θ) = \frac{α_{0} β_{0}}{(α_{0} + β_{0})^{2} (α_{0} + β_{0} + 1)}

$V(\theta)=\frac{\alpha_{0}\beta_0}{(\alpha_{0}+\beta_0)^2(\alpha_{0}+\beta_0+1)}$

n <- 10         
k <- 1
alpha0 <- 100
beta0 <- 20

theta <- seq(0.01,0.99,by=0.005)
likelihood <- theta^k*(1-theta)^(n-k) 
prior <- function(theta,alpha0,beta0) return(dbeta(theta,alpha0,beta0))
posterior <- dbeta(theta,alpha0+k,beta0+n-k)

plot(theta,likelihood,type="l",ylab="density",col="lightblue",lwd=2)

likelihood_scaled <- dbeta(theta,k+1,n-k+1)
plot(theta,likelihood_scaled,type="l",ylim=c(0,max(c(likelihood_scaled,posterior,prior(theta,alpha0,beta0)))),ylab="density",col="lightblue",lwd=2)
lines(theta,prior(theta,alpha0,beta0),lty=2,col="gold",lwd=2)
lines(theta,posterior,lty=3,col="darkgreen",lwd=2)
legend("top",c("Likelihood","Prior","Posterior"),lty=c(1,2,3),lwd=2,col=c("lightblue","gold","darkgreen"))

 > (postvariance <- (alpha0+k)*(n-k+beta0)/((alpha0+n+beta0)^2*(alpha0+n+beta0+1)))
[1] 0.001323005
> (priorvariance <- (alpha0*beta0)/((alpha0+beta0)^2*(alpha0+beta0+1)))
[1] 0.001147842

ดังนั้นตัวอย่างนี้แสดงให้เห็นถึงความแปรปรวนด้านหลังที่มีขนาดใหญ่กว่าในแบบจำลองทวินาม

แน่นอนว่านี่ไม่ใช่ความแปรปรวนด้านหลังที่คาดหวัง นั่นคือสิ่งที่ความแตกต่างอยู่?

ตัวเลขที่สอดคล้องกันคือ

— คริสโตฟฮันค์
แหล่งที่มา

4

ภาพประกอบที่สมบูรณ์แบบ และไม่มีความคลาดเคลื่อนระหว่างข้อเท็จจริงที่ว่าความแปรปรวนด้านหลังที่รับรู้นั้นใหญ่กว่าความแปรปรวนก่อนหน้าและความคาดหวังนั้นน้อยกว่า

— ซีอาน

1

ฉันให้ลิงก์ไปยังคำตอบนี้เป็นตัวอย่างที่ดีของสิ่งที่กำลังถูกกล่าวถึงที่นี่ผลลัพธ์นี้ (ความแปรปรวนบางครั้งเพิ่มขึ้นเมื่อมีการรวบรวมข้อมูล) ขยายไปถึงเอนโทรปี

— Don Slowik