พารามิเตอร์โอกาสสูงสุดเบี่ยงเบนจากการแจกแจงหลัง

ฉันมีฟังก์ชั่นความน่าจะเป็น$\mathcal{L}(d | \theta)$สำหรับความน่าจะเป็นของข้อมูลของฉัน$d$รับพารามิเตอร์บางรุ่น$\theta \in \mathbf{R}^N$ซึ่งผมอยากจะประมาณการ สมมติว่ามีค่าคงที่ของพารามิเตอร์ระดับความน่าจะเป็นเป็นสัดส่วนกับความน่าจะเป็นหลัง ฉันใช้วิธี MCMC เพื่อสุ่มตัวอย่างความน่าจะเป็นนี้

เมื่อดูที่ลูกโซ่ที่เกิดขึ้นฉันพบว่าพารามิเตอร์ความน่าจะเป็นสูงสุดนั้นไม่สอดคล้องกับการแจกแจงแบบหลัง ตัวอย่างเช่นการกระจายความน่าจะเป็นด้านหลังของชายขอบสำหรับหนึ่งในพารามิเตอร์อาจเป็น$\theta_0 \sim N(\mu=0, \sigma^2=1)$ในขณะที่ค่าของ$\theta_0$ที่จุดน่าจะเป็นสูงสุดคือ$\theta_0^{ML} \approx 4$โดยพื้นฐานแล้ว เกือบจะเป็นค่าสูงสุดของ$\theta_0$ผ่านการสุ่มตัวอย่างโดย MCMC

นี่เป็นตัวอย่างที่แสดงไม่ใช่ผลลัพธ์ที่แท้จริงของฉัน การแจกแจงจริงนั้นซับซ้อนกว่า แต่พารามิเตอร์ ML บางตัวมีค่า p ที่ไม่น่าเหมือนกันในการแจกแจงหลัง ทราบว่าบางส่วนของพารามิเตอร์ของฉันจะกระโดด (เช่น$0 \leq \theta_1 \leq 1$ ); ภายในขอบเขตนักบวชจะเหมือนกันเสมอ

คำถามของฉันคือ:

1. การเบี่ยงเบนนั้นเป็นปัญหาต่อหรือเปล่า เห็นได้ชัดว่าฉันไม่ได้คาดหวังว่าพารามิเตอร์ ML จะเหมือนกันซึ่งสูงสุดของการกระจายหลังส่วนล่างของพวกเขาแต่ละคน แต่สังหรณ์ใจมันรู้สึกว่าพวกเขาไม่ควรพบลึกลงไปในหาง การเบี่ยงเบนนี้ทำให้ผลลัพธ์ของฉันเป็นโมฆะโดยอัตโนมัติหรือไม่

2. ไม่ว่าจะเป็นปัญหาหรือไม่มันเป็นอาการของโรคที่เฉพาะเจาะจงในบางช่วงของการวิเคราะห์ข้อมูลหรือไม่? ตัวอย่างเช่นเป็นไปได้หรือไม่ที่จะสร้างคำแถลงทั่วไปเกี่ยวกับว่าการเบี่ยงเบนดังกล่าวอาจเกิดจากการรวมกันของโซ่ที่ไม่ถูกต้องแบบจำลองที่ไม่ถูกต้องหรือขอบเขตที่แน่นเกินไปของพารามิเตอร์

ด้วยนักบวชแบนผู้อยู่ด้านหลังจึงมีความเป็นไปได้ที่จะคงที่ ดังนั้น

1. MLE (ประมาณด้วยเครื่องมือเพิ่มประสิทธิภาพ) ควรเหมือนกับ MAP (ค่าหลังสูงสุด = โหมดหลายตัวแปรของหลังโดยประมาณด้วย MCMC) หากคุณไม่ได้รับค่าเดียวกันคุณมีปัญหากับตัวอย่างหรือเครื่องมือเพิ่มประสิทธิภาพ

2. สำหรับรุ่นที่ซับซ้อนเป็นเรื่องธรรมดามากที่โหมดส่วนต่างแตกต่างจากแผนที่ สิ่งนี้จะเกิดขึ้นตัวอย่างเช่นหากความสัมพันธ์ระหว่างพารามิเตอร์ไม่เป็นเชิงเส้น นี่เป็นสิ่งที่ดีอย่างสมบูรณ์ แต่โหมดมาร์จิ้นไม่ควรตีความว่าเป็นจุดที่มีความหนาแน่นหลังสูงสุดและไม่ถูกนำมาเปรียบเทียบกับ MLE

3. อย่างไรก็ตามในกรณีเฉพาะของคุณฉันสงสัยว่าคนหลังวิ่งเข้าชนขอบก่อน ในกรณีนี้ผู้หลังจะไม่สมมาตรอย่างยิ่งและไม่เหมาะสมที่จะตีความในแง่ของค่าเฉลี่ย sd ไม่มีปัญหาหลักในสถานการณ์นี้ แต่ในทางปฏิบัติมักจะบอกใบ้เกี่ยวกับรูปแบบการสะกดผิดหรือนักบวชที่ได้รับการคัดเลือกต่ำ

คำอธิบายทั่วไปที่เป็นไปได้บางประการสำหรับความคลาดเคลื่อนที่รับรู้นี้สมมติว่าไม่มีปัญหาเกี่ยวกับรหัสหรือคำนิยามความน่าจะเป็นหรือการใช้ MCMC หรือจำนวนการทำซ้ำ MCMC หรือการบรรจบกันของโอกาสสูงสุด (ขอบคุณJacob Socolar ):

1. $N$$\sqrt{N}$$\theta|\mathbf x\sim\mathcal N_N(0,I_N)$$\theta$$N-2\sqrt{2N}$$0$

2. ในขณะที่ MAP และ MLE ถูกทำให้สับสนภายใต้การแบนมาก่อนความหนาแน่นของพารามิเตอร์ต่าง ๆ ของแบบจำลองอาจมีโหมด (ร่อแร่) ที่อยู่ห่างจาก MLE ที่สอดคล้องกัน (เช่น MAP)

3. MAP คือตำแหน่งในพื้นที่พารามิเตอร์ที่มีความหนาแน่นหลังสูงสุด แต่สิ่งนี้ไม่ได้บ่งบอกถึงน้ำหนักหรือปริมาตรหลังสำหรับพื้นที่ใกล้เคียงของ MAP เข็มที่บางมากไม่มีน้ำหนักด้านหลัง นี่คือเหตุผลที่การสำรวจ MCMC ของคนหลังอาจประสบปัญหาในการระบุโหมดหลัง

4. ความจริงที่ว่าพารามิเตอร์ส่วนใหญ่ถูก จำกัด ขอบเขตอาจนำไปสู่ส่วนประกอบบางอย่างของ MAP = MLE ที่เกิดขึ้นที่ขอบเขต

ดูเช่นDruihlet และ Marin (2007)เพื่อหาข้อโต้แย้งเกี่ยวกับลักษณะของตัวประมาณค่าแบบเบย์ หนึ่งคือการพึ่งพาตัวประมาณเหล่านี้ในมาตรการที่มีอำนาจเหนืออีกอันหนึ่งคือการขาดความไม่แปรเปลี่ยนภายใต้การแก้ไขซ้ำ (เหมือนของ MLE)

ตัวอย่างของจุดที่ 1 ด้านบนนี่คือรหัส R สั้น

N=100
T=1e4
lik=dis=rep(0,T)
mu=rmvnorm(1,mean=rep(0,N))
xobs=rmvnorm(1,mean=rep(0,N))
lik[1]=dmvnorm(xobs,mu,log=TRUE)
dis[1]=(xobs-mu)%*%t(xobs-mu)
for (t in 2:T){
  prop=rmvnorm(1,mean=mu,sigma=diag(1/N,N))
  proike=dmvnorm(xobs,prop,log=TRUE)
  if (log(runif(1))<proike-lik[t-1]){
    mu=prop;lik[t]=proike
     }else{lik[t]=lik[t-1]}
    dis[t]=(xobs-mu)%*%t(xobs-mu)}

ซึ่งเลียนแบบลำดับเดินนครบาล - เฮสติ้งส์ในมิติ N = 100 ค่าของโอกาสในการบันทึกที่ MAP คือ -91.89 แต่โอกาสในการเยี่ยมชมไม่เคยเข้ามาใกล้:

> range(lik)
[1] -183.9515 -126.6924

ซึ่งอธิบายโดยข้อเท็จจริงที่ว่าลำดับไม่เคยเข้าใกล้การสังเกต:

> range(dis)
[1]  69.59714 184.11525