การเชื่อมต่อระหว่างห่วงโซ่มาร์คอฟกับมาร์คอฟโซ่มอนเต้คาร์โลคืออะไร

15

ฉันพยายามทำความเข้าใจกับ Markov chains โดยใช้ SAS ฉันเข้าใจว่ากระบวนการมาร์คอฟเป็นสิ่งที่รัฐในอนาคตขึ้นอยู่กับสถานะปัจจุบันเท่านั้นและไม่ได้อยู่ในสถานะที่ผ่านมาและมีเมทริกซ์การเปลี่ยนแปลงที่จับความน่าจะเป็นการเปลี่ยนแปลงจากรัฐหนึ่งไปยังอีกรัฐหนึ่ง

แต่ฉันเจอคำนี้: มาร์คอฟเชนมอนติคาร์โล สิ่งที่ฉันอยากรู้คือถ้ามาร์คอฟเชนมอนติคาร์โลนั้นเกี่ยวข้องกับกระบวนการมาร์คอฟที่ฉันอธิบายไว้ข้างต้นหรือไม่

— ผู้มีชัย
แหล่งที่มา

9

ใช่แล้วมีความสัมพันธ์ระหว่างสองเทอมเนื่องจากการดึงจาก MCMC ก่อให้เกิดห่วงโซ่มาร์คอฟ จาก Gelman การวิเคราะห์ข้อมูลแบบเบย์ (ฉบับที่ 3) หน้า 265:

การจำลองลูกโซ่มาร์คอฟ (หรือเรียกอีกอย่างว่ามาร์คอฟโซ่มอนติคาร์โลหรือ MCMC) เป็นวิธีการทั่วไปที่ยึดตามค่าการวาดของจากการแจกแจงที่เหมาะสมจากนั้นทำการแก้ไขการดึงเหล่านั้นให้ดีขึ้น $\theta$ )การสุ่มตัวอย่างจะทำตามลำดับโดยมีการแจกแจงการสุ่มตัวอย่างตามค่าสุดท้ายที่ดึงมา เพราะฉะนั้นการวาดรูปแบบโซ่มาร์คอฟ $p(\theta|y)$

— Sycorax พูดว่า Reinstate Monica
แหล่งที่มา

อืมโอเค แต่ทำไมฉันต้องวาดตัวอย่างแบบสุ่มในกระบวนการมาร์คอฟมีกระบวนการอื่น ๆ มากมายเช่นปกติเบอนูลลีครอบครอง ฯลฯ

— วิกเตอร์

2

@Victor ฉันคิดว่าคุณไม่ได้เห็นกรณีการใช้งานของ MCMC เราใช้ MCMC ในสถิติแบบเบย์เมื่อไม่มีรูปแบบการวิเคราะห์การแจกแจงหลัง

— Sycorax พูดว่า Reinstate Monica

3

+1 สถิติแบบเบย์อาจเป็นแอปพลิเคชั่นที่ชัดเจนที่สุดของ MCMC (ซึ่งการกระจายเป้าหมายเป็นแบบร่วมหลัง) แต่ไม่ใช่สิ่งเดียวที่เป็นไปได้

— Glen_b -Reinstate Monica

18

การเชื่อมต่อระหว่างแนวความคิดทั้งสองก็คือว่ามาร์คอฟโซ่ Monte Carlo (aka MCMC) วิธีการพึ่งพาทฤษฎีห่วงโซ่มาร์คอฟเพื่อจำลองการผลิตและการประมาณ Monte Carlo จากความซับซ้อนกระจายเป้าหมายπ $\pi$

$X_1,\ldots,X_N$ $X_i$ $\{X_{i-1},\ldots,X_1\}$ $X_{i-1}$

X_{i} = f (X_{i - 1}, ϵ_{i})

$X_i=f(X_{i-1},\epsilon_i)$

f

$f$

π

$\pi$

ϵ_{i}

$\epsilon_i$

X_{i}

$X_i$

π

$\pi$

i

$i$

\infty

$\infty$

ตัวอย่างที่ง่ายที่สุดของอัลกอริทึม MCMC คือ ชิ้นตัวอย่าง : ที่วนซ้ำของอัลกอริทึมนี้

$\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$ $\epsilon^2_i$ )

$\mathrm{N}(0,1)$

$\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$ $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ with $\epsilon_i^2\sim\mathrm{U}(0,1)$

or in R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

นี่คือการแสดงผลลัพธ์ที่แสดงให้เห็นถึงความเหมาะสมกับ $\mathrm{N}(0,1)$ เป้าหมายและวิวัฒนาการของเชนมาร์คอฟ $(X_i)$ .

และนี่คือการย่อขยายวิวัฒนาการของสายมาร์คอฟ $(X_i,\epsilon^1_i\pi(X_i))$ ในช่วง 100 การวนซ้ำล่าสุดที่ได้รับโดย

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

ที่ติดตามการเคลื่อนไหวในแนวตั้งและแนวนอนของโซ่มาร์คอฟภายใต้เส้นโค้งความหนาแน่นเป้าหมาย

— ซีอาน
แหล่งที่มา