Hamiltonian Monte Carlo กับ Sequential Monte Carlo

ฉันพยายามเข้าใจถึงข้อดีและข้อเสียรวมถึงโดเมนแอปพลิเคชันที่แตกต่างกันของโครงร่าง MCMC ทั้งสองนี้

คุณจะใช้อันไหนและทำไม?
เมื่อใดที่หนึ่งอาจล้มเหลว แต่อีกอันไม่ใช่ (เช่น HMC บังคับใช้ได้ แต่ SMC ไม่และในทางกลับกัน)
วิธีการหนึ่งที่ได้รับอย่างไร้เดียงสาสามารถวัดยูทิลิตี้ในวิธีหนึ่งเมื่อเทียบกับวิธีอื่น (เช่นคือโดยทั่วไปดีกว่า )

ฉันกำลังอ่านหนังสือพิมพ์ที่ยอดเยี่ยม Betancourt ใน HMC

SMC ไม่ใช่เทคนิค MCMC เช่นไม่มีห่วงโซ่มาร์คอฟที่สร้างขึ้นเมื่อใช้ SMC

— jaradniemi

บางครั้งคุณใช้ mcmc ภายใน smc และบางครั้งคุณใช้ smc ภายใน mcmc ในขณะที่เขียนของฉันนี้ฉันไม่ได้ตระหนักถึงเอกสารใด ๆ ที่รวมการใช้ hmc และ smc แม้ว่า

— เทย์เลอร์

ฉันต้องการเข้าใจความสัมพันธ์ระหว่าง SMC (aka, การกรองอนุภาค) และ HMC ให้ดียิ่งขึ้น ขอบคุณสำหรับคำถาม! ฉันสังเกตกระดาษนี้ซึ่งดูเหมือนว่าในแวบแรกที่จะเป็นตัวแทนของวิธีทั้งสองชนิด: arxiv.org/pdf/1504.05715v2.pdf

— David C. Norris

Hamiltonian Monte Carlo ทำงานได้ดีกับการกระจายเป้าหมายอย่างต่อเนื่องด้วยรูปร่าง "แปลก" มันต้องการการกระจายเป้าหมายที่แตกต่างกันเพราะมันใช้ความชันของการกระจายเป้าหมายเพื่อรู้ว่าจะไปที่ไหน ตัวอย่างที่สมบูรณ์แบบคือฟังก์ชั่นรูปกล้วย

นี่คือมหานครมาตรฐาน Hastings ในฟังก์ชั่น Banana: อัตราการยอมรับ 66% และความคุ้มครองที่แย่มาก

นี่คือ HMC: การยอมรับ 99% พร้อมความครอบคลุมที่ดี

P (θ | Y_{1}), P (θ | Y_{1}, Y_{2}), . . ., P (θ | Y_{1}, Y_{2}, . . ., Y_{ยังไม่มีข้อความ})

$P(\theta|y_1) \;,\; P(\theta|y_1,y_2)\;,\;... \;,\; P(\theta|y_1,y_2,...,y_N)$

ตัวอย่างเช่นลำดับนี้เป็นเป้าหมายที่ยอดเยี่ยมสำหรับ SMC:

ลักษณะแบบขนานของ SMC ทำให้เหมาะอย่างยิ่งสำหรับการคำนวณแบบกระจาย / แบบขนาน

สรุป:

HMC: ดีสำหรับเป้าหมายแปลกยาว ไม่ทำงานกับฟังก์ชั่นที่ไม่ต่อเนื่อง
SMC: ดีสำหรับกรณีต่อเนื่องหลายรูปแบบและไม่ต่อเนื่อง อาจมาบรรจบกันช้ากว่าหรือใช้พลังการประมวลผลมากขึ้นสำหรับรูปร่างประหลาดที่มีมิติสูง

ที่มา: ภาพส่วนใหญ่มาจากกระดาษที่ฉันเขียนรวม 2 วิธี (Hamiltonian Sequential Monte Carlo) ชุดค่าผสมนี้สามารถจำลองการกระจายตัวใด ๆ ที่เราสามารถทำได้แม้ในมิติที่สูงมาก

— RemiDav
แหล่งที่มา

ดีและชัดเจน +1 ไม่ทราบว่าทำไมสิ่งนี้ถึงไม่มี upvotes มากขึ้น!

— arboviral

นี่คือกระดาษสำหรับผู้ที่สนใจ: remidaviet.com/files/HSMC-paper.pdf

— stackoverflax