Hamiltonian Monte Carlo: จะทำให้รู้สึกถึงข้อเสนอของ Metropolis-Hasting ได้อย่างไร

ฉันพยายามที่จะเข้าใจการทำงานภายในของ Hamiltonian Monte Carlo (HMC) แต่ไม่สามารถเข้าใจส่วนนี้ได้อย่างสมบูรณ์เมื่อเราแทนที่การรวมเวลาที่กำหนดไว้กับข้อเสนอ Metropolis-Hasting ฉันกำลังอ่านกระดาษเกริ่นนำสุดยอด A บทนำเกี่ยวกับแนวคิดของมิลโตเนียนมอนติคาร์โลโดย Michael Betancourt ดังนั้นฉันจะทำตามสัญกรณ์เดิมที่ใช้ในนั้น

พื้นหลัง

เป้าหมายทั่วไปของ Markov Chain Monte Carlo (MCMC) เป็นที่ใกล้เคียงกับการกระจายของตัวแปรเป้าหมายQ$\pi(q)$$q$

ความคิดของ HMC คือการแนะนำผู้ช่วย "โมเมนตัม" ตัวแปรร่วมกับตัวแปรเดิมที่ถูกจำลองเป็นตำแหน่ง "" คู่ตำแหน่ง - โมเมนตัมเป็นพื้นที่เฟสขยายและสามารถอธิบายได้โดยการเปลี่ยนแปลงของมิลโตเนียน ข้อต่อการกระจายสามารถเขียนได้ในแง่ของการสลายตัวของ microcanonical:$p$$q$$\pi(q, p)$

$\pi(q, p) = \pi(\theta_E | E) \hspace{2pt} \pi(E)$ ,

ที่หมายถึงพารามิเตอร์ในการให้ระดับพลังงานยังเป็นที่รู้จักในฐานะที่เป็นชุดปกติ ดูภาพประกอบที่ 21 และรูปที่ 22 ของกระดาษ$\theta_E$$(q, p)$$E$

โพรซีเดอร์ HMC ดั้งเดิมประกอบด้วยสองขั้นตอนต่อไปนี้:

• ขั้นตอนสุ่มที่ดำเนินการสุ่มเปลี่ยนระหว่างระดับพลังงานและ

• ขั้นตอนที่กำหนดขึ้นซึ่งดำเนินการรวมเวลา (โดยปกติแล้วจะดำเนินการผ่านการรวมตัวเลขของเกมเสือข้ามห้วย) ตามระดับพลังงานที่กำหนด

ในกระดาษมันเป็นที่ถกเถียงกันอยู่ว่าเกมเสือข้ามห้วย (หรือ symplectic integrator) มีข้อผิดพลาดเล็ก ๆ น้อย ๆ ที่จะแนะนำอคติเชิงตัวเลข ดังนั้นแทนที่จะถือเป็นขั้นตอนที่กำหนดไว้เราควรเปลี่ยนให้เป็นข้อเสนอ Metropolis-Hasting (MH) เพื่อทำให้ขั้นตอนนี้เป็นแบบสุ่มและกระบวนการผลลัพธ์จะให้ตัวอย่างที่แน่นอนจากการแจกแจง

ข้อเสนอ MH จะทำตามขั้นตอนของการดำเนินการเกมเสือข้ามห้วยแล้วพลิกโมเมนตัม ข้อเสนอจะได้รับการยอมรับโดยมีความน่าจะเป็นที่ยอมรับได้ดังต่อไปนี้:$L$

$a (q_L, -p_L | q_0, p_0) = min(1, \exp(H(q_0,p_0) - H(q_L,-p_L)))$

คำถาม

คำถามของฉันคือ:

1) เหตุใดการดัดแปลงของการเปลี่ยนการรวมเวลาที่กำหนดไว้นี้เป็นข้อเสนอ MH จึงยกเลิกอคติเชิงตัวเลขเพื่อให้กลุ่มตัวอย่างที่สร้างขึ้นปฏิบัติตามการกระจายเป้าหมายอย่างแม่นยำ?

2) จากมุมมองทางฟิสิกส์พลังงานจะได้รับการอนุรักษ์ในระดับพลังงานที่กำหนด นั่นเป็นเหตุผลที่เราสามารถใช้สมการของแฮมิลตันได้:

$\dfrac{dq}{dt} = \dfrac{\partial H}{\partial p}, \hspace{10pt} \dfrac{dp}{dt} = -\dfrac{\partial H}{\partial q}$Q}

ในแง่นี้พลังงานที่ควรจะคงที่ทุกที่ในชุดปกติจึงควรจะเท่ากับ-p_L) ทำไมมีพลังงานต่างกันที่ทำให้เราสามารถสร้างความน่าจะเป็นที่ยอมรับได้$H(q_0, p_0)$$H(q_L, -p_L)$

วิถีแฮมิลตันที่กำหนดขึ้นนั้นมีประโยชน์เพียงเพราะมันสอดคล้องกับการกระจายเป้าหมาย โดยเฉพาะอย่างยิ่งวิถีที่มีโครงการพลังงานทั่วไปเข้าสู่ภูมิภาคที่มีความน่าจะเป็นสูงในการกระจายเป้าหมาย ถ้าเราสามารถบูรณาการสมแฮมิลตันตรงและสร้างไบร์ทมิลอย่างชัดเจนแล้วเราจะมีขั้นตอนวิธีการแล้วเสร็จสมบูรณ์และไม่จำเป็นต้องมีขั้นตอนการยอมรับใด ๆ

น่าเสียดายนอกเหนือจากตัวอย่างง่ายๆที่เราไม่สามารถรวมสมการของแฮมิลตันได้ นั่นเป็นเหตุผลที่เราจะต้องนำมาในการติดตั้ง symplectic ผู้รวบรวม symplectic ใช้ในการสร้างการประมาณเชิงตัวเลขที่มีความแม่นยำสูงสำหรับวิถีไบเรเมียนที่แน่นอนซึ่งเราไม่สามารถแก้ปัญหาเชิงวิเคราะห์ได้ ข้อผิดพลาดเล็ก ๆ ที่มีอยู่ใน symplectic integrators ทำให้วิถีการคำนวณตัวเลขเหล่านี้เบี่ยงเบนไปจากวิถีที่แท้จริงและด้วยเหตุนี้การคาดการณ์ของวิถีการเคลื่อนที่เชิงตัวเลขจึงเบี่ยงเบนไปจากชุดการกระจายเป้าหมายทั่วไป เราจำเป็นต้องแนะนำวิธีการแก้ไขความเบี่ยงเบนนี้

การดำเนินการดั้งเดิมของ Hamiltonian Monte Carlo ถือว่าเป็นจุดสุดท้ายในเส้นทางโคจรของความยาวคงที่เป็นข้อเสนอจากนั้นจึงใช้ขั้นตอนการยอมรับของมหานครกับข้อเสนอนั้น หากวิถีการคำนวณมีการสะสมข้อผิดพลาดมากเกินไปและเบี่ยงเบนไปจากพลังงานเริ่มต้นมากเกินไปดังนั้นการเสนอนั้นจะถูกปฏิเสธ กล่าวอีกนัยหนึ่งขั้นตอนการยอมรับทิ้งข้อเสนอที่จบลงด้วยการคาดการณ์ไกลเกินไปจากชุดการกระจายเป้าหมายทั่วไปเพื่อให้กลุ่มตัวอย่างเดียวที่เราเก็บไว้คือกลุ่มที่ตกอยู่ในชุดทั่วไป

โปรดทราบว่าการใช้งานที่ทันสมัยกว่าที่ฉันสนับสนุนในกระดาษแนวคิดไม่ได้อยู่ในความเป็นจริงอัลกอริทึม Metropolis-Hastings การสุ่มเส้นทางสุ่มจากนั้นจุดสุ่มจากวิถีการสุ่มนั้นเป็นวิธีทั่วไปที่จะแก้ไขข้อผิดพลาดเชิงตัวเลขที่แนะนำโดยผู้รวมระบบ symplectic Metropolis-Hastings เป็นเพียงวิธีหนึ่งในการใช้อัลกอริทึมทั่วไปนี้ให้มากขึ้น แต่การสุ่มตัวอย่าง slice (เสร็จแล้วใน NUTS) และการสุ่มตัวอย่าง multinomial แต่ท้ายที่สุดแล้วสัญชาตญาณก็เหมือนกัน - เราจะเลือกจุดที่มีข้อผิดพลาดเล็กน้อยเพื่อให้แน่ใจว่าตัวอย่างที่แน่นอนจากการกระจายเป้าหมาย