การสุ่มตัวอย่าง Gibbs กับ MH-MCMC ทั่วไป

ฉันเพิ่งได้อ่านการสุ่มตัวอย่างของกิ๊บส์และอัลกอริทึม Metropolis Hastings และมีคำถามสองสามข้อ

อย่างที่ฉันเข้าใจในกรณีของการสุ่มตัวอย่างของกิ๊บส์ถ้าเรามีปัญหาหลายตัวแปรขนาดใหญ่เราจะสุ่มตัวอย่างจากการแจกแจงแบบมีเงื่อนไขนั่นคือตัวอย่างหนึ่งตัวแปรในขณะที่รักษาตัวแปรอื่น ๆ ทั้งหมดไว้ในขณะที่ MH เราสุ่มตัวอย่าง

สิ่งหนึ่งที่เอกสารกล่าวคือตัวอย่างที่เสนอนั้นเป็นที่ยอมรับเสมอในการสุ่มตัวอย่างกิ๊บส์นั่นคืออัตราการยอมรับข้อเสนออยู่เสมอ 1 สำหรับฉันแล้วนี่เป็นข้อได้เปรียบที่ยิ่งใหญ่สำหรับปัญหาหลายตัวแปรขนาดใหญ่ดูเหมือนว่าอัตราการปฏิเสธสำหรับอัลกอริธึม MH ค่อนข้างใหญ่ . หากเป็นเช่นนั้นจริง ๆ แล้วอะไรคือสาเหตุที่ไม่ใช้ Gibbs Sampler ตลอดเวลาในการสร้างการกระจายหลัง

เหตุผลหลักที่อยู่เบื้องหลังการใช้ Metropolis-algorithm นั้นอยู่ที่ข้อเท็จจริงที่ว่าคุณสามารถใช้มันได้แม้ว่าจะไม่เป็นที่รู้จักก็ตาม สำหรับการสุ่มตัวอย่างกิ๊บส์คุณต้องรู้การกระจายหลังซึ่งคุณวาดตัวแปรจาก

การสุ่มตัวอย่างกิ๊บส์แบ่งคำสาปของความเป็นมิติในการสุ่มตัวอย่างเนื่องจากคุณได้แบ่งพื้นที่พารามิเตอร์ (อาจเป็นมิติสูง) ออกเป็นขั้นตอนหลายมิติ Metropolis-Hastings ช่วยลดปัญหามิติข้อมูลบางส่วนของการสร้างตัวอย่างการคัดแยก แต่คุณยังคงสุ่มตัวอย่างจากการกระจายแบบหลายตัวแปรเต็มรูปแบบ

ลองใช้วิธีที่ง่ายกว่านี้: มันง่ายกว่ามากที่จะเสนอการปรับปรุงสำหรับหนึ่งตัวแปรในเวลา (กิ๊บส์) กว่าตัวแปรทั้งหมดพร้อมกัน (Metropolis Hastings)

เมื่อกล่าวถึงมิติของพื้นที่พารามิเตอร์จะยังคงส่งผลต่อการบรรจบกันของทั้ง Gibbs และ Metropolis Hastings เนื่องจากมีพารามิเตอร์มากกว่าที่อาจไม่เข้าหากัน

กิ๊บส์ก็ดีเช่นกันเพราะแต่ละขั้นตอนของวงกิ๊บส์อาจอยู่ในรูปแบบปิด นี่เป็นกรณีในรูปแบบลำดับชั้นที่แต่ละพารามิเตอร์มีเงื่อนไขเพียงไม่กี่คนเท่านั้น มันค่อนข้างง่ายที่จะสร้างแบบจำลองของคุณเพื่อให้แต่ละขั้นตอนของกิ๊บส์อยู่ในรูปแบบปิด (เมื่อแต่ละขั้นตอนรวมกันแล้วบางครั้งเรียกว่า "กึ่งคอนจูเกต") นี่เป็นเรื่องดีเพราะคุณสุ่มตัวอย่างจากการแจกแจงที่รู้จักซึ่งมักจะเร็วมาก