(การโต้ตอบ) MCMC สำหรับรูปหลังด้านหลัง

ฉันพยายามที่จะสุ่มตัวอย่างจากผู้โพสต์ด้านหลังที่มีหลายโหมดโดยเฉพาะอย่างยิ่งที่ไกลจากกันโดยใช้ MCMC ปรากฏว่าในกรณีส่วนใหญ่เฉพาะหนึ่งในโหมดเหล่านี้เท่านั้นที่มี 95% hpd ที่ฉันกำลังมองหา ฉันพยายามที่จะใช้โซลูชั่นตามการจำลองอารมณ์ แต่สิ่งนี้ไม่ได้ผลลัพธ์ที่น่าพอใจในทางปฏิบัติที่เกิดขึ้นจาก "ช่วงการจับภาพ" หนึ่งไปยังอีกที่หนึ่งคือค่าใช้จ่ายสูง

สำหรับฉันแล้วดูเหมือนว่าโซลูชันที่มีประสิทธิภาพมากขึ้นจะใช้ MCMC ง่าย ๆ หลายจุดจากจุดเริ่มต้นที่แตกต่างกันและดำดิ่งลงสู่โซลูชันที่โดดเด่นด้วยการทำให้ MCMC โต้ตอบ คุณรู้หรือไม่ว่ามีวิธีที่เหมาะสมในการนำแนวคิดดังกล่าวไปใช้หรือไม่

หมายเหตุ: ฉันพบว่ากระดาษhttp://lccc.eecs.berkeley.edu/Papers/dmcmc_short.pdf (กระจายมาร์คอฟโซ่มอนติคาร์โลลอเรนซ์เมอเรย์) ที่ดูใกล้เคียงกับสิ่งที่ฉันกำลังมองหา แต่ฉันไม่เข้าใจการออกแบบ ของฟังก์ชั่นR_i$R_i$

[แก้ไข]:การขาดคำตอบดูเหมือนจะบ่งบอกว่าไม่มีทางออกที่ชัดเจนสำหรับปัญหาเริ่มต้นของฉัน (ทำให้การสุ่มตัวอย่าง MCMC หลายครั้งจากการกระจายเป้าหมายเดียวกันจากจุดเริ่มต้นที่แตกต่างกันมีปฏิสัมพันธ์ซึ่งกันและกัน) มันเป็นเรื่องจริงเหรอ? ทำไมมันซับซ้อนจัง ขอบคุณ

ฉันขอแนะนำให้มองหาวิธีที่ดีกว่าหรืออย่างน้อยก็เป็นวิธีที่มีคำอธิบายในเชิงลึกมากกว่าเนื่องจาก "มาร์คอฟโซ่ลูกโซ่มอนเต้คาร์โล" แจกจ่ายจากเอกสารที่คุณอ้างถึงดูเหมือนจะไม่ได้ระบุไว้อย่างชัดเจน ข้อดีและข้อเสียไม่ได้รับการสำรวจอย่างดี มีวิธีการที่ปรากฏใน arxiv ค่อนข้างเร็ว ๆ นี้เรียกว่า " Wormhole Hamiltonian Monte Carlo " ฉันอยากจะแนะนำให้ตรวจสอบ

กลับไปที่กระดาษที่คุณให้การอ้างอิงข้อเสนอระยะไกลถูกมาก ในส่วนของแอปพลิเคชันจะอธิบายว่า "โอกาสสูงสุดของเกาส์เซียนเหนือตัวอย่าง t / 2 ก่อนหน้า" นี่อาจหมายความว่าคุณเฉลี่ยค่า t / 2 สุดท้ายของห่วงโซ่ใช่ไหม เดายากด้วยคำอธิบายที่ไม่ดีที่ได้รับในการอ้างอิง$R_{i}(\theta_{i})$$i^{th}$

[UPDATE:] ปฏิสัมพันธ์ระหว่างเครือข่ายหลายและการประยุกต์ใช้ความคิดนี้ไปตัวอย่างจากการกระจายหลังที่สามารถพบได้ในวิธีการ MCMC ขนานเช่นที่นี่ อย่างไรก็ตามการใช้งานหลาย ๆ โซ่และบังคับให้พวกเขามีปฏิสัมพันธ์อาจไม่เหมาะสำหรับคนหลังหลายรูปแบบ: ตัวอย่างเช่นหากมีภูมิภาคที่เด่นชัดมากซึ่งการกระจายของหลังส่วนใหญ่นั้นมีความเข้มข้นการปฏิสัมพันธ์ของโซ่อาจทำให้สิ่งต่าง ๆ ภูมิภาคและไม่สำรวจพื้นที่ / โหมดอื่น ๆ เด่นชัดน้อยลง ดังนั้นฉันขอแนะนำอย่างยิ่งให้มองหา MCMC ที่ออกแบบมาเป็นพิเศษสำหรับปัญหาที่เกิดขึ้นหลายรูปแบบ และถ้าคุณต้องการที่จะสร้างวิธีการใหม่ / ใหม่หลังจากที่คุณรู้ว่าสิ่งที่มีอยู่ใน "ตลาด" คุณสามารถสร้างวิธีที่มีประสิทธิภาพมากขึ้น

คุณควรลอง multinest: https://arxiv.org/pdf/0809.3437.pdf https://github.com/JohannesBuchner/MultiNest มันเป็นเอ็นจิ้น การอนุมานแบบเบส์ที่จะให้ตัวอย่างพารามิเตอร์สำหรับการแจกแจงหลายรูปแบบ

ลิงค์ github มีซอร์สโค้ด multinest ที่คุณรวบรวมและติดตั้งตามคำแนะนำ นอกจากนี้ยังมีแผ่นหุ้มงูหลามที่ใช้งานง่ายกว่า โค้ดตัวอย่างมีส่วนก่อนหน้าซึ่งทำหน้าที่ จำกัด พารามิเตอร์ของคุณและส่วนโอกาสที่มีโอกาสของคุณ ไฟล์การตั้งค่าประกอบด้วยการตั้งค่าทั้งหมดของคุณและเชื่อมโยงโฟลเดอร์เอาต์พุตมัลติซิงก์หลังจากที่เหมาะสม มันจะให้ตัวอย่างของพารามิเตอร์ของคุณ

สิ่งนี้ดูเหมือนจะเป็นปัญหาที่ยากและต่อเนื่องในสถิติการคำนวณ อย่างไรก็ตามมีวิธีการที่ล้ำสมัยน้อยกว่าสองสามข้อที่ควรใช้งานได้

สมมติว่าคุณได้พบโหมดที่แตกต่างกันหลายอย่างของคนหลังและคุณมีความสุขที่เหล่านี้เป็นโหมดที่สำคัญที่สุดและถ้าคนหลังรอบโหมดเหล่านี้เป็นเรื่องปกติ จากนั้นคุณสามารถคำนวณ hessian ที่โหมดเหล่านี้ (พูดโดยใช้ optimise ใน R กับ hessian = T) และคุณสามารถประมาณหลังเป็นส่วนผสมของ normals (หรือการแจกแจง t) ดู p318-319 ใน Gelman และคณะ (2003) "การวิเคราะห์ข้อมูลแบบเบย์" สำหรับรายละเอียด จากนั้นคุณสามารถใช้การประมาณ / ผสมแบบผสมเป็นการกระจายข้อเสนอในตัวอย่างอิสระเพื่อรับตัวอย่างจากหลังเต็มรูปแบบ

อีกแนวคิดหนึ่งที่ฉันไม่ได้ลองคือ Annealed Importance Sampling (Radford Neal, 1998, link ที่นี่ )

ลองใช้วิธี MCMC แบบใหม่สำหรับ multimodality ซึ่งเป็นอัลกอริทึม Metropolis ที่น่าดึงดูดใจอย่างยิ่ง ( http://arxiv.org/abs/1601.05633 )? ตัวอย่างต่อเนื่องหลายรูปแบบนี้ทำงานร่วมกับพารามิเตอร์การปรับแต่งเดียวเช่นอัลกอริทึม Metropolis และง่ายต่อการใช้