อนุมานความแปรปรวนเมื่อเทียบกับ MCMC: เมื่อเลือกหนึ่งมากกว่าอื่น ๆ ?

ฉันคิดว่าฉันเข้าใจความคิดทั่วไปของทั้ง VI และ MCMC รวมถึงรสชาติที่หลากหลายของ MCMC เช่นการสุ่มตัวอย่างของกิ๊บส์, Metropolis Hastings เป็นต้นบทความนี้ให้การอธิบายที่ยอดเยี่ยมของทั้งสองวิธี

ฉันมีคำถามต่อไปนี้:

• หากฉันต้องการทำการอนุมานแบบเบย์ทำไมฉันถึงเลือกวิธีหนึ่งเหนืออีกวิธีหนึ่ง
• ข้อดีและข้อเสียของแต่ละวิธีคืออะไร?

ฉันเข้าใจว่านี่เป็นคำถามที่ค่อนข้างกว้าง แต่ข้อมูลเชิงลึกใด ๆ จะได้รับการชื่นชมอย่างมาก

สำหรับคำตอบยาวดู Blei, Kucukelbir และ McAuliffe ที่นี่ คำตอบสั้น ๆ นี้ดึงดูดอย่างมากจากนั้น

• MCMC asymptotically แน่นอน; VI ไม่ได้ ในขีด จำกัด MCMC จะประมาณการกระจายเป้าหมายอย่างแน่นอน VI มาโดยไม่มีการรับประกัน
• MCMC แพงคอมพิวเตอร์ โดยทั่วไปแล้ว VI จะเร็วกว่า

ความหมายเมื่อเรามีเวลาในการคำนวณเพื่อฆ่าและให้คุณค่าความแม่นยำในการประมาณการของเรา MCMC ชนะ หากเราสามารถทนต่อการเสียสละเพื่อความสะดวก - หรือเรากำลังทำงานกับข้อมูลที่มีขนาดใหญ่มากเราต้องทำการแลกเปลี่ยน - VI เป็นทางเลือกตามธรรมชาติ

หรืออย่างละเอียดและละเอียดกว่าโดยผู้เขียนที่กล่าวถึงข้างต้น:

ดังนั้นการอนุมานความแปรปรวนจึงเหมาะกับชุดข้อมูลขนาดใหญ่และสถานการณ์ที่เราต้องการสำรวจแบบจำลองต่างๆ MCMC เหมาะสำหรับชุดข้อมูลขนาดเล็กและสถานการณ์สมมติที่เราจ่ายค่าใช้จ่ายในการคำนวณที่หนักขึ้นสำหรับตัวอย่างที่แม่นยำยิ่งขึ้น ตัวอย่างเช่นเราอาจใช้ MCMC ในการตั้งค่าที่เราใช้เวลา 20 ปีในการรวบรวมชุดข้อมูลขนาดเล็ก แต่มีราคาแพงซึ่งเรามั่นใจว่าแบบจำลองของเราเหมาะสมและเราต้องการการอนุมานที่แม่นยำ เราอาจใช้การอนุมานแบบแปรผันเมื่อปรับโมเดลความน่าจะเป็นของข้อความให้เหมาะกับเอกสารข้อความหนึ่งพันล้านฉบับและตำแหน่งที่จะใช้การอนุมานเพื่อแสดงผลการค้นหาให้กับผู้ใช้จำนวนมาก ในสถานการณ์สมมตินี้เราสามารถใช้การคำนวณแบบกระจายและการออปติไมซ์แบบสุ่มเพื่อปรับขนาดและเพิ่มความเร็วในการอนุมานและเราสามารถสำรวจแบบจำลองต่างๆของข้อมูลได้อย่างง่ายดาย