Bayes ที่แปรผันรวมกับ Monte Carlo

ฉันกำลังอ่าน Bayes แปรปรวนและเมื่อฉันเข้าใจมันลงมาจากแนวคิดที่ว่าคุณประมาณ (โดยที่คือตัวแปรแฝงของโมเดลของคุณและข้อมูลที่สังเกต) ด้วยฟังก์ชัน , ทำให้ข้อสันนิษฐานที่เป็นตัวประกอบว่าโดยที่เป็นเซตย่อยของตัวแปรแฝง จากนั้นจะสามารถแสดงให้เห็นว่าปัจจัยที่เหมาะสมที่สุดคือ: $p(z\mid x)$$z$$x$$q(z)$$q$$q_i(z_i)$$z_i$$q_i(z_i)$

ที่ไหนวงเล็บมุมแสดงความคาดหวังมากกว่าตัวแปรแฝงทั้งหมดยกเว้นเกี่ยวกับการกระจาย(z)$z_i$$q(z)$

ตอนนี้นิพจน์นี้มักถูกประเมินผลเชิงวิเคราะห์เพื่อให้คำตอบที่แน่นอนกับมูลค่าเป้าหมายโดยประมาณ อย่างไรก็ตามมันเกิดขึ้นกับฉันว่าเนื่องจากนี่เป็นความคาดหวังแนวทางที่ชัดเจนคือประมาณความคาดหวังนี้โดยการสุ่มตัวอย่าง นี่จะให้คำตอบโดยประมาณสำหรับฟังก์ชันเป้าหมายโดยประมาณ แต่มันทำให้เป็นอัลกอริธึมที่ง่ายมากบางทีสำหรับกรณีที่วิธีการวิเคราะห์ไม่เป็นไปได้

คำถามของฉันคือนี่เป็นวิธีการที่รู้จักหรือไม่? มันมีชื่อหรือไม่? มีเหตุผลว่าทำไมมันอาจทำงานได้ไม่ดีหรืออาจไม่ให้อัลกอริธึมแบบง่าย ๆ ?

ฉันจะยอมรับว่านี่ไม่ใช่โดเมนที่ฉันรู้จักดีมากดังนั้นให้เอามันไปด้วยเม็ดเกลือ

ก่อนอื่นโปรดทราบว่าสิ่งที่คุณเสนอไม่ได้ให้อัลกอริธึมที่ง่ายเช่นนี้เพื่อคำนวณใหม่เราไม่จำเป็นต้องคำนวณค่าที่คาดหวังเดียว (เช่นค่าเฉลี่ยหรือความแปรปรวน) แต่ ค่าที่คาดหวังของฟังก์ชันทั้งหมด นี่ยากที่จะคำนวณและคุณจะต้องประมาณจริงโดยบาง (ตัวอย่างเช่นเราอาจพบฮิสโตแกรมประมาณ)$q^\star_i$$q^\star$$\tilde q$

แต่ถ้าคุณกำลังจะ จำกัดให้กับตระกูลพารามิเตอร์เล็ก ๆ ความคิดที่ดีกว่าอาจจะใช้การไล่ระดับสีแบบสุ่ม Stochastic เพื่อค้นหาค่าพารามิเตอร์ที่ดีที่สุด (ดู: การอนุมาน Bayesian แบบแปรผันกับการค้นหาแบบสุ่ม, 2012, Paisley, Blei, Jordan ) การไล่ระดับสีที่พวกเขาคำนวณนั้นคล้ายกับที่คุณเขียนมาก: พวกมันสุ่มตัวอย่างจากการประมาณทั้งหมดที่พวกเขาไม่ได้ปรับให้เหมาะสม$q_i$

ดังนั้นสิ่งที่คุณเสนอไม่ใช่เรื่องง่าย แต่ค่อนข้างใกล้เคียงกับวิธีการจริงที่เพิ่งได้รับการเสนอ