เงื่อนไขทั้งหมดมาจากการสุ่มตัวอย่างที่กิ๊บส์?

อัลกอริทึม MCMC เช่นการสุ่มตัวอย่าง Metropolis-Hastings และ Gibbs เป็นวิธีการสุ่มตัวอย่างจากการกระจายหลังร่วมกัน

ฉันคิดว่าฉันเข้าใจและสามารถนำไปใช้ในการทำให้มหานครสวยได้อย่างง่ายดาย - คุณเพียงแค่เลือกจุดเริ่มต้นอย่างใดอย่างหนึ่งและ 'เดินพื้นที่พารามิเตอร์' โดยการสุ่มนำโดยความหนาแน่นหลังและความหนาแน่นของข้อเสนอ การสุ่มตัวอย่างของกิ๊บส์ดูเหมือนจะคล้ายกันมาก แต่มีประสิทธิภาพมากกว่าเนื่องจากจะอัปเดตพารามิเตอร์ครั้งละหนึ่งเท่านั้นในขณะที่ถือค่าคงตัวอื่น ๆ อย่างมีประสิทธิภาพการเดินบนอวกาศในรูปแบบมุมฉาก

ในการดำเนินการนี้คุณต้องมีเงื่อนไขครบถ้วนของแต่ละพารามิเตอร์ในการวิเคราะห์จาก * แต่เงื่อนไขทั้งหมดนี้มาจากไหน

$$P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)}$$ ที่จะได้รับส่วนที่คุณจำเป็นต้องเหยียดหยามร่วมกว่า$x_1$1 ดูเหมือนว่าจะมีการทำงานมากมายที่ต้องทำการวิเคราะห์หากมีพารามิเตอร์จำนวนมากและอาจไม่สามารถจัดการได้หากการกระจายข้อต่อไม่ดีมาก ฉันรู้ว่าถ้าคุณใช้การผันคำกริยาตลอดทั้งโมเดลเงื่อนไขแบบเต็มอาจง่าย แต่ก็ต้องมีวิธีที่ดีกว่าสำหรับสถานการณ์ทั่วไปมากขึ้น

ตัวอย่างทั้งหมดของการสุ่มตัวอย่างของกิ๊บส์ที่ฉันเคยเห็นตัวอย่างการใช้ของเล่นออนไลน์ (เช่นการสุ่มตัวอย่างจากตัวแปรหลายตัวแปรซึ่งเงื่อนไขเป็นเพียงบรรทัดฐานของตัวเอง) และดูเหมือนจะหลบปัญหานี้

* หรือคุณต้องการเงื่อนไขแบบเต็มในรูปแบบการวิเคราะห์เลยหรือไม่? โปรแกรมเช่น winBUGS ทำมันได้อย่างไร?

ใช่คุณถูกต้องการแจกแจงแบบมีเงื่อนไขจะต้องพบกับการวิเคราะห์ แต่ฉันคิดว่ามีตัวอย่างมากมายที่การกระจายเงื่อนไขแบบเต็มหาง่ายและมีรูปแบบที่ง่ายกว่าการแจกแจงแบบร่วม

สัญชาตญาณสำหรับเรื่องนี้จะเป็นดังนี้ในส่วน "ความจริง" แจกแจงร่วม , ส่วนใหญ่ของX ฉัน 's มักจะมีเงื่อนไขที่เป็นอิสระของที่สุดของตัวแปรสุ่มอื่น ๆ นั่นคือตัวแปรบางตัวมีการโต้ตอบในท้องถิ่นกล่าวว่าX iขึ้นอยู่กับX i - 1และX i + 1แต่ไม่ได้โต้ตอบกับทุกสิ่งดังนั้นการแจกแจงแบบมีเงื่อนไขควรลดความซับซ้อนลงอย่างมีนัยสำคัญเมื่อP r $P(X_1,\dots,X_n)$$X_i$$X_i$$X_{i-1}$$X_{i+1}$$Pr(X_i|X_1, \dots, X_i) = Pr(X_i|X_{i-1}, X_{i+1})$

ฉันคิดว่าคุณพลาดข้อได้เปรียบหลักของอัลกอริทึมเช่น Metropolis-Hastings สำหรับการสุ่มตัวอย่างกิ๊บส์คุณจะต้องสุ่มตัวอย่างจากเงื่อนไขแบบเต็ม คุณพูดถูกที่ไม่ค่อยทำ ข้อได้เปรียบหลักของอัลกอริทึม Metropolis-Hastings คือคุณยังสามารถสุ่มตัวอย่างพารามิเตอร์ได้ทีละตัว แต่คุณจำเป็นต้องรู้เงื่อนไขทั้งหมดให้ได้สัดส่วนสูงสุด นี่เป็นเพราะตัวส่วนนั้นยกเลิกในฟังก์ชันเกณฑ์การยอมรับ

$P(x_1 | x_2,...,x_n) \propto P(x_1,...,x_n)$

โดยทั่วไปโปรแกรมอย่าง WinBugs / Jags จะใช้ขั้นตอนการสุ่มตัวอย่าง Metropolis-Hastings หรือ slice ซึ่งต้องการเงื่อนไขตามสัดส่วนสูงสุดเท่านั้น สิ่งเหล่านี้หาได้ง่ายจาก DAG ได้รับการสังยุคบางครั้งพวกเขาก็ทำตามขั้นตอนกิ๊บส์หรือหยุดบล็อกแฟนซี