ฉันสามารถตัวอย่างชุดข้อมูลขนาดใหญ่ที่การทำซ้ำ MCMC ทุกครั้งได้หรือไม่

ปัญหา:ฉันต้องการทำการสุ่มตัวอย่างของกิ๊บส์เพื่อสรุปหลังชุดข้อมูลขนาดใหญ่ โชคไม่ดีโมเดลของฉันไม่ง่ายนักและการสุ่มตัวอย่างช้าเกินไป ฉันจะพิจารณาแนวทางที่หลากหลายหรือขนาน แต่ก่อนที่จะไปไกล ...

คำถาม:ฉันต้องการทราบว่าฉันสามารถสุ่มตัวอย่างตัวอย่าง (พร้อมการแทนที่) จากชุดข้อมูลของฉันที่การวนซ้ำของกิ๊บส์ทุกครั้งหรือไม่

สัญชาตญาณของฉันคือแม้ว่าฉันจะเปลี่ยนตัวอย่างฉันจะไม่เปลี่ยนความหนาแน่นของความน่าจะเป็นและดังนั้นตัวอย่างกิ๊บส์ไม่ควรสังเกตเห็นเคล็ดลับ ฉันถูกไหม? มีผู้อ้างอิงบางคนที่ทำสิ่งนี้หรือไม่?

เกี่ยวกับกลวิธีการสุ่มตัวอย่าง: ยกตัวอย่างเช่นให้พิจารณาว่ามีการสังเกตสองแบบ $X_1 \sim N(\mu_1, \sigma_1^2)$ และ $X_2 \sim N(\mu_2,\sigma_2^2)$และพิจารณาให้นักบวชบางคนอยู่ในค่าเฉลี่ยและความแปรปรวน ปล่อย$\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$ด้านหลังที่เราต้องการประเมินคือ

$$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$$ ตอนนี้ COnsider เป็นตัวแปรทวินาม $\delta \sim B(0.5)$. ถ้า$\delta=0$ เราเลือก $X_1$ถ้า $\delta =1$ เราเลือก $X_2$หลังใหม่คือ $$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$$ ที่ไหน $f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$ และ $f(\delta) = 0.5$. ตอนนี้ถ้าคุณต้องการตัวอย่าง$\delta$ ด้วยขั้นตอนของกิ๊บส์คุณต้องคำนวณ $f(X_1|\theta)$ และ $f(X_2|\theta)$ เพราะ $P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$. หากคุณใช้ Metropolis Hastings เป็นอย่างอื่นคุณต้องเสนอสถานะใหม่$\delta^*$ และคุณต้องคำนวณเพียงอย่างเดียว $f(X_1|\theta)$ และ $f(X_2|\theta)$สิ่งที่เกี่ยวข้องกับสถานะที่เสนอ แต่คุณต้องคำนวณหาค่าระหว่าง $f(X_1|\theta)$ และ $f(X_2|\theta)$ แม้สำหรับสถานะที่ยอมรับล่าสุดของ $\delta$. ถ้าอย่างนั้นฉันก็ไม่แน่ใจว่าเมืองนั้นจะให้ประโยชน์แก่เจ้าบ้าง ยิ่งกว่านั้นที่นี่เรากำลังพิจารณากระบวนการ bivariate แต่ด้วยกระบวนการหลายตัวแปรในการสุ่มตัวอย่างของ$\delta$มีความซับซ้อนมากกับเมืองใหญ่