เหตุใดการกำหนดพารามิเตอร์ซ้ำซ้อนจึงเพิ่มความเร็วใน Gibbs MCMC

ในหนังสือของ Gelman & Hill (2007) (การวิเคราะห์ข้อมูลโดยใช้การถดถอยและโมเดลหลายระดับ / ลำดับชั้น) ผู้เขียนอ้างว่าการรวมพารามิเตอร์ที่ซ้ำซ้อนสามารถช่วยเร่ง MCMC ได้

ตัวอย่างที่กำหนดเป็นรูปแบบที่ไม่ใช่ซ้อนกันของ "flight simulator" (Eq 13.9):

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

พวกเขาแนะนำการแก้ไขใหม่เพิ่มพารามิเตอร์ค่าเฉลี่ยและดังนี้: $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

เหตุผลเดียวที่มีให้คือ (หน้า 420):

เป็นไปได้สำหรับการจำลองที่จะติดอยู่ในการกำหนดค่าที่ทั้งเวกเตอร์ (หรือ ) อยู่ไกลจากศูนย์ (แม้ว่าพวกเขาจะได้รับมอบหมายการกระจายที่มีค่าเฉลี่ย 0) ในที่สุดการจำลองจะมาบรรจบกันเพื่อการกระจายที่ถูกต้อง แต่เราไม่ต้องการที่จะต้องรอ $\gamma$ $\delta$

พารามิเตอร์ค่าเฉลี่ยที่ซ้ำซ้อนช่วยด้วยปัญหานี้ได้อย่างไร

สำหรับฉันแล้วดูเหมือนว่าโมเดลที่ไม่ซ้อนกันนั้นส่วนใหญ่จะช้าเพราะและมีความสัมพันธ์เชิงลบ (อันที่จริงถ้ามีใครขึ้นไปอีกคนหนึ่งจะต้องลงไปเพราะข้อมูลจะถูก "แก้ไข") พารามิเตอร์ค่าเฉลี่ยที่ซ้ำซ้อนช่วยลดความสัมพันธ์ระหว่างและหรืออย่างอื่นได้หรือไม่? $\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— ไฮเซนเบิร์ก
แหล่งที่มา

คุณกำลังมองหาข้อมูลเชิงลึกที่เข้าใจง่ายเกี่ยวกับปัญหานี้ (เช่นไม่ว่าจะเป็นความสัมพันธ์ -หรือความสัมพันธ์ -และ - ) หรือคุณกำลังมองหาความเข้าใจอย่างลึกซึ้งเกี่ยวกับปัญหาทั่วไป ( เช่นแนวคิดของการจัดกึ่งกลางลำดับชั้น)? ในกรณีหลังนี้คุณต้องการปรีชาที่ใกล้เคียงกับการพิสูจน์หรือสัญชาตญาณที่หลวมมากขึ้นและแสดงให้เห็นว่ามันใช้งานได้หรือไม่

γ

$\gamma$

δ

$\delta$

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

— Sextus Empiricus

ฉันต้องการความเข้าใจอย่างถ่องแท้เกี่ยวกับแนวคิดของการจัดกึ่งกลางโดยทั่วไป (เนื่องจากกรณีเฉพาะในคำถามนั้นเป็นการประยุกต์ใช้การจัดกึ่งกลางแบบลำดับชั้นโดยตรง) จุดสำคัญที่ฉันต้องการความเข้าใจเกี่ยวกับคือทำไมไม่ทำงานตรงกลางลำดับชั้นถ้าความแปรปรวนในระดับกลุ่มที่เป็นส่วนหนึ่งของความแปรปรวนทั้งหมด ? บทความโดย Gelfand และคณะ พิสูจน์ทางคณิตศาสตร์นี้ (เช่นได้รับความสัมพันธ์และค้นหาพฤติกรรมการ จำกัด ของมัน) แต่ไม่มีคำอธิบายที่ใช้งานง่าย

— ไฮเซนเบิร์ก

ความสัมพันธ์ที่จะหลีกเลี่ยงเป็นหนึ่งระหว่างและและ\ $\mu$ $\gamma_j$ $\delta_k$

ด้วยการแทนที่และในโมเดลการคำนวณด้วยพารามิเตอร์ทางเลือกที่อยู่ตรงกลางความสัมพันธ์จะลดลง $\gamma_j$ $\delta_k$ $\mu$

ดูคำอธิบายที่ชัดเจนมากในส่วน 25.1 'การจัดกึ่งกลางแบบลำดับชั้นคืออะไร' ในหนังสือ (มีให้บริการฟรี) หนังสือ'การประเมิน MCMC ใน MLwiN'โดย William J. Browne และอื่น ๆ http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

— Sextus Empiricus
แหล่งที่มา

ส่วนที่ 25.1 ของ 'การประมาณค่า MCMC MlwiN' อธิบายเทคนิค "การจัดกึ่งกลางกึ่งกลาง" นี้ แต่ไม่ได้ลงรายละเอียดใด ๆ เพิ่มเติมนอกเหนือจากการอ้างว่ามันใช้งานได้ จากการอ้างอิงของมันฉันพบว่าการพิสูจน์ที่แท้จริงของเทคนิคนี้ถูกนำเสนอในบทความParametrizations ที่มีประสิทธิภาพสำหรับโมเดลเชิงเส้นเชิงเส้นปกติโดย Gelfand et al, Biometrika เล่มที่ 82 ฉบับที่ 3

— Heisenberg

บทความด้านบนนี้ใช้ประโยชน์จากคุณสมบัติของการแจกแจงแบบปกติโดยไม่ต้องอธิบาย ฉันพบหลักฐานของคุณสมบัติเหล่านั้นในการวิเคราะห์การผันแบบเบส์ของการกระจายแบบเกาส์โดยเควินเมอร์ฟี่

— ไฮเซนเบิร์ก

น่าเสียดายที่ฉันยังไม่เห็นคำอธิบายที่เข้าใจง่ายว่าทำไมเทคนิคนี้จึงใช้งานได้

— ไฮเซนเบิร์ก

มันสายไปแล้ว แต่ฉันคิดว่าบทความนี้อาจเป็นสิ่งที่คุณกำลังมองหา

— บารูต