เหตุใดจึงใช้การแจกแจงแบบเบต้าบนพารามิเตอร์ Bernoulli สำหรับการถดถอยโลจิสติกแบบลำดับชั้น

ฉันกำลังอ่านหนังสือ "Doing Bayesian Data Analysis" ที่ยอดเยี่ยมของ Kruschke อย่างไรก็ตามบทที่เกี่ยวกับการถดถอยโลจิสติกแบบลำดับชั้น (บทที่ 20) ค่อนข้างสับสน

รูปที่ 20.2 อธิบายการถดถอยโลจิสติกแบบลำดับชั้นที่พารามิเตอร์ Bernoulli ถูกกำหนดเป็นฟังก์ชันเชิงเส้นของสัมประสิทธิ์ที่ถูกแปลงผ่านฟังก์ชัน sigmoid นี่น่าจะเป็นวิธีการถดถอยโลจิสติกแบบลำดับชั้นในตัวอย่างส่วนใหญ่ที่ฉันเคยเห็นในแหล่งอื่น ๆ ทางออนไลน์เช่นกัน ตัวอย่างเช่น - http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

อย่างไรก็ตามเมื่อตัวทำนายมีค่าน้อยที่สุดเขาจะเพิ่มเลเยอร์ในลำดับชั้น - พารามิเตอร์ Bernoulli ถูกดึงมาจากการแจกแจงแบบเบต้า (รูปที่ 20.5) ด้วยพารามิเตอร์ที่กำหนดโดย mu และ kappa โดยที่ mu คือการแปลง sigmoid ของฟังก์ชันเชิงเส้นของสัมประสิทธิ์ และคัปปาใช้แกมมามาก่อน

ดูเหมือนว่าจะสมเหตุสมผลและคล้ายคลึงกับตัวอย่างการพลิกเหรียญจากบทที่ 9 แต่ฉันไม่เห็นว่าการคาดการณ์เล็กน้อยจะทำอย่างไรกับการเพิ่มการแจกแจงแบบเบต้า เหตุใดจึงไม่ทำเช่นนี้ในกรณีของตัวทำนายเมตริกและทำไมการแจกแจงเบต้าถูกเพิ่มเข้ามาสำหรับตัวทำนายที่ระบุ?

แก้ไข:ชี้แจงเกี่ยวกับรูปแบบที่ฉันหมายถึง ก่อนอื่นโมเดลการถดถอยโลจิสติกพร้อมตัวทำนายเมตริก (ไม่มีเบต้าก่อน) นี่คล้ายกับตัวอย่างอื่น ๆ ของการถดถอยโลจิสติกส์แบบลำดับชั้นเช่นตัวอย่างข้อบกพร่องด้านบน:

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

จากนั้นเป็นตัวอย่างที่มีตัวพยากรณ์เล็กน้อย ที่นี่ฉันไม่เข้าใจบทบาทของระดับ "ต่ำกว่า" ของลำดับชั้น (การรวมผลลัพธ์โลจิสติกส์เป็นเบต้าก่อนหน้าสำหรับทวินาม) และสาเหตุที่ควรแตกต่างจากตัวอย่างเมตริก

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

— user4733
แหล่งที่มา

คำตอบ:

ทั้งสองแบบที่คุณเปรียบเทียบมีคุณสมบัติภายนอกมากมายและฉันคิดว่าคุณสามารถระบุคำถามของคุณได้ชัดเจนยิ่งขึ้นในบริบทของแบบจำลองที่เรียบง่ายสองแบบต่อไปนี้:

รุ่น 1:

\begin{aligned} y_{i} | μ_{i} & \sim Bern (μ_{i}) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

รุ่น 2:

\begin{aligned} y_{i} | θ_{i} & \sim Bern (θ_{i}) \\ θ_{i} | μ_{i}, κ & \sim Beta (μ_{i} κ, (1 - μ_{i}) κ) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

คำถามของคุณคือ: (1) การกระจายของเบต้ามีบทบาทอย่างไร และที่เกี่ยวข้อง (2) อย่างไร (ถ้าทั้งหมด) รุ่น 2 แตกต่างจากรุ่น 1 อย่างไร

บนพื้นผิวสิ่งเหล่านี้ดูเหมือนจะเป็นแบบจำลองที่แตกต่างกันไป แต่ในความเป็นจริงการกระจายของในทั้งสองรุ่นนั้นเหมือนกัน การกระจายด้านหลังของในรูปแบบ 1 คือ ในขณะที่การกระจายด้านหลังของในแบบจำลอง 2 คือ: $\mu_i$ $\mu_i$

\begin{matrix} p (μ_{i} | y_{i}) \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} p (μ_{i} | y_{i}, κ) & \propto \int_{0}^{1} \frac{θ_{i}^{y_{i} + μ_{i} κ - 1} (1 - θ_{i})^{κ (1 - μ_{i}) - y_{i}}}{B (κ μ_{i}, κ (1 - μ_{i}))} d θ π (μ_{i}) \\ \propto \frac{B (y_{i} + μ_{i} κ, 1 - y_{i} + κ (1 - μ_{i})) π (μ_{i})}{B (κ μ_{i}, κ (1 - μ_{i}))} \\ \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

ดังนั้นความได้เปรียบใด ๆ ที่ได้จากการใช้แบบจำลอง 2 คือการคำนวณ แบบจำลองลำดับชั้นที่มีพารามิเตอร์มากเกินไปเช่นการเพิ่มในรุ่น 2 บางครั้งสามารถปรับปรุงประสิทธิภาพของขั้นตอนการสุ่มตัวอย่างได้ ตัวอย่างเช่นโดยการแนะนำความสัมพันธ์ผันผันตามเงื่อนไขระหว่างกลุ่มของพารามิเตอร์ (ดูคำตอบของ Jack Tanner) หรือแบ่งความสัมพันธ์ระหว่างพารามิเตอร์ที่สนใจ (google "Parameter Expansion") $\theta_i$

— jmtroos
แหล่งที่มา

เหตุผลสำหรับการวาดภาพพารามิเตอร์ Bernoulli จากการกระจายเบต้าคือว่าเบต้าคือผันไปทวินาม การใช้การแจกแจงก่อนคอนจูเกตช่วยให้โซลูชันแบบปิดเพื่อค้นหาหลัง

แก้ไข: ชี้แจง ทั้งสองรุ่นจะทำงาน แม้แต่กับ MCMC มันก็มีประโยชน์ที่จะมีนักบวชพ้องเพราะมันอนุญาตให้ใช้ตัวอย่างพิเศษสำหรับการแจกแจงประเภทต่าง ๆ ที่มีประสิทธิภาพมากกว่าแซมเพลอร์ทั่วไป ตัวอย่างเช่นดูคู่มือผู้ใช้ JAGS วินาที 4.1.1 และวินาที 4.2

— แจ็คแทนเนอร์
แหล่งที่มา

อาจมีบริบทไม่เพียงพอจากหนังสือในคำถามของฉัน แต่การวิเคราะห์เหล่านี้ดำเนินการโดยการสุ่มตัวอย่างจากกิ๊บส์ดังนั้นการแสดงรูปแบบปิดของหลังจึงไม่จำเป็น ในตัวอย่างที่ฉันเชื่อมโยงพารามิเตอร์ bernoulli ไม่ได้รับการแก้ไขเป็นการกระจายแบบเบต้า แต่เกิดขึ้นจากการแปลง sigmoid ของตัวทำนายเชิงเส้นซึ่งมีการกระจายสัมประสิทธิ์ตามปกติ นี่เป็นวิธีที่ Kruschke นำเสนอตัวอย่างก่อนหน้านี้ (ด้วยเครื่องทำนายเมตริก) ในบทนี้เช่นกัน (พารามิเตอร์ bernoulli เป็นเพียงการแปลง sigmoid ของฟังก์ชันเชิงเส้นที่มีสัมประสิทธิ์การแจกแจงแบบปกติ)

— 4733

@ user4733 Jack Tanner ถูกต้องเกี่ยวกับเบต้าเป็นคอนจูเกตก่อนที่จะตัวอย่าง bernoulli ดูเหมือนว่าเป็นเรื่องบังเอิญมากกว่าที่ได้รับเลือก ใช่คุณอาจทำการสุ่มตัวอย่างกิ๊บส์เพื่อรับการแจกแจงด้านหลัง แต่ในรูปแบบลำดับชั้นมีมากกว่าหนึ่งก่อนที่เกี่ยวข้องและอาจเป็นไปได้ว่าคุณจะใส่ก่อนหน้านี้ในพารามิเตอร์ (พารามิเตอร์สำหรับครอบครัวของการกระจายก่อนหน้านี้) ก่อนหน้านี้หากคุณต้องการก่อนหน้านี้ในบริบทนั้นอาจสะดวกในการใช้งานคอนจูเกตก่อนหน้านี้คำอธิบายบางส่วนของหนังสือเล่มนี้ทำให้เราสับสน

— Michael R. Chernick

คุณกำลังตัดตอนข้อความเล็กน้อยที่สร้างช่องว่างในความสามารถของเราที่จะเข้าใจสิ่งที่เกิดขึ้น คุณต้องอธิบายรูปแบบและลำดับชั้นของนักบวชที่ดีกว่าสำหรับเราที่จะช่วย (อย่างน้อยสำหรับฉัน)>

— Michael R. Chernick

เพิ่มคำอธิบายลงในโมเดลลำดับชั้นที่ฉันกำลังอ้างอิง หวังว่ามันจะช่วย

— user4733