แบบจำลอง logit แบบเบส์ - คำอธิบายที่เข้าใจง่าย?

ฉันต้องยอมรับว่าก่อนหน้านี้ฉันไม่เคยได้ยินคำศัพท์นั้นในชั้นเรียนระดับปริญญาตรีหรือปริญญาโทเลย

การถดถอยโลจิสติกหมายถึง Bayesian หมายความว่าอย่างไร ฉันกำลังมองหาคำอธิบายเกี่ยวกับการเปลี่ยนจากโลจิสติกส์ธรรมดาเป็นโลจิสติกส์แบบเบย์ดังต่อไปนี้:

นี่คือสมการในรูปแบบการถดถอยเชิงเส้น:\$E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

นี่คือสมการในรูปแบบการถดถอยโลจิสติก:\ สิ่งนี้จะกระทำเมื่อ y เป็นหมวดหมู่$\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

สิ่งที่เราทำคือการเปลี่ยนแปลงเพื่อ\ LN (\ frac {E (y)} {1-E (y)})ln ( E ( y $E(y)$$\ln(\frac{E(y)}{1-E(y)})$

แล้วแบบจำลองการถดถอยแบบโลจิสติกส์ในการถดถอยแบบโลจิสติกส์แบบเบย์คืออะไร ฉันเดาว่ามันไม่ใช่เรื่องเกี่ยวกับสมการ

ตัวอย่างหนังสือเล่มนี้ดูเหมือนจะกำหนด แต่ฉันไม่เข้าใจจริงๆ สิ่งที่เป็นไปได้ก่อนหน้านี้ทั้งหมดคืออะไร? คืออะไร$\alpha$ ? ขอให้ใครสักคนช่วยอธิบายส่วนหนึ่งของหนังสือเล่มนี้หรือโมเดล Logit ของ Bayesian ด้วยวิธีอื่นได้ไหม

หมายเหตุ: มีการถามก่อนหน้านี้แต่ไม่ได้รับคำตอบที่ดีมากฉันคิดว่า

การถดถอยโลจิสติกสามารถอธิบายเป็นชุดเชิงเส้น

$$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$$

ที่ถูกส่งผ่านฟังก์ชันลิงก์ :$g$

$$g(E(Y)) = \eta$$

โดยที่ฟังก์ชันลิงก์เป็นฟังก์ชันlogit

$$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$$

โดยที่รับเฉพาะค่าในและฟังก์ชัน logit ผกผันจะแปลงชุดค่าผสมเชิงเส้นเป็นช่วงนี้ นี่คือที่การถดถอยโลจิสติกแบบดั้งเดิมสิ้นสุดลง{ 0 , 1 } $Y$$\{0,1\}$$\eta$

อย่างไรก็ตามหากคุณจำได้ว่าสำหรับตัวแปรที่รับเฉพาะค่าใน , มากกว่าถือได้ว่าเป็นเบต้า) ในกรณีนี้การส่งออกฟังก์ชั่น logit อาจจะคิดว่าเป็นน่าจะเป็นเงื่อนไขของ "ความสำเร็จ" คือเบต้า) การแจกแจงเบอร์นูลลีเป็นการแจกแจงที่อธิบายความน่าจะเป็นในการสังเกตผลลัพธ์ไบนารีด้วยพารามิเตอร์ดังนั้นเราจึงสามารถอธิบายเป็น{ 0 , 1 } E ( Y | X , β ) P ( Y = 1 | X , β ) P ( Y = 1 | X , β ) p $E(Y) = P(Y = 1)$$\{0,1\}$$E(Y | X,\beta)$$P(Y = 1 | X,\beta)$$P(Y=1|X,\beta)$$p$$Y$

$$y_i \sim \text{Bernoulli}(p)$$

ดังนั้นด้วยการถดถอยโลจิสติกที่เรามองหาพารามิเตอร์บางที่ togeder กับตัวแปรอิสระรูปแบบการรวมกันเชิงเส้น\ในการถดถอยแบบคลาสสิก (เราถือว่าฟังก์ชันลิงก์เป็นฟังก์ชันตัวตน) อย่างไรก็ตามสำหรับโมเดลที่รับค่าในเราจำเป็นต้องแปลงเพื่อให้พอดี ในช่วงX η E ( Y | X , β ) = η Y { 0 , 1 } η [ 0 , 1 $\beta$$X$$\eta$$E(Y|X,\beta) = \eta$$Y$$\{0,1\}$$\eta$$[0,1]$

ทีนี้เพื่อประเมินการถดถอยโลจิสติกส์ในแบบเบย์คุณจะได้รับค่าพารามิเตอร์สำหรับเช่นเดียวกับการถดถอยเชิงเส้น (ดูKruschke et al, 2012 ) จากนั้นใช้ฟังก์ชัน logit เพื่อแปลงชุดเชิงเส้นเพื่อใช้ผลลัพธ์เป็นพารามิเตอร์ของการแจกแจงแบบ Bernoulli ที่อธิบายตัวแปรของคุณ ดังนั้นใช่คุณใช้สมการและฟังก์ชันการเชื่อมโยง logit แบบเดียวกับในกรณี frequentionist และส่วนที่เหลือทำงาน (เช่นการเลือกนักบวช) เช่นการประเมินการถดถอยเชิงเส้นแบบเบย์ η P $\beta_i$$\eta$$p$$Y$

วิธีง่าย ๆ ในการเลือกไพรเออร์คือการเลือกการแจกแจงปกติ ( แต่คุณยังสามารถใช้การแจกแจงอื่น ๆ เช่น - หรือการกระจาย Laplace สำหรับรูปแบบที่มีประสิทธิภาพมากขึ้น) สำหรับ 's กับพารามิเตอร์และที่ตั้งไว้หรือนำ จากไพรเออร์ลำดับชั้น ตอนนี้มีคำจำกัดความของแบบจำลองคุณสามารถใช้ซอฟต์แวร์เช่นJAGSเพื่อทำการจำลองแบบมาร์คอฟเชนมอนติคาร์โลเพื่อให้คุณสามารถประเมินแบบจำลองได้ ด้านล่างฉันโพสต์รหัส JAGS สำหรับรูปแบบโลจิสติกง่าย (ตรวจสอบที่นี่สำหรับตัวอย่างเพิ่มเติม)β i μ i σ 2 $t$$\beta_i$$\mu_i$$\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

อย่างที่คุณเห็นรหัสนี้แปลเป็นคำจำกัดความของโมเดลโดยตรง สิ่งที่ซอฟต์แวร์ไม่สามารถจะดึงค่าจากไพรเออร์ปกติaและbจากนั้นจะใช้ค่าเหล่านั้นในการประมาณการpและในที่สุดก็ใช้ฟังก์ชั่นความน่าจะเป็นที่จะประเมินว่าน่าจะเป็นข้อมูลของคุณได้รับพารามิเตอร์เหล่านั้น (นี้คือเมื่อคุณใช้ Bayes ทฤษฎีบทดูที่นี่สำหรับ คำอธิบายรายละเอียดเพิ่มเติม)

แบบจำลองการถดถอยโลจิสติกขั้นพื้นฐานสามารถขยายไปยังแบบจำลองการพึ่งพาระหว่างตัวทำนายโดยใช้แบบจำลองลำดับชั้น (รวมถึงhyperpriors ) ในกรณีนี้คุณสามารถดึงจากการกระจายแบบหลายตัวแปรปกติที่ทำให้เราสามารถรวมข้อมูลเกี่ยวกับความแปรปรวนร่วมระหว่างตัวแปรอิสระ$\beta_i$$\boldsymbol{\Sigma}$

$$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$$

... แต่นี่จะเป็นรายละเอียดดังนั้นเรามาหยุดตรงนี้

ส่วน "Bayesian" ในที่นี้คือการเลือกนักบวชโดยใช้ทฤษฎีบทของ Bayes และกำหนดรูปแบบในเงื่อนไขที่น่าจะเป็น ดูที่นี่สำหรับความหมายของ "รูปแบบเบส์"และนี่คือบางสัญชาตญาณทั่วไปเกี่ยวกับวิธีการแบบเบย์ สิ่งที่คุณสามารถสังเกตเห็นได้คือการกำหนดแบบจำลองนั้นค่อนข้างตรงไปตรงมาและมีความยืดหยุ่นด้วยวิธีการนี้

---

Kruschke, JK, Aguinis, H. , & Joo, H. (2012) ถึงเวลาแล้ว: วิธีการแบบเบย์สำหรับการวิเคราะห์ข้อมูลในวิทยาศาสตร์ขององค์กร ระเบียบวิธีวิจัยองค์กร, 15 (4), 722-752

Gelman, A. , Jakulin, A. , Pittau, GM, และ Su, Y.-S. (2008) การแจกแจงเริ่มต้นก่อนหน้านี้ที่ให้ข้อมูลอ่อนสำหรับโลจิสติกและโมเดลการถดถอยอื่น ๆ พงศาวดารของสถิติประยุกต์ 2 (4), 1360–1383

สิ่งที่เป็นไปได้ก่อนหน้านี้ทั้งหมดคืออะไร?

นั่นคือสิ่งที่ทำให้มันเป็นแบบเบย์ ตัวแบบกำเนิดสำหรับข้อมูลนั้นเหมือนกัน ความแตกต่างก็คือการวิเคราะห์แบบเบย์เลือกการแจกแจงก่อนหน้าบางส่วนสำหรับพารามิเตอร์ที่น่าสนใจและคำนวณหรือประมาณการกระจายหลังซึ่งการอนุมานทั้งหมดจะขึ้นอยู่ กฎของเบย์เกี่ยวข้องกับทั้งสอง: คนหลังเป็นสัดส่วนกับโอกาสที่จะเกิดขึ้นก่อน

ก่อนหน้านี้อนุญาตให้นักวิเคราะห์ทางคณิตศาสตร์แสดงความเชี่ยวชาญในสาระการเรียนรู้หรือการค้นพบที่มีมาก่อน ตัวอย่างเช่นข้อความที่คุณอ้างอิงบันทึกว่าก่อนหน้านี้สำหรับเป็นตัวแปรหลายตัวแปร บางทีการศึกษาก่อนหน้านี้แนะนำพารามิเตอร์บางช่วงที่สามารถแสดงด้วยพารามิเตอร์ปกติบางอย่าง (ด้วยความยืดหยุ่นมาพร้อมความรับผิดชอบ: เราควรจะสามารถพิสูจน์ความถูกต้องของพวกเขาก่อนที่จะมีผู้ชมที่สงสัย) ในรูปแบบที่ซับซ้อนมากขึ้นเราสามารถใช้ความเชี่ยวชาญด้านโดเมนเพื่อปรับแต่งพารามิเตอร์แฝงบางอย่าง ตัวอย่างเช่นดูตัวอย่างตับที่อ้างอิงในคำตอบนี้$\bf\beta$

แบบจำลองผู้ใช้งานประจำบางคนอาจเกี่ยวข้องกับคู่แบบเบย์ที่มีรูปแบบเฉพาะก่อนหน้านี้ แต่ฉันไม่แน่ใจซึ่งสอดคล้องกันในกรณีนี้