คุณใช้อัลกอริธึม EM ในการคำนวณ MLEs สำหรับสูตรตัวแปรแฝงของโมเดลปัวซองที่มีค่าศูนย์ได้อย่างไร

แบบจำลองการถดถอยปัวซงแบบ zero zero ถูกกำหนดไว้สำหรับตัวอย่างโดย และจะถือว่าพารามิเตอร์และไป $(y_1,\ldots,y_n)$

Y_{ผม} = {\begin{cases} 0 & ด้วยความน่าจะเป็น {พี}_{ผม} + (1 - {พี}_{ผม}) {อี}^{- λ_{ผม}} \\ k & ด้วยความน่าจะเป็น (1 - {พี}_{ผม}) {อี}^{- λ_{ผม}} λ_{ผม}^{k} / k! \end{cases}

$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$

λ = (λ_{1}, \dots, λ_{n})

$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$

p = (p_{1}, \dots, p_{n})

$\textbf{p} = (p_1, \dots, p_n)$

\begin{aligned} เข้าสู่ระบบ (λ) & = B β \\ logit (พี) & = เข้าสู่ระบบ (พี / (1 - พี)) = G γ . \end{aligned}

$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$

ความน่าจะเป็นบันทึกที่สอดคล้องกันของรูปแบบการถดถอยปัวซอง zero-inflated คือ

\begin{aligned} L (γ, β; Y) & = \underset{Y_{ผม} = 0}{Σ} เข้าสู่ระบบ ({อี}^{G_{ผม} γ} + ประสบการณ์ (- {อี}^{B_{ผม} β})) + \underset{Y_{ผม} > 0}{Σ} (Y_{ผม} B_{ผม} β - {อี}^{B_{ผม} β}) \\ - Σ_{ผม = 1}^{n} เข้าสู่ระบบ (1 + {อี}^{G_{ผม} γ}) - \underset{Y_{ผม} > 0}{Σ} เข้าสู่ระบบ (Y_{ผม}!) \end{aligned}

$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$

ที่นี่และเป็นเมทริกซ์การออกแบบ เมทริกซ์เหล่านี้อาจเหมือนกันทั้งนี้ขึ้นอยู่กับคุณลักษณะที่ต้องการใช้สำหรับกระบวนการสร้างสองกระบวนการ อย่างไรก็ตามมีจำนวนแถวเท่ากัน $\mathrm{B}$ $\mathrm{G}$

สมมติว่าเราสามารถสังเกตเห็นเมื่อนั้นมาจากความสมบูรณ์แบบศูนย์รัฐและเมื่อมาจากรัฐปัวซอง $Z_i = 1$ $Y_i$ $Z_i = 0$ $Y_i$

L (γ, β; Y, Z) = Σ_{ผม = 1}^{n} เข้าสู่ระบบ (ฉ (Z_{ผม} | γ)) + Σ_{ผม = 1}^{n} เข้าสู่ระบบ (ฉ (Y_{ผม} | Z_{ผม}, β))

$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$

= Σ_{ผม = 1}^{n} Z_{ผม} (G_{ผม} γ - เข้าสู่ระบบ (1 + {อี}^{G_{ผม} γ})) + - Σ_{ผม = 1}^{n} (1 - Z_{ผม}) เข้าสู่ระบบ (1 + {อี}^{G_{ผม} γ}) + Σ_{ผม = 1}^{n} (1 - Z_{ผม}) [Y_{ผม} B_{ผม} β - {อี}^{B_{ผม} β} - เข้าสู่ระบบ (Y_{ผม}!)]

$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$ สองคำแรกคือการสูญเสียในการถดถอยโลจิสติกเพื่อแยก

z_{i} = 0

$z_i=0$ จาก

z_{i} = 1

$z_i=1$ 1 เทอมที่สองคือการถดถอยของคะแนนที่สร้างโดยกระบวนการปัวซอง

แต่ตัวแปรแฝงไม่สามารถเรียกคืนได้หรือไม่ วัตถุประสงค์คือเพื่อเพิ่มโอกาสในการบันทึกครั้งแรก แต่เราต้องแนะนำตัวแปรแฝงและหาโอกาสในการบันทึกใหม่ จากนั้นใช้อัลกอริทึม EM เราสามารถเพิ่มโอกาสในการบันทึกที่สอง แต่นี่สมมติว่าเรารู้ว่าหรือ ? $Z_i = 0$ $Z_i = 1$

— ดาเมียน
แหล่งที่มา

คืออะไร นอกจากนี้คำถามส่วนใหญ่ของคำถามนี้ดูเหมือนจะถูกตัดและวางจากคำถามก่อนหน้านี้ที่แตกต่างกันโดย @Robby นั่นคุณเหรอ

f

$f$

— แมโคร

@ แมโคร: แมโครใช่นั่นคือฉัน ฉันไม่แน่ใจว่าคืออะไร กระดาษไม่เคยพูด

f

$f$

— ดาเมียน

รากเหง้าของความยากลำบากที่คุณมีอยู่ในประโยค:

จากนั้นใช้อัลกอริทึม EM เราสามารถเพิ่มโอกาสในการบันทึกที่สอง

ตามที่คุณสังเกตคุณไม่สามารถ แต่สิ่งที่คุณเพิ่มเป็นค่าที่คาดหวังของบันทึกความน่าจะเป็นที่สอง (ที่เรียกว่า "ความน่าจะเป็นที่สมบูรณ์แบบบันทึกข้อมูล") ซึ่งคาดว่าค่าตัวจะเอาไปz_i $z_i$

สิ่งนี้นำไปสู่ขั้นตอนการทำซ้ำโดยที่การวนซ้ำคุณคำนวณค่าที่คาดหวังของได้รับจากการประมาณพารามิเตอร์จากการวนซ้ำ ( (ซึ่งเรียกว่า "E-step ",) จากนั้นแทนที่พวกเขาในความเป็นไปได้ของบันทึกข้อมูลที่สมบูรณ์ (ดูที่ EDIT ด้านล่างสำหรับสาเหตุที่เราสามารถทำได้ในกรณีนี้) และขยายให้สูงสุดด้วยความเคารพต่อพารามิเตอร์เพื่อรับค่าประมาณสำหรับการทำซ้ำปัจจุบัน (" M-step " .) $k^{th}$ $z_i$ $(k-1)^{th}$

ความน่าจะเป็นบันทึกข้อมูลที่สมบูรณ์สำหรับปัวซงแบบ zero-inflated ในกรณีที่ง่ายที่สุด - พารามิเตอร์สองตัวคือและ - ช่วยให้การทำให้เข้าใจง่ายขึ้นอย่างมากเมื่อมาถึงขั้นตอน M และสิ่งนี้ดำเนินไปในระดับหนึ่ง ฉันจะแสดงให้คุณเห็นว่าวิธีการทำงานในกรณีง่าย ๆ ผ่านรหัส R เพื่อให้คุณสามารถเห็นสาระสำคัญของมัน ฉันจะไม่ลดความซับซ้อนให้มากที่สุดเนื่องจากอาจทำให้สูญเสียความชัดเจนเมื่อคุณคิดถึงปัญหาของคุณ: $\lambda$ $p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694

ในกรณีของคุณในแต่ละขั้นตอนคุณจะทำการปัวซองถ่วงน้ำหนักซึ่งตุ้มน้ำหนักจะ1-zhatได้รับค่าประมาณของและดังนั้นจากนั้นให้ขยาย: $\beta$ $\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

ด้วยความเคารพต่อเวกเตอร์ค่าสัมประสิทธิ์ของเมทริกซ์ของคุณจะได้รับการประมาณการของp_iค่าที่คาดไว้คำนวณอีกครั้งในแต่ละรอบซ้ำ $\mathbf{G}$ $p_i$ $\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

หากคุณต้องการทำสิ่งนี้กับข้อมูลจริงไม่ใช่เพียงแค่เข้าใจอัลกอริทึมเท่านั้นแพ็คเกจ R มีอยู่แล้ว นี่คือตัวอย่างhttp://www.ats.ucla.edu/stat/r/dae/zipoisson.htmโดยใช้psclห้องสมุด

แก้ไข: ฉันควรเน้นว่าสิ่งที่เรากำลังทำคือการเพิ่มมูลค่าที่คาดหวังของความน่าจะเป็นบันทึกข้อมูลที่สมบูรณ์ไม่เพิ่มความน่าจะเป็นบันทึกข้อมูลที่สมบูรณ์ด้วยค่าที่คาดหวังของตัวแปร data / latent ที่ขาดหายไป ความน่าจะเป็นของบันทึกข้อมูลที่สมบูรณ์นั้นเป็นเส้นตรงในข้อมูลที่หายไปเนื่องจากเป็นที่นี่แนวทางทั้งสองนั้นเหมือนกัน แต่ไม่เช่นนั้น

— jbowman
แหล่งที่มา

@Cokes คุณควรเพิ่มข้อมูลนี้เป็นคำตอบเพิ่มเติมของคุณเองไม่เปลี่ยนคำตอบที่มีอยู่ การแก้ไขนี้ไม่ควรได้รับการอนุมัติ

— gung - Reinstate Monica