ทำไมอัลกอริทึม EM จึงจำเป็นต้องทำซ้ำ?

สมมติว่าคุณมีประชากรที่มีหน่วยแต่ละคนมีตัวแปรสุ่มแลมบ์ดา) คุณสังเกตค่าสำหรับหน่วยใด ๆ ที่0 เราต้องการการประมาณการของ\ $N$ $X_i \sim \text{Poisson}(\lambda)$ $n = N-n_0$ $X_i > 0$ $\lambda$

มีวิธีการสักครู่และวิธีหาโอกาสสูงสุดแบบมีเงื่อนไขในการรับคำตอบ แต่ฉันต้องการลองใช้อัลกอริทึม EM ฉันได้อัลกอริทึม EM เป็น

Q (λ_{- 1}, λ) = λ (n + \frac{n}{exp (λ_{- 1}) - 1}) + \log (λ) \sum_{i = 1}^{n} x_{i} + K,

$Q\left(\lambda_{-1}, \lambda\right) = \lambda \left(n + \frac{n}{\text{exp}(\lambda_{-1}) - 1}\right) + \log(\lambda)\sum_{i=1}^n{x_i} + K,$ ที่

- 1

$-1$ subscript บ่งบอกถึงค่าจากการวนซ้ำก่อนหน้าของอัลกอริทึมและ

K

$K$ เป็นค่าคงที่ด้วยความเคารพ พารามิเตอร์ (จริง ๆ แล้วฉันคิดว่า

n

$n$ ในเศษส่วนในวงเล็บควรเป็น

n + 1

$n+1$ แต่ดูเหมือนจะไม่ถูกต้องเป็นคำถามอีกครั้ง)

เพื่อให้เป็นรูปธรรมนี้สมมติว่า $n=10$ , $\sum{x_i} = 20$ 20 แน่นอนว่า $N$ และ $n_0$ ไม่มีการตรวจสอบและ $\lambda$ จะถูกประเมิน

เมื่อฉันทำซ้ำฟังก์ชันต่อไปนี้เสียบค่าสูงสุดของการทำซ้ำก่อนหน้านี้ฉันได้คำตอบที่ถูกต้อง (ตรวจสอบโดย CML, MOM และการจำลองแบบง่าย):

EmFunc <- function(lambda, lambda0){
  -lambda * (10 + 10 / (exp(lambda0) - 1)) + 20 * log(lambda)
}

lambda0 <- 2
lambda  <- 1

while(abs(lambda - lambda0) > 0.0001){
  lambda0 <- lambda
  iter    <- optimize(EmFunc, lambda0 = lambda0, c(0,4), maximum = TRUE)
  lambda  <- iter$maximum
}

> iter
$maximum
[1] 1.593573

$objective
[1] -10.68045

แต่นี่เป็นปัญหาง่ายๆ มาเพิ่มให้สูงสุดโดยไม่ทำซ้ำ:

MaxFunc <- function(lambda){
  -lambda * (10 + 10 / (exp(lambda) - 1)) + 20 * log(lambda)
}

optimize(MaxFunc, c(0,4), maximum = TRUE)
$maximum
[1] 2.393027

$objective
[1] -8.884968

ค่าของฟังก์ชั่นสูงกว่าในขั้นตอนการทำซ้ำและผลลัพธ์ที่ไม่สอดคล้องกับวิธีการอื่น ๆ เหตุใดขั้นตอนที่สองจึงให้คำตอบที่แตกต่างและ (ฉันเข้าใจ) คำตอบที่ไม่ถูกต้อง

expectation-maximization

— ชาร์ลี
แหล่งที่มา

เมื่อคุณพบฟังก์ชันวัตถุประสงค์ของคุณสำหรับอัลกอริทึม EM ฉันถือว่าคุณปฏิบัติต่อจำนวนหน่วยด้วยซึ่งฉันจะเรียกเป็นพารามิเตอร์แฝงของคุณ ในกรณีนี้ผม (อีกครั้ง) สมมติแสดงให้เห็นถึงรูปแบบการลดลงของมูลค่าที่คาดว่าจะมากกว่าของความเป็นไปได้ให้1} นี้ไม่ได้เป็นเช่นเดียวกับความน่าจะเต็มเพราะที่เป็น treadted ตามที่กำหนด $x_i=0$ $y$ $Q$ $y$ $\lambda_{-1}$ $\lambda_{-1}$

ดังนั้นคุณไม่สามารถใช้สำหรับโอกาสเต็มรูปแบบเนื่องจากมันไม่มีข้อมูลเกี่ยวกับการเปลี่ยนเปลี่ยนการกระจายของ (และคุณต้องการเลือกค่าที่มีโอกาสมากที่สุดของเช่นกันเมื่อคุณเพิ่มโอกาสเต็มรูปแบบ) นี่คือเหตุผลที่เป็นไปได้สูงสุดเต็มรูปแบบสำหรับตัดทอนศูนย์แตกต่าง Poisson จากฟังก์ชั่นและทำไมคุณจะได้รับที่แตกต่างกัน (และไม่ถูกต้อง) คำตอบเมื่อคุณเพิ่มแลมบ์ดา) $Q$ $\lambda$ $y$ $y$ $Q$ $f(\lambda)=Q(\lambda,\lambda)$

ตัวเลขการเพิ่มจะทำให้ฟังก์ชั่นวัตถุประสงค์อย่างน้อยมีขนาดใหญ่เท่ากับผลลัพธ์ EM ของคุณและอาจใหญ่กว่าเนื่องจากไม่มีการรับประกันว่าอัลกอริทึม EM จะมาบรรจบกันสูงสุด - มันควรจะมารวมกันเท่านั้นฟังก์ชันโอกาสสูงสุด! $f(\lambda)$ $f$

— jayk
แหล่งที่มา