การประมาณการความน่าจะเป็น EM สูงสุดสำหรับการกระจาย Weibull

24

หมายเหตุ: ฉันกำลังโพสต์คำถามจากนักเรียนเก่าของฉันไม่สามารถโพสต์ด้วยตนเองได้ด้วยเหตุผลทางเทคนิค

รับ iid ตัวอย่างจากการแจก Weibull พร้อม pdf มีตัวแปรที่ขาดหายไปที่เป็นประโยชน์ และด้วยเหตุนี้ EM (ความคาดหวัง - การขยายใหญ่สุด) อัลกอริธึมที่สามารถใช้ในการค้นหา MLE ของแทนที่จะใช้ตรงไปตรงมา การเพิ่มประสิทธิภาพเชิงตัวเลข? $x_1,\ldots,x_n$

f_{k} (x) = k x^{k - 1} e^{- x^{k}} x > 0

$f_k(x) = k x^{k-1} e^{-x^k} \quad x>0$

f_{k} (x) = \int_{Z} g_{k} (x, z) d z

$f_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z$

k

$k$

— ซีอาน
แหล่งที่มา

2

มีการเซ็นเซอร์หรือไม่

— ocram

2

เกิดอะไรขึ้นกับ newton rhapson

— ความน่าจะเป็นทาง

2

@proisabilityislogic: ไม่มีอะไรผิดปกติกับอะไรเลย! นักเรียนของฉันต้องการทราบว่ามีรุ่น EM หรือเปล่านั่นคือทั้งหมด ...

— ซีอาน

1

คุณสามารถยกตัวอย่างสิ่งที่คุณกำลังมองหาในบริบทที่แตกต่างและเรียบง่ายขึ้นเช่นบางทีด้วยการสังเกตของตัวแปรแบบเกาส์หรือแบบสุ่ม? เมื่อพบข้อมูลทั้งหมดฉัน (และผู้โพสต์อื่นบางคนตามความคิดเห็น) ไม่เห็นว่า EM เกี่ยวข้องกับคำถามของคุณอย่างไร

— ahfoss

1

@probabilityislogic ฉันคิดว่าคุณควรจะพูดว่า "โอ้คุณหมายถึงคุณต้องการใช้ Newton Raphson หรือเปล่า?" Weibulls เป็นครอบครัวปกติ ... ฉันคิดว่าดังนั้นโซลูชัน ML จึงมีเอกลักษณ์ ดังนั้น EM ไม่มีอะไรจะ "เหนือ" ดังนั้นคุณเพียงแค่ "M" ing ... และการหารากของสมการคะแนนเป็นวิธีที่ดีที่สุดที่จะทำ!

— AdamO

7

ฉันคิดว่าคำตอบคือใช่ถ้าฉันเข้าใจคำถามถูกต้อง

เขียน k ดังนั้นชนิดอัลกอริทึม EM ของการทำซ้ำเริ่มต้นด้วยคือ $z_i = x_i^k$ $\hat k = 1$

ขั้นตอน E: ${\hat z}_i = x_i^{\hat k}$
ขั้นตอน M: $\hat k = \frac{n}{\left[\sum({\hat z}_i - 1)\log x_i\right]}$

นี่เป็นกรณีพิเศษ (กรณีที่ไม่มีการเซ็นเซอร์และไม่มีการแปรสภาพ) ของการทำซ้ำที่แนะนำสำหรับโมเดลอันตราย Weibull ตามสัดส่วนโดย Aitkin และ Clayton (1980) นอกจากนี้ยังสามารถพบได้ในหมวด 6.11 ของ Aitkin et al (1989)

Aitkin, M. and Clayton, D. , 1980. ความเหมาะสมของการแจกแจงแบบเลขชี้กำลัง, Weibull และการแจกแจงค่าที่มากไปยังข้อมูลการอยู่รอดที่ถูกเซ็นเซอร์ที่ซับซ้อนโดยใช้ GLIM สถิติประยุกต์ , pp.156-163
Aitkin, M. , Anderson, D. , ฟรานซิสบีและ Hinde เจปี 1989 การสร้างแบบจำลองทางสถิติใน GLIM สำนักพิมพ์มหาวิทยาลัยออกซ์ฟอร์ด นิวยอร์ก

— DavidF
แหล่งที่มา

ขอบคุณมากเดวิด! การรักษาในฐานะตัวแปรที่ขาดหายไปนั้นไม่เคยข้ามความคิดของฉัน ... !

x_{i}^{k}

$x_i^k$

— ซีอาน

7

Weibull MLEเป็นเพียงการแก้ไขตัวเลข:

ให้ ด้วย 0

f_{λ, β} (x) = {\begin{cases} \frac{β}{λ} {(\frac{x}{λ})}^{β - 1} e^{- {(\frac{x}{λ})}^{β}} & , x \geq 0 \\ 0 & , x < 0 \end{cases}

$f_{\lambda,\beta}(x) = \begin{cases} \frac{\beta}{\lambda}\left(\frac{x}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x}{\lambda}\right)^{\beta}} & ,\,x\geq0 \\ 0 &,\, x<0 \end{cases}$

β, λ > 0

$\beta,\,\lambda>0$

1) Likelihoodfunction :

L_{\hat{x}} (λ, β) = \prod_{i = 1}^{N} f_{λ, β} (x_{i}) = \prod_{i = 1}^{N} \frac{β}{λ} {(\frac{x_{i}}{λ})}^{β - 1} e^{- {(\frac{x_{i}}{λ})}^{β}} = \frac{β^{N}}{λ^{N β}} e^{- \sum_{i = 1}^{N} {(\frac{x_{i}}{λ})}^{β}} \prod_{i = 1}^{N} x_{i}^{β - 1}

$\mathcal{L}_{\hat{x}}(\lambda, \beta) =\prod_{i=1}^N f_{\lambda,\beta}(x_i) =\prod_{i=1}^N \frac{\beta}{\lambda}\left(\frac{x_i}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x_i}{\lambda}\right)^{\beta}} = \frac{\beta^N}{\lambda^{N \beta}} e^{-\sum_{i=1}^N\left(\frac{x_i}{\lambda}\right)^{\beta}} \prod_{i=1}^N x_i^{\beta-1}$

Log-Likelihoodfunction :

ℓ_{\hat{x}} (λ, β) := \ln L_{\hat{x}} (λ, β) = N \ln β - N β \ln λ - \sum_{i = 1}^{N} {(\frac{x_{i}}{λ})}^{β} + (β - 1) \sum_{i = 1}^{N} \ln x_{i}

$\ell_{\hat{x}}(\lambda, \beta):= \ln \mathcal{L}_{\hat{x}}(\lambda, \beta)=N\ln \beta-N\beta\ln \lambda-\sum_{i=1}^N \left(\frac{x_i}{\lambda}\right)^\beta+(\beta-1)\sum_{i=1}^N \ln x_i$

2) MLE-Problem : 3) การขยายให้ใหญ่สุดโดย -gradients: start มันเป็นดังนี้:

\begin{aligned} max_{(λ, β) \in R^{2}} & ℓ_{\hat{x}} (λ, β) \\ s.t. λ > 0 \\ β > 0 \end{aligned}

$\begin{equation*} \begin{aligned} & & \underset{(\lambda,\beta) \in \mathbb{R}^2}{\text{max}}\,\,\,\,\,\, & \ell_{\hat{x}}(\lambda, \beta) \\ & & \text{s.t.} \,\,\, \lambda>0\\ & & \beta > 0 \end{aligned} \end{equation*}$

0

$0$

\begin{aligned} \frac{\partial l}{\partial λ} & = - N β \frac{1}{λ} + β \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β + 1}} & \overset{!}{=} 0 \\ \frac{\partial l}{\partial β} & = \frac{N}{β} - N \ln λ - \sum_{i = 1}^{N} \ln (\frac{x_{i}}{λ}) e^{β \ln (\frac{x_{i}}{λ})} + \sum_{i = 1}^{N} \ln x_{i} & \overset{!}{=} 0 \end{aligned}

$\begin{align*} \frac{\partial l}{\partial \lambda}&=-N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}}&\stackrel{!}{=} 0\\ \frac{\partial l}{\partial \beta}&=\frac{N}{\beta}-N\ln\lambda-\sum_{i=1}^N \ln\left(\frac{x_i}{\lambda}\right)e^{\beta \ln\left(\frac{x_i}{\lambda}\right)}+\sum_{i=1}^N \ln x_i&\stackrel{!}{=}0 \end{align*}$

\begin{aligned} - N β \frac{1}{λ} + β \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β + 1}} & = 0 \\ - β \frac{1}{λ} N + β \frac{1}{λ} \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β}} & = 0 \\ - 1 + \frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β} \frac{1}{λ^{β}} & = 0 \\ \frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β} & = λ^{β} \end{aligned}

$\begin{align*} -N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}} &= 0\\\\ -\beta\frac{1}{\lambda}N +\beta\frac{1}{\lambda}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}} &= 0\\\\ -1+\frac{1}{N}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}}&=0\\\\ \frac{1}{N}\sum_{i=1}^N x_i^\beta&=\lambda^\beta \end{align*}$

\Rightarrow λ^{*} = {(\frac{1}{N} \sum_{i = 1}^{N} x_{i}^{β^{*}})}^{\frac{1}{β^{*}}}

$\Rightarrow\lambda^*=\left(\frac{1}{N}\sum_{i=1}^N x_i^{\beta^*}\right)^\frac{1}{\beta^*}$

เสียบเข้ากับเงื่อนไข 0-gradient ที่สอง: $\lambda^*$

\begin{aligned} \Rightarrow β^{*} = {[\frac{\sum_{i = 1}^{N} x_{i}^{β^{*}} \ln x_{i}}{\sum_{i = 1}^{N} x_{i}^{β^{*}}} - \bar{\ln x}]}^{- 1} \end{aligned}

$\begin{align*} \Rightarrow \beta^*=\left[\frac{\sum_{i=1}^N x_i^{\beta^*}\ln x_i}{\sum_{i=1}^N x_i^{\beta^*}}-\overline{\ln x}\right]^{-1} \end{align*}$

สมการนี้สามารถแก้ไขได้เชิงตัวเลขเท่านั้นเช่นอัลกอริทึมของ Newton-Raphson ลงในเพื่อให้ตัวประเมิน ML สำหรับการแจกแจง Weibull เสร็จสมบูรณ์ $\hat{\beta}^*$ $\lambda^*$

— Emcor
แหล่งที่มา

11

น่าเสียดายที่สิ่งนี้ดูเหมือนจะไม่ตอบคำถามในวิธีที่มองเห็นได้ OP เข้าใจอย่างชัดเจนถึง Newton-Raphson และแนวทางที่เกี่ยวข้อง ความเป็นไปได้ของ NR ไม่ได้ขัดขวางการมีอยู่ของการแทนค่าตัวแปรที่ขาดหายไปหรืออัลกอริทึม EM ที่เกี่ยวข้อง ในการประมาณของฉันคำถามไม่ได้เกี่ยวข้องกับการแก้ปัญหาเชิงตัวเลข แต่เป็นการพิสูจน์ความเข้าใจที่อาจเห็นได้ชัดหากมีวิธีการที่ขาดหายไปของตัวแปรที่น่าสนใจ

— พระคาร์ดินัล

@cardinal มันเป็นสิ่งหนึ่งที่จะบอกว่ามีเพียงวิธีแก้ปัญหาเชิงตัวเลขและเป็นอีกสิ่งที่แสดงว่ามีเพียงวิธีแก้ปัญหาเชิงตัวเลข

— emcor

5

เรียน @emcor ฉันคิดว่าคุณอาจเข้าใจผิดว่าคำถามกำลังถามอะไร บางทีการทบทวนคำตอบอื่น ๆ และสตรีมความคิดเห็นที่เกี่ยวข้องอาจเป็นประโยชน์ ไชโย

— พระคาร์ดินัล

@cardinal ฉันยอมรับว่าไม่ใช่คำตอบโดยตรง แต่เป็นนิพจน์ที่แน่นอนสำหรับ MLE เช่นสามารถใช้เพื่อตรวจสอบ EM ได้

— emcor

4

แม้ว่านี่เป็นคำถามเก่า แต่ดูเหมือนว่ามีคำตอบในกระดาษที่เผยแพร่ที่นี่: http://home.iitk.ac.in/~kundu/interval-censoring-REVISED-2.pdf

ในงานนี้การวิเคราะห์ข้อมูลที่มีการเซ็นเซอร์เป็นช่วง ๆ โดยมีการแจกแจงแบบ Weibull เป็นการพิจารณาการแจกแจงแบบตลอดชีพ สันนิษฐานว่าเป็นกลไกการเซ็นเซอร์ที่เป็นอิสระและไม่ให้ข้อมูล ตามที่คาดไว้ตัวประมาณโอกาสสูงสุดไม่สามารถรับในรูปแบบปิด ในการทดลองจำลองของเราพบว่าวิธีการของนิวตัน - ราฟสันอาจไม่มาบรรจบกันหลายครั้ง แนะนำให้ใช้อัลกอริธึมการเพิ่มความคาดหวังสูงสุดเพื่อคำนวณตัวประมาณความน่าจะเป็นสูงสุดและมันจะมาบรรจบกันเกือบทุกครั้ง

— user3204720
แหล่งที่มา

1

คุณสามารถโพสต์การอ้างอิงแบบเต็มสำหรับกระดาษที่ลิงค์ในกรณีที่มันจะตาย?

— gung - Reinstate Monica

1

นี่คืออัลกอริทึม EM แต่ไม่ได้ทำในสิ่งที่ผมเชื่อว่าต้องการสหกรณ์ ค่อนข้าง E-step กำหนดข้อมูลที่ถูกเซ็นเซอร์หลังจากนั้น M-step ใช้อัลกอริธึมจุดคงที่พร้อมชุดข้อมูลที่สมบูรณ์ ดังนั้นขั้นตอน M ไม่ได้อยู่ในรูปแบบปิด (ซึ่งฉันคิดว่าเป็นสิ่งที่ OP กำลังมองหา)

— หน้าผา AB

1

@CliffAB: ขอบคุณสำหรับลิงค์ (+1) แต่แท้จริงแล้ว EM ถูกชักนำโดยธรรมชาติในบทความนี้โดยส่วนการเซ็นเซอร์ นักเรียนเก่าของฉันกำลังมองหาการเพิ่มประสิทธิภาพความน่าจะเป็นของ iid Weibull ธรรมดาผ่าน EM

— ซีอาน

-1

ในกรณีนี้ตัวประมาณ MLE และ EM มีค่าเท่ากันเนื่องจากตัวประมาณค่า MLE เป็นเพียงกรณีพิเศษของตัวประมาณ EM (ฉันกำลังสมมติกรอบบ่อย ๆ ในคำตอบของฉันนี่ไม่เป็นความจริงสำหรับ EM ในบริบทของ Bayesian ที่เรากำลังพูดถึง MAP) เนื่องจากไม่มีข้อมูลที่ขาดหายไป (เป็นพารามิเตอร์ที่ไม่รู้จัก) ขั้นตอน E จะส่งกลับความน่าจะเป็นบันทึกโดยไม่คำนึงถึงตัวเลือกคุณ จากนั้นขั้นตอน M จะเพิ่มโอกาสในการบันทึกสูงสุดทำให้ได้ MLE $k^{(t)}$

ตัวอย่างเช่น EM จะใช้งานได้ถ้าคุณสังเกตข้อมูลจากการผสมของการแจกแจงแบบ Weibull สองครั้งพร้อมพารามิเตอร์และแต่คุณไม่รู้ว่าการกระจายแบบสองแบบนี้แต่ละครั้งมาจากการสังเกต $k_1$ $k_2$

— ahfoss
แหล่งที่มา

6

ฉันคิดว่าคุณอาจตีความประเด็นของคำถามผิดไปซึ่งก็คือ: มีการตีความตัวแปรที่ขาดหายไปบ้างหรือไม่ซึ่งเราจะได้รับความเป็นไปได้ของ Weibull (และจะอนุญาตให้ใช้อัลกอริทึมแบบ EM)

— พระคาร์ดินัล

4

คำสั่งคำถามในโพสต์ของ @ Xi'an นั้นค่อนข้างชัดเจน ฉันคิดว่าเหตุผลที่ไม่ได้รับคำตอบก็เพราะคำตอบใด ๆ นั้นไม่น่าสนใจ (มันน่าสนใจดังนั้นฉันหวังว่าฉันจะมีเวลาคิดมากกว่านี้) ความคิดเห็นของคุณดูเหมือนจะหักล้างความเข้าใจผิดของอัลกอริทึม EM บางทีสิ่งต่อไปนี้อาจทำหน้าที่เป็นยาแก้พิษ:

— พระคาร์ดินัล

6

ปล่อยโดยที่เป็นฟังก์ชันความหนาแน่นปกติมาตรฐาน ให้ U ด้วย IID เครื่องแบบมาตรฐานใช้(u_i) จากนั้นเป็นตัวอย่างจากแบบจำลองการผสมแบบเกาส์เซียน เราสามารถประมาณค่าพารามิเตอร์ด้วยโอกาสสูงสุด (brute-force) มีข้อมูลที่ขาดหายไปในกระบวนการสร้างข้อมูลของเราหรือไม่? ไม่ มันมีการแสดงตัวแปรแฝงที่อนุญาตให้ใช้อัลกอริทึม EM หรือไม่? ใช่แล้ว

f (x) = π φ (x - μ_{1}) + (1 - π) φ (x - μ_{2})

$f(x) = \pi \varphi(x-\mu_1) + (1-\pi) \varphi(x-\mu_2)$

φ

$\varphi$

F (x) = \int_{- \infty}^{x} f (u) d u

$F(x) = \int_{-\infty}^x f(u)\,\mathrm{d}u$

U_{1}, \dots, U_{n}

$U_1,\ldots,U_n$

X_{i} = F^{- 1} (U_{i})

$X_i = F^{-1}(U_i)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— พระคาร์ดินัล

4

คำขอโทษของฉัน @cardinal; ฉันคิดว่าฉันเข้าใจผิดสองเรื่องเกี่ยวกับโพสต์ล่าสุดของคุณ ใช่ในปัญหา GMM คุณสามารถค้นหาผ่านวิธีการบังคับ ML แบบดุร้าย นอกจากนี้ตอนนี้ผมเห็นว่าปัญหาลักษณะเดิมสำหรับการแก้ปัญหาที่เกี่ยวข้องกับการแนะนำตัวแปรแฝงที่ช่วยให้วิธีการในการประเมิน EM พารามิเตอร์ในความหนาแน่นที่กำหนดk} ปัญหาที่น่าสนใจ มีตัวอย่างของการใช้ EM เช่นนี้ในบริบทง่ายๆหรือไม่? การสัมผัส EM ของฉันส่วนใหญ่อยู่ในบริบทของปัญหาการผสมและการใส่ข้อมูล

R^{2} \times [0, 1]

$\mathbb{R}^2 \times [0,1]$

k

$k$

k x^{k - 1} e^{- x^{k}}

$k x^{k-1}e^{-x^k}$

— ahfoss

3

@ahfoss: (+1) ความคิดเห็นล่าสุดของคุณ ใช่ คุณได้รับมัน สำหรับตัวอย่าง: (i) มันปรากฏขึ้นในปัญหาข้อมูลที่ถูกเซ็นเซอร์ (ii) แอปพลิเคชันแบบคลาสสิกเช่นแบบซ่อนมาร์คอฟ (iii) แบบจำลองเกณฑ์ง่าย ๆ เช่น probit model (เช่นลองจินตนาการการสังเกตแฝงแทน Bernoulli ), (iv) การประมาณค่าส่วนประกอบความแปรปรวนในแบบจำลองเอฟเฟกต์แบบทางเดียว (และแบบจำลองที่มีความซับซ้อนมากขึ้น) และ (v) ค้นหาโหมดด้านหลังในรูปแบบลำดับชั้นแบบเบย์ สิ่งที่ง่ายที่สุดก็คือ (i) ตามด้วย (iii)

Z_{i}

$Z_i$

X_{i} = 1_{(Z_{i} > μ)}

$X_i = \mathbf{1}_{(Z_i > \mu)}$

— พระคาร์ดินัล