การใช้ความคาดหวังสูงสุดกับตัวอย่างเหรียญ

เมื่อเร็ว ๆ นี้ฉันได้ศึกษาด้วยตนเองถึงความคาดหวังสูงสุดและคว้าตัวอย่างง่ายๆในกระบวนการ:

จากที่นี่ : มีสามเหรียญ ,และมี ,และความน่าจะเป็นที่จะลงจอดบนเฮดเมื่อถูกโยน โยนc_0หากผลลัพธ์คือ Head ให้โยนสามครั้งมิฉะนั้นจะโยนสามครั้ง ข้อมูลที่สังเกตได้ที่ผลิตโดยและเป็นดังนี้: HHH, TTT, HHH, TTT, HHH ข้อมูลที่ซ่อนอยู่เป็นผลมาจากc_0ประมาณการ $c_0$ $c_1$ $c_2$ $p_0$ $p_1$ $p_2$ $c_0$ $c_1$ $c_2$ $c_1$ $c_2$ $c_0$ $p_0$ ,และP_2 $p_1$ $p_2$

และจากที่นี่ : มีสองเหรียญ $c_A$ และ $c_B$ กับ $p_A$ และ $p_B$ เป็นความน่าจะเป็นที่จะลงจอดบนหัวเมื่อโยน ในแต่ละรอบเลือกหนึ่งเหรียญโดยการสุ่มและโยนสิบครั้ง; บันทึกผลลัพธ์ ข้อมูลที่สังเกตได้คือผลลัพธ์การโยนที่ได้จากสองเหรียญ อย่างไรก็ตามเราไม่ทราบว่าเหรียญใดถูกเลือกสำหรับรอบหนึ่ง ๆ ประมาณการ $p_A$ และ $p_B$ บี

ในขณะที่ฉันสามารถคำนวณได้ แต่ฉันไม่สามารถเกี่ยวข้องกับวิธีที่พวกเขาแก้ไขกับทฤษฎี EM ดั้งเดิมได้ โดยเฉพาะอย่างยิ่งระหว่างขั้นตอน M-Step ของทั้งสองตัวอย่างฉันไม่เห็นว่าพวกเขากำลังเพิ่มประสิทธิภาพสูงสุดอย่างไร ดูเหมือนว่าพวกเขากำลังคำนวณพารามิเตอร์ใหม่และพารามิเตอร์ใหม่นั้นดีกว่าพารามิเตอร์เดิม ยิ่งไปกว่านั้น E-Steps ทั้งสองนั้นไม่ได้มีลักษณะที่เหมือนกันซึ่งไม่ต้องพูดถึง E-Step ของทฤษฎีดั้งเดิม

ดังนั้นตัวอย่างเหล่านี้ทำงานอย่างไร

probability-theory statistics

— IcySnow
แหล่งที่มา

ในตัวอย่างแรกเราจะได้รับอินสแตนซ์ของการทดสอบเดียวกันกี่อินสแตนซ์ ในตัวอย่างที่สองกฎหมายของ "เลือกหนึ่งเหรียญโดยการสุ่ม" คืออะไร เราสังเกตเห็นกี่รอบ

— Raphael

ไฟล์ PDF ที่ฉันเชื่อมโยงได้แก้ไขตัวอย่างทั้งสองนี้แล้วทีละขั้นตอน อย่างไรก็ตามฉันไม่เข้าใจอัลกอริทึม EM ที่ใช้จริงๆ

— IcySnow

@IcySnow คุณเข้าใจแนวคิดของความคาดหวังและความคาดหวังตามเงื่อนไขของตัวแปรสุ่มหรือไม่

— Nicholas Mancuso

ฉันเข้าใจความคาดหวังพื้นฐานของตัวแปรสุ่มและความน่าจะเป็นแบบมีเงื่อนไข อย่างไรก็ตามฉันไม่คุ้นเคยกับความคาดหวังตามเงื่อนไขอนุพันธ์และสถิติที่เพียงพอ

— IcySnow

(คำตอบนี้ใช้ลิงค์ที่สองที่คุณให้ไว้)

$\newcommand{\Like}{\text{L}}\newcommand{\E}{\text{E}}$

L [θ | X] = Pr [X | θ] = \sum_{Z} Pr [X, Z | θ]

$\Like[\theta | X] = \Pr[X| \theta] = \sum_Z \Pr[X, Z | \theta]$

θ = (θ_{A}, θ_{B})

$\theta = (\theta_A, \theta_B)$

X = (X_{1}, \dots, X_{5})

$X = (X_1, \dotsc, X_5)$

X_{i}

$X_i$

Z = (Z_{1}, \dots, Z_{5})

$Z = (Z_1, \dotsc, Z_5)$ เป็นเหรียญที่ใช้ในการทดสอบแต่ละครั้ง

เราต้องการที่จะหาโอกาสสูงสุดประมาณการtheta} ความคาดหวัง-การเพิ่มประสิทธิภาพ (EM) ขั้นตอนวิธีการเป็นหนึ่งในวิธีการดังกล่าวเพื่อหา (อย่างน้อยท้องถิ่น)theta} มันทำงานโดยการค้นหาความคาดหวังที่มีเงื่อนไขซึ่งจะถูกใช้เพื่อเพิ่ม\แนวคิดก็คือว่าอย่างต่อเนื่องโดยการหาโอกาสมากขึ้น (เช่นน่าจะมากกว่า) ในแต่ละซ้ำเราอย่างต่อเนื่องจะเพิ่มขึ้น $\hat{\theta}$ $\hat{\theta}$ $\theta$ $\theta$ $\Pr[X,Z|\theta]$ ซึ่งจะเพิ่มฟังก์ชั่นความน่าจะเป็น มีสามสิ่งที่ต้องทำก่อนที่จะทำการออกแบบอัลกอริธึมที่อิงกับ EM

สร้างแบบจำลอง
คำนวณความคาดหวังตามเงื่อนไขภายใต้โมเดล (E-Step)
เพิ่มโอกาสของเราให้มากที่สุดโดยอัปเดตประมาณการปัจจุบันของ (M-Step) $\theta$

สร้างแบบจำลอง

ก่อนที่เราจะไปต่อกับ EM เราต้องหาว่ามันคืออะไรกันแน่ ใน E-ขั้นตอนที่เรากำลังคำนวณว่าค่าที่คาดหวังสำหรับtheta] แล้วค่านี้คืออะไรจริงเหรอ? สังเกตว่า เหตุผลคือเรามีการทดลอง 5 รายการที่จะพิจารณาและเราไม่ทราบว่ามีการใช้เหรียญใดในแต่ละรายการ ความไม่เท่าเทียมเกิดจาก $\log \Pr[X,Z|\theta]$

\begin{aligned} \log Pr [X, Z | θ] & = \sum_{i = 1}^{5} \log \sum_{C \in {A, B}} Pr [X_{i}, Z_{i} = C | θ] \\ = \sum_{i = 1}^{5} \log \sum_{C \in {A, B}} Pr [Z_{i} = C | X_{i}, θ] \cdot \frac{Pr [X_{i}, Z_{i} = C | θ]}{Pr [Z_{i} = C | X_{i}, θ]} \\ \geq \sum_{i = 1}^{5} \sum_{C \in {A, B}} Pr [Z_{i} = C | X_{i}, θ] \cdot \log \frac{Pr [X_{i}, Z_{i} = C | θ]}{Pr [Z_{i} = C | X_{i}, θ]} . \end{aligned}

$\begin{align*} \log \Pr[X,Z|\theta] &= \sum_{i=1}^5 \log\sum_{C\in \{A,B\}}\Pr[X_i, Z_i=C| \theta]\\ &=\sum_{i=1}^5 \log\sum_{C\in \{A,B\}} \Pr[Z_i=C | X_i, \theta] \cdot \frac{\Pr[X_i, Z_i=C| \theta]}{\Pr[Z_i=C | X_i, \theta]}\\ &\geq \sum_{i=1}^5 \sum_{C\in \{A,B\}} \Pr[Z_i=C | X_i, \theta] \cdot \log\frac{\Pr[X_i, Z_i=C| \theta]}{\Pr[Z_i=C | X_i, \theta]}. \end{align*}$

\log

$\log$ เป็นเว้าและใช้ความไม่เท่าเทียมกันของเซ่น เหตุผลที่เราต้องการขอบเขตที่ต่ำกว่าก็คือเราไม่สามารถคำนวณหาค่า max max กับสมการดั้งเดิมได้โดยตรง อย่างไรก็ตามเราสามารถคำนวณได้สำหรับขอบเขตล่างสุดท้าย

ตอนนี้คืออะไร? มันเป็นโอกาสที่เราจะเห็นเหรียญได้รับการทดสอบและ\การใช้ความน่าจะเป็นตามเงื่อนไขที่เรามี $\Pr[Z_i=C|X_i,\theta]$ $C$ $X_i$ $\theta$

ราคา [Z_{ผม} = ค | X_{ผม}, θ] = \frac{ราคา [X_{ผม}, Z_{ผม} = ค | θ]}{ราคา [X_{ผม} | θ]} .

$\Pr[Z_i=C| X_i, \theta] = \frac{\Pr[X_i, Z_i = C|\theta]}{\Pr[X_i|\theta]}.$

ในขณะที่เราดำเนินการไปแล้วเรายังไม่ได้ทำแบบจำลอง ความน่าจะเป็นที่เหรียญที่ได้รับพลิกเป็นลำดับอย่างไร ให้ ตอนนี้เป็นอย่างชัดเจนเพียงแค่ความเป็นไปได้ภายใต้ความเป็นไปได้ของหรือ B ตั้งแต่เรามี $X_i$ $h_i = \#\text{heads in } X_i$

Pr [X_{i}, Z_{i} = C | θ] = \frac{1}{2} \cdot θ_{C}^{h_{i}} (1 - θ_{C})^{10 - h_{i}}, for C \in {A, B} .

$\Pr[X_i, Z_i = C| \theta] = \frac{1}{2} \cdot \theta_C^{h_i} (1 - \theta_C)^{10 - h_i},\ \text{ for } \ C \in \{A, B\}.$

Pr [X_{i} | θ]

$\Pr[X_i|\theta]$

Z_{i} = A

$Z_i=A$

Z_{i} = B

$Z_i=B$

Pr [Z_{i} = A] = Pr [Z_{i} = B] = 1 / 2

$\Pr[Z_i = A] = \Pr[Z_i = B] = 1/2$

ราคา [X_{ผม} | θ] = 1 / 2 \cdot (ราคา [X_{ผม} | Z_{ผม} = A, θ] + ราคา [X_{ผม} | Z_{ผม} = B, θ]) .

$\Pr[X_i|\theta] = 1/2 \cdot (\Pr[X_i |Z_i = A, \theta] + \Pr[X_i |Z_i = B, \theta]).$

E-ขั้นตอน

โอเค ... นั่นไม่สนุกเท่าไหร่ แต่เราสามารถเริ่มทำงาน EM ได้แล้วตอนนี้ อัลกอริทึม EM เริ่มต้นโดยการสุ่มเดาบางสำหรับ\ในตัวอย่างนี้เรามี(0.6,0.5) เราคำนวณ ค่านี้สอดคล้องกับสิ่งที่อยู่ในกระดาษ ตอนนี้เราสามารถคำนวณจำนวนหัวที่คาดหวังในจากเหรียญ , ทำสิ่งเดียวกันสำหรับเหรียญ $\theta$ $\theta^0 = (0.6,0.5)$

ราคา [Z_{1} = A | X_{1}, θ] = \frac{1 / 2 \cdot ({0.6}^{5} \cdot {0.4}^{5})}{1 / 2 \cdot (({0.6}^{5} \cdot {0.4}^{5}) + ({0.5}^{5} \cdot {0.5}^{5}))} \approx 0.45

$\Pr[Z_1=A|X_1,\theta] = \frac{1/2 \cdot (0.6^5 \cdot 0.4^5)}{1/2 \cdot ((0.6^5 \cdot 0.4^5) + (0.5^5 \cdot 0.5^5))} \approx 0.45.$

X_{1} = (H, T, T, T, H, H, T, H, T, H)

$X_1 = (H,T,T,T,H,H,T,H,T,H)$

A

$A$

E [# หัวด้วยเหรียญ A | X_{1}, θ] = {ชั่วโมง}_{1} \cdot ราคา [Z_{1} = A | X_{1}, θ] = 5 \cdot 0.45 \approx 2.2

$\E[\# \text{heads by coin }A | X_1, \theta] = h_1 \cdot \Pr[Z_1=A|X_1,\theta] = 5 \cdot 0.45 \approx 2.2.$

B

$B$ เราได้มา

E [# หัวด้วยเหรียญ B | X_{1}, θ] = {ชั่วโมง}_{1} \cdot ราคา [Z_{1} = B | X_{1}, θ] = 5 \cdot 0.55 \approx 2.8

$\E[\# \text{heads by coin }B | X_1, \theta] = h_1 \cdot \Pr[Z_1=B|X_1,\theta] = 5 \cdot 0.55 \approx 2.8.$ เราสามารถคำนวณเหมือนกันสำหรับจำนวนหางโดยการแทนสำหรับh_1 นี้ยังคงค่าอื่น ๆ ทั้งหมดของและ5 ด้วยความเป็นเส้นตรงของความคาดหวังเราสามารถหา

h_{1}

$h_1$

10 - h_{1}

$10 - h_1$

X_{i}

$X_i$

h_{i}

$h_i$

1 \leq i \leq 5

$1 \leq i \leq 5$

E [# หัวด้วยเหรียญ A | X, θ] = Σ_{ผม = 1}^{5} E [# หัวด้วยเหรียญ A | X_{ผม}, θ]

$\E[\#\text{heads by coin } A|X ,\theta] = \sum_{i=1}^5 \E[\# \text{heads by coin }A | X_i, \theta]$

M-ขั้นตอน

ด้วยค่าที่คาดหวังของเราในมือตอนนี้มาถึงขั้นตอน M ที่เราต้องการเพิ่มสูงสุด ตามค่าที่คาดหวังของเรา สิ่งนี้ทำได้โดยการทำให้เป็นมาตรฐานแบบธรรมดา! ในทำนองเดียวกันสำหรับBกระบวนการนี้เริ่มต้นอีกครั้งด้วย E-Step และและดำเนินต่อไปจนกว่าค่าสำหรับมารวมกัน (หรือกับบางเกณฑ์ที่อนุญาต) ในตัวอย่างนี้เรามี 10 ซ้ำและ0.52) ในแต่ละซ้ำค่าของ $\theta$

θ_{A}^{1} = \frac{E [# หัวมากกว่า X ด้วยเหรียญ A | X, θ]}{E [# หัวและก้อยมากกว่า X ด้วยเหรียญ A | X, θ]} = \frac{21.3}{21.3 + 9.6} \approx 0.71

$\theta_A^1 = \frac{E[\#\text{heads over } X \text{ by coin } A|X ,\theta]}{E[\#\text{heads and tails over } X \text{ by coin } A|X ,\theta]} = \frac{21.3}{21.3 + 9.6} \approx 0.71.$

B

$B$

θ^{1}

$\theta^1$

θ

$\theta$

\hat{θ} = θ^{10} = (0.8, 0.52)

$\hat{\theta} = \theta^{10} = (0.8, 0.52)$

Pr [X, Z | θ]

$\Pr[X,Z|\theta]$ เพิ่มขึ้นเนื่องจากการประมาณที่ดีขึ้น

θ

$\theta$ \

ในกรณีนี้แบบจำลองค่อนข้างเรียบง่าย สิ่งที่ได้รับมากความซับซ้อนมากขึ้นสวยได้อย่างรวดเร็ว แต่อัลกอริทึม EM มักจะมาบรรจบกันและมักจะผลิต maxmimum โอกาสประมาณการtheta} อาจเป็นตัวประมาณท้องถิ่นแต่เพื่อให้ได้สิ่งนี้เราสามารถเริ่มกระบวนการ EM ใหม่ด้วยการเริ่มต้นที่แตกต่างกัน เราสามารถทำสิ่งนี้ได้ในจำนวนครั้งที่คงที่และรักษาผลลัพธ์ที่ดีที่สุด (เช่นผู้ที่มีโอกาสสุดท้ายที่สูงที่สุด) $\hat{\theta}$

— Nicholas Mancuso
แหล่งที่มา

หากส่วนใดไม่ชัดเจนฉันสามารถลองขยายได้

— Nicholas Mancuso

ตอนนี้มันชัดเจนมากขึ้น สิ่งที่ฉันไม่ได้รับจริงๆคือทำไมคำนวณจำนวนหัวที่คาดไว้สำหรับเหรียญ A เป็น: E [#heads ด้วยเหรียญ A | X1, θ] = h1⋅Pr [Z1 = A | X1, θ] = 5⋅0.45 ≈2.2? ปัญหาที่กล่าวถึงใน PDF แรกนั้นซับซ้อนกว่า หากคุณไม่เป็นไรคุณสามารถคำนวณตัวอย่างได้ด้วยหรือไม่ ขอบคุณมากสำหรับคำตอบของคุณ

— IcySnow

@IcySnow เท่าที่คาดหวัง calc จะไป:theta] เหตุผลก็คือคุณสามารถคิดได้ว่ามีตัวแปรสุ่มตัวบ่งชี้อื่น ๆ หากใช้งานอยู่ การคำนวณความคาดหวังเหนือตัวแปรตัวบ่งชี้นั้นเป็นความน่าจะเป็นของเหตุการณ์

E [# heads by coin A | X_{1}, θ] = \sum_{# heads in X_{1}} Pr [Z_{1} = A | X_{1}, θ] = 5 \cdot Pr [Z_{1} = A | X_{1}, θ]

$E[\# \text{ heads by coin }A|X_1,\theta] = \sum_{\#\text{ heads in }X_1} \Pr[Z_1 = A| X_1, \theta] = 5 \cdot \Pr[Z_1 = A| X_1, \theta]$

— Nicholas Mancuso

ขออภัยที่ตอบช้า ขอบคุณคุณตอนนี้ฉันสามารถเข้าใจตรรกะที่อยู่เบื้องหลังตัวอย่างเหรียญทั้งสองหลังจากผ่านคำตอบของคุณหลายครั้ง มีสิ่งสุดท้ายที่ฉันอยากถามเกี่ยวกับคำถามนี้: ตัวอย่างที่เริ่มต้นจากหน้า 8 ในสไลด์นี้cs.northwestern.edu/~ddowney/courses/395_Winter2010/em.pptแสดงให้เห็นว่าใน M-Step เราต้องคำนวณก่อน อนุพันธ์ของฟังก์ชันบันทึกความน่าจะเป็นและใช้เพื่อเพิ่มความคาดหวัง เหตุใดจึงไม่เป็นเช่นนั้นในขั้นตอน M-Steps ของเหรียญ เนื่องจาก M-Steps เหล่านี้ดูไม่เหมือนว่ากำลังเพิ่มสิ่งใดให้มากที่สุด

— IcySnow

ฉันสับสนโดยสมการที่แสดงครั้งแรกหลังจาก "สร้างโมเดล" คุณช่วยอธิบายได้ไหมว่ามันมาจากไหน? ฉันคิดว่าดังนั้นผลรวมภายในคือ 1 สำหรับทุกคนดังนั้นด้านขวาทั้งหมด กลายเป็นศูนย์ ฉันแน่ใจว่าฉันพลาดอะไรไปหน่อย - คุณช่วยอธิบายเหตุผลเกี่ยวกับวิธีการที่คุณทำกับสมการนี้ได้ไหม?

Pr [Z_{i} = A | X_{i}, θ] + Pr [Z_{i} = B | X_{i}, θ] = 1

$\Pr[Z_i=A|X_i,\theta]+\Pr[Z_i=B|X_i,\theta]=1$

i

$i$

— DW