24

ฉันได้อ่านคำอธิบายของอัลกอริทึม EM (เช่นจากการจดจำรูปแบบของอธิการและการเรียนรู้ของเครื่องและจากหลักสูตรแรกของ Roger and Gerolami ในการเรียนรู้ของเครื่อง) การได้มาของ EM ก็โอเคฉันเข้าใจแล้ว ฉันยังเข้าใจว่าทำไมอัลกอริทึมครอบคลุมถึงบางสิ่ง: ในแต่ละขั้นตอนเราปรับปรุงผลลัพธ์และโอกาสถูกล้อมรอบด้วย 1.0 ดังนั้นโดยใช้ข้อเท็จจริงง่าย ๆ (หากฟังก์ชันเพิ่มขึ้นและถูก จำกัด ขอบเขตจากนั้นก็มาบรรจบกัน) เรารู้ว่าอัลกอริทึม ทางออกบางอย่าง

อย่างไรก็ตามเราจะรู้ได้อย่างไรว่ามันเป็นขั้นต่ำในท้องถิ่น? ในแต่ละขั้นตอนเรากำลังพิจารณาพิกัดเดียวเท่านั้น (ไม่ว่าจะเป็นตัวแปรแฝงหรือพารามิเตอร์) ดังนั้นเราอาจพลาดอะไรบางอย่างเช่นค่าต่ำสุดในท้องถิ่นต้องการการเคลื่อนย้ายโดยพิกัดทั้งสองพร้อมกัน

ฉันเชื่อว่านี่เป็นปัญหาที่คล้ายคลึงกับของขั้นตอนวิธีการปีนเขาทั่วไปซึ่ง EM เป็นตัวอย่างของ ดังนั้นสำหรับอัลกอริทึมการปีนเขาทั่วไปเรามีปัญหานี้สำหรับฟังก์ชั่น f (x, y) = x * y หากเราเริ่มต้นจากจุด (0, 0) ดังนั้นเพียงพิจารณาทั้งสองทิศทางในครั้งเดียวเราสามารถเลื่อนขึ้นจาก 0 ค่า

missing-data convergence expectation-maximization

— คาล
แหล่งที่มา

3

โอกาสถูก จำกัด สำหรับผลต่างคงที่เท่านั้น นั่นคือในสถานการณ์ทวินามความแปรปรวนคือ

p (1 - p)

$p(1-p)$ ; หรือในสถานการณ์เสียนถ้ารู้ถึงความแปรปรวน หากไม่ทราบความแปรปรวนและต้องประมาณความน่าจะเป็นนั้นจะไม่ถูก จำกัด ขอบเขต ยิ่งไปกว่านั้นในอัลกอริทึม EM มีการแยกส่วนที่ขาดหายไปและพารามิเตอร์อย่างน้อยสำหรับนักสถิติที่ใช้บ่อย แต่พื้นผิวอาจมีอานม้า

— StasK

@Stask ฉันไม่แน่ใจว่าโอกาสถูก จำกัด โดยทั่วไปแม้จะมีความแปรปรวนคงที่ คุณ จำกัด ครอบครัวอยู่หรือเปล่า?

— Glen_b -Reinstate Monica

27

EM ไม่รับประกันว่าจะรวมกันเป็นระดับต่ำสุดในท้องถิ่น มันรับประกันว่าจะมาบรรจบกับจุดที่มีการไล่ระดับสีเป็นศูนย์ที่เกี่ยวข้องกับพารามิเตอร์ ดังนั้นมันจึงสามารถติดที่จุดอานได้

— ทอมมินก้า
แหล่งที่มา

1

สำหรับตัวอย่างดูได้ pp. 20 และ 38 ที่นี่ , พี 85 ที่นี่ - ลอง "จุดอานม้า" ในเครื่องอ่านของ Amazon

— StasK

13

ครั้งแรกของทั้งหมดก็เป็นไปได้ว่า EM ลู่ไปนาทีท้องถิ่นเป็นสูงสุดในท้องถิ่นหรือจุดอานของฟังก์ชั่นความน่าจะเป็น แม่นยำมากขึ้นเป็นทอม Minkaชี้ EM มีการประกันเพื่อบรรจบไปยังจุดที่มีศูนย์การไล่ระดับสี

ฉันนึกถึงสองวิธีที่จะเห็นสิ่งนี้ มุมมองแรกเป็นสัญชาตญาณที่บริสุทธิ์และมุมมองที่สองเป็นภาพร่างของหลักฐานที่เป็นทางการ ก่อนอื่นฉันจะอธิบายสั้น ๆ ว่า EM ทำงานอย่างไร:

Expectation Maximization (EM)เป็นเทคนิคการหาค่าเหมาะที่สุดแบบต่อเนื่องลำดับซึ่งในการทำซ้ำเราจะสร้าง (ล่าง) ขอบเขตในฟังก์ชั่นความน่าจะเป็นจากนั้นขยายขอบเขตเพื่อให้ได้โซลูชันใหม่ , และทำสิ่งนี้ต่อไปจนกว่าวิธีแก้ปัญหาใหม่จะไม่เปลี่ยนแปลง $t$ $b_t(\theta)$ $L(\theta)$ $\theta_t = \arg\max_\theta b_t(\theta)$

ความคาดหวังสูงสุดเป็นทางลาดขึ้น

$t$ $b_t$ $L$ $\theta_{t-1}$ $g = \nabla b_t(\theta_{t-1}) = \nabla L(\theta_{t-1})$ $\theta_t$ $\theta_{t-1} + \eta g$

$\theta^*$ $\theta^*$

ร่างหลักฐานที่เป็นทางการ

\begin{matrix} (1) & \underset{เสื้อ \to \infty}{Lim} L (θ_{เสื้อ}) - ข_{เสื้อ} (θ_{เสื้อ}) = 0 \end{matrix}

$\lim_{t \rightarrow \infty} L(\theta_t) - b_t(\theta_t) = 0. \tag{1}$

\begin{matrix} (2) & \underset{เสื้อ \to \infty}{Lim} \nabla L (θ_{เสื้อ}) = \nabla ข_{เสื้อ} (θ_{เสื้อ}) . \end{matrix}

$\lim_{t \rightarrow \infty} \nabla L(\theta_t) = \nabla b_t(\theta_t). \tag{2}$

(1)

$(1)$

(2)

$(2)$

θ_{t} = \arg max_{θ} b_{t} (θ)

$\theta_t = \arg\max_\theta b_t(\theta)$

\nabla b_{t} (θ_{t}) = 0

$\nabla b_t(\theta_t)=0$

lim_{t \to \infty} \nabla L (θ_{t}) = 0

$\lim_{t \rightarrow \infty} \nabla L(\theta_t) = 0$

— sobi
แหล่งที่มา

เหตุใดอัลกอริธึมการเพิ่มความคาดหวังจึงรับประกันว่าจะได้มาบรรจบกันเป็นสิ่งที่ดีที่สุดในท้องถิ่น?

ความคาดหวังสูงสุดเป็นทางลาดขึ้น

ร่างหลักฐานที่เป็นทางการ