ทำไมอัลกอริธึมการเพิ่มความคาดหวังสูงสุดจึงถูกใช้

จากสิ่งเล็ก ๆ น้อย ๆ ที่ฉันรู้ว่าอัลกอริทึม EM สามารถใช้เพื่อค้นหาโอกาสสูงสุดเมื่อตั้งค่าเป็นศูนย์ของอนุพันธ์บางส่วนที่เกี่ยวข้องกับพารามิเตอร์ของโอกาสที่จะให้ชุดของสมการที่ไม่สามารถแก้ไขได้วิเคราะห์ แต่จำเป็นต้องใช้อัลกอริทึม EM แทนการใช้เทคนิคเชิงตัวเลขเพื่อค้นหาโอกาสสูงสุดด้วยความเคารพต่อข้อ จำกัด ของชุดสมการที่กล่าวถึง

คำถามนั้นถูกต้องและฉันก็สับสนเหมือนกันเมื่อฉันเรียนรู้อัลกอริทึม EM เป็นครั้งแรก

โดยทั่วไปแล้วอัลกอริทึม EM จะกำหนดกระบวนการวนซ้ำที่อนุญาตให้ฟังก์ชันความน่าจะเป็นสูงสุดของแบบจำลองพารามิเตอร์ในกรณีที่ตัวแปรบางตัวของแบบจำลองนั้น (หรือถูกปฏิบัติเหมือน) "แฝง" หรือไม่ทราบ

ในทางทฤษฎีเพื่อจุดประสงค์เดียวกันคุณสามารถใช้อัลกอริธึมการย่อขนาดเพื่อหาตัวเลขสูงสุดของฟังก์ชันความน่าจะเป็นสำหรับพารามิเตอร์ทั้งหมด อย่างไรก็ตามในสถานการณ์จริงการย่อขนาดนี้จะเป็น:

1. เข้มข้นมากขึ้นคำนวณ
2. แข็งแกร่งน้อยกว่า

การใช้งานทั่วไปของวิธี EM นั้นเหมาะสมกับตัวแบบผสม ในกรณีนี้พิจารณาตัวแปรที่กำหนดตัวอย่างแต่ละตัวอย่างให้กับหนึ่งในองค์ประกอบเป็นตัวแปร "แฝง" ปัญหาจะง่ายขึ้นอย่างมาก

ให้ดูตัวอย่าง เรามีตัวอย่าง N จำนวนดึงมาจากส่วนผสมของการแจกแจงปกติ 2 ครั้ง ในการค้นหาพารามิเตอร์ที่ไม่มี EM เราควรย่อ:$s = \{s_i\}$

$$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$$

ในทางตรงกันข้ามการใช้อัลกอริทึม EM อันดับแรกเรา "กำหนด" แต่ละตัวอย่างให้กับองค์ประกอบ ( ขั้นตอน E ) แล้วพอดี (หรือเพิ่มโอกาสของ) แต่ละองค์ประกอบแยกกัน ( ขั้นตอน M ) ในตัวอย่างนี้ขั้นตอน Mเป็นเพียงค่าเฉลี่ยถ่วงน้ำหนักในการค้นหาและ\iterating กว่าทั้งสองขั้นตอนเป็นวิธีที่ง่ายและมีประสิทธิภาพมากขึ้นในการลดtheta)σ k - บันทึกL ( x , θ $\mu_k$$\sigma_k$$-\log \mathcal{L}(x,\theta)$

ไม่จำเป็นต้องใช้ EM แทนการใช้เทคนิคเชิงตัวเลขเนื่องจาก EM เป็นวิธีการเชิงตัวเลขเช่นกัน ดังนั้นจึงไม่ใช่สิ่งทดแทนนิวตัน - ราฟสัน EM สำหรับกรณีเฉพาะเมื่อคุณไม่มีค่าในเมทริกซ์ข้อมูลของคุณ พิจารณาตัวอย่างซึ่งมีเงื่อนไขความหนาแน่นtheta) จากนั้นความเป็นไปได้ของบันทึกคือ สมมติว่าคุณไม่มีชุดข้อมูลที่สมบูรณ์ซึ่งประกอบไปด้วยข้อมูลที่สังเกตได้และหายไป (หรือแฝง) ตัวแปรเช่นว่าZ) จากนั้นความน่าจะเป็นบันทึกสำหรับข้อมูลที่สังเกตได้คือ ฉX | Θ ( x | θ ) l ( θ ; X ) = l o g f X | Θ ( X | θ ) X Y Z X = ( Y , Z ) l o b s ( θ , Y ) $X = (X_{1},...,X_{n})$$f_{X|\Theta}(x|\theta)$

$$l(\theta;X) = log f_{X|\Theta}(X|\theta)$$ $X$$Y$$Z$$X=(Y,Z)$ $$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$$ โดยทั่วไปคุณไม่สามารถคำนวณอินทิกรัลนี้ได้โดยตรงและคุณจะไม่ได้รับ วิธีการแก้ปัญหาปิดแบบฟอร์มสำหรับY) เพื่อจุดประสงค์นี้คุณใช้วิธีการ EM มีสองขั้นตอนที่มีการซ้ำสำหรับการมีครั้ง ในขั้นตอนนี้ขั้นตอนเหล่านี้เป็นขั้นตอนการคาดหวังที่คุณคำนวณ โดยที่เป็นค่าประมาณของในขั้นตอนจากนั้นคำนวณขั้นตอนการขยายสูงสุดที่คุณเพิ่มด้วยความเคารพและ set$l_{obs}(\theta,Y)$$i$$(i + 1)^{th}$ $$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$$ $\theta^{(i)}$$\Theta$$i^{th}$$Q(\theta|\theta^{(i)})$$\theta$$\theta^{(i+1)} = max Q(\theta|\theta^{i})${i}) จากนั้นทำซ้ำขั้นตอนเหล่านี้จนกว่าวิธีการจะรวมเข้ากับค่าบางอย่างซึ่งจะเป็นค่าประมาณ

หากคุณต้องการข้อมูลเพิ่มเติมเกี่ยวกับวิธีการนั้นคุณสมบัติการพิสูจน์หรือแอพพลิเคชั่นให้ดูที่บทความWiki ที่เกี่ยวข้อง

EMถูกนำมาใช้เพราะมักจะเป็นไปไม่ได้หรือเป็นไปไม่ได้ที่จะคำนวณพารามิเตอร์ของแบบจำลองโดยตรงที่เพิ่มความน่าจะเป็นของชุดข้อมูลที่ได้รับจากโมเดล