เหตุใดการเพิ่มความคาดหวังจึงมีความสำคัญสำหรับโมเดลผสม

มีวรรณกรรมมากมายที่เน้นวิธีการเพิ่มความคาดหวังในโมเดลผสม (Mixture of Gaussian, Hidden Markov Model เป็นต้น)

ทำไม EM ถึงมีความสำคัญ EM เป็นเพียงวิธีการทำเพิ่มประสิทธิภาพและไม่ได้ใช้กันอย่างแพร่หลายเป็นวิธีการไล่ระดับสีตาม (ลาดดีหรือวิธีการของนิวตัน / กึ่งนิวตัน) หรือการไล่ระดับสีอื่น ๆ ฟรีวิธีการพูดคุยกันที่นี่ นอกจากนี้ EM ยังมีปัญหาขั้นต่ำในท้องถิ่น

เป็นเพราะกระบวนการนี้ใช้งานง่ายและสามารถเปลี่ยนเป็นรหัสได้อย่างง่ายดาย? หรือเหตุผลอื่น ๆ

— ไห่เทาดู
แหล่งที่มา

โดยหลักการแล้ววิธีการเพิ่มประสิทธิภาพ EM และมาตรฐานสามารถทำงานเพื่อการกระจายส่วนผสมที่เหมาะสม เช่นเดียวกับ EM นักแก้ปัญหาการออปติไมซ์แบบนูนจะรวมตัวกันเป็นค่าที่เหมาะสมที่สุดในท้องถิ่น แต่มีอัลกอริธึมการเพิ่มประสิทธิภาพที่หลากหลายสำหรับการค้นหาโซลูชันที่ดีกว่าเมื่อมีออพติม่าท้องถิ่นหลาย ๆ ตัว เท่าที่ฉันทราบอัลกอริทึมที่มีความเร็วการบรรจบที่ดีที่สุดจะขึ้นอยู่กับปัญหา

ข้อดีอย่างหนึ่งของ EM ก็คือมันผลิตพารามิเตอร์ที่ถูกต้องตามธรรมชาติสำหรับการกระจายตัวของส่วนผสมในทุกการวนซ้ำ ในทางตรงกันข้ามอัลกอริธึมการปรับให้เหมาะสมมาตรฐานจะต้องมีข้อ จำกัด ตัวอย่างเช่นสมมติว่าคุณกำลังปรับโมเดลผสมแบบเกาส์เซียน วิธีการโปรแกรมแบบไม่เชิงเส้นมาตรฐานจะต้องใช้เมทริกซ์ความแปรปรวนร่วมแบบ จำกัด เพื่อให้เป็น semidefinite บวกและการ จำกัด น้ำหนักขององค์ประกอบของการผสมจะไม่เป็นค่าลบและรวมเป็นหนึ่ง

เพื่อให้ได้ประสิทธิภาพที่ดีในปัญหามิติสูงโดยทั่วไปแล้วตัวแก้ปัญหาการเขียนโปรแกรมแบบไม่เชิงเส้นต้องใช้ประโยชน์จากการไล่ระดับสี ดังนั้นคุณต้องหาการไล่ระดับสีหรือคำนวณด้วยการแยกแบบอัตโนมัติ การไล่ระดับสีเป็นสิ่งจำเป็นสำหรับฟังก์ชันที่ จำกัด ถ้าไม่มีรูปแบบมาตรฐาน วิธีการของนิวตันและวิธีการที่เกี่ยวข้อง (เช่นวิธีการที่เชื่อถือได้ในภูมิภาค) นั้นจำเป็นต้องมีรัฐ Hessian ด้วย ความแตกต่างแน่นอนหรือวิธีอนุพันธ์ฟรีสามารถใช้หากการไล่ระดับสีไม่พร้อมใช้งาน แต่ประสิทธิภาพมีแนวโน้มที่จะขยายขนาดได้ไม่ดีเมื่อจำนวนพารามิเตอร์เพิ่มขึ้น ในทางตรงกันข้าม EM ไม่ต้องการการไล่ระดับสี

อีเอ็มเป็นแนวคิดที่ใช้งานง่ายซึ่งเป็นคุณธรรมที่ดี สิ่งนี้มักจะถือเป็นแนวทางการเพิ่มประสิทธิภาพมาตรฐานเช่นกัน มีรายละเอียดการใช้งานหลายอย่าง แต่แนวคิดโดยรวมนั้นง่าย บ่อยครั้งที่เป็นไปได้ที่จะใช้เครื่องมือเพิ่มประสิทธิภาพมาตรฐานที่สรุปรายละเอียดเหล่านี้ไว้ใต้ฝากระโปรง ในกรณีเหล่านี้ผู้ใช้จะต้องจัดหาฟังก์ชันวัตถุประสงค์ข้อ จำกัด และการไล่ระดับสีและมีความรู้ในการทำงานเพียงพอที่จะเลือกตัวแก้ปัญหาที่เหมาะสมกับปัญหา แต่จำเป็นต้องมีความรู้เฉพาะทางหากมาถึงจุดที่ผู้ใช้ต้องคิดหรือใช้รายละเอียดในระดับต่ำของอัลกอริธึมการปรับให้เหมาะสม

ข้อดีอีกประการของอัลกอริทึม EM ก็คือสามารถใช้ในกรณีที่ค่าข้อมูลบางอย่างหายไป

ที่น่าสนใจ (รวมถึงความคิดเห็น):

— user20160
แหล่งที่มา

ข้อ จำกัด ในกรณีของแบบจำลองการผสมสามารถบังคับใช้โดยการแก้ไขพารามิเตอร์ซ้ำ เช่นสามารถทำได้ผ่านทางเพิ่มประสิทธิภาพมากกว่าและ(q_j)}

\sum_{i} p_{i} = 1

$\sum_i p_i = 1$

q_{i} \in R

$q_i \in \mathbb{R}$

p_{i} = \frac{\exp (q_{i})}{\sum_{j} \exp (q_{j})}

$p_i = \frac{\exp(q_i)}{\sum_j\exp(q_j)}$

— bayerj

C

$C$

U

$U$

C = U^{T} U

$C = U^T U$

C

$C$

U

$U$

0

$0$

การสลายตัวที่เหมาะสม, ขวา, cholesky ดีกว่ามาก

— user20160

+1 คำตอบที่ยอดเยี่ยม! คุณสามารถอธิบายเพิ่มเติมเกี่ยวกับ "มันผลิตพารามิเตอร์ที่ถูกต้องตามธรรมชาติสำหรับการกระจายของการผสมในทุกการวนซ้ำ" สำหรับวิธีอื่นเรายังคงมีค่าตัวแปรการตัดสินใจสำหรับการวนซ้ำแต่ละครั้งใช่ไหม

— Haitao Du

ฉันคิดว่าคำตอบของ user20160 ให้คำอธิบายที่ดีมากเหตุผลที่สำคัญที่สุดที่ทำให้วิธีการไล่ระดับสีที่ไม่เหมาะสมในที่นี้คือข้อ จำกัด สำหรับเมทริกซ์ความแปรปรวนร่วมเป็น semidefinite บวกและค่าสัมประสิทธิ์การผสมเป็นแบบไม่ลบ

แค่ต้องการชี้ให้เห็นว่าถ้าเรา จำกัด เมทริกซ์ความแปรปรวนร่วมเป็นแนวทแยงมุมแล้วข้อ จำกัด ทั้งสองนี้สามารถแสดงออกได้ง่าย

Σ = [\begin{matrix} σ_{1}^{2} \\ ⋱ \\ σ_{ยังไม่มีข้อความ}^{2} \end{matrix}]

$\Sigma = \begin{bmatrix} \sigma^2_{1} & & \\ & \ddots & \\ & & \sigma^2_{N} \end{bmatrix}$

φ_{k} = {อี}^{{พี}_{k}} / \underset{K}{Σ} {อี}^{{พี}_{ผม}}

$\phi_k=e^{p_k}/\sum_Ke^{p_i}$

ยิ่งไปกว่านั้นสิ่งนี้ช่วยให้เราสามารถปรับให้เหมาะสมสำหรับโอกาสที่แท้จริงโดยตรงแทนที่จะเป็นขอบเขตล่างแบบแปรผัน (ELBO) ดังนั้นจึงไม่จำเป็นต้องใช้ตัวแปรแฝง

อย่างไรก็ตามในกรณีดังกล่าว EM มักจะกลายเป็นอัลกอริทึมที่ดีกว่าการไล่ระดับสีที่เหมาะสม

— dontloo
แหล่งที่มา