EM ต่างกับการไล่ระดับสีแบบต่างกันอย่างไร

อะไรคือความแตกต่างระหว่างอัลกอริธึม EM (Expectation Maximization) และ Gradient Ascent (หรือเชื้อสาย) มีเงื่อนไขใดบ้างที่เทียบเท่ากัน?

gradient-descent expectation-maximization

— Aslan986
แหล่งที่มา

คำตอบ:

จาก:

Xu L และ Jordan MI (1996) เกี่ยวกับคุณสมบัติ Convergence ของ EM ขั้นตอนวิธีแบบเกาส์ผสม การคำนวณทางประสาท 2: 129-151

นามธรรม:

เราแสดงให้เห็นว่าขั้นตอน EM ในพื้นที่พารามิเตอร์ได้มาจากการไล่ระดับสีผ่านการฉายเมทริกซ์ P และเราให้การแสดงออกที่ชัดเจนสำหรับเมทริกซ์

หน้า 2

โดยเฉพาะอย่างยิ่งเราแสดงให้เห็นว่าขั้นตอน EM สามารถรับได้โดยการคูณการไล่ระดับสีด้วยเมทริกซ์ denite ที่เป็นบวก เราให้การแสดงออกที่ชัดเจนสำหรับเมทริกซ์ ...

หน้า 3

นั่นคืออัลกอริทึม EM สามารถดูได้เป็นอัลกอริทึมการไล่ระดับสีแบบไล่ระดับตัวแปร ...

นี่คือบทความที่นำเสนอการเปลี่ยนแปลงอย่างชัดเจนของอัลกอริทึม EM ในการไล่ระดับสีขึ้น - ลงนิวตันนิวตัน - นิวตัน

จากวิกิพีเดีย

มีวิธีการอื่นในการหาค่าประมาณความน่าจะเป็นสูงสุดเช่นการไล่ระดับสีแบบไล่ระดับสีแบบคอนจูเกรชันแบบคอนจูเกต ซึ่งแตกต่างจาก EM วิธีการดังกล่าวมักจะต้องมีการประเมินผลของตราสารอนุพันธ์ที่หนึ่งและ / หรือสองของฟังก์ชันโอกาส

— รอนโคลแมน
แหล่งที่มา

คำตอบนี้ดูเหมือนจะบอกใบ้ว่า EM และการไล่ระดับสีนั้นเป็นอัลกอริทึมเดียวกันโดยมีการแปลงเพื่อสลับจากอัลกอริทึมหนึ่งเป็นอีกอัน สิ่งนี้ไม่เป็นความจริงโดยทั่วไปและขึ้นอยู่กับรูปแบบการกำเนิดที่นำมาพิจารณาด้วย บทความที่อ้างถึงเพียงข้อสรุปสำหรับแบบจำลองการผสมแบบเกาส์ (ซึ่งเป็นแบบจำลองการกำเนิดค่อนข้างง่าย) และถูกต้องดังนั้น จากประสบการณ์ของฉัน (จำกัด อย่าง จำกัด ) เมื่อตัวแบบไม่เป็นเชิงเส้นสูงและบทบาทของตัวแปรแฝงมีความสำคัญ EM เป็นวิธีเดียวที่จะได้รับกฎการอัพเดทที่สมเหตุสมผล

— สีฟ้า

ไม่พวกเขาไม่เทียบเท่า โดยเฉพาะอย่างยิ่งการลู่เข้าของ EM นั้นช้ากว่ามาก

หากคุณสนใจในมุมมองการปรับให้เหมาะสมกับ EM ในบทความนี้คุณจะเห็นว่าอัลกอริทึม EM เป็นกรณีพิเศษของคลาสอัลกอริทึมที่กว้างขึ้น (อัลกอริทึมจุดใกล้เคียง)

— เอลวิส
แหล่งที่มา

หรือสำหรับแนวคิดที่คล้ายกันHinton and Neal (1998)

— conjugateprior

"การลู่เข้าของ EM ช้าลงมาก"; สิ่งนี้ไม่ได้นิยามไว้อย่างชัดเจนและไม่เป็นความจริงโดยทั่วไป อัลกอริทึม EM เป็นคลาสทั้งหมดของอัลกอริทึม สำหรับปัญหาที่หลาย ๆ EM ขั้นตอนวิธีการบางอย่างรัฐของศิลปะ

— หน้าผา AB

@CliffAB โปรดอย่าลังเลที่จะอธิบายรายละเอียดเกี่ยวกับเรื่องนี้ฉันชอบที่จะอ่านข้อโต้แย้งของคุณ - เมื่อฉันอ่านคำตอบนี้จาก 4 ปีฉันรู้ว่าฉันจะไม่ตอบคำถามนี้ในวันนี้ ตั้งแต่นั้นมาฉันพบว่าในหลาย ๆ กรณี EM เป็นทางลาดขึ้นกับพารามิเตอร์ 'อัตราการเรียนรู้' ขึ้นอยู่กับจุดปัจจุบัน ... (ฉันอาจแก้ไขคำตอบนี้ในขณะที่ชี้ผลลัพธ์ของการเรียงลำดับ)

— Elvis

"การลู่เข้าที่ช้าลง" สามารถกำหนดได้ในรูปของอัตราการลู่เข้า อัตราการบรรจบกันของการขึ้นลาดขึ้นอยู่กับ 'อัตราการเรียนรู้' ซึ่งไม่ใช่เรื่องง่ายที่จะเลือกทำให้การไล่ระดับสีขึ้นลงทำได้ยากในหลาย ๆ กรณี อย่างไรก็ตามฉันยังมีความรู้สึกว่าในขณะที่ EM สามารถในบางกรณีอัลกอริธึมที่เป็นไปได้เพียงอย่างเดียว (อนุพันธ์ของความน่าจะเป็นหรือความน่าจะเป็นที่ยากต่อการคำนวณ) อัตราการคอนเวอร์เจนซ์นั้นแย่เมื่อเทียบกับวิธีของนิวตัน

— Elvis

"อัลกอริทึม EM" เป็นอัลกอริทึมทั้งคลาสจริงๆ หนึ่งในสิ่งที่ฟังก์ชั่นเป้าหมายเดิมเป็นเรื่องยากที่จะเพิ่มประสิทธิภาพ แต่ถ้าบางตัวแปรอื่น ๆ ที่เป็นที่รู้จักในการแก้ปัญหาจะง่ายขึ้นมาก (มักจะอยู่ในรูปแบบปิด) โครงร่างพื้นฐานคือการกรอกข้อมูลตัวแปรที่คาดการณ์ตามค่าปัจจุบันของพารามิเตอร์อื่น ๆ จากนั้นอัปเดตพารามิเตอร์ตามค่าที่คาดหวังของตัวแปร มันแสดงให้เห็นว่าความเร็วของอัลกอริธึมขึ้นอยู่กับว่าข้อมูลที่มีการใส่ข้อมูลนั้นเป็นอย่างไร ยิ่งข้อมูลที่ขาดหายไปนั้นยิ่งมีการบรรจบกันช้าลง

— หน้าผา AB