เหตุใดจึงต้องใช้ MCMC เมื่อประเมินพารามิเตอร์โดยใช้ MAP

เมื่อกำหนดสูตรสำหรับการประมาณค่าพารามิเตอร์ของ MAP เหตุใดจึงต้องใช้วิธีการ MCMC (หรือคล้ายกัน) ฉันไม่สามารถใช้อนุพันธ์ตั้งค่าเป็นศูนย์แล้วแก้หาพารามิเตอร์ได้หรือไม่

bayesian estimation mcmc

— ทนุ
แหล่งที่มา

เป็นคำถามที่ดีมาก!

คำตอบ:

ถ้าคุณรู้ว่าครอบครัวของคุณเป็นคนหลังหรือไม่และการหาอนุพันธ์ของการแจกแจงนั้นเป็นไปได้ในเชิงวิเคราะห์นั่นเป็นสิ่งที่ถูกต้อง

อย่างไรก็ตามเมื่อคุณใช้ MCMC คุณอาจจะไม่อยู่ในสถานการณ์ประเภทนั้น MCMC ถูกสร้างขึ้นมาสำหรับสถานการณ์ที่คุณไม่มีความเห็นเชิงวิเคราะห์ที่ชัดเจนว่าลักษณะหลังของคุณเป็นอย่างไร

— Christoph Hanck
แหล่งที่มา

ฉันคิดว่านี่เป็นสิ่งที่ทำให้เข้าใจผิดเล็กน้อย: โดยทั่วไปแล้ว MCMC ไม่ได้ใช้สำหรับการค้นหาตัวประมาณค่า MAP (นอกกรณีพิเศษเช่นอัลกอริทึม MCEM)

— หน้าผา AB

ในหลักการฉันไม่เห็นด้วยกับคุณ แต่ MCMC สามารถและถูกนำมาใช้ในการจำลองหลังการจัดจำหน่าย และเมื่อคุณทำสิ่งนั้นเสร็จแล้วคุณจะพบโหมดการกระจายนั้นหรือที่เรียกว่า MAP ซึ่งก็คือฉันเชื่อว่าสิ่งที่ OP มีอยู่ในใจดังนั้นฉันจึงไม่ค่อยแน่ใจว่าทำไมคำตอบของฉันจะทำให้เข้าใจผิด

— Christoph Hanck

ใช่อย่างไรก็ตาม MCMC เป็นวิธีการเลือกเมื่อจัดการกับ MAP หรือไม่หากไม่มีวิธีวิเคราะห์เพื่อปรับพารามิเตอร์ให้เหมาะสม

— Dänu

ฉันไม่เคยได้ยินเรื่องการใช้ MCMC แบบง่าย ๆ เพื่อค้นหาโหมดของการกระจายด้านหลัง (ในทางเทคนิคมันสามารถทำได้ แต่สิ่งนี้ไม่มีประสิทธิภาพมาก) เนื่องจากโดยทั่วไปเราสามารถประเมินฟังก์ชั่นที่เป็นสัดส่วนกับการแจกแจงหลังการเพิ่มค่านี้จะเท่ากับการเพิ่มการกระจายหลัง เครื่องมือเพิ่มประสิทธิภาพนอกกรอบจะทำงานได้ดีเช่นเดียวกับปัญหาความน่าจะเป็นที่เกิดขึ้นบ่อยครั้งใด ๆ (ซึ่งอาจกล่าวได้ว่าบางครั้งคุณจะต้องชำนาญ)

— หน้าผา AB

@ Dänuคุณอาจไม่ต้องการใช้ MCMC (เป็นคนคลั่งไคล้โซ่มาร์คอฟ) เพื่อค้นหา maxima อัลกอริทึมการเพิ่มประสิทธิภาพควรทำงานได้ดีขึ้น

— jtobin

posteriors ส่วนใหญ่พิสูจน์แล้วว่าเป็นการยากที่จะเพิ่มประสิทธิภาพการวิเคราะห์ (เช่นการไล่ระดับสีและการตั้งค่าให้เท่ากับศูนย์) และคุณจะต้องใช้อัลกอริทึมการเพิ่มประสิทธิภาพเชิงตัวเลขเพื่อทำ MAP

ในฐานะที่เป็นกัน: MCMC ไม่เกี่ยวข้องกับแผนที่

MAP - สำหรับposteriori สูงสุด - หมายถึงการค้นหาค่าสูงสุดของบางสิ่งบางอย่างในสัดส่วนกับความหนาแน่นหลังและใช้ค่าพารามิเตอร์ที่สอดคล้องกันเป็นค่าโดยประมาณ มันถูกกำหนดให้เป็น

{\hat{θ}}_{M A P} = {argmax}_{θ} พี (θ | D)

$\hat{\theta}_{MAP} = \text{argmax}_{\theta} \, p(\theta \, | \, D)$

โดยทั่วไปแล้ว MCMC จะใช้ในการประมาณความคาดหวังของบางสิ่งบางอย่างตามสัดส่วนกับความหนาแน่นของความน่าจะเป็น ในกรณีของคนหลังนั้น

{\hat{θ}}_{M ค M ค} = n^{- 1} Σ_{ผม = 1}^{n} θ_{ผม}^{0} \approx \int_{Θ} θ พี (θ | D) d θ

$\hat{\theta}_{MCMC} = n^{-1} \sum_{i=1}^{n} \theta^{0}_{i} \approx \int_{\Theta}\theta \, p(\theta \, | \, D)d\theta$

$\{\theta^{0}_{i}\}^{n}_{i=1}$ $\hat{\theta}_{MAP} \neq \hat{\theta}_{MCMC}$

ปมคือแผนที่เกี่ยวข้องกับการเพิ่มประสิทธิภาพในขณะที่ MCMC เป็นไปตามรอบการสุ่มตัวอย่าง

— jtobin
แหล่งที่มา

คุณระบุว่า posteriors พิสูจน์แล้วว่าเป็นเรื่องยากที่จะเพิ่มประสิทธิภาพการวิเคราะห์ซึ่งเป็นกรณีใน MAP ดังนั้น MAP จะเป็นไปได้หรือไม่ถ้าผู้หลังสามารถเพิ่มประสิทธิภาพการวิเคราะห์และหากไม่ใช่กรณีที่ต้องใช้วิธีการ MCMC (ตัวอย่าง)

— Dänu

ไม่แทนที่จะมากับโซลูชันการวิเคราะห์เราสามารถใช้อัลกอริธึมวนซ้ำเพื่อคิดหาวิธีแก้ปัญหา (เช่นหากบันทึกหลังเป็นเว้าคุณสามารถใช้วิธีของนิวตัน)

— หน้าผา AB

MAP หมายถึงการค้นหาค่าพารามิเตอร์ที่ (ในเครื่อง) เพิ่มขนาดโปสเตอร์ด้านหลัง ไม่สำคัญว่าเราจะได้รับค่าพารามิเตอร์เหล่านี้อย่างไร: การแก้ค่าสูงสุดให้กับการวิเคราะห์โดยใช้รูทีนตัวเลขความแตกต่างอัตโนมัติ ฯลฯ

— jtobin