MCMC เป็นวิธีการที่เหมาะสมหรือไม่เมื่อมีการประมาณค่าแบบโปสเตอร์สูงสุด

ฉันสังเกตเห็นว่าในแอปพลิเคชั่นที่ใช้งานได้จริงวิธีการที่ใช้ MCMC นั้นใช้ในการประมาณค่าพารามิเตอร์ถึงแม้ว่าส่วนหลังนั้นจะทำการวิเคราะห์ (ตัวอย่างเช่น สำหรับฉันมันสมเหตุสมผลกว่าที่จะใช้ตัวประมาณค่า MAP แทนที่จะเป็นตัวประมาณค่า MCMC ใครสามารถชี้ให้เห็นว่าทำไม MCMC ยังคงเป็นวิธีการที่เหมาะสมในการปรากฏตัวของผู้วิเคราะห์หลัง?

ไม่จำเป็นต้องใช้ MCMC ในกรณีนี้: Markov Chain Monte-Carlo (MCMC) เป็นวิธีที่ใช้ในการสร้างค่าจากการแจกแจง มันสร้างเชนมาร์คอฟของค่าที่สัมพันธ์กันอัตโนมัติพร้อมการกระจายแบบคงที่เท่ากับการกระจายเป้าหมาย วิธีนี้จะยังคงได้ผลตามที่คุณต้องการแม้ในกรณีที่การกระจายเป้าหมายมีรูปแบบการวิเคราะห์ อย่างไรก็ตามมีวิธีการคำนวณที่ง่ายกว่าและใช้งานน้อยกว่าซึ่งทำงานในกรณีเช่นนี้ซึ่งคุณกำลังติดต่อกับคนหลังที่มีรูปแบบการวิเคราะห์ที่ดี

ในกรณีที่การกระจายหลังมีรูปแบบการวิเคราะห์ที่มีอยู่เป็นไปได้ที่จะได้รับการประมาณการพารามิเตอร์ (เช่น MAP) โดยการเพิ่มประสิทธิภาพจากการกระจายนั้นโดยใช้เทคนิคแคลคูลัสมาตรฐาน หากการกระจายเป้าหมายนั้นง่ายพอคุณอาจได้โซลูชันแบบปิดสำหรับตัวประมาณค่าพารามิเตอร์ แต่แม้ว่ามันจะไม่ใช่คุณก็สามารถใช้เทคนิคการวนซ้ำแบบง่าย ๆ (เช่น Newton-Raphson, gradient-descent, ฯลฯ ) เพื่อค้นหา การประมาณค่าพารามิเตอร์ที่เหมาะสมที่สุดสำหรับข้อมูลอินพุตที่กำหนด หากคุณมีรูปแบบการวิเคราะห์สำหรับฟังก์ชั่นควอไทล์ของการแจกแจงเป้าหมายและคุณจำเป็นต้องสร้างค่าจากการแจกแจงคุณสามารถทำได้ผ่านการสุ่มตัวอย่างการแปลงผกผันซึ่งมีความเข้มข้นในการคำนวณน้อยกว่า MCMC และอนุญาตให้คุณสร้างค่า IID แทนค่าที่มีรูปแบบความสัมพันธ์อัตโนมัติที่ซับซ้อน

ในมุมมองนี้หากคุณเขียนโปรแกรมตั้งแต่เริ่มต้นดูเหมือนจะไม่มีเหตุผลใด ๆ ที่คุณจะใช้ MCMC ในกรณีที่การกระจายเป้าหมายมีรูปแบบการวิเคราะห์ที่มีอยู่ เหตุผลเดียวที่คุณอาจทำเช่นนั้นคือถ้าคุณมีอัลกอริทึมทั่วไปสำหรับ MCMC ที่เขียนแล้วซึ่งสามารถนำไปใช้งานได้โดยใช้ความพยายามเพียงเล็กน้อยและคุณตัดสินใจว่าประสิทธิภาพของการใช้แบบฟอร์มการวิเคราะห์นั้นมีค่าเกินความพยายาม ในบริบททางปฏิบัติบางอย่างคุณจะต้องเผชิญกับปัญหาที่ยากจะเข้าใจได้โดยที่ MCMC อัลกอริทึมได้ถูกตั้งค่าไว้แล้วและสามารถนำไปใช้งานได้อย่างง่ายดาย (เช่นถ้าคุณทำการวิเคราะห์ข้อมูลในRStan) ในกรณีเหล่านี้อาจเป็นวิธีที่ง่ายที่สุดในการใช้วิธีการ MCMC ที่มีอยู่ของคุณแทนที่จะหาวิธีการวิเคราะห์ปัญหา แต่แน่นอนว่าสามารถใช้วิธีหลังเพื่อตรวจสอบการทำงานของคุณได้

$\pi(\theta)$

$$\min_\delta\int_\Theta \text{L}(\theta,\delta)\,\tilde\pi(\theta)\,f(x|\theta)\,\text{d}\theta$$ $\tilde\pi(\cdot)\propto\pi(\cdot)$

เมื่อค่าคงที่ normalizingไม่พร้อมใช้งาน

$$\int \tilde\pi(\theta)\,\text{d}\theta$$ ค้นหาค่าเฉลี่ยหลังหรือมัธยฐานหรือแม้แต่โหมด [ซึ่งไม่จำเป็นต้องรู้ค่าคงที่] ส่วนใหญ่มักจะดำเนินการ ผ่านอัลกอริทึม MCMC ตัวอย่างเช่นถ้าฉันได้รับความหนาแน่นของรอยต่อเมื่อ , แรงบันดาลใจจากcopula Ali-Mikhail-Haq : มันอาจจะถูกทำให้เป็นมาตรฐาน (และแน่นอน) แต่ความคาดหวังตามเงื่อนไขของให้ภายใต้ความหนาแน่นนี้เมื่อ$x,y\in(0,1)$Φ - 1 ( X ) Y = Y Φ ( . )

$$f_\theta(x,y)=\dfrac{1+\theta[(1+x)(1+y)-3]+\theta^2(1-x)(1-y)) }{[1-\theta(1-x)(1-y)]^3}\qquad\theta\in(-1,1)$$ $\Phi^{-1}(X)$$Y=y$$\Phi(.)$เป็น cdf ปกติไม่สามารถใช้ได้ในรูปแบบปิด แต่นี้เป็นคำถามที่น่าสนใจหลัก

โปรดทราบว่าค่าสูงสุดหลังตัวประเมินไม่ได้เป็นตัวประมาณค่าที่เป็นธรรมชาติมากที่สุดในการตั้งค่าแบบเบย์เนื่องจากมันไม่สอดคล้องกับฟังก์ชันการสูญเสียและการเป็นตัวแทนแบบปิดของความหนาแน่นแม้จะเป็นค่าคงที่ไม่ทำให้แผนที่ จำเป็นต้องง่าย หรือใช้ MAP ที่เกี่ยวข้อง

ในขณะที่ฉันอ่านมันคำถามนี้กำลังถามคำถามแบบคำถามสองมุม หนึ่งคือหนึ่งควรใช้ MAP- ประมาณกว่าวิธีหลังและอื่น ๆ คือว่าหนึ่งควร MCMC ถ้าหลังมีรูปแบบการวิเคราะห์

ในเรื่องที่เกี่ยวกับการประมาณค่า MAP มากกว่าวิธีหลังจากมุมมองทางทฤษฎีวิธีการหลังเป็นที่ต้องการโดยทั่วไปเป็น @ หมายเหตุ Xian ในคำตอบของเขา ข้อได้เปรียบที่แท้จริงของตัวประมาณค่า MAP คือโดยเฉพาะอย่างยิ่งในกรณีทั่วไปที่ด้านหลังไม่ได้อยู่ในรูปแบบปิดพวกเขาสามารถคำนวณได้เร็วขึ้นมาก (เช่นคำสั่งหลายขนาด) กว่าการประมาณค่าเฉลี่ยหลัง หากด้านหลังมีความสมมาตร (ซึ่งมักจะเป็นปัญหาในหลาย ๆ ตัวอย่างที่มีขนาดตัวอย่างขนาดใหญ่) การประมาณค่า MAP ควรจะใกล้เคียงกับค่าเฉลี่ยด้านหลังมาก ดังนั้นความน่าดึงดูดของ MAP คือความจริงที่ว่ามันสามารถประมาณค่าเฉลี่ยต่ำสุดของค่าเฉลี่ยหลังได้

โปรดทราบว่าการรู้ค่าคงที่ normalizing ไม่ช่วยให้เราหาโหมดด้านหลังดังนั้นการมีโซลูชันแบบปิดสำหรับเทคนิคด้านหลังไม่ได้ช่วยให้เราหาค่าประมาณของ MAP นอกกรณีที่เรารับรู้ด้านหลังเป็นการกระจายเฉพาะ เรารู้ว่ามันเป็นโหมด

ในส่วนที่เกี่ยวกับคำถามที่สองหากมีรูปแบบปิดการกระจายหลังมักพูดไม่มีเหตุผลที่จะใช้อัลกอริทึม MCMC ในทางทฤษฎีถ้าคุณมีวิธีแก้ปัญหาแบบปิดสำหรับการกระจายหลัง แต่ไม่ได้มีรูปแบบปิดสำหรับค่าเฉลี่ยของฟังก์ชั่นบางอย่างและไม่สามารถดึงโดยตรงจากการกระจายรูปแบบปิดนี้แล้วหนึ่งอาจเปลี่ยนเป็นอัลกอริทึม MCMC แต่ฉันไม่ได้ตระหนักถึงกรณีใด ๆ ของสถานการณ์นี้

ฉันจะยืนยันว่าวิธีการ MCMC ไม่จำเป็นต้องไม่เหมาะสมแม้ว่าจะมีวิธีแก้ปัญหาแบบปิดอยู่ก็ตาม เห็นได้ชัดว่ามันดีเมื่อมีวิธีการวิเคราะห์อยู่: โดยทั่วไปมักจะเร็วคุณหลีกเลี่ยงข้อกังวลเกี่ยวกับการลู่เข้า (ฯลฯ )

ในทางกลับกันความมั่นคงก็มีความสำคัญเช่นกัน การเปลี่ยนจากเทคนิคเป็นเทคนิคทำให้งานนำเสนอของคุณซับซ้อน: ที่ดีที่สุดคือรายละเอียดภายนอกที่อาจสร้างความสับสนหรือเบี่ยงเบนความสนใจของผู้ชมออกไปจากผลลัพธ์ที่เป็นสาระสำคัญและที่แย่ที่สุด หากฉันมีหลายรุ่นมีเพียงไม่กี่ตัวเท่านั้นที่ยอมรับโซลูชันแบบปิดฉันจะลองใช้พวกเขาทั้งหมดผ่าน MCMC ไปป์ไลน์เดียวกันแม้ว่ามันจะไม่จำเป็นก็ตาม

ฉันสงสัยสิ่งนี้รวมถึงความเฉื่อย ("เรามีสคริปต์นี้ที่ใช้งานได้") สำหรับบัญชีส่วนใหญ่ของสิ่งที่คุณเห็น