การประมาณค่า MLE เทียบกับ MAP จะใช้เมื่อใด

MLE = การประมาณความน่าจะเป็นสูงสุด

MAP = หลังที่ใหญ่ที่สุด

MLE ใช้งานง่าย / ไร้เดียงสาโดยเริ่มจากความน่าจะเป็นของการสังเกตที่กำหนดพารามิเตอร์ (เช่นฟังก์ชันความน่าจะเป็น)และพยายามค้นหาพารามิเตอร์ที่สอดคล้องกับการสังเกตการณ์ที่สุด แต่มันไม่ได้คำนึงถึงความรู้เดิม

MAP ดูเหมือนจะสมเหตุสมผลมากกว่าเนื่องจากคำนึงถึงความรู้เดิมผ่านกฎของเบย์

นี่คือคำถามที่เกี่ยวข้อง แต่คำตอบนั้นไม่ละเอียด /signals/13174/differences-using-maximum-likelihood-or-maximum-a-posteriori-for-deconvolution-d

ดังนั้นฉันคิดว่า MAP ดีกว่ามาก นั่นถูกต้องใช่ไหม? และฉันควรใช้อันไหนดี?

หากความน่าจะเป็นก่อนหน้านี้เป็นส่วนหนึ่งของการตั้งค่าปัญหาให้ใช้ข้อมูลนั้น (เช่นใช้ MAP) หากไม่มีการให้หรือสันนิษฐานข้อมูลก่อนหน้านี้จะไม่สามารถทำ MAP ได้และ MLE เป็นวิธีการที่เหมาะสม

Bayesian จะเห็นด้วยกับคุณเป็นประจำจะไม่ นี่เป็นเรื่องของความเห็นมุมมองและปรัชญา ฉันคิดว่ามันเป็นอันตรายอย่างมากต่อชุมชนสถิติในการพยายามยืนยันว่าวิธีหนึ่งดีกว่าวิธีอื่นเสมอ ปัญหาหลายอย่างจะมีวิธีแก้ปัญหาแบบเบย์และแบบประจำซึ่งคล้ายกันตราบใดที่แบบเบย์ไม่ได้มีความแข็งแกร่งมาก่อน

สมมติว่าคุณมีข้อมูลก่อนหน้านี้ที่ถูกต้อง MAP จะดีกว่าหากปัญหามีฟังก์ชันสูญเสียค่าศูนย์โดยประมาณ หากการสูญเสียไม่ใช่ศูนย์หนึ่ง (และในปัญหาที่เกิดขึ้นจริงในโลกหลายแห่งไม่ได้เป็นเช่นนั้น) ก็สามารถเกิดขึ้นได้ที่ MLE ได้รับความสูญเสียที่คาดหวังต่ำกว่า ในกรณีเหล่านี้จะเป็นการดีกว่าที่จะไม่ จำกัด ตัวคุณเองไว้ที่ MAP และ MLE เป็นตัวเลือกเพียงสองตัวเลือกเนื่องจากตัวเลือกเหล่านี้มีทั้งที่ไม่ดี

คำตอบสั้น ๆ โดย @bean อธิบายได้ดีมาก อย่างไรก็ตามฉันอยากจะชี้ไปที่หัวข้อ 1.1 ของการเก็บตัวอย่าง Gibbs สำหรับมือใหม่โดย Resnik และ Hardistyซึ่งให้ความสำคัญกับเรื่องนี้มากขึ้น ฉันกำลังเขียนสองสามบรรทัดจากบทความนี้โดยมีการดัดแปลงเล็กน้อย (คำตอบนี้ซ้ำสิ่งที่ OP รู้ซ้ำเพื่อความสมบูรณ์)

MLE

MLE อย่างเป็นทางการสร้างทางเลือก (ของพารามิเตอร์รุ่น) ส่วนใหญ่มีแนวโน้มที่จะสร้างข้อมูลที่สังเกตได้

แผนที่

MAP ที่ประมาณไว้คือตัวเลือกที่น่าจะได้รับข้อมูลที่สังเกตได้มากที่สุด ตรงกันข้ามกับ MLE การประมาณค่า MAP ใช้กฎของเบย์เพื่อให้การประมาณการของเราสามารถนำมาพิจารณาความรู้ก่อนหน้าเกี่ยวกับสิ่งที่เราคาดหวังว่าพารามิเตอร์ของเราจะอยู่ในรูปแบบของการกระจายความน่าจะเป็นก่อนหน้านี้

จับ

การประมาณ MLE และ MAP นั้นทำให้เราประมาณการได้ดีที่สุดตามการพิจารณาของ "ดีที่สุด" แต่โปรดสังเกตว่าการใช้การประมาณค่าเดียวไม่ว่าจะเป็น MLE หรือ MAP จะเป็นการโยนข้อมูลออกไป โดยหลักการแล้วพารามิเตอร์สามารถมีค่าใด ๆ (จากโดเมน) เราจะไม่ได้ประมาณที่ดีกว่านี้หรือไม่ถ้าเรานำการกระจายทั้งหมดมาพิจารณาแทนที่จะเป็นเพียงค่าประมาณเดียวสำหรับพารามิเตอร์ ถ้าเราทำอย่างนั้นเรากำลังใช้ข้อมูลทั้งหมดเกี่ยวกับพารามิเตอร์ที่เราสามารถบีบจากข้อมูลที่สังเกตได้ X

ดังนั้นด้วยการจับนี้เราอาจไม่ต้องการใช้มันเลย นอกจากนี้ตามที่ระบุไว้โดย bean และ Tim หากคุณต้องใช้หนึ่งในนั้นให้ใช้ MAP หากคุณได้รับมาก่อน หากคุณไม่มี Priors MAP จะลดเป็น MLE นักบวชชั้นสูงจะช่วยแก้ปัญหาที่เกิดจากการวิเคราะห์ไม่เช่นนั้นจะใช้การสุ่มตัวอย่างจากกิ๊บส์

ในขณะที่เรารู้ว่า

$$\begin{equation}\begin{aligned} \hat\theta^{MAP}&=\arg \max\limits_{\substack{\theta}} \log P(\theta|\mathcal{D})\\ &= \arg \max\limits_{\substack{\theta}} \log \frac{P(\mathcal{D}|\theta)P(\theta)}{P(\mathcal{D})}\\ &=\arg \max\limits_{\substack{\theta}} \log P(\mathcal{D}|\theta)P(\theta) \\ &=\arg \max\limits_{\substack{\theta}} \underbrace{\log P(\mathcal{D}|\theta)}_{\text{log-likelihood}}+ \underbrace{\log P(\theta)}_{\text{regularizer}} \end{aligned}\end{equation}$$

ก่อนหน้าจะถือว่าเป็น regularizer และถ้าคุณรู้ว่าการกระจายก่อนหน้านี้เช่น Gaussin ( ) ในการถดถอยเชิงเส้นและมันจะดีกว่าที่จะเพิ่มที่ การทำให้เป็นมาตรฐานเพื่อประสิทธิภาพที่ดีขึ้น$\exp(-\frac{\lambda}{2}\theta^T\theta)$

หากข้อมูลมีน้อยและคุณมี priors อยู่ - "ไปเพื่อดูแผนที่" หากคุณมีข้อมูลจำนวนมาก MAP จะเข้าสู่ MLE ดังนั้นในกรณีที่มีสถานการณ์ข้อมูลจำนวนมากการทำ MLE จะดีกว่าเสมอ