ความแตกต่างในการประมาณแบบเบย์และการประเมินความเป็นไปได้สูงสุดคืออะไร?

โปรดอธิบายให้ฉันทราบถึงความแตกต่างในการประมาณแบบเบย์และการประมาณโอกาสสูงสุด?

มันเป็นคำถามที่กว้างมากและคำตอบของฉันที่นี่เพียงเริ่มเกาพื้นผิวเล็กน้อย ฉันจะใช้กฎของ Bayes เพื่ออธิบายแนวคิด

สมมติว่าชุดพารามิเตอร์การกระจายความน่าจะเป็น อธิบายชุดข้อมูลD ได้ดีที่สุด เราอาจต้องการประเมินพารามิเตอร์θด้วยความช่วยเหลือของกฎของ Bayes:$\theta$$D$$\theta$

คำอธิบายดังต่อไปนี้:

การประมาณความน่าจะเป็นสูงสุด

$\theta$$p(D|\theta)$$\hat{\theta}$$\hat{\theta}$

$\frac{p(\theta)}{p(D)}$$p(\theta)$$\theta$

การประมาณแบบเบย์

$p(\theta|D)$$\theta$

$\theta$$p(\theta|D)$$\theta$$\theta$$\theta$

$evidence$

สิ่งนี้นำไปสู่แนวคิดเรื่อง 'conjugate priors' ในการประมาณแบบเบย์ สำหรับฟังก์ชันความเป็นไปได้ที่กำหนดถ้าเรามีตัวเลือกเกี่ยวกับวิธีที่เราแสดงความเชื่อก่อนหน้านี้เราจะต้องใช้แบบฟอร์มนั้นซึ่งช่วยให้เราสามารถทำการรวมที่แสดงไว้ด้านบน แนวคิดเกี่ยวกับการรวมกันของนักบวชและวิธีการที่พวกเขานำไปใช้งานจริงได้รับการอธิบายได้ค่อนข้างดีในบทความนี้โดย COOlSerdash

ฉันคิดว่าคุณกำลังพูดถึงการประมาณค่าจุดในการอนุมานแบบพารามิเตอร์เพื่อให้เราสามารถสมมติตัวแบบความน่าจะเป็นแบบพาราเมตริกสำหรับกลไกการสร้างข้อมูล แต่ไม่ทราบค่าที่แท้จริงของพารามิเตอร์

การประมาณความน่าจะเป็นสูงสุดหมายถึงการใช้แบบจำลองความน่าจะเป็นสำหรับข้อมูลและการปรับฟังก์ชั่นความน่าจะเป็นร่วมของข้อมูลที่สังเกตได้ผ่านพารามิเตอร์หนึ่งตัวหรือมากกว่า ดังนั้นจึงเห็นว่าพารามิเตอร์โดยประมาณมีความสอดคล้องมากที่สุดกับข้อมูลที่สังเกตได้ซึ่งสัมพันธ์กับพารามิเตอร์อื่น ๆ ในพื้นที่พารามิเตอร์ โปรดทราบว่าฟังก์ชั่นโอกาสดังกล่าวไม่จำเป็นต้องมองว่าเป็น "เงื่อนไข" ตามพารามิเตอร์เนื่องจากพารามิเตอร์ไม่ใช่ตัวแปรสุ่มดังนั้นจึงค่อนข้างซับซ้อนกว่าที่จะเข้าใจความเป็นไปได้ของผลลัพธ์ต่าง ๆ เมื่อเปรียบเทียบการกำหนดพารามิเตอร์สองแบบที่แตกต่างกัน มันกลับกลายเป็นว่านี่เป็นแนวทางเชิงปรัชญา

การประมาณแบบเบย์นั้นค่อนข้างกว้างกว่าทั่วไปเพราะเราไม่จำเป็นต้องเพิ่มความน่าจะเป็นแบบอะนาล็อกของ Bayesian (ความหนาแน่นหลัง) อย่างไรก็ตามประเภทการประมาณแบบอะนาล็อก (หรือการประมาณโหมดหลัง) ถูกมองว่าเป็นการเพิ่มความน่าจะเป็นของพารามิเตอร์หลังที่มีเงื่อนไขตามข้อมูลให้สูงสุด โดยปกติการประมาณของ Bayes ที่ได้รับในลักษณะนี้จะมีลักษณะคล้ายกับ ML ความแตกต่างที่สำคัญคือการอนุมาน Bayes อนุญาตให้มีวิธีการที่ชัดเจนในการรวมข้อมูลก่อนหน้านี้

นอกจากนี้ 'ประวัติมหากาพย์ของความน่าจะเป็นสูงสุดทำให้อ่านสว่าง

http://arxiv.org/pdf/0804.2996.pdf

การประมาณแบบเบย์เป็นการอนุมานแบบเบส์ในขณะที่ MLE เป็นวิธีการอนุมานแบบบ่อยครั้ง

$f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$$likelihood = \frac{posterior * evidence}{prior}$$p(\theta) = 1/6$

ทางเลือกของ MLE ในการอนุมานแบบเบย์เรียกว่าการประมาณค่าสูงสุดหลัง (MAP สำหรับช่วงสั้น ๆ ) และที่จริง MLE เป็นกรณีพิเศษของ MAP ที่ซึ่งก่อนหน้านี้มีรูปแบบเหมือนกันดังที่เราเห็นด้านบนและตามที่ระบุไว้ในWikipedia :

จากมุมมองของการอนุมานแบบเบย์ MLE เป็นกรณีพิเศษของการประมาณค่าด้านหลัง (MAP) สูงสุดซึ่งสันนิษฐานว่ามีการแจกแจงพารามิเตอร์ก่อนหน้าอย่างสม่ำเสมอ

สำหรับรายละเอียดโปรดดูที่บทความนี้น่ากลัว: MLE VS แผนที่: การเชื่อมต่อระหว่างภาวะน่าจะเป็นสูงสุดและสูงสุด posteriori ประมาณการ

และอีกหนึ่งความแตกต่างคือความเป็นไปได้สูงสุดคือการคว่ำได้ง่าย แต่ถ้าคุณปรับใช้แนวทางแบบเบย์ก็จะสามารถหลีกเลี่ยงปัญหาที่เกินความเหมาะสมได้