เครื่องแบบก่อนหน้านำไปสู่การประมาณการเดียวกันจากโอกาสสูงสุดและโหมดหลังได้อย่างไร?

ฉันกำลังศึกษาวิธีการประมาณค่าแบบจุดต่าง ๆ และอ่านว่าเมื่อใช้การประมาณค่า MAP กับ ML เมื่อเราใช้ "ชุดรูปแบบก่อนหน้า" ค่าประมาณจะเท่ากัน ใครสามารถอธิบายสิ่งที่ "เหมือนกัน" ก่อนหน้านี้และให้ตัวอย่าง (ง่าย) บางอย่างของเมื่อ MAP และ ML ประมาณจะเหมือนกัน?

— user1516425
แหล่งที่มา

@AndreSilva MAP = สูงสุดหลัง - โหมดของหลัง

— Glen_b

ลองดูที่นี่: math.stackexchange.com/questions/1327752/…

— Royi

คำตอบ:

มันคือการแจกแจงแบบสม่ำเสมอ (ต่อเนื่องหรือไม่ต่อเนื่อง)

ดูสิ่งนี้ด้วย

http://en.wikipedia.org/wiki/Point_estimation#Bayesian_point-estimation

และ

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

หากคุณใช้เครื่องแบบก่อนหน้าของชุดที่มี MLE ดังนั้น MAP = MLE เสมอ เหตุผลนี้คือว่าภายใต้โครงสร้างก่อนหน้านี้การกระจายหลังและความน่าจะเป็นสัดส่วน

— MAPMLE
แหล่งที่มา

นี่เป็นคำตอบที่ดีในความคิดของฉัน มันอาจจะคุ้มที่จะเพิ่มว่าเหตุผลที่การกระจายหลังและความน่าจะเป็นเป็นสัดส่วนคือการกระจายตัวหลังนั้นเป็นสัดส่วนกับผลผลิตของความน่าจะเป็นและก่อน เมื่อค่าก่อนหน้านั้นมีค่าเท่ากันทุกหนทุกแห่งเช่นเดียวกับการแจกแจงแบบสม่ำเสมอการกระจายตัวด้านหลังนั้นจะเป็นสัดส่วนกับโอกาส

— TooTone

@TooTone ฉันจะเพิ่มจุดเกี่ยวกับความไม่เหมาะสม

— Stéphane Laurent

สามารถดูเครื่องแบบก่อนหน้านี้ว่าเป็นชุดที่ผู้ใช้กำหนดหรือความน่าจะเป็นที่เท่าเทียมกันสำหรับทุกชั้นเรียนที่คุณกำลังพยายามทำนาย ตัวอย่างเช่นหากเรามีปัญหาสองชั้นและการแจกแจงตัวอย่างที่เป็นบวกคือ 10% (เช่นความน่าจะเป็นก่อนหน้าของ 0.1) เราสามารถตั้งค่าชุดก่อนหน้าสำหรับกรณีบวกให้เป็น 0.5 เพื่อเอาชนะผลกระทบที่ไม่สมดุลของต้นฉบับ การกระจาย

— soufanom

ในหมายเหตุภายใต้ชุดก่อน MAP และ ML ชนกันเฉพาะในกรณีที่ชุดก่อนมีค่าที่ถูกต้องของพารามิเตอร์ คือถ้าพารามิเตอร์ต่อเนื่องและก่อนหน้านี้มีรูปแบบที่ [0, 1] เท่านั้นมันจะไม่ถือ

— Royi

@Drazick: คำพูดที่ดี มันเป็นจริง "เลว" ไปกว่านั้นคือ (มูลค่าของ) แผนที่ขึ้นอยู่กับทางเลือกของตัวชี้วัดที่มีอำนาจเหนือตามที่อธิบายไว้ในบทความนี้Druihlet และ Marin

— ซีอาน

MLE คือการประมาณการเกิดขึ้นของเหตุการณ์ที่กำหนดให้กับพารามิเตอร์ในขณะที่ MAP คือการประมาณของพารามิเตอร์ที่กำหนดเหตุการณ์ เมื่อเราใช้ทฤษฎีบทของเบย์ต่อไปในขณะที่ประมาณค่าแผนที่มันจะลดลงเหลือโดยที่เป็นคำเพิ่มเติมเฉพาะที่เกี่ยวข้องกับ MLE การประมาณค่าเฉลี่ยและความแปรปรวนของ MAP จะเหมือนกับค่าเฉลี่ยและการประมาณค่าความแปรปรวนของ MLE เนื่องจากค่าก่อนหน้าจะคงเดิมทุกครั้งและจะไม่เปลี่ยนแปลงเลย ดังนั้นมันจึงทำหน้าที่เป็นค่าคงที่เท่านั้นจึงไม่มีบทบาทในการส่งผลกระทบต่อค่าเฉลี่ยและความแปรปรวน $P(D|\theta)P(\theta)$ $P(\theta)$

— gg1782191
แหล่งที่มา

(-1) การประมาณการความน่าจะเป็นสูงสุด (ของพารามิเตอร์) คือการประมาณของพารามิเตอร์ไม่ใช่ 'การประมาณการเกิดขึ้นของเหตุการณ์ที่กำหนด' ส่วนที่เหลือของคำตอบนั้นค่อนข้างสับสน / สับสนเช่นกันเช่นมันไม่มีความชัดเจนในการอ้างถึง 'ความหมายและความแปรปรวน'

— Juho Kokkala

@Tim คุณสามารถให้หลักฐาน (หรือร่าง) ที่แสดงThe mean and variance estimate of MAP will be same as mean and variance estimate of MLE? ขอบคุณ

— อยากรู้อยากเห็นอยากรู้อยากเห็น

@curray_dan Bayes ทฤษฎีบทคือ , ถ้ามีรูปแบบเดียวกันจากนั้นจะลดลงเป็นดังนั้นคุณจึงเพิ่มโอกาสสูงสุดเท่านั้นดังนั้นมันจึงเหมือนกับ MLE

p (θ | X) \propto p (X | θ) p (θ)

$p(\theta|X) \propto p(X|\theta) p(\theta)$

p (θ) \propto 1

$p(\theta) \propto 1$

p (θ | X) \propto p (X | θ) \times 1

$p(\theta|X) \propto p(X|\theta) \times 1$

— ทิม

ขอบคุณ @Tim --- ฉันเห็นได้ว่าทำไมมันถึงเป็นจริงสำหรับค่าสูงสุด / ที่คาดหวัง แต่มันไม่ชัดเจนสำหรับฉันความแปรปรวนจะเหมือนกัน

— อยากรู้อยากเห็น

@curious_dan ความแปรปรวนของอะไร สิ่งนี้ใช้กับพารามิเตอร์ใด ๆ ที่คุณประเมิน

— ทิม