วิธีการเลือกก่อนในการประมาณค่าพารามิเตอร์แบบเบย์

ฉันรู้ 3 วิธีในการประมาณค่าพารามิเตอร์, วิธี ML, MAP และ Bayes และสำหรับวิธี MAP และ Bayes เราต้องเลือก priors สำหรับพารามิเตอร์ใช่ไหม

สมมติว่าฉันมีโมเดลนี้$p(x|\alpha,\beta)$ซึ่ง$\alpha,\beta$เป็นพารามิเตอร์เพื่อทำการประมาณค่าโดยใช้ MAP หรือ Bayes ฉันอ่านในหนังสือที่เราควรเลือกคอนจูเกตก่อน$p(\alpha,\beta)$ซึ่งเป็นความน่าจะเป็นร่วมของ$\alpha,\beta$ , จริงไหม?

ฉันมีคำถาม 2 ข้อ:

1. เรามีทางเลือกอื่น ๆ เลือกสิ่งอื่นนอกเหนือจากคอนจูเกตนี้หรือไม่?

2. เราสามารถเลือก Priors สำหรับ$\alpha$และตามลำดับเช่นและนอกเหนือจากที่รวมไว้ในข้อต่อได้หรือไม่?$\beta$$p(\alpha)$$p(\beta)$

ตามที่ระบุไว้ในความคิดเห็นการกระจายก่อนหน้านี้แสดงถึงความเชื่อก่อนหน้าเกี่ยวกับการกระจายของพารามิเตอร์

เมื่อความเชื่อเดิมมีอยู่จริงคุณสามารถ:

• แปลงพวกเขาในแง่ของช่วงเวลา (เช่นค่าเฉลี่ยและความแปรปรวน) เพื่อให้พอดีกับการกระจายทั่วไปในช่วงเวลาเหล่านี้ (เช่น Gaussian ถ้าพารามิเตอร์ของคุณอยู่ในเส้นจริงแกมม่าถ้ามันอยู่ที่ )$R^+$
• ใช้ความเข้าใจที่เข้าใจง่ายของคุณเกี่ยวกับความเชื่อเหล่านี้เพื่อเสนอการกระจายก่อนหน้านี้ที่กำหนดและตรวจสอบว่ามันเหมาะกับวัตถุประสงค์ของคุณจริงๆหรือไม่และไม่ไวต่อตัวเลือกโดยพลการ

เมื่อไม่มีความเชื่อก่อนหน้านี้ชัดเจนคุณสามารถ:

• สืบทอดมา (หรือใช้เพียงถ้ามีอยู่แล้ว ressource ที่ยอดเยี่ยมคือhttp://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf ) Jeffreys (เช่นชุดสำหรับพารามิเตอร์ตำแหน่ง) หรือการอ้างอิงก่อน (โดยเฉพาะใน กรณีของพารามิเตอร์หลายตัวแปร)
• บางครั้งตัวเลือกดังกล่าวเป็นไปไม่ได้หรือค่อนข้างยากที่จะหามาได้และในกรณีนี้คุณสามารถลองเลือกหนึ่งในข้อมูลทั่วไป "ทั่วไป" ที่อ่อนแอก่อนหน้านี้ (เช่นการกระจายการหดตัวสม่ำเสมอสำหรับพารามิเตอร์สเกลของโมเดลลำดับชั้นหรือ -prior .$g$

ต้องบอกว่าไม่มีข้อ จำกัด ในการใช้ข้อต่อหรือเป็นอิสระก่อน ( vs p ( a ) ⋅ p ( b ) ) ในฐานะที่เป็นส่วนประกอบฉันจะบอกว่าในความเห็นต่ำต้อยของฉันมีสามสิ่งสำคัญที่ต้องดูแลเมื่อเลือกก่อน:$p(a,b)$$p(a) \cdot p(b)$

• ระวังว่าหลังของคุณสามารถผสานกันได้เกือบทุกที่ (หรือเหมาะสม) ซึ่งเป็นเรื่องจริงเสมอถ้าคุณใช้การผสานรวมก่อนหน้านี้ (ดูที่ด้านหลังของ Bayesian จำเป็นต้องมีการกระจายที่เหมาะสมหรือไม่สำหรับรายละเอียดเพิ่มเติม)
• จำกัด การสนับสนุนของคุณก่อนเท่านั้นหากคุณมีความมั่นใจสูงในขอบเขตการสนับสนุน (ดังนั้นหลีกเลี่ยงการทำ)
• และสุดท้าย แต่ไม่ท้ายสุดต้องแน่ใจว่า (ส่วนใหญ่เป็นการทดลอง) ที่คุณเลือกไว้ก่อนหน้าหมายถึงสิ่งที่คุณต้องการแสดง สำหรับความเห็นของฉันบางครั้งงานนี้สำคัญยิ่งกว่า อย่าลืมว่าเมื่อทำการอนุมานก่อนหน้านี้ไม่มีความหมายอะไรเลยคุณต้องพิจารณาผู้อยู่เบื้องหลัง (ซึ่งเป็นการรวมกันของความเป็นมาก่อนและโอกาส)

นอกจากนี้ยังมีเบย์เชิงประจักษ์ แนวคิดคือการปรับค่าก่อนข้อมูล:

ในขณะที่สิ่งนี้อาจดูอึดอัดใจในตอนแรก แต่จริงๆแล้วมีความสัมพันธ์กับความยาวขั้นต่ำของคำอธิบาย นี่เป็นวิธีทั่วไปในการประมาณค่าพารามิเตอร์เคอร์เนลของกระบวนการ Gaussian

หากต้องการตอบคำถามสองข้อด้านบนโดยตรง:

1. คุณมีทางเลือกอื่นให้เลือกนักบวชที่ไม่ใช่คอนจูเกตนอกเหนือจากคอนจูเกตคอนจูเกต ปัญหาคือว่าถ้าคุณเลือกนักบวชที่ไม่ใช่คอนจูเกตคุณไม่สามารถอนุมานแบบเบย์ได้อย่างแน่นอน (พูดง่ายๆคุณจะไม่สามารถได้มาซึ่งหลังแบบใกล้ชิด) แต่คุณต้องทำการอนุมานโดยประมาณหรือใช้วิธีการสุ่มตัวอย่างเช่นการสุ่มตัวอย่างกิ๊บส์การสุ่มตัวอย่างการปฏิเสธ MCMC และอื่น ๆ เพื่อให้ได้ภาพหลัง ปัญหาเกี่ยวกับวิธีการสุ่มตัวอย่างคือสัญชาตญาณมันเหมือนกับการวาดรูปช้างในความมืดโดยการสัมผัสซ้ำ ๆ ---- คุณอาจจะลำเอียงและไม่สมบูรณ์ เหตุผลที่ผู้คนเลือกไม่ใช่แบบคอนจูเกตก่อนหน้านี้ก็คือว่าสำหรับโอกาสบางอย่างคอนจูเกตตัวเลือกก่อนหน้านั้นค่อนข้าง จำกัด หรืออาจกล่าวได้ว่าส่วนใหญ่ไม่ใช่แบบคอนจูเกต

2. ใช่คุณสามารถทำได้อย่างแน่นอน หากαและβมีความเป็นอิสระซึ่งเป็นเงื่อนไขอุดมคติคุณสามารถได้รับการแจกแจงร่วมของพวกเขาโดย p (α) p (β) หากพวกเขาไม่เป็นอิสระคุณอาจต้องหาความน่าจะเป็นแบบมีเงื่อนไขและทำส่วนสำคัญในการหาข้อต่อแบบกระจาย