อะไรคือปัจจัยที่ทำให้การแจกแจงหลังเป็นเรื่องยาก

ในสถิติแบบเบย์มักถูกกล่าวถึงว่าการกระจายหลังนั้นเป็นไปไม่ได้ดังนั้นจึงต้องใช้การอนุมานโดยประมาณ อะไรคือปัจจัยที่ทำให้เกิดความไม่สะดวกนี้

ปัญหาส่วนใหญ่คือการวิเคราะห์แบบเบย์เกี่ยวข้องกับอินทิกรัลมักเป็นปัญหาหลายมิติในปัญหาที่เกิดขึ้นจริงและเป็นอินทิกรัลเหล่านี้ที่มักจะวิเคราะห์ยาก (ยกเว้นในบางกรณี

ในทางตรงกันข้ามสถิติที่ไม่ใช่แบบเบย์ส่วนใหญ่จะขึ้นอยู่กับความเป็นไปได้สูงสุด - การหาค่าสูงสุดของฟังก์ชั่น (โดยปกติหลายมิติ) ซึ่งเกี่ยวข้องกับความรู้เกี่ยวกับอนุพันธ์ของมันนั่นคือความแตกต่าง แม้ว่าจะใช้วิธีการเชิงตัวเลขในปัญหาที่ซับซ้อนมากขึ้น แต่ก็เป็นไปได้ที่จะได้รับบ่อยขึ้นหากไม่มีพวกเขาและวิธีการเชิงตัวเลขสามารถทำได้ง่ายกว่า (แม้ว่าวิธีที่เรียบง่ายน้อยกว่าอาจทำได้ดีกว่าในทางปฏิบัติ)

ดังนั้นฉันพูดได้ว่ามันเป็นความจริงที่ว่าความแตกต่างนั้นง่ายกว่าการรวมเข้าด้วยกัน

ฉันมีโอกาสถามดาวิด Bleiคำถามนี้ด้วยตนเองและเขาบอกฉันว่าความลำบากใจในบริบทนี้หมายถึงหนึ่งในสองสิ่ง:

1. อินทิกรัลไม่มีวิธีแก้ปัญหาแบบปิด นี่อาจเป็นเมื่อเราสร้างแบบจำลองข้อมูลที่ซับซ้อนและเป็นจริงและเราไม่สามารถเขียนการแจกแจงลงบนกระดาษ

2. อินทิกรัลนั้นยากที่จะคำนวณ เขาแนะนำให้ฉันนั่งลงด้วยปากกาและกระดาษและหาหลักฐานขอบเขตของส่วนผสมเบย์ของเกาส์ คุณจะเห็นว่ามันยากที่จะคำนวณได้เช่นการยกกำลัง เขาให้ตัวอย่างที่ดีเกี่ยวกับเรื่องนี้ในเอกสารล่าสุด (ดู2.1 ปัญหาการอนุมานโดยประมาณ )

FWIW ฉันพบว่าตัวเลือกคำนี้ทำให้สับสนเนื่องจาก (1) มีความหมายมากเกินไปและ (2) มีการใช้กันอย่างแพร่หลายใน CS เพื่ออ้างถึงความสามารถในการคำนวณเชิงคอมพิวเตอร์เท่านั้น

จริงๆแล้วมีความเป็นไปได้หลายอย่าง:

1. $Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$การกระจาย)
2. $Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. $p(y|\pi)$$Y$$\pi$

ผู้คนมักจะหมายถึงบางสิ่งเช่น (2) เมื่อพวกเขาพูดถึงคนหลัง (วิเคราะห์) ที่ไม่สามารถหาได้และบางคนก็ชอบ (3) เมื่อพวกเขาพูดถึงความน่าจะเป็นที่ไม่น่าเชื่อ มันเป็นกรณีที่สามเมื่อการคำนวณแบบเบย์โดยประมาณเป็นหนึ่งในตัวเลือกในขณะที่ในกรณีที่สองวิธี MCMC มักจะเป็นไปได้ (ซึ่งคุณอาจโต้แย้งอยู่ในความรู้สึกบางอย่างโดยประมาณ) ฉันไม่แน่ใจทั้งหมดซึ่งทั้งสองอ้างถึงสิ่งที่คุณให้ไว้อ้างถึง

ความสามารถในการรองรับได้นั้นเกี่ยวข้องกับการแสดงออกในลักษณะปิด

มีการกล่าวถึงปัญหาว่าสามารถใช้การได้หากสามารถแก้ไขได้ในรูปแบบนิพจน์แบบปิด

ในคณิตศาสตร์นิพจน์แบบปิดคือนิพจน์ทางคณิตศาสตร์ที่สามารถประเมินได้ในจำนวนการดำเนินการที่ จำกัด มันอาจมีค่าคงที่ตัวแปรการดำเนินการ "ที่รู้จักกันดี" บางอย่าง (เช่น + - ×÷) และฟังก์ชั่น (เช่นรากที่ n เลขชี้กำลังลอการิทึมฟังก์ชันตรีโกณมิติและฟังก์ชันไฮเพอร์โบลิกผกผัน) แต่โดยทั่วไปแล้วไม่ จำกัด ชุดปฏิบัติการและฟังก์ชั่นที่ยอมรับในนิพจน์แบบปิดอาจแตกต่างกันไปตามผู้แต่งและบริบท

ดังนั้นความสามารถในการแทรกซึมหมายความว่ามีขีด จำกัด / อินฟินิตี้บางอย่างที่เกี่ยวข้อง (เช่นการรวมกันไม่สิ้นสุดในอินทิกรัล) ซึ่งไม่สามารถประเมินได้ในจำนวนการดำเนินการที่ จำกัด และต้องใช้เทคนิคการประมาณ (เช่น MCMC)

บทความวิกิพีเดียชี้ไปที่วิทยานิพนธ์ของ Cobhamซึ่งพยายามจัดระเบียบ "จำนวนการปฏิบัติงาน" นี้อย่างเป็นทางการ