“ หลงลืม” จากก่อนหน้านี้ในการตั้งค่า Bayesian?

เป็นที่ทราบกันดีว่าเมื่อคุณมีหลักฐานมากขึ้น (พูดในรูปของมีขนาดใหญ่กว่าสำหรับตัวอย่าง iid) Bayesian ก่อนหน้านี้จะ "ลืม" และการอนุมานส่วนใหญ่ได้รับผลกระทบจากหลักฐาน (หรือโอกาส) $n$ $n$

มันง่ายที่จะเห็นมันสำหรับกรณีเฉพาะต่าง ๆ (เช่น Bernoulli กับรุ่นเบต้าก่อนหรือประเภทอื่น ๆ ) - แต่มีวิธีดูในกรณีทั่วไปด้วยและก่อนไหม $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

แก้ไข: ฉันเดาว่าจะไม่สามารถแสดงในกรณีทั่วไปสำหรับก่อนหน้านี้ใด ๆ (ตัวอย่างเช่นมวลจุดก่อนหน้าจะทำให้มวลหลังจุด) แต่อาจมีเงื่อนไขบางอย่างที่ถูกลืมไปก่อน

นี่คือ "เส้นทาง" ที่ฉันคิดเกี่ยวกับการแสดงบางอย่างเช่นนั้น:

สมมติว่าพื้นที่พารามิเตอร์คือ $\Theta$ และปล่อยให้ $p(\theta)$ และ $q(\theta)$ เป็นนักบวชสองคนที่วางมวลความน่าจะไม่เป็นศูนย์ไว้สำหรับทุกคน $\Theta$ . ดังนั้นการคำนวณหลังทั้งสองสำหรับจำนวนเงินก่อนหน้านี้ไปที่:

พี (θ | x_{1}, ..., x_{n}) = \frac{\underset{ผม}{Π} พี (x_{ผม} | θ) พี (θ)}{\int_{θ} \underset{ผม}{Π} พี (x_{ผม} | θ) พี (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

และ

Q (θ | x_{1}, ..., x_{n}) = \frac{\underset{ผม}{Π} พี (x_{ผม} | θ) Q (θ)}{\int_{θ} \underset{ผม}{Π} พี (x_{ผม} | θ) Q (θ) d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

ถ้าคุณแบ่ง $p$ โดย $q$ (ผู้โพสต์) แล้วคุณจะได้รับ:

พี (θ | x_{1}, ..., x_{n}) / Q (θ | x_{1}, ..., x_{n}) = \frac{พี (θ) \int_{θ} \underset{ผม}{Π} พี (x_{ผม} | θ) Q (θ) d θ}{Q (θ) \int_{θ} \underset{ผม}{Π} พี (x_{ผม} | θ) พี (θ) d θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

ตอนนี้ฉันต้องการสำรวจคำศัพท์ข้างต้นเป็น $n$ ไปที่ $\infty$ . เป็นการดีที่มันจะไป $1$ สำหรับบางอย่าง $\theta$ ว่า "เข้าท่า" หรือมีพฤติกรรมที่ดีอื่น ๆ แต่ฉันไม่สามารถหาวิธีแสดงอะไรที่นั่นได้

bayesian prior

— bayesianOrFrequentist
แหล่งที่มา

สำหรับสัญชาตญาณบางอย่างโปรดทราบว่าความน่าจะเป็นจะปรับตามขนาดตัวอย่างในขณะที่สิ่งก่อนหน้าไม่ทำ

— มาโคร

@Macro ขอบคุณฉันยังมีสัญชาตญาณเช่นนั้น แต่ฉันไม่สามารถผลักดันต่อไปได้ ดูการแก้ไขของฉันด้านบน

— bayesianOrFrequentist

บทแรก ๆ ของหนังสือเรียน Ghosh และ Ramamoorthi ของBayesian Nonparametricsทำให้สิ่งต่าง ๆ ที่คุณพูดถึงแตกต่างออกไป (ในตอนแรกเป็นการตั้งค่าแบบพารามิเตอร์ มันสามารถใช้ได้ผ่าน Springer ออนไลน์ได้ฟรีหากคุณอยู่ในสถาบันที่เหมาะสม มีหลายวิธีในการทำให้เป็นระเบียบแบบขาดการพึ่งพา asymptotically ก่อนหน้านี้ แต่แน่นอนว่ามีเงื่อนไขปกติอยู่เล็กน้อย

— ผู้ชาย

โปรดทราบว่าอัตราส่วนหลังเป็นเพียงสัดส่วนกับอัตราส่วนก่อนหน้าดังนั้นอัตราส่วนความน่าจะเป็นและหลักฐานไม่ได้มีผลกระทบต่อเรื่องนี้

— ความน่าจะเป็นทางการ

คำตอบ:

เป็นคำตอบที่หยั่งรู้

ดูจากมุมมองพื้นที่บันทึก:
$- เข้าสู่ระบบ P (θ | x_{1}, ..., x_{n}) = - เข้าสู่ระบบ P (θ) - Σ_{ผม = 1}^{n} เข้าสู่ระบบ P (x_{ผม} | θ) - ค_{n}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ ที่ไหน $C_n>0$ เป็นค่าคงที่ที่ขึ้นอยู่กับข้อมูล แต่ไม่ขึ้นอยู่กับพารามิเตอร์และความน่าจะเป็นของคุณในการสังเกตการณ์ ดังนั้นเพียงแค่มุ่งเน้นในส่วนที่กำหนดรูปร่างของหลังของคุณคือ $S_{n} = - เข้าสู่ระบบ P (θ) - Σ_{ผม = 1}^{n} เข้าสู่ระบบ P (x_{ผม} | θ)$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
สมมติว่ามี $D>0$ ดังนั้น $-\log P(\theta) \leq D$ . นี่คือเหตุผลสำหรับการแจกแจงแบบแยก
เนื่องจากเงื่อนไขเป็นบวกทั้งหมด $S_n$ "จะ" เติบโต (ฉันกำลังข้ามด้านเทคนิคที่นี่) แต่การมีส่วนร่วมของก่อนหน้านี้ถูกล้อมรอบด้วย $D$ . ดังนั้นเศษส่วนที่สนับสนุนโดยก่อนหน้าซึ่งมากที่สุด $D/S_n$ ลดความซ้ำซากจำเจเมื่อสังเกตเพิ่มเติม

แน่นอนว่าการพิสูจน์อย่างเข้มงวดต้องเผชิญกับปัญหาด้านเทคนิค (และอาจเป็นเรื่องยากมาก) แต่การตั้งค่าข้างต้นเป็น IMHO ส่วนพื้นฐานมาก

— Pedro A. Ortega
แหล่งที่มา

ฉันค่อนข้างสับสนกับสิ่งที่คำว่า "ก่อนหน้านี้ถูกลืม" และ "การอนุมานส่วนใหญ่ได้รับผลกระทบจากหลักฐาน" ควรจะหมายถึง ฉันสมมติว่าคุณหมายถึงเมื่อปริมาณข้อมูลเพิ่มขึ้นตัวประมาณ (ลำดับของ) เข้าใกล้ค่าที่แท้จริงของพารามิเตอร์โดยไม่คำนึงถึงก่อนหน้านี้ของเรา

สมมติว่ามีเงื่อนไขปกติบางอย่างในรูปแบบของการแจกแจงหลัง, Bayes Estimators นั้นมีความสอดคล้องและไม่เอนเอียง asymptotically (ดูGelman et al, บทที่ 4 ) ซึ่งหมายความว่าเมื่อขนาดตัวอย่างเพิ่มขึ้นตัวประมาณค่า Bayes จะเข้าใกล้ค่าที่แท้จริงของพารามิเตอร์ ความสอดคล้องหมายถึงตัวประมาณค่าของ Bayes ลู่เข้าหาความน่าจะเป็นกับค่าพารามิเตอร์ที่แท้จริงและความไม่เอนเอียงแบบซีมโทติคหมายความว่า $\theta_0$ คือมูลค่าที่แท้จริงของพารามิเตอร์

\frac{E [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V a R (\hat{θ})}} \overset{พี}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

การบรรจบกันไม่ได้ขึ้นอยู่กับรูปแบบที่เฉพาะเจาะจงของก่อนหน้านี้ แต่เพียงว่าการกระจายหลังที่ได้รับจากก่อนหน้านี้และโอกาสที่จะตอบสนองเงื่อนไขปกติ

เงื่อนไขความสม่ำเสมอที่สำคัญที่สุดที่กล่าวถึงใน Gelman et al คือโอกาสที่จะเป็นฟังก์ชันต่อเนื่องของพารามิเตอร์และค่าที่แท้จริงของพารามิเตอร์จะอยู่ในการตกแต่งภายในของพื้นที่พารามิเตอร์ นอกจากนี้ตามที่คุณบันทึกไว้ผู้หลังจะต้องไม่ใช่ศูนย์ในย่านเปิดของมูลค่าที่แท้จริงของค่าที่แท้จริงของพารามิเตอร์ โดยปกติสิ่งที่ควรทำก่อนหน้าของคุณจะไม่ใช่ศูนย์ในพื้นที่พารามิเตอร์ทั้งหมด

— caburke
แหล่งที่มา

ขอบคุณลึกซึ้งมาก ฉันหวังว่าจริง ๆ แล้วสำหรับผลลัพธ์ที่จะไม่เกี่ยวข้องกับค่าพารามิเตอร์ "จริง" เพียงแค่แสดงให้เห็นว่าในทางเทคนิคเมื่อคุณมีหลักฐานมากขึ้นคนหลัง ๆ ที่คุณจะได้รับนั้นก็ไม่ได้เหมือนกับรุ่นก่อน ๆ ที่คุณเริ่มด้วย ฉันกำลังจะแก้ไขบางอย่างเพื่อสะท้อนถึงสิ่งนั้น

— bayesianOrFrequentist

@bayesianOrFrequentist ลองดูที่ที่เรียกว่าเบส์เซ็นทรัล จำกัด ทฤษฎีบท

— Stéphane Laurent