อะไรคือ "uninformative ก่อน" คืออะไร? เราสามารถมีข้อมูลที่ไม่มีข้อมูลได้จริงหรือไม่?

แรงบันดาลใจจากความคิดเห็นจากคำถามนี้ :

เราคิดว่า "uninformative" ในอดีตคืออะไร - และข้อมูลใดที่ยังคงมีอยู่ใน uninformative ที่คาดคะเนมาก่อน?

ฉันมักจะเห็นก่อนหน้านี้ในการวิเคราะห์ที่เป็นทั้งการวิเคราะห์แบบบ่อยครั้งที่พยายามที่จะยืมบางส่วนที่ดีจากการวิเคราะห์แบบเบย์ (ไม่ว่าจะเป็นการตีความที่ง่ายขึ้นไปจนถึง กระจายสม่ำเสมอทั่วทั้งขอบเขตของการวัดผลที่มีศูนย์กลางอยู่ที่ 0 แต่แม้กระทั่งว่าอ้างรูปร่างก่อน - มันเพิ่งเกิดขึ้นเป็นแบน

มีความรู้ที่ดีกว่าก่อนใช้งานหรือไม่?

[คำเตือน: ในฐานะสมาชิกที่ถือบัตรของแผนกObjective Bayes ของ ISBAมุมมองของฉันไม่ได้เป็นตัวแทนของนักสถิติเบย์ทุกคน! ค่อนข้างตรงกันข้าม ... ]

โดยสรุปไม่มีสิ่งใดมาก่อนด้วย "ไม่มีข้อมูล" อย่างแท้จริง

อันที่จริงสิ่งที่ "ไม่รู้แจ้ง" ก่อนหน้านี้เป็นสิ่งที่น่าเศร้าสำหรับเรียกชื่อผิด การกระจายก่อนหน้าใด ๆ มีข้อกำหนดบางอย่างที่คล้ายกับข้อมูลบางส่วน แม้ (หรือโดยเฉพาะ) เครื่องแบบก่อน อันที่จริงเครื่องแบบก่อนหน้านั้นจะแบนเพียงหนึ่งพารามิเตอร์ที่กำหนดของปัญหา หากมีการเปลี่ยนแปลงพารามิเตอร์อื่น (แม้มีขอบเขต) การเปลี่ยนแปลงของตัวแปร Jacobian จะเข้ามาในภาพและความหนาแน่นและสิ่งก่อนหน้านั้นจะไม่แบนอีกต่อไป

ตามที่เอลวิสชี้ให้เห็นเอนโทรปีสูงสุดเป็นวิธีการหนึ่งที่สนับสนุนให้เลือกนักบวชที่ "ไม่รู้จัก" อย่างไรก็ตามมันต้องการ (a) ข้อมูลเพียงพอในบางช่วงเวลาของการกระจายก่อนหน้าเพื่อระบุข้อ จำกัดที่นำไปสู่ ​​MaxEnt ก่อนหน้า และ (b) ตัวเลือกเบื้องต้นของการวัดอ้างอิง [ในการตั้งค่าต่อเนื่อง] ทางเลือกที่นำการอภิปรายกลับไปสู่ขั้นตอนแรก! (นอกจากนี้การ จำกัด ขอบเขตของข้อ จำกัด (เช่นตัวเลือกของπ ( ⋅ ) ∫ Θชั่วโมง( θ $h(\theta)$$\pi(\cdot)$π ∗ ( θ ) ∝ exp { λ T h ( θ ) } d μ ( θ )

$$\int_{\Theta} h(\theta)\,\text{d}\pi(\theta) = \mathfrak{h}_0$$ $$\pi^*(\theta)\propto \exp\{ \lambda^\text{T}h(\theta) \}$$ $\text{d}\mu(\theta)$$h$) ส่งผลกระทบต่อรูปร่างของผลลัพธ์MaxEntก่อนหน้า)

โฮเซ่เบอร์นาร์โดได้ผลิตทฤษฎีดั้งเดิมของนักบวชอ้างอิงที่ซึ่งเขาเลือกก่อนหน้านี้เพื่อเพิ่มข้อมูลให้ได้มากที่สุดโดยการเพิ่มระยะห่างของ Kullback สูงสุดระหว่างก่อนและหลัง ในกรณีที่ง่ายที่สุดโดยไม่มีพารามิเตอร์รบกวนวิธีแก้ไขคือ Jeffreys 'ก่อน ในปัญหาที่ซับซ้อนยิ่งขึ้น (ก) ต้องเลือกพารามิเตอร์ของดอกเบี้ย (หรือแม้แต่การจัดอันดับตามลำดับความสนใจ) (b) การคำนวณของก่อนหน้านี้มีส่วนเกี่ยวข้องอย่างเป็นธรรมและต้องมีลำดับของคอมแพ็คชุดฝังตัวเพื่อหลีกเลี่ยงปัญหาที่ไม่เหมาะสม (ดูรายละเอียดเพิ่มเติมเช่นThe Bayesian Choice )

นักวิจัยบางคนที่อยู่นอกมุมมองของเบย์ได้พัฒนากระบวนการที่เรียกว่าการกระจายความเชื่อมั่นซึ่งเป็นการกระจายความน่าจะเป็นในพื้นที่พารามิเตอร์ซึ่งสร้างขึ้นโดยการผกผันจากกระบวนการตามความถี่โดยไม่ต้องมีโครงสร้างที่ชัดเจนมาก่อน พวกเขายืนยันว่าไม่มีตัวตนที่กำหนดไว้ก่อนหน้านี้เป็นข้อดีแม้ว่าผลลัพธ์จะขึ้นอยู่กับทางเลือกของกระบวนการตามความถี่เริ่มต้น

กล่าวโดยสังเขปไม่มีตัวเลือก "ดีที่สุด" (หรือแม้แต่ "ดีกว่า") สำหรับ "ตัวเลือก" ที่ไม่เป็นทางการ "ก่อนหน้านี้ และฉันคิดว่านี่เป็นสิ่งที่ควรเป็นเพราะธรรมชาติของการวิเคราะห์แบบเบย์มีความหมายว่าการเลือกการกระจายก่อนหน้านั้นสำคัญ และไม่มีการเปรียบเทียบกับนักบวช: ไม่มีใคร "ดีกว่า" ได้อีกแล้ว (อย่างน้อยก่อนที่จะสังเกตข้อมูล: เมื่อมีการสังเกตการเปรียบเทียบของนักบวชจะกลายเป็นตัวเลือกแบบจำลอง) บทสรุปของJosé Bernardo, Jim Berger, Dongchu Sun และอื่น ๆ อีกมากมาย "เป้าหมาย" Bayesians คือมีนักบวชอ้างอิงเทียบเท่าประมาณหนึ่ง ใช้เมื่อไม่แน่ใจเกี่ยวกับข้อมูลก่อนหน้านี้หรือค้นหาการอนุมานแบบเบส์มาตรฐานบางส่วนของนักบวชเหล่านั้นได้รับการสนับสนุนบางส่วนจากข้อโต้แย้งทฤษฎีข้อมูล

คุณสมบัติที่น่าสนใจของนักบวช noninformative อย่างเป็นทางการคือ "คุณสมบัติการจับคู่บ่อยครั้ง": หมายความว่าช่วงหลังความน่าเชื่อถือ 95% หลัง (หรือประมาณอย่างน้อยประมาณ) 95% - ช่วงความมั่นใจในความรู้สึกของผู้ใช้บ่อย สถานที่ให้บริการนี้มีไว้เพื่อการอ้างอิงของเบอร์นาร์โดก่อนถึงแม้ว่าการระดมทุนของนักบวชที่ไม่ใช่นักการตลาดเหล่านี้จะไม่ได้มุ่งเน้นไปที่ความสำเร็จของคุณสมบัติการจับคู่ที่ดีถ้าคุณใช้ "ไร้เดียงสา" ("แบน") การกระจายที่มีความแปรปรวนอย่างมากนั้นไม่มีการรับประกันว่าสถานที่ให้บริการที่จับคู่บ่อยครั้งถือ บางทีการอ้างอิงของเบอร์นาร์โดก่อนอาจไม่ถือเป็นตัวเลือก "ดีที่สุด" ของ noninformative ก่อน แต่อาจถือได้ว่าเป็นตัวเลือกที่ประสบความสำเร็จมากที่สุด

การแจกแจงของ Jeffreys ยังประสบกับความไม่สอดคล้องกัน: Jeffreys priors สำหรับตัวแปรที่มากกว่าหรือมากกว่านั้นไม่เหมาะสมซึ่งไม่ใช่กรณีของ Jeffreys ก่อนพารามิเตอร์ความน่าจะเป็น : การวัดมีมวลของกว่า(0,1)( 0 , ∞ ) p d p / $(-\infty,\infty)$$(0,\infty)$$p$$\text{d}p/\sqrt{p(1-p)}$$\pi$$(0,1)$

Renyi แสดงให้เห็นว่าการกระจายที่ไม่ได้ให้ข้อมูลต้องเกี่ยวข้องกับอินทิกรัลไม่ถูกต้อง ดูการกระจายของ Lhosteที่หลีกเลี่ยงปัญหานี้และไม่เปลี่ยนแปลงภายใต้การเปลี่ยนแปลงของตัวแปร (เช่นสำหรับการวัดคือ )d p / p ( 1 - p $p$$\text{d}p/p(1-p)$

---

ก่อนอื่นการแปลดีมาก!

สำหรับ E. LHOSTE: "Le calcul des probabilitésappliquéà l'artillerie", ชุดบทละคร, tome 91, อาจ a 19 à 1923

สำหรับ A. RENYI: "ในทฤษฎีสัจพจน์ใหม่ของความน่าจะเป็น" Acta Mathematica, Académie des Sciences hongroises, tome VI, fasc.3-4, 1955

ฉันสามารถเพิ่ม: M. DUMAS: "Lois de probabilité a priori de Lhoste", วิทยาศาสตร์และเทคนิค de l'armement, 56, 4ème fascicule, 1982, pp 687-715

ฉันเห็นด้วยกับคำตอบที่ยอดเยี่ยมโดยซีอานชี้ให้เห็นว่าไม่มีสิ่งใดมาก่อนที่จะเป็น "ไม่รู้แจ้ง" ในแง่ของการไม่มีข้อมูล เพื่อขยายในหัวข้อนี้ฉันต้องการชี้ให้เห็นว่าทางเลือกหนึ่งคือการวิเคราะห์ Bayesian ภายใต้กรอบความน่าจะเป็นที่ไม่แน่นอน (ดู esp. Walley 1991 , Walley 2000 ) ภายในกรอบความเชื่อนี้ความเชื่อก่อนหน้านี้แสดงโดยชุดการแจกแจงความน่าจะเป็น$n \rightarrow \infty$

กรอบการวิเคราะห์นี้ได้รับการ axiomatised โดย Walley เป็นรูปแบบพิเศษของตัวเองของการวิเคราะห์ความน่าจะเป็น แต่เป็นหลักเทียบเท่ากับการวิเคราะห์ Bayesian ที่แข็งแกร่งโดยใช้ชุดของนักบวชยอมให้ชุดโปสเตอร์ที่สอดคล้องกัน ในหลาย ๆ แบบมันเป็นไปได้ที่จะตั้งค่า "uninformative" ชุดของนักบวชที่อนุญาตให้บางช่วงเวลา (เช่นค่าเฉลี่ยก่อนหน้า) จะแตกต่างกันไปตามช่วงค่าที่เป็นไปได้ทั้งหมดและอย่างไรก็ตามผลลัพธ์นี้สร้างผลลัพธ์หลัง แน่นขึ้น การวิเคราะห์รูปแบบนี้มีเนื้อหาที่ดีกว่าที่เรียกว่า "uninformative" อย่างน้อยก็ด้วยความเคารพต่อช่วงเวลาที่สามารถเปลี่ยนแปลงได้ในช่วงที่อนุญาตทั้งหมด

---

$X_1,...,X_n | \theta \sim \text{IID Bern}(\theta)$$\theta$$\mu$$\kappa > 1$

$$\begin{equation} \begin{aligned} \pi_0(\theta | \mu, \kappa) = \text{Beta}(\theta | \mu, \kappa) = \text{Beta} \Big( \theta \Big| \alpha = \mu (\kappa - 1), \beta = (1-\mu) (\kappa - 1) \Big). \end{aligned} \end{equation}$$

$\mathbb{E}(\theta) = \mu$$\mathbb{V}(\theta) = \mu(1-\mu) / \kappa$

$$\mathscr{P}_0 \equiv \Big\{ \text{Beta}(\mu, \kappa) \Big| 0 \leqslant \mu \leqslant 1 \Big\}. \quad \quad \quad \quad \quad$$

สมมติว่าเราสังเกตตัวชี้วัดเชิงบวกในข้อมูล จากนั้นใช้กฎการอัปเดตสำหรับรุ่น Bernoulli-beta ชุดหลังที่สอดคล้องกันคือ:$s = \sum_{i=1}^n x_i$

$$\mathscr{P}_\mathbf{x} = \Big\{ \text{Beta}\Big( \tfrac{s + \mu(\kappa-1)}{n + \kappa -1}, n+\kappa \Big) \Big| 0 \leqslant \mu \leqslant 1 \Big\}.$$

ช่วงของค่าที่เป็นไปได้สำหรับการคาดหวังด้านหลังคือ:

$$\frac{s}{n + \kappa-1} \leqslant \mathbb{E}(\theta | \mathbb{x}) \leqslant \frac{s + \kappa-1}{n + \kappa-1}.$$

สิ่งสำคัญคือที่นี่แม้ว่าเราเริ่มต้นด้วยแบบจำลองที่เป็น "uninformative" เกี่ยวกับค่าที่คาดหวังของพารามิเตอร์ (ความคาดหวังก่อนหน้าอยู่ในช่วงค่าที่เป็นไปได้ทั้งหมด) แต่เราก็จบลงด้วยการอนุมานหลังที่ให้ข้อมูลด้วยความเคารพ ถึงความคาดหวังหลังของพารามิเตอร์ (ตอนนี้พวกมันมีค่ามากกว่าค่าที่แคบกว่า) ในฐานะที่เป็นช่วงของค่านี้ถูกบีบลงไปที่จุดเดียวซึ่งเป็นมูลค่าที่แท้จริงของ\$n \rightarrow \infty$$\theta$