หลังเบย์ต้องมีการกระจายที่เหมาะสมหรือไม่?


21

ฉันรู้ว่านักบวชไม่จำเป็นต้องเหมาะสมและฟังก์ชั่นความน่าจะเป็นไม่ได้รวมเข้ากับ 1 เช่นกัน แต่คนหลังต้องมีการกระจายตัวที่เหมาะสมหรือไม่? อะไรคือความหมายถ้ามัน / ไม่

คำตอบ:


15

(มันค่อนข้างแปลกใจที่จะอ่านคำตอบก่อนหน้าซึ่งมุ่งเน้นไปที่ความไม่เหมาะสมที่อาจเกิดขึ้นของคนหลังเมื่อก่อนหน้านี้มีความเหมาะสมเนื่องจากเท่าที่ฉันสามารถบอกได้คำถามคือว่าคนหลังจะต้องเหมาะสมหรือไม่( ie, integrable to one) เพื่อให้เหมาะสม (กล่าวคือยอมรับได้สำหรับการอนุมานแบบเบย์)

ในสถิติคชกรรมการกระจายหลังมีที่จะกระจายความน่าจะเป็นจากที่หนึ่งสามารถได้รับมาในช่วงเวลาเช่นหลังเฉลี่ยและความน่าจะเป็นงบเช่นการรายงานข่าวของที่น่าเชื่อถือ ภูมิภาคx) ถ้าด้านหลังไม่สามารถ ถูกทำให้เป็นมาตรฐานในความหนาแน่นของความน่าจะเป็นและการอนุมานแบบเบย์ก็ไม่สามารถทำได้ หลังก็ไม่มีอยู่ในกรณีเช่นนี้ P (π(θ | x)>κ | x) f(x | θ)Eπ[h(θ)|x]P(π(θ|x)>κ|x)π ( θ | x )

f(x|θ)π(θ)dθ=+,(1)
π(θ|x)

ที่จริง (1) ต้องถือสำหรับทุก 'ในพื้นที่ตัวอย่างและไม่เพียง แต่สำหรับการสังเกตสำหรับมิฉะนั้นการเลือกก่อนที่จะขึ้นอยู่กับข้อมูล นี่หมายความว่านักบวชเหมือน Haldane ก่อน , บนความน่าจะเป็นของ Binomial หรือตัวแปรลบ Binomialไม่สามารถใช้ได้เนื่องจาก posterior ไม่ใช่ กำหนดไว้สำหรับ 0x π ( p ) { 1 / p ( 1 - p ) } p X x = 0x xπ(p){1/p(1p)}pXx=0

ฉันรู้ข้อยกเว้นหนึ่งข้อเมื่อพิจารณาว่า "ผู้โพสต์ที่ไม่เหมาะสม": พบได้ใน"ศิลปะแห่งการเพิ่มข้อมูล"โดย David van Dyk และ Xiao-Li Meng การวัดที่ไม่เหมาะสมอยู่เหนือพารามิเตอร์การทำงานที่ เรียกว่าซึ่งการสังเกตจะเกิดขึ้นที่ขอบของการแจกแจงที่เพิ่มขึ้น และ van Dyk และ Meng วางค่าที่ไม่เหมาะสมก่อนในพารามิเตอร์การทำงานนี้เพื่อเร่งการจำลองของ (ซึ่งยังคงเป็นความหนาแน่นของความน่าจะเป็นที่กำหนดไว้อย่างดี -) โดย MCMCf ( x | θ ) = T ( x aug ) = x f ( x aug | θ , α )αพี( α ) α เธ( θ | x )

f(x|θ)=T(xaug)=xf(xaug|θ,α)dxaug
p(α)απ(θ|x)

ในอีกมุมมองหนึ่งค่อนข้างเกี่ยวข้องกับคำตอบของeretmochelysคือมุมมองของทฤษฎีการตัดสินใจแบบเบย์การตั้งค่าที่ (1) เกิดขึ้นอาจเป็นที่ยอมรับได้หากนำไปสู่การตัดสินใจที่ดีที่สุด กล่าวคือถ้าเป็นฟังก์ชั่นการสูญเสียประเมินผลกระทบของการใช้การตัดสินใจการตัดสินใจที่ดีที่สุดแบบเบย์ภายใต้ก่อนหน้านั้นได้รับโดย และสิ่งที่สำคัญคือสิ่งนี้สำคัญไม่ได้อยู่ทุกที่ (ใน ) ไม่มีที่สิ้นสุด หรือไม่ (1) ถือเป็นรองสำหรับการมาของL(δ,θ)0δπ

δ(x)=argminδL(δ,θ)f(x|θ)π(θ)dθ
δδ(x)แม้ว่าจะมีการรับประกันคุณสมบัติเช่นการยอมรับได้เฉพาะเมื่อ (1) ถือครอง

19

การกระจายหลังนั้นไม่จำเป็นต้องเหมาะสมแม้ว่าก่อนหน้านั้นเหมาะสม ตัวอย่างเช่นสมมติว่ามีแกมมาก่อนที่มีรูปร่าง 0.25 (ซึ่งเป็นที่เหมาะสม) และเรารูปแบบตัวเลขของเราเป็นมาจากการกระจายเสียนกับศูนย์ค่าเฉลี่ยและความแปรปรวนวีสมมติว่าเป็นศูนย์ แล้วโอกาสเป็นสัดส่วนกับซึ่งจะทำให้การกระจายหลังสำหรับที่ไม่เหมาะสมเพราะมันเป็นสัดส่วนกับ-} ปัญหานี้เกิดขึ้นเนื่องจากลักษณะแปลกประหลาดของตัวแปรต่อเนื่องx v x p ( x | v ) v - 0.5 v v - 1.25 e - vvxvxp(x|v)v0.5vv1.25ev


ตัวอย่างเด็ด ๆ Tom!
Zen

+1 แต่คุณสามารถขยายคำตอบให้กับประโยคสุดท้ายของ OP ได้หรือไม่ นี่คือความหมายหลังที่แปลกประหลาด (คุณสามารถทำสิ่งต่าง ๆ ที่คุณมักจะทำกับคนหลัง) หรือจะคล้ายกับการได้รับ NaN หรือ Inf จากการคำนวณบ้างไหม? มันเป็นสัญญาณว่ามีบางอย่างผิดปกติกับรุ่นของคุณหรือไม่
Wayne

5
ไม่มีอะไรผิดปกติกับโมเดล ด้านหลังนี้มีความหมายในแง่ที่ว่าถ้าคุณได้รับการสังเกตอีกครั้งคุณสามารถคูณมันเข้าไปและกลับไปที่ด้านหลังที่เหมาะสมได้ ดังนั้นจึงไม่เหมือน NaN ซึ่งการดำเนินการเพิ่มเติมทั้งหมดคือ NaN
Tom Minka

8
แม้ว่าสิ่งนี้อาจจะสายเกินไปที่จะสำคัญ แต่ฉันไม่คิดว่าจะใช้ความช่วยเหลือ "ตัวนับตัวอย่าง" เช่นผู้เริ่มต้น: ปัญหาเกิดขึ้นเนื่องจากคุณใช้ความหนาแน่นแบบเกาส์ในรุ่นที่เฉพาะเจาะจงที่เมื่อสามารถกำหนดโดยพลการในชุดนี้ ของวัดเป็นศูนย์ และด้วยเหตุนี้จึงทำให้หลังที่เหมาะสมหรือไม่เหมาะสมขึ้นอยู่กับรุ่นที่เลือก x=0
ซีอาน

ที่น่าสนใจ - ถ้าคุณใช้ทั่วไปแล้วหลังเป็น Gaussian ผกผันทั่วไปกับพารามิเตอร์- 0.25 , 1 , x 2 @ ซีอาน - มันจะเป็นการดีถ้าได้เห็นทางเลือกอื่นเพื่อให้ได้มาซึ่งภาพหลังที่เหมาะสม x0.25,1,x2
ความน่าจะเป็นทางการที่

11

การกำหนดชุด เรามี P R ( X ปลอมข้อมูล) = ปลอมข้อมูล F ( x | θ )

Bogus Data={x:f(xθ)π(θ)dθ=},
อินทิกรัลสุดท้ายจะเท่ากับหากการวัด Lebesgue ของข้อมูลปลอมเป็นการบวก แต่นี่เป็นไปไม่ได้เพราะอินทิกรัลนี้ให้ความน่าจะเป็น (จำนวนจริงระหว่าง 0ถึง 1 ) ดังนั้นมันตามที่เกอวัดของปลอมข้อมูลมีค่าเท่ากับ 0และแน่นอนมันยังตามที่พีอาร์( X ปลอมข้อมูล) = 0
Pr(XBogus Data)=Bogus Dataf(xθ)π(θ)dθdx=Bogus Datadx.
Bogus Data01Bogus Data0Pr(XBogus Data)=0

ในคำพูด: ความน่าจะเป็นที่คาดการณ์ก่อนหน้าของค่าตัวอย่างเหล่านั้นที่ทำให้ไม่เหมาะสมหลังเท่ากับศูนย์

คุณธรรมของเรื่องราว: ระวังเซตว่างพวกเขาอาจกัด แต่ไม่น่าเป็นไปได้

ป.ล. ตามที่ศาสตราจารย์โรเบิร์ตชี้ให้เห็นในการแสดงความคิดเห็นเหตุผลนี้จะระเบิดขึ้นหากสิ่งที่ไม่เหมาะสมก่อนหน้านี้


4
คุณเคยเขียนว่า : "ถ้าเราสามารถเริ่มต้นด้วยการที่เหมาะสมก่อนและได้รับหลังที่ไม่เหมาะสมจากนั้นฉันจะออกจากการอนุมาน"
Tom Minka

2
แก้มนิด ๆ หน่อย ๆ มีปริมาณโดยปริยาย: ถ้าเราสามารถเริ่มต้นด้วยการที่เหมาะสมก่อนและได้รับหลังที่ไม่เหมาะสมสำหรับทุกค่าตัวอย่างที่เป็นไปได้แล้วฉันจะออกจากการอนุมาน ;-)
Zen

โดยวิธีการที่หน่วยความจำที่น่าทึ่งทอม!
Zen

4
Pr(XBogus Data)(θ,x)

1
คุณถูกต้อง การให้เหตุผลในคำตอบนั้นใช้ได้กับนักบวชที่เหมาะสมเท่านั้น จุดดี. ฉันจะเพิ่มบันทึกย่อ
เซน

3

"การกระจาย" ใด ๆ จะต้องรวม (หรือรวม) กับ 1 ฉันสามารถคิดตัวอย่างเล็ก ๆ น้อย ๆ ที่หนึ่งอาจทำงานกับการแจกแจงแบบไม่ปกติ แต่ฉันรู้สึกไม่สบายใจที่จะเรียกสิ่งใดก็ตาม

xd

x^=argmaxxPX|D(x|d)=argmaxxPD|X(d|x)PX(x)PD(d)=argmaxxPD|X(d|x)PX(x)

PDxx^PD|X(d|x)PX(x)


@ เซนคุณจะมีความชัดเจนมากขึ้นเกี่ยวกับสิ่งที่คุณคิดว่าผิด (หรือขาดพื้นฐาน) เกี่ยวกับคำตอบนี้หรือไม่?
whuber

1
วิธีหนึ่งในการตีความคำถาม OP "ผู้หลังต้องการการกระจายที่เหมาะสมหรือไม่" คือการถามว่ามันเป็นไปได้ทางคณิตศาสตร์ที่จะเริ่มต้นด้วยความเหมาะสมก่อนและจบด้วยหลังที่ไม่เหมาะสม คำตอบของ Minka เป็นตัวอย่างที่ชัดเจน ฉันพยายามเติมเต็มด้วยคำตอบของฉันและชี้ให้เห็นว่าสิ่งนี้สามารถเกิดขึ้นได้ในชุดของความน่าจะเป็นที่คาดการณ์ก่อนหน้าเท่านั้น
Zen

1
@ เซนฉันรู้สึกว่าการตีความที่เกี่ยวข้องอย่างใกล้ชิดคือ "ถ้าคนหลังไม่เหมาะสมฉันจะได้รับข้อมูลอะไรได้บ้าง?" คำตอบที่ยอมรับนี้ดูเหมือนว่าจะให้คำแนะนำที่เป็นประโยชน์และถูกต้องเกี่ยวกับคำนั้นในกรณีพิเศษ (ซึ่งอธิบายไว้อย่างชัดเจน) การยอมรับดูเหมือนว่าฉันเป็นสัญญาณที่ eretmochelys หลงบ้านด้วยการเดาอย่างชาญฉลาดเกี่ยวกับสถานการณ์
whuber

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.