การอัปเดตตัวประกอบ Bayes


9

ปัจจัย Bayes ถูกกำหนดไว้ในคชกรรมทดสอบสมมติฐานและการเลือกรูปแบบเบส์โดยอัตราส่วนของสองโอกาสเกิดขอบ: รับตัวอย่าง IIDและความหนาแน่นของการสุ่มตัวอย่างที่เกี่ยวข้องและพร้อมกับนักบวชที่สอดคล้องกันและตัวประกอบ Bayes สำหรับการเปรียบเทียบทั้งสองรุ่นคือ หนังสือฉันกำลังตรวจสอบในปัจจุบันมีคำสั่งแปลกที่ดังกล่าวข้างต้นปัจจัย Bayes(x1,,xn)f1(x|θ)f2(x|η)π1π2

B12(x1,,xn)=defm1(x1,,xn)m2(x1,,xn)=defi=1nf1(xi|θ)π1(dθ)i=1nf2(xi|η)π2(dη)
B12(x1,,xn)คือ "เกิดจากการคูณแต่ละตัว [ตัวประกอบ Bayes] ด้วยกัน" (p.118) สิ่งนี้ถูกต้องอย่างเป็นทางการหากมีใครใช้การสลายตัว แต่ฉันไม่เห็นความได้เปรียบในการย่อยสลายในขณะที่การปรับปรุงโดยต้องการความพยายามในการคำนวณแบบเดียวกับการคำนวณดั้งเดิมของ
B12(x1,,xn)=m1(x1,,xn)m2(x1,,xn)=m1(xn|x1,,xn1)m2(xn|x1,,xn1)×m1(xn1|xn2,,x1)m2(xn1|xn2,,x1)××m1(x1)m2(x1)
m1(xn|x1,,xn1)m2(xn|x1,,xn1)
m1(x1,,xn)m2(x1,,xn)
นอกตัวอย่างของเล่นประดิษฐ์

คำถาม:มีวิธีทั่วไปและมีประสิทธิภาพในการอัปเดตตัวประกอบ Bayes จากเป็น ที่ไม่ต้องการคำนวณระยะขอบทั้งหมดและ ?B12(x1,,xn)B12(x1,,xn+1)m1(x1,,xn)m2(x1,,xn)

สัญชาตญาณของฉันคือนอกเหนือจากตัวกรองอนุภาคซึ่งดำเนินการตามการประเมินปัจจัย Bayesการสังเกตครั้งละหนึ่งครั้งไม่มีวิธีธรรมชาติในการตอบคำถามนี้ .B12(x1,,xn)


1
ฉันไม่เห็นชัดเจนว่าการใช้ถ้อยคำหมายถึงการแยกตัวประกอบแบบต่อเนื่องที่จำเป็น ในช่วงที่จบการศึกษาอาจารย์กล่าวว่าผลิตภัณฑ์มีความหมายว่าเราสามารถใช้การประมาณแบบเชิงสัญลักษณ์สำหรับการวิเคราะห์แบบเบย์ แต่สิ่งนี้ไม่น่าแปลกใจเลย บางทีหนังสือเล่มนี้อาจบอกใบ้ถึงเรื่องนั้น?
หน้าผา AB

@CliffAB: ใช่คุณสามารถเขียนความเป็นไปได้ใหม่โดยเฉลี่ยของแต่ละคำโดยแปรเปลี่ยนเป็นระยะทาง Kullback-Leibler จากการแจกแจงที่แท้จริง แต่ฉันไม่คิดว่านี่เป็นกรณีแม้ว่าหนังสือจะไม่ชัดเจนพอที่จะเปิดตัวเลือกทั้งหมด
ซีอาน

1
ฉันเชื่อว่ามีการพิมพ์ผิดในสมการที่สอง: มันควรเป็นในปัจจัยที่สองในบรรทัดที่สองหรือไม่? m1(xn1|xn1,,x1)
jochen

คำตอบ:


4

สันนิษฐานว่าวัตถุประสงค์ของสมการแบบเรียกซ้ำสำหรับปัจจัย Bayes คือเมื่อคุณทำการคำนวณตัวประกอบ Bayes สำหรับจุดข้อมูลและคุณต้องการให้สามารถอัปเดตสิ่งนี้ด้วยจุดข้อมูลเพิ่มเติมหนึ่งจุด ดูเหมือนว่าเป็นไปได้ที่จะทำเช่นนี้โดยไม่ต้องคำนวณระยะขอบของเวกเตอร์ข้อมูลก่อนหน้าตราบใดที่รูปแบบของฟังก์ชันหลังเป็นที่รู้จัก สมมติว่าเรารู้ว่ารูปแบบของฟังก์ชั่นนี้ (และสมมติว่าข้อมูล IID ดังเช่นในคำถามของคุณ) ความหนาแน่นของการทำนายสามารถเขียนเป็น:nπn

m(xn+1|x1,...,xn)=Θf(xn+1|θ)πn(dθ|x1,...,xn).

ดังนั้นคุณมี:

m(x1,...,xn+1)=m(x1,...,xn)Θf(xn+1|θ)πn(dθ|x1,...,xn).

เปรียบเทียบคลาสของโมเดลสองคลาสผ่านตัวประกอบ Bayes จากนั้นเราจะได้สมการแบบเรียกซ้ำ:

B12(x1,...,xn+1)=B12(x1,...,xn)Θ1f(xn+1|θ)π1,n(dθ|x1,...,xn)Θ2f(xn+1|θ)π2,n(dθ|x1,...,xn).

สิ่งนี้ยังเกี่ยวข้องกับการรวมในช่วงพารามิเตอร์ดังนั้นฉันเห็นด้วยกับมุมมองของคุณว่าไม่มีข้อได้เปรียบในการคำนวณใด ๆ เพียงแค่คำนวณค่าตัวประกอบ Bayes ผ่านสูตรเริ่มต้นที่คุณให้ อย่างไรก็ตามคุณสามารถเห็นได้ว่าสิ่งนี้ไม่ต้องการให้คุณคำนวณระยะขอบสำหรับเวกเตอร์ข้อมูลก่อนหน้า (แต่เราคำนวณความหนาแน่นเชิงทำนายของจุดข้อมูลใหม่แบบมีเงื่อนไขบนข้อมูลก่อนหน้านี้ภายใต้โมเดลคลาสแต่ละคลาส) เช่นเดียวกับคุณฉันไม่เห็นความได้เปรียบเชิงการคำนวณใด ๆ ของเรื่องนี้ยกเว้นว่ามันเกิดขึ้นว่าสูตรอินทิกรัลนี้ ไม่ว่าในกรณีใดฉันคิดว่ามันให้สูตรอื่นสำหรับการอัปเดตตัวประกอบ Bayes


ขอบคุณ. เป็นความจริงที่ว่าระยะขอบไม่จำเป็นต้องคำนวณซ้ำอีกครั้งเข้มงวดแต่ปริมาณการคำนวณดูเหมือนจะเท่ากันตามที่คุณพูด
ซีอาน

ข้อดีอย่างเดียวที่ฉันคิดได้ก็คือเนื่องจากตอนนี้เรารวมเฉพาะความหนาแน่นเดียว (แทนที่จะเป็นผลคูณของความหนาแน่น ), อินทิกรัลและจะผันผวนน้อยกว่าและสูตรหลังนี้อาจทำให้ง่ายขึ้นเพื่อหลีกเลี่ยงปัญหา การคำนวณ นั่นคือทั้งหมดที่อาจจะใหญ่ n
เบ็น - คืนสถานะโมนิก้า
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.