ทำไมดิริเคิลถึงกระจายก่อนหน้านี้สำหรับการกระจายแบบหลายส่วน

ในอัลกอริทึมแบบจำลองหัวข้อ LDA ฉันเห็นสมมติฐานนี้ แต่ฉันไม่รู้ว่าทำไมจึงเลือกการกระจาย Dirichlet ฉันไม่รู้ว่าเราสามารถใช้การกระจายแบบเครื่องแบบผ่าน Multinomial เป็นคู่ได้หรือไม่?

การแจกแจงไดริชเลตเป็นคอนจูเกตก่อนหน้านี้สำหรับการแจกแจงพหุนาม นี่หมายความว่าหากการแจกแจงก่อนหน้าของพารามิเตอร์หลายค่าคือ Dirichlet การกระจายหลังนั้นก็เป็นการกระจายแบบ Dirichlet (ด้วยพารามิเตอร์ที่แตกต่างจากพารามิเตอร์ก่อนหน้า) ประโยชน์ของสิ่งนี้คือ (a) การกระจายด้านหลังนั้นง่ายต่อการคำนวณและ (b) ในบางแง่มุมเป็นไปได้ที่จะคำนวณปริมาณความเชื่อของเราที่มีการเปลี่ยนแปลงหลังจากรวบรวมข้อมูล

สามารถกล่าวได้อย่างแน่นอนว่าสิ่งเหล่านี้เป็นเหตุผลที่ดีในการเลือกมาก่อนหรือไม่เนื่องจากเกณฑ์เหล่านี้ไม่เกี่ยวข้องกับความเชื่อที่เกิดขึ้นจริงก่อนหน้านี้ ... .

สำหรับกรณีพิเศษของการแจกแจงพหุนามให้เป็นเวกเตอร์ของพารามิเตอร์พหุนาม (เช่นความน่าจะเป็นสำหรับหมวดหมู่ที่แตกต่างกัน) ถ้า( p 1 , … , p k ) ∼ Dirichlet ( α 1 , … , α k )ก่อนที่จะรวบรวมข้อมูลจากนั้นได้รับการสังเกต( x 1 , … , x k )ในหมวดหมู่ที่แตกต่างกัน, $(p_1,\ldots,p_k)$

$$(p_1,\ldots,p_k)\sim \mbox{Dirichlet}(\alpha_1,\ldots,\alpha_k)$$ $(x_1,\ldots,x_k)$ $$(p_1,\ldots,p_k)\Big|(x_1,\ldots,x_k)\sim \mbox{Dirichlet}(\alpha_1+x_1,\ldots,\alpha_k+x_k).$$

$\alpha_1=\alpha_2=\cdots=\alpha_k=1$$\alpha_1=\cdots=\alpha_k=1/2$

นอกเหนือจากความขัดแย้งกับคำตอบของMåns Tฉันเพียงแค่ชี้ให้เห็นว่าไม่มีสิ่งเช่น "ก่อน" ในการสร้างแบบจำลองแบบเบย์! การแจกแจง Dirichlet เป็นตัวเลือกที่สะดวกเนื่องจากการเชื่อมต่อ (a) conjugacy, (b) และ (c) กับสถิติที่ไม่ใช่พารามิเตอร์ (เนื่องจากนี่เป็นเวอร์ชั่นที่แยกส่วนของกระบวนการ Dirichlet)

อย่างไรก็ตาม (i) สิ่งที่ก่อนหน้านี้คุณวางน้ำหนักของ multinomial คือคำตอบที่ถูกต้องตามกฎหมายในระดับ Bayes แบบอัตนัยและ (ii) ในกรณีที่มีข้อมูลก่อนการใช้งานไม่มีเหตุผลที่ทำให้การแจกแจง Dirichlet ง่ายขึ้น โปรดทราบว่าการผสมและการโน้มน้าวใจของการแจกแจง Dirichlet สามารถใช้เป็นนักบวชได้