มีวิธีการแบบเบย์ในการประมาณความหนาแน่นหรือไม่

ผมสนใจที่จะประเมินความหนาแน่นต่อเนื่องสุ่มตัวแปรXวิธีหนึ่งในการทำสิ่งนี้ที่ฉันได้เรียนรู้คือการใช้การประมาณความหนาแน่นของเคอร์เนล$X$

แต่ตอนนี้ฉันสนใจวิธีการแบบเบย์ที่อยู่ในบรรทัดต่อไปนี้ ผมเริ่มเชื่อว่าต่อไปนี้การกระจายFฉันใช้เวลาอ่านXมีวิธีการอัพเดตตามการอ่านใหม่ของฉันหรือไม่?F n X $X$$F$$n$$X$$F$

ฉันรู้ว่าฉันดูเหมือนว่าฉันจะขัดแย้งกับตัวเอง: ถ้าฉันเชื่อว่าในเป็นการกระจายก่อนหน้านี้ของฉันเท่านั้นไม่มีข้อมูลควรโน้มน้าวฉันเป็นอย่างอื่น แต่สมมติว่ามีและจุดข้อมูลของฉันเป็นเหมือน1.7) เมื่อดูที่เห็นได้ชัดว่าฉันไม่สามารถยึดติดกับรุ่นก่อนหน้าได้ แต่ฉันควรอัปเดตอย่างไรF u n i f [ 0 , 1 ] ( 0.3 , 0.5 , 0.9 , 1.7 ) $F$$F$$Unif[0,1]$$(0.3, 0.5, 0.9, 1.7)$$1.7$

อัปเดต:ตามคำแนะนำในความคิดเห็นที่ฉันได้เริ่มดูกระบวนการ Dirichlet ให้ฉันใช้สัญลักษณ์ต่อไปนี้:

$G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

หลังจากทำกรอบปัญหาดั้งเดิมของฉันในภาษานี้ฉันเดาว่าฉันสนใจต่อไปนี้:x_1,คนเราจะทำสิ่งนี้ได้อย่างไร$\theta_{n+1} | x_1,...,x_n$

ในบันทึกย่อชุดนี้ (หน้า 2) ผู้เขียนทำตัวอย่างของ (โครงการ Polya Urn) ฉันไม่แน่ใจว่าสิ่งนี้เกี่ยวข้องหรือไม่$\theta_{n+1} | \theta_1,...,\theta_n$

อัปเดต 2:ฉันต้องการถามด้วย (หลังจากได้เห็นโน้ต): ผู้คนเลือกสำหรับ DP ได้อย่างไร ดูเหมือนเป็นตัวเลือกที่สุ่ม นอกจากนี้คนจะเลือกก่อนหน้าสำหรับ DP ได้อย่างไร ฉันควรจะใช้อันก่อนเพื่อเป็นแบบของฉันล่วงหน้าสำหรับหรือไม่H θ $\alpha$$H$$\theta$$H$

เนื่องจากคุณต้องการแนวทางแบบเบย์คุณจำเป็นต้องมีความรู้ล่วงหน้าเกี่ยวกับสิ่งที่คุณต้องการประเมิน นี่จะอยู่ในรูปของการแจกแจง

ทีนี้มีปัญหาที่ตอนนี้เป็นการกระจายตัวของการแจกแจง อย่างไรก็ตามนี่จะไม่มีปัญหาหากคุณสันนิษฐานว่าการแจกแจงผู้สมัครมาจากคลาสการแจกแจงแบบมีพารามิเตอร์บางตัว

ตัวอย่างเช่นหากคุณต้องการสมมติว่าข้อมูลนั้นเป็นแบบเกาส์นแจกด้วยค่าเฉลี่ยที่ไม่ทราบ แต่ความแปรปรวนที่ทราบแล้วสิ่งที่คุณต้องมีก็คือค่าเฉลี่ยก่อนหน้า

การประมาณค่า MAP ของพารามิเตอร์ที่ไม่รู้จัก (เรียกมันว่า$\theta$ ) สามารถดำเนินการได้โดยสมมติว่าจุดสังเกต / จุดข้อมูลทั้งหมดนั้นไม่ขึ้นอยู่กับเงื่อนไขตามที่ได้รับจากพารามิเตอร์ที่ไม่รู้จัก จากนั้นประมาณการ MAP คือ

,$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$

ที่ไหน

]$\text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$

มันควรจะตั้งข้อสังเกตว่ามีการผสมโดยเฉพาะอย่างยิ่งของความน่าจะเป็นก่อนและการแจกแจงผู้สมัครPr [ x | θ ]ที่ก่อให้เกิดการอัปเดตที่ง่าย (ฟอร์มปิด) เมื่อได้รับจุดข้อมูลมากขึ้น$\text{Pr}[\theta]$$\text{Pr}[x | \theta]$

เพื่อการประมาณความหนาแน่นสิ่งที่คุณต้องการไม่ใช่

n$\theta_{n+1}|x_{1},\ldots,x_{n}$

สูตรในบันทึกถึงการกระจายการทำนายของกระบวนการ Dirichlet$\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$

สำหรับการประมาณความหนาแน่นคุณต้องสุ่มตัวอย่างจากการแจกแจงการทำนาย

การสุ่มตัวอย่างจากการแจกแจงข้างต้นสามารถทำได้ด้วยวิธีการแบบมีเงื่อนไขเช่นเดียวกับวิธีการส่วนเพิ่ม สำหรับวิธีการแบบมีเงื่อนไขให้ดูที่กระดาษของ Stephen Walker [1] สำหรับวิธีการส่วนเพิ่มคุณควรตรวจสอบที่ Radford Neal paper [2]

$\alpha$$\alpha$$\alpha$$\alpha$

[1] SG, Walker (2006) สุ่มตัวอย่าง Dirichlet Mixture model ด้วยสไลซ์ การสื่อสารทางสถิติ (การจำลองและการคำนวณ)

[2] RM, Neal (2000) วิธีมาร์คอฟเชนมอนติคาร์โลสำหรับโมเดล Dirichlet Process Mixture วารสารการคำนวณและสถิติแบบกราฟิก เล่มที่ 9, หมายเลข 2, หน้า 249-265

[3] M. , ตะวันตก (1992) การประมาณค่าพารามิเตอร์ในแบบจำลองกระบวนการผสมไดริชเลต รายงานทางเทคนิค

มีวิธีการอัพเดต F ตามการอ่านใหม่ของฉันหรือไม่?

มีบางอย่างที่แม่นยำสำหรับสิ่งนั้น มันเป็นแนวคิดหลักของการอนุมานแบบเบย์

$p(\theta | y) \propto p(y|\theta)p(\theta)$

$p(\theta)$$F$$p(y|\theta)$$\theta$

$p(\theta)$