จะคำนวณความสับสนของโฮลด์ได้อย่างไรด้วย Latent Dirichlet Allocation

ฉันสับสนเกี่ยวกับวิธีการคำนวณความฉงนสนเท่ห์ของตัวอย่างที่เก็บไว้เมื่อทำการจัดสรร Latent Dirichlet (LDA) เอกสารในหัวข้อง่ายกว่าทำให้ฉันคิดว่าฉันขาดอะไรบางอย่างที่ชัดเจน ...

ความงุนงงถูกมองว่าเป็นตัวชี้วัดประสิทธิภาพที่ดีสำหรับ LDA แนวคิดคือให้คุณเก็บตัวอย่างของการพักการฝึกอบรม LDA ของคุณในส่วนที่เหลือของข้อมูลจากนั้นคำนวณความน่าฉงนของการถือออก

ความน่างงสามารถกำหนดโดยสูตร:

$per(D_{test})=exp\{-\frac{\sum_{d=1}^{M}\log p(\mathbb{w}_d)}{\sum_{d=1}^{M}N_d}\}$

(นำมาจากการดึงภาพในฐานข้อมูลภาพขนาดใหญ่, Horster และคณะ )

นี่ คือจำนวนของเอกสาร (ในตัวอย่างทดสอบสมมุติ) W dหมายถึงคำในเอกสารd , N วันที่จำนวนของคำในเอกสารd$M$$\mathbb{w}_d$$d$$N_d$$d$

มันไม่ชัดเจนสำหรับฉันที่จะประกาศอย่างสมเหตุสมผลเนื่องจากเราไม่มีหัวข้อผสมสำหรับเอกสารที่จัดขึ้น โดยหลักการแล้วเราจะรวมเข้ากับ Dirichlet ก่อนสำหรับการผสมหัวข้อที่เป็นไปได้ทั้งหมดและใช้หัวข้อมัลตินิเคชันที่เราเรียนรู้ การคำนวณอินทิกรัลนี้ดูเหมือนจะไม่ใช่เรื่องง่าย$p(\mathbb{w}_d)$

หรือเราอาจพยายามเรียนรู้หัวข้อที่เหมาะสมที่สุดสำหรับแต่ละเอกสารที่จัดไว้ (กำหนดหัวข้อที่เรียนรู้ของเรา) และใช้สิ่งนี้เพื่อคำนวณความงุนงง นี่น่าจะเป็นไปได้ แต่มันก็ไม่สำคัญเหมือนเอกสารเช่น Horter et al และ Blei et al ดูเหมือนว่าจะแนะนำและไม่ชัดเจนสำหรับฉันทันทีว่าผลลัพธ์จะเทียบเท่ากับกรณีอุดมคติข้างต้น

นี่คือสิ่งที่มักจะคัดสรร

บางคนกำลังทำสิ่งที่หน้าด้าน: ถือสัดส่วนของคำในแต่ละเอกสารและให้ใช้ความน่าจะเป็นคำทำนายของคำที่จัดขึ้นเหล่านี้ให้ได้รับการผสมของหัวข้อเอกสารเช่นเดียวกับการผสมคำหัวข้อ เห็นได้ชัดว่าไม่เหมาะอย่างยิ่งเนื่องจากไม่ได้ประเมินประสิทธิภาพของเอกสารที่ถูกระงับใด ๆ

ในการดำเนินการอย่างถูกต้องกับเอกสารที่ถูกระงับตามที่แนะนำคุณจะต้อง "รวมเข้ากับ Dirichlet ก่อนสำหรับการผสมหัวข้อที่เป็นไปได้ทั้งหมด" http://people.cs.umass.edu/~wallach/talks/evaluation.pdf จะแสดงความคิดเห็นเกี่ยวกับวิธีการแก้ไขปัญหาอินทิกรัลที่ไม่พึงประสงค์เล็กน้อยนี้ ฉันกำลังจะลองและใช้งานตัวเองในความเป็นจริงโชคดีมาก!

เรารู้ว่าพารามิเตอร์ของ LDA นั้นประมาณผ่านการอนุมานแบบ Variational ดังนั้น

$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)] + D(q(\theta,z)||p(\theta,z))$

$D(q(\theta,z)||p(\theta,z)) = 0$$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)]$

$\log p(w|\alpha, \beta)$