เหตุใดจึงไม่มีใครใช้ตัวจําแนกแบบหลายคนของ Bayesian Naive Bayes?

ดังนั้นในการสร้างแบบจำลองข้อความ (ที่ไม่ได้รับอนุญาต) ดังนั้น Latent Dirichlet Allocation (LDA) จึงเป็นแบบจำลอง Bayesian ของ Probabilistic Latent Semantic Analysis (PLSA) เป็นหลัก LDA = PLSA + Dirichlet ก่อนพารามิเตอร์ ความเข้าใจของฉันคือตอนนี้ LDA เป็นอัลกอริธึมอ้างอิงและนำไปใช้ในแพ็คเกจต่าง ๆ ในขณะที่ PLSA ไม่ควรใช้อีก

แต่ในการจัดหมวดหมู่ข้อความ (ภายใต้การดูแล) เราสามารถทำสิ่งเดียวกันสำหรับตัวจําแนกหลายกลุ่ม Naive Bayes และวาง Dirichlet ไว้เหนือพารามิเตอร์ แต่ฉันไม่คิดว่าฉันจะเคยเห็นใครทำอย่างนั้นและเวอร์ชั่น "พอยต์ประมาณ" ของ Naive Bayes multinomial ดูเหมือนจะเป็นเวอร์ชั่นที่ติดตั้งในแพ็คเกจส่วนใหญ่ มีเหตุผลอะไรบ้าง?

นี่คือกระดาษที่ดีที่กล่าวถึงข้อบกพร่องบางอย่างของ 'ระบบ' ของตัวจำแนกประเภท Multinomial Naive Bayes (MNB) แนวคิดคือคุณสามารถเพิ่มประสิทธิภาพของ MNB ผ่านการปรับแต่งบางอย่าง และพวกเขากล่าวถึงการใช้ (เครื่องแบบ) Dirichlet priors

โดยรวมหากคุณสนใจใน MNB และคุณยังไม่ได้อ่านบทความนี้ฉันขอแนะนำให้ทำเช่นนั้น

ฉันยังได้พบวิทยานิพนธ์ปริญญาโทที่เกี่ยวข้องโดยคนคนเดียวกัน แต่ยังไม่ได้อ่านด้วยตนเอง คุณสามารถตรวจสอบได้

ฉันสงสัยว่าการใช้งาน NB ส่วนใหญ่อนุญาตให้มีการประมาณความน่าจะเป็นแบบมีเงื่อนไขด้วยการแก้ไข Laplaceซึ่งให้วิธีแก้ปัญหา MAP ไปยังตัวจําแนกเบส์แบบเบส์ (กับ Dirichlet โดยเฉพาะก่อนหน้านี้) @Zhubarb (+1) ชี้ให้เห็นว่าการรักษาแบบเบส์ของตัวจําแนก NB ได้รับมาและนําไปใช้แล้ว (วิทยานิพนธ์ / เอกสารของ Rennie นั้นคุ้มค่าที่จะอ่าน) อย่างไรก็ตามข้อสันนิษฐานอิสระของ NB นั้นมักจะผิดเสมอไปซึ่งในกรณีนี้การสร้างแบบจำลองขึ้นอย่างมากขึ้นกับสมมติฐานที่ว่า (ผ่านการรักษาแบบเบย์เต็มรูปแบบ) อาจไม่ใช่สิ่งที่ดีที่จะทำ

ฉันไม่เชื่อในสิ่งที่คุณอธิบายว่าเป็นความจริง แบบจำลองความน่าจะเป็นสำหรับ LDA และ MNB นั้นแตกต่างกัน

ความแตกต่างที่สำคัญอย่างหนึ่งระหว่างทั้งสองก็คือในรูปแบบการกำเนิดสำหรับ LDA เมื่อมีการวาดคำหัวข้อแรกสำหรับคำนั้นจะถูกเลือกและจากนั้นเลือกคำจากการแจกแจงหัวข้อนั้น แต่ละคำในเอกสารสามารถวาดได้จากหัวข้ออื่น

ในรูปแบบกำเนิดสำหรับ MNB เอกสารจะถูกกำหนดหนึ่งคลาสและคำทั้งหมดในเอกสารนั้นถูกดึงมาจากการแจกแจง (เดียวกัน) สำหรับคลาสนั้น