การใช้งาน Naive Bayes

ฉันใช้อัลกอริทึม Naive Bayes สำหรับการจัดหมวดหมู่ข้อความด้วยการปรับให้เรียบ Laplacian ปัญหาที่ฉันมีอยู่คือความน่าจะเป็นเป็นศูนย์เพราะฉันคูณเศษส่วนเล็ก ๆ จำนวนมาก ดังนั้นความน่าจะเป็นในที่สุดให้ผลเป็นศูนย์ เนื่องจากมีหลายคำในเอกสารและชุดฝึกอบรม

ด้วยเหตุนี้ฉันจึงไม่สามารถจัดหมวดหมู่ข้อความได้ มีวิธีที่ฉันสามารถแก้ไขปัญหานี้ได้หรือไม่? ฉันกำลังทำสิ่งผิดปกติในการติดตั้งหรือไม่?

— sam
แหล่งที่มา

... คุณสามารถหลีกเลี่ยงการคำนวณเลขทศนิยมได้

msdn.microsoft.com/en-us/magazine/jj891056.aspx คุณจะพบคำตอบง่ายๆได้ที่นี่

— Roshan Mehta

กลอุบายทั่วไปเพื่อหลีกเลี่ยงอันเดอร์โฟล์นี้คือการคำนวณด้วยลอการิทึมโดยใช้ identity นั่นคือแทนที่จะใช้ความน่าจะเป็นคุณใช้ลอการิทึมของพวกเขา แทนที่จะเพิ่มพวกเขาคุณเพิ่มพวกเขา

เข้าสู่ระบบ Π_{ผม = 1}^{n} {พี}_{ผม} = Σ_{ผม = 1}^{n} เข้าสู่ระบบ {พี}_{ผม} .

$\log \prod_{i=1}^n p_i = \sum_{i=1}^n \log p_i.$

อีกวิธีหนึ่งซึ่งไม่ธรรมดาดังนั้นคือการทำให้ผลิตภัณฑ์เป็นมาตรฐานด้วยตนเอง แทนการรักษาเพียงหนึ่งลอยจำนวนจุด , คุณเก็บลอยจำนวนจุด (พูด) และลบสัญลักษณ์ดังกล่าวว่า x หลังจากการดำเนินการแต่ละครั้งคุณทำให้หมายเลขผลลัพธ์ปกติ $p$ $p_0 \in [1,2)$ $x$ $p = p_0 2^x$

— Yuval Filmus
แหล่งที่มา

นอกจากนี้ยังเป็นประโยชน์ในการบันทึกเคล็ดลับ logsumexp ในบริบทนี้: en.wikipedia.org/wiki/LogSumExp

— Bitwise