ความแตกต่างระหว่าง Bayes ไร้เดียงสาและ Bayes ไร้เดียงสาหลายอัน

ฉันเคยจัดการตัวจําแนกNaive Bayesมาก่อน ฉันได้อ่านเกี่ยวกับMultinomial Naive Bayesเมื่อเร็ว ๆ นี้

นอกจากนี้หลังน่าจะเป็น = (ก่อน * โอกาส) / (หลักฐาน)

ข้อแตกต่างที่สำคัญเพียงอย่างเดียว (ในขณะที่เขียนโปรแกรมตัวแยกประเภทเหล่านี้) ที่ฉันพบระหว่าง Naive Bayes และ Multinomial Naive Bayes ก็คือ

Multinomial Naive Bayesคำนวณความน่าจะเป็นที่จะนับคำ / โทเค็น (ตัวแปรสุ่ม) และNaive Bayesคำนวณความน่าจะเป็นที่จะติดตาม:

ป้อนคำอธิบายรูปภาพที่นี่

ช่วยแก้ให้ด้วยนะถ้าฉันผิด!

— Garak
แหล่งที่มา

คุณจะพบข้อมูลจำนวนมากในรูปแบบ pdf ต่อไปนี้: cs229.stanford.edu/notes/cs229-notes2.pdf

— B_Miner

Christopher D. Manning, Prabhakar Raghavan และ Hinrich Schütze " รู้เบื้องต้นเกี่ยวกับการดึงข้อมูล " ในปี 2009 ตอนที่ 13 เกี่ยวกับการจำแนกข้อความและ Naive Bayes ก็ดีเช่นกัน

— Franck Dernoncourt

คำทั่วไปไร้เดียงสาเบส์หมายถึงสมมติฐานที่เป็นอิสระที่แข็งแกร่งในรูปแบบมากกว่าการกระจายเฉพาะของแต่ละคุณสมบัติ แบบจำลอง Naive Bayes สันนิษฐานว่าคุณลักษณะแต่ละอย่างที่ใช้เป็นอิสระจากเงื่อนไขของอีกคุณสมบัติหนึ่งที่มีในคลาส อย่างเป็นทางการมากขึ้นถ้าฉันต้องการคำนวณความน่าจะเป็นของการสังเกตคุณสมบัติถึงให้คลาส c ภายใต้ Naive Bayes สมมติฐานการถือครองต่อไปนี้: $f_1$ $f_n$

พี (ฉ_{1}, . . ., ฉ_{n} | ค) = Π_{ผม = 1}^{n} พี (ฉ_{ผม} | ค)

$p(f_1,..., f_n|c) = \prod_{i=1}^n p(f_i|c)$

ซึ่งหมายความว่าเมื่อฉันต้องการใช้แบบจำลอง Naive Bayes เพื่อจำแนกตัวอย่างใหม่ความน่าจะเป็นด้านหลังนั้นง่ายกว่ามากในการทำงานกับ:

พี (ค | ฉ_{1}, . . ., ฉ_{n}) α พี (ค) พี (ฉ_{1} | ค) . . . พี (ฉ_{n} | ค)

$p(c|f_1,...,f_n) \propto p(c)p(f_1|c)...p(f_n|c)$

แน่นอนว่าสมมติฐานของความเป็นอิสระเหล่านี้ไม่ค่อยเป็นความจริงซึ่งอาจอธิบายได้ว่าทำไมบางคนถึงเรียกตัวแบบว่า "Idiot Bayes" แต่ในทางปฏิบัติแบบจำลอง Naive Bayes ทำได้ดีอย่างน่าประหลาดใจแม้ในงานที่ซับซ้อนซึ่งเป็นที่ชัดเจนว่า สมมติฐานความเป็นอิสระเป็นเท็จ

จนถึงตอนนี้เราไม่ได้พูดถึงการกระจายของแต่ละคุณสมบัติ กล่าวอีกนัยหนึ่งเราไม่ได้กำหนดคำพหุ Multinomial Naive Bayesเพียงบอกให้เรารู้ว่าแต่ละเป็นการกระจายแบบพหุนามมากกว่าการกระจายตัวแบบอื่น วิธีนี้ใช้งานได้ดีกับข้อมูลที่สามารถเปลี่ยนเป็นการนับได้ง่ายเช่นการนับจำนวนคำในข้อความ $p(f_i|c)$ $p(f_i|c)$

การแจกแจงที่คุณใช้กับลักษณนาม Naive Bayes ของคุณเป็นไฟล์ PDF ของ Guassian ดังนั้นฉันคิดว่าคุณสามารถเรียกมันว่าลักษณนามของ Naass Bayes

กล่าวโดยสรุปตัวจําแนก Naive Bayes เป็นคำทั่วไปซึ่งหมายถึงความเป็นอิสระตามเงื่อนไขของแต่ละคุณสมบัติในแบบจำลองขณะที่ตัวจําแนก Multinomial Naive Bayes เป็นตัวอย่างเฉพาะของตัวจําแนก Naive Bayes ซึ่งใช้การกระจายแบบพหุ

อ้างอิง:

Stuart J. Russell และ Peter Norvig 2546. ปัญญาประดิษฐ์: แนวทางใหม่ (2 ed.) การศึกษาของเพียร์สัน ดูหน้า 499 สำหรับการอ้างอิงถึง "idiot Bayes" เช่นเดียวกับคำจำกัดความทั่วไปของรูปแบบ Naive Bayes และสมมติฐานความเป็นอิสระ

— jlund3
แหล่งที่มา

ลิงก์ใช้งานไม่ได้

— ssoler

@ jlund3 ขอบคุณสำหรับคำอธิบายที่ดี เราจะรวมข้อมูลของการกระจายในลักษณนามของเราอย่างไร? ฉันหมายถึงวิธีการที่ fomula p (c | f1, ... , fn) ∝p (c) p (f1 | c) ... p (fn | c) การเปลี่ยนแปลงขึ้นอยู่กับว่ามันเป็นการกระจาย Guassian กับหลายรูปแบบ

— David

ขอบคุณสำหรับคำอธิบายสั้น ๆ แต่ฉันขอแนะนำหนังสือเล่มนี้ (Stuart J. Russell และ Peter Norvig. 2003 ปัญญาประดิษฐ์: แนวทางที่ทันสมัย (2 ed.)) ที่อ้างถึงข้างต้นสำหรับความรู้เพิ่มเติมเกี่ยวกับ NB และเทคนิคปัญญาประดิษฐ์เช่นกัน ..

— Mirani

การนับการแจกแจงพหุนามนั้นไม่อิสระ ดูคำถามของฉันที่นี่: datascience.stackexchange.com/questions/32016/…

— Hanan Shteingart

$P(x_i | c_j)$ $1 \leq i \leq n$ $1 \leq j \leq k$ $(i,j)$ $P(x_i|c_{j_1})$ $P(x_i | c_{j_2})$

Multicomial Naive Bayes เพียงแค่สมมติว่ามีการแจกแจงพหุนามสำหรับทุกคู่ซึ่งดูเหมือนจะเป็นข้อสันนิษฐานที่สมเหตุสมผลในบางกรณีเช่นสำหรับการนับจำนวนคำในเอกสาร

— sjm.majewski
แหล่งที่มา