Generative vs discriminative models (ในบริบทของ Bayesian)

อะไรคือความแตกต่างระหว่างแบบจำลองเชิงกำเนิดและแบบเลือกปฏิบัติ (แบบเลือกปฏิบัติ) (ในบริบทของการเรียนรู้และการอนุมานแบบเบย์)?

และอะไรคือสิ่งที่เกี่ยวข้องกับการทำนายทฤษฎีการตัดสินใจหรือการเรียนรู้ที่ไม่มีผู้ดูแล

ทั้งสองถูกนำมาใช้ในการเรียนรู้ภายใต้การดูแลที่คุณต้องการที่จะเรียนรู้กฎที่แมปอินพุต X เป็น Y ส่งออกที่ได้รับจำนวนตัวอย่างการฝึกอบรมในรูปแบบ } รูปแบบการกำเนิด (เช่นเบส์ไร้เดียงสา) อย่างชัดเจนรูปแบบความน่าจะเป็นร่วมกันกระจายP ( x , Y )แล้วใช้กฎ Bayes การคำนวณP ( Y | x ) ในขณะที่รูปแบบการจำแนก (เช่นการถดถอยโลจิสติก) โดยตรงรุ่นP ( Y | x )$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$

$(y)$$p(x|y)$

อาจมีหลายกรณีที่รุ่นหนึ่งดีกว่ารุ่นอื่น (เช่นรุ่น discriminative มักจะทำได้ดีกว่าถ้าคุณมีข้อมูลจำนวนมากแบบจำลองรุ่นอาจจะดีกว่าหากคุณมีข้อมูลที่ไม่มีป้ายกำกับบางส่วน) อันที่จริงมีโมเดล hybird ด้วยเช่นกันที่พยายามนำสิ่งที่ดีที่สุดของโลกทั้งสองมาใช้ ดูตัวอย่างกระดาษนี้:ลูกผสมที่เป็นหลักการของแบบจำลองเชิงกำเนิดและแบบเลือกปฏิบัติ

นอกเหนือจากหนึ่งในคำตอบข้างต้น:

เนื่องจาก discriminant ใส่ใจ P (Y | X) เท่านั้นในขณะที่ Generative สนใจ P (X, Y) และ P (X) ในเวลาเดียวกันเพื่อที่จะทำนาย P (Y | X) ได้ดีแบบจำลองกำเนิดจึงมีอิสระน้อยกว่าในรูปแบบเมื่อเทียบกับแบบแยกแยะ ดังนั้นรูปแบบการกำเนิดจึงแข็งแกร่งกว่าและมีความเสี่ยงที่จะเกิดการแพ้น้อยในขณะที่การเลือกปฏิบัติเป็นวิธีอื่น

นั่นอธิบายคำตอบข้างต้น

อาจมีหลายกรณีที่รุ่นหนึ่งดีกว่ารุ่นอื่น (เช่นรุ่น discriminative มักจะทำได้ดีกว่าถ้าคุณมีข้อมูลจำนวนมากแบบจำลองรุ่นอาจจะดีกว่าหากคุณมีข้อมูลที่ไม่มีป้ายกำกับบางส่วน)