ความแตกต่างระหว่างการถดถอยโลจิสติกและการสนับสนุนเครื่องเวกเตอร์คืออะไร?

ฉันรู้ว่าการถดถอยโลจิสติกส์พบไฮเปอร์เพลนที่แยกตัวอย่างการฝึกอบรม ฉันรู้ด้วยว่าเครื่องเวกเตอร์สนับสนุนพบไฮเปอร์เพลนที่มีระยะห่างสูงสุด

คำถามของฉัน: ความแตกต่างระหว่างการถดถอยโลจิสติก (LR) และเครื่องเวกเตอร์สนับสนุน (SVM) คือ LR พบไฮเปอร์เพลนใด ๆ ที่แยกตัวอย่างการฝึกอบรมในขณะที่ SVM ค้นหาไฮเปอร์เพลนที่มีระยะห่างสูงสุด? หรือฉันผิด

$\theta \cdot x = 0$$0.5$$0.5$$\theta \cdot x = 0$

คุณพูดถูกถ้าคุณกำลังพูดถึงเรื่อง SVM ที่ยากและทั้งสองคลาสนั้นแยกกันเป็นเส้นตรง LR หาวิธีการแก้ปัญหาใด ๆ ที่แยกทั้งสองชั้น ฮาร์ด SVM ค้นหา "วิธีแก้ปัญหา" ในบรรดาวิธีที่เป็นไปได้ทั้งหมดที่มีระยะขอบสูงสุด

ในกรณีของ SVM แบบนุ่มนวลและคลาสที่ไม่สามารถแยกได้เป็นเส้นตรงคุณยังคงถูกต้องด้วยการปรับเปลี่ยนเล็กน้อย ข้อผิดพลาดไม่สามารถกลายเป็นศูนย์ได้ LR พบไฮเปอร์เพลนที่สอดคล้องกับการลดข้อผิดพลาดให้น้อยที่สุด Soft SVM พยายามที่จะลดข้อผิดพลาด (ข้อผิดพลาดอื่น) และในเวลาเดียวกันการค้าออกข้อผิดพลาดที่มีอัตรากำไรขั้นต้นผ่านพารามิเตอร์ normalization

ความแตกต่างหนึ่งระหว่างสอง: SVM เป็นตัวจําแนกฮาร์ แต่ LR เป็นความน่าจะเป็น SVM เบาบาง มันเลือกเวกเตอร์การสนับสนุน (จากตัวอย่างการฝึกอบรม) ที่มีอำนาจการเลือกปฏิบัติมากที่สุดระหว่างสองคลาส เนื่องจากมันไม่ได้เก็บคะแนนการฝึกอบรมอื่น ๆ ไว้นอกเหนือจากเวลาทดสอบเราจึงไม่มีความคิดใด ๆ เกี่ยวกับการแจกจ่ายของสองคลาสใด ๆ

ฉันได้อธิบายว่าการแก้ปัญหา LR (โดยใช้ IRLS) แตกต่างกันอย่างไรในกรณีที่มีการแยกเชิงเส้นของทั้งสองคลาสและทำไมมันหยุดเป็นลักษณนามลน่าจะเป็นในกรณีเช่นนี้: /stats//a/133292/66491