ความสัมพันธ์ระหว่าง SVM และการสูญเสียบานพับคืออะไร?

เพื่อนร่วมงานของฉันและฉันกำลังพยายามห้อมล้อมความแตกต่างระหว่างการถดถอยโลจิสติกและ SVM เห็นได้ชัดว่าพวกเขากำลังปรับฟังก์ชั่นวัตถุประสงค์ที่แตกต่างกัน SVM ง่ายเหมือนการบอกว่ามันเป็นลักษณนามแบบแบ่งแยกที่สามารถปรับการสูญเสียบานพับให้เหมาะสมได้หรือไม่? หรือซับซ้อนกว่านั้นหรือ? เวกเตอร์สนับสนุนมีบทบาทอย่างไร สิ่งที่เกี่ยวกับตัวแปรหย่อน ทำไมคุณไม่สามารถใช้ SVM แบบลึกในแบบที่คุณไม่สามารถมีเครือข่ายประสาทแบบลึกที่มีฟังก์ชั่นการเปิดใช้งาน sigmoid ได้?

พวกเขาเป็นทั้งแบบจำลองที่เลือกปฏิบัติใช่ ฟังก์ชั่นการสูญเสียการถดถอยโลจิสติกเป็นแนวคิดฟังก์ชั่นของทุกจุด คะแนนที่ได้รับการจัดประเภทอย่างถูกต้องจะเพิ่มฟังก์ชันการสูญเสียน้อยมากหากเพิ่มมากขึ้นหากอยู่ใกล้กับขอบเขต จุดที่อยู่ใกล้กับเขตแดนจึงมีความสำคัญต่อการสูญเสียดังนั้นการตัดสินใจว่าเขตแดนนั้นดีเพียงใด

SVM ใช้การสูญเสียบานพับซึ่งแนวคิดให้ความสำคัญกับประเด็นขอบเขต อะไรก็ตามที่ไกลกว่าจุดที่อยู่ใกล้ที่สุดจะไม่ก่อให้เกิดการสูญเสียใด ๆ เนื่องจาก "บานพับ" (สูงสุด) ในฟังก์ชัน จุดที่ใกล้ที่สุดนั้นคือเวกเตอร์สนับสนุน ดังนั้นจึงลดการเลือกขอบเขตที่สร้างระยะขอบที่ใหญ่ที่สุดไปยังจุดที่ใกล้ที่สุด ทฤษฎีคือกรณีขอบเขตคือสิ่งที่สำคัญสำหรับการวางนัยทั่วไป

ข้อเสียคือการสูญเสียบานพับไม่แตกต่างกัน แต่นั่นก็หมายความว่าจะต้องใช้คณิตศาสตร์มากขึ้นในการค้นพบวิธีเพิ่มประสิทธิภาพผ่านตัวคูณ Lagrange มันไม่ได้จัดการกับกรณีที่ข้อมูลไม่สามารถแยกเชิงเส้นได้ ตัวแปร Slack เป็นกลลวงที่ช่วยให้ความเป็นไปได้นี้ถูกรวมเข้ากับปัญหาการปรับให้เหมาะสม

คุณสามารถใช้การสูญเสียบานพับด้วย "การเรียนรู้ลึก" เช่นhttp://arxiv.org/pdf/1306.0239.pdf