ความคิดบางอย่างของฉันอาจไม่ถูกต้อง
ฉันเข้าใจว่าเหตุผลที่เรามีการออกแบบ (สำหรับบานพับและการสูญเสียโลจิสติก) คือเราต้องการให้ฟังก์ชันวัตถุประสงค์นูนออกมา
นูนเป็นสมบัติที่ดี แต่ฉันคิดว่าเหตุผลที่สำคัญที่สุดคือเราต้องการให้ฟังก์ชันวัตถุประสงค์มีอนุพันธ์ที่ไม่เป็นศูนย์เพื่อให้เราสามารถใช้อนุพันธ์เพื่อแก้ปัญหาได้ ฟังก์ชันวัตถุประสงค์อาจไม่ใช่แบบนูนซึ่งในกรณีนี้เรามักจะหยุดที่จุด Optima หรือจุดอานม้า
และน่าสนใจมันยังลงโทษอินสแตนซ์ที่จำแนกอย่างถูกต้องหากพวกมันถูกจำแนกอย่างอ่อน มันเป็นการออกแบบที่แปลกจริงๆ
ฉันคิดว่าการออกแบบประเภทนี้จะแนะนำแบบจำลองให้ไม่เพียง แต่ทำให้การทำนายถูกต้อง แต่ยังมั่นใจในการทำนาย หากเราไม่ต้องการให้อินสแตนซ์ที่ถูกจัดประเภทอย่างถูกต้องเราสามารถยกตัวอย่างเช่นย้ายการสูญเสียบานพับ (สีน้ำเงิน) ไปทางซ้ายด้วย 1 เพื่อให้พวกเขาไม่ได้รับความเสียหายอีกต่อไป แต่ฉันเชื่อว่าสิ่งนี้มักจะนำไปสู่ผลลัพธ์ที่แย่ลงในทางปฏิบัติ
ราคาที่เราต้องจ่ายโดยใช้ "ฟังก์ชั่นการสูญเสียพร็อกซี" ที่แตกต่างกันเช่นการสูญเสียบานพับและการสูญเสียโลจิสติกคืออะไร?
IMO โดยการเลือกฟังก์ชั่นการสูญเสียที่แตกต่างกันเรากำลังนำข้อสมมติฐานที่แตกต่างกันไปยังโมเดล ตัวอย่างเช่นการสูญเสียการถดถอยโลจิสติก (สีแดง) ถือว่าการกระจาย Bernoulli การสูญเสีย MSE (สีเขียว) ถือว่าเป็นเสียงเกาส์เซียน
ทำตามตัวอย่างกำลังสองน้อยที่สุดเทียบกับการถดถอยโลจิสติกใน PRML ฉันเพิ่มการสูญเสียบานพับสำหรับการเปรียบเทียบ
ดังที่แสดงในรูปภาพการสูญเสียบานพับและการถดถอยโลจิสติก / เอนโทรปี / บันทึกความเป็นไปได้ / softplus มีผลลัพธ์ที่ใกล้เคียงกันมากเนื่องจากฟังก์ชันวัตถุประสงค์ของพวกมันอยู่ใกล้ (รูปด้านล่าง) การสูญเสียบานพับไม่ได้มีวิธีแก้ปัญหาที่ไม่เหมือนใครเสมอไป
อย่างไรก็ตามคุณสมบัติที่สำคัญอย่างหนึ่งของการสูญเสียบานพับคือจุดข้อมูลที่อยู่ไกลจากขอบเขตการตัดสินใจไม่ได้มีส่วนช่วยให้เกิดการสูญเสียการแก้ปัญหาจะเหมือนกันเมื่อนำคะแนนเหล่านั้นออกไป
คะแนนที่เหลือเรียกว่าเวกเตอร์สนับสนุนในบริบทของ SVM ในขณะที่ SVM ใช้คำศัพท์ปกติเพื่อรับรองคุณสมบัติมาร์จิ้นสูงสุดและโซลูชันเฉพาะ
