การเลือกระหว่างฟังก์ชั่นการสูญเสียสำหรับการจำแนกไบนารี

ฉันทำงานในโดเมนที่มีปัญหาซึ่งผู้คนมักจะรายงานROC-AUCหรือAveP (ความแม่นยำโดยเฉลี่ย) แต่ฉันเพิ่งพบเอกสารที่เพิ่มประสิทธิภาพการเข้าสู่ระบบการสูญเสียแทนในขณะที่คนอื่นยังรายงานบานพับขาดทุน

ในขณะที่ฉันเข้าใจว่าการคำนวณของตัวชี้วัดเหล่านี้เป็นอย่างไรฉันมีความยากลำบากในการทำความเข้าใจการแลกเปลี่ยนระหว่างสิ่งเหล่านี้และสิ่งที่ดีสำหรับสิ่งที่แน่นอน

เมื่อมาถึง ROC-AUC เทียบความแม่นยำจำหัวข้อนี้กล่าวถึงวิธีการROC-AUC-สูงสุดสามารถมองเห็นได้โดยใช้เกณฑ์การเพิ่มประสิทธิภาพของการสูญเสียที่ penalizes "การจัดอันดับเป็นลบจริงอย่างน้อยมีขนาดใหญ่เป็นบวกที่แท้จริง" (สมมติว่าสูงขึ้น คะแนนสอดคล้องกับผลบวก) นอกจากนี้เธรดอื่นนี้ยังให้การสนทนาที่เป็นประโยชน์ของROC-AUCตรงกันข้ามกับตัวชี้วัดที่แม่นยำ - เรียกคืน

แต่สำหรับสิ่งที่ประเภทของปัญหาที่เกิดขึ้นจะเข้าสู่ระบบการสูญเสียเป็นที่ต้องการมากกว่าการพูด, ROC-AUC , AvePหรือ การสูญเสียบานพับ ? ที่สำคัญที่สุดคำถามประเภทใดที่ควรถามเกี่ยวกับปัญหาเมื่อเลือกระหว่างฟังก์ชั่นการสูญเสียเหล่านี้สำหรับการจำแนกแบบไบนารี

การอ้างอิงที่ทันสมัยเกี่ยวกับเรื่องนี้คือ [1] โดยพื้นฐานแล้วมันแสดงให้เห็นว่าฟังก์ชั่นการสูญเสียทั้งหมดที่คุณระบุจะมาบรรจบกับตัวจําแนกเบส์ด้วยอัตราที่รวดเร็ว

การเลือกระหว่างสิ่งเหล่านี้สำหรับตัวอย่าง จำกัด สามารถถูกขับเคลื่อนด้วยอาร์กิวเมนต์ที่แตกต่างกันหลายประการ:

1. หากคุณต้องการกู้คืนความน่าจะเป็นของเหตุการณ์ (และไม่เพียง แต่การจำแนกประเภท) ดังนั้นการสูญเสีย logistic หรือแบบจำลองเชิงเส้นทั่วไปอื่น ๆ (การถดถอยแบบ Probit การถดถอยแบบเสริมบันทึกการใช้งาน, ... ) เป็นตัวเลือกที่เป็นธรรมชาติ
2. หากคุณตั้งเป้าหมายไว้ที่การจำแนกประเภท SVM อาจเป็นตัวเลือกที่ต้องการเนื่องจากเป็นเป้าหมายเพียงการสังเกตที่การจำแนกประเภทและไม่สนใจการสังเกตระยะไกลดังนั้นจึงช่วยลดผลกระทบของความจริงของโมเดลเชิงเส้นที่สมมติขึ้น
3. หากคุณไม่มีข้อสังเกตมากมายการได้เปรียบใน 2 อาจเป็นข้อเสีย
4. อาจมีความแตกต่างในการคำนวณ: ทั้งในปัญหาการปรับให้เหมาะสมที่ระบุไว้และในการใช้งานเฉพาะที่คุณใช้
5. บรรทัดล่าง - คุณสามารถลองทั้งหมดและเลือกนักแสดงที่ดีที่สุด

[1] Bartlett, Peter L, Michael I Jordan และ Jon D McAuliffe “ นูน, การจำแนกประเภท, และขอบเขตความเสี่ยง” วารสารสมาคมสถิติอเมริกัน 101, no. 473 (มีนาคม 2549): 138–56 ดอย: 10.1198 / 016214505000000907