จะเลือกระหว่างคะแนน ROC AUC และ F1 ได้อย่างไร

ฉันเพิ่งเสร็จสิ้นการแข่งขัน Kaggle ซึ่งใช้คะแนน roc auc ตามข้อกำหนดการแข่งขัน ก่อนหน้าโครงการนี้ปกติฉันใช้คะแนน f1 เป็นตัวชี้วัดเพื่อวัดประสิทธิภาพของแบบจำลอง ก้าวไปข้างหน้าฉันสงสัยว่าฉันควรเลือกระหว่างสองเมตริกเหล่านี้อย่างไร เมื่อใดควรใช้สิ่งไหนและข้อดีและข้อเสียของพวกเขาคืออะไร

แต่ฉันอ่านบทความที่นี่อะไรคือความแตกต่างระหว่างคะแนน AUC และ F1 แต่มันไม่ได้บอกฉันว่าจะใช้เมื่อไหร่

ขอบคุณล่วงหน้าสำหรับความช่วยเหลือใด ๆ !

ไม่มีมาตรการใดที่ระบุในที่นี้เป็นกฎการให้คะแนนความแม่นยำที่เหมาะสมเช่นกฎที่ปรับให้เหมาะสมโดยรุ่นที่ถูกต้อง พิจารณามาตรการคะแนนหนามและเข้าสู่ระบบตามความน่าจะเป็นเช่นหลอก$R^2$ 2 $c$ -index (AUROC; สอดคล้องความน่าจะเป็น) ไม่เหมาะสม แต่เป็นสิ่งที่ดีสำหรับการอธิบายรูปแบบเดียว มันไม่ไวพอที่จะใช้สำหรับการเลือกรุ่นหรือเปรียบเทียบแม้จะน้อยกว่าสองเท่า

สูตรการคำนวณ：

• Precision TP / (TP + FP)
• เรียกคืน: TP / (TP + FN)
• คะแนน F1: 2 / (1 / P + 1 / R)
• ROC / AUC： TPR = TP / (TP + FN), FPR = FP / (FP + TN)

ROC / AUC เป็นเกณฑ์เดียวกันและเส้นโค้ง PR (แม่นยำ - เรียกคืน) (คะแนน F1, ความแม่นยำ, เรียกคืน) ก็เป็นเกณฑ์เดียวกัน

ข้อมูลจริงมีแนวโน้มที่จะมีความไม่สมดุลระหว่างตัวอย่างบวกและลบ ความไม่สมดุลนี้มีผลอย่างมากต่อ PR แต่ไม่ใช่ ROC / AUC

ดังนั้นในโลกแห่งความเป็นจริงเส้นโค้ง PR จึงถูกใช้มากขึ้นเนื่องจากตัวอย่างที่เป็นบวกและลบมีความไม่สม่ำเสมอมาก เส้นโค้ง ROC / AUC ไม่ได้สะท้อนประสิทธิภาพของตัวจําแนก แต่เส้นโค้ง PR สามารถ

หากคุณเพียงแค่ทำการทดลองในรายงานการวิจัยคุณสามารถใช้ ROC ได้ผลการทดสอบจะสวยงามยิ่งขึ้น ในอีกทางหนึ่งการใช้เส้นโค้ง PR ในปัญหาจริงและมีการตีความได้ดี

คำตอบข้างต้นเป็นสิ่งที่ดี

แต่ประเด็นที่ฉันต้องการชี้ให้เห็นก็คือ AUC (Area under ROC) มีปัญหาโดยเฉพาะข้อมูลที่ไม่สมดุล (เรียกว่าเบ้อย่างมาก:มีขนาดใหญ่) สถานการณ์ประเภทนี้พบได้บ่อยในการตรวจจับการกระทำการตรวจจับการทุจริตการทำนายการล้มละลาย นั่นคือตัวอย่างเชิงบวกที่คุณสนใจมีอัตราการเกิดค่อนข้างต่ำ$Skew=\frac{negative\;examples}{positive\;examples}$

ด้วยข้อมูลที่ไม่สมดุลทำให้ AUC ยังคงให้คุณค่าที่กว้างขวางประมาณ 0.8 อย่างไรก็ตามมันค่อนข้างสูงเนื่องจาก FP ขนาดใหญ่แทนที่จะเป็น TP ขนาดใหญ่ (ค่าบวกจริง)

เช่นตัวอย่างด้านล่าง

TP=155,   FN=182
FP=84049, TN=34088

ดังนั้นเมื่อคุณใช้ AUC เพื่อวัดประสิทธิภาพของตัวจําแนกปัญหาคือการเพิ่ม AUC ไม่ได้สะท้อนตัวจําแนกที่ดีขึ้น มันเป็นผลข้างเคียงของตัวอย่างเชิงลบมากเกินไป คุณสามารถลองชุดข้อมูลของคุณได้

กระดาษหันหน้าไปทางข้อเสนอแนะข้อมูลที่ไม่สมดุลสำหรับการใช้งานของตัวชี้วัดประสิทธิภาพที่พบ "ในขณะที่ ROC ไม่ได้รับผลกระทบจากความเบ้โค้งที่จำได้แม่นยำชี้ให้เห็นว่า ROC อาจปกปิดประสิทธิภาพในบางกรณี" การค้นหาตัวชี้วัดประสิทธิภาพที่ดียังคงเป็นคำถามเปิด คะแนน F1 ทั่วไปอาจช่วยให้

โดยที่มีความสำคัญอย่างยิ่งของความแม่นยำเมื่อเปรียบเทียบกับการเรียกคืน$\beta$

จากนั้นคำแนะนำของฉันสำหรับข้อมูลที่ไม่สมดุลนั้นคล้ายกับโพสต์นี้ นอกจากนี้คุณยังสามารถลองตาราง decile ซึ่งสามารถสร้างได้โดยค้นหา "Two-by-Two Classification และ Decile Tables" ในขณะเดียวกันฉันกำลังศึกษาเกี่ยวกับปัญหานี้และจะทำให้ดีขึ้น

การใส่คำง่ายๆเมื่อคุณมีความไม่สมดุลของข้อมูลนั่นคือความแตกต่างระหว่างจำนวนตัวอย่างที่คุณมีสำหรับคลาสบวกและลบนั้นมีขนาดใหญ่คุณควรใช้คะแนน F1 เสมอ มิฉะนั้นคุณสามารถใช้ ROC / AUC curves

สำหรับปัญหาการจำแนกประเภทหลายคลาสการวิเคราะห์และการแสดงภาพ ROC / AUC ไม่ตรงไปตรงมา คุณอาจมองคำถามนี้วิธีการพล็อตเส้นโค้ง ROC ในการจำแนกประเภทมัลติคลาส? . ภายใต้สถานการณ์เช่นนี้การใช้คะแนน F1 อาจเป็นตัวชี้วัดที่ดีกว่า

และคะแนน F1 เป็นตัวเลือกทั่วไปสำหรับปัญหาการดึงข้อมูลและเป็นที่นิยมในการตั้งค่าอุตสาหกรรม นี่คือตัวอย่างที่อธิบายอย่างดีว่าการสร้างโมเดล ML นั้นยาก การปรับใช้พวกเขาในสภาพแวดล้อมทางธุรกิจที่แท้จริงเป็นเรื่องยาก

หากวัตถุประสงค์ของการจำแนกประเภทคือการให้คะแนนตามความน่าจะเป็นการดีกว่าที่จะใช้ AUC ซึ่งค่าเฉลี่ยสูงกว่าเกณฑ์ที่เป็นไปได้ทั้งหมด อย่างไรก็ตามถ้าวัตถุประสงค์ของการจัดหมวดหมู่เพียงต้องการจัดหมวดหมู่ระหว่างสองคลาสที่เป็นไปได้และไม่ต้องการว่าแต่ละคลาสจะทำนายโดยโมเดลได้อย่างไรมันมีความเหมาะสมมากกว่าที่จะใช้ F-score โดยใช้เกณฑ์เฉพาะ