คำถามติดแท็ก log-loss

ฉันได้ฝึกสองรุ่น (ตัวแยกประเภทไบนารีโดยใช้ h2o AutoML) และฉันต้องการเลือกหนึ่งตัวที่จะใช้ ฉันมีผลลัพธ์ต่อไปนี้: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 aucและloglossคอลัมน์ที่เป็นตัวชี้วัดการตรวจสอบข้าม (การตรวจสอบข้ามใช้เฉพาะข้อมูลการฝึกอบรม) พบ..._trainและ..._validตัวชี้วัดโดยการเรียกใช้การฝึกอบรมและการตรวจสอบความถูกต้องผ่านรูปแบบตามลำดับ ฉันต้องการใช้logloss_validหรือgini_validเพื่อเลือกรุ่นที่ดีที่สุด รุ่น 1 มี gini ที่ดีกว่า (เช่น AUC ที่ดีขึ้น) แต่รุ่นที่สองมี logloss ที่ดีกว่า คำถามของฉันคือแบบใดที่ฉันจะเลือกซึ่งฉันคิดว่าจะเป็นคำถามอะไรคือข้อดี / ข้อเสียของการใช้ gini (AUC) หรือ logloss เพื่อการตัดสินใจ

15 model-selection  validation  auc  gini  log-loss 

ฉันกำลังทำงานการจำแนกประเภทแบบไบนารีที่ความน่าจะเป็นผลลัพธ์อยู่ในระดับต่ำ (ไม่เกิน 3%) ฉันกำลังพยายามตัดสินใจว่าจะเพิ่มประสิทธิภาพโดย AUC หรือบันทึกการสูญเสีย เท่าที่ฉันเข้าใจ AUC จะเพิ่มความสามารถของโมเดลในการแยกแยะระหว่างคลาสขณะที่ logloss จะลงโทษความแตกต่างระหว่างความน่าจะเป็นจริงและประมาณ ในงานของฉันเป็นสิ่งสำคัญอย่างยิ่งในการสอบเทียบความถูกต้องแม่นยำ ดังนั้นฉันจะเลือก logloss แต่ฉันสงสัยว่ารูปแบบการบันทึกที่ดีที่สุดควรเป็น AUC / GINI ที่ดีที่สุดหรือไม่

12 classification  binary-data  auc  log-loss