เพิ่มประสิทธิภาพ auc vs logloss ในปัญหาการจำแนกประเภทไบนารี

ฉันกำลังทำงานการจำแนกประเภทแบบไบนารีที่ความน่าจะเป็นผลลัพธ์อยู่ในระดับต่ำ (ไม่เกิน 3%) ฉันกำลังพยายามตัดสินใจว่าจะเพิ่มประสิทธิภาพโดย AUC หรือบันทึกการสูญเสีย เท่าที่ฉันเข้าใจ AUC จะเพิ่มความสามารถของโมเดลในการแยกแยะระหว่างคลาสขณะที่ logloss จะลงโทษความแตกต่างระหว่างความน่าจะเป็นจริงและประมาณ ในงานของฉันเป็นสิ่งสำคัญอย่างยิ่งในการสอบเทียบความถูกต้องแม่นยำ ดังนั้นฉันจะเลือก logloss แต่ฉันสงสัยว่ารูปแบบการบันทึกที่ดีที่สุดควรเป็น AUC / GINI ที่ดีที่สุดหรือไม่

ดังที่คุณพูดถึง AUC เป็นสถิติอันดับ (เช่นค่าคงที่ของขนาด) และการสูญเสียบันทึกเป็นสถิติการสอบเทียบ หนึ่งอาจสร้างแบบจำลองเล็กน้อยซึ่งมี AUC เดียวกัน แต่ล้มเหลวในการลดการสูญเสียบันทึกให้น้อยที่สุดโมเดลอื่น ๆ โดยการปรับค่าที่ทำนายไว้ พิจารณา:

auc <-  function(prediction, actual) {
  mann_whit <- wilcox.test(prediction~actual)$statistic
  1 - mann_whit / (sum(actual)*as.double(sum(!actual)))
}

log_loss <- function (prediction, actual) {
  -1/length(prediction) * sum(actual * log(prediction) + (1-actual) * log(1-prediction))
}

sampled_data <- function(effect_size, positive_prior = .03, n_obs = 5e3) {
  y <- rbinom(n_obs, size = 1, prob = positive_prior)
  data.frame( y = y,
              x1 =rnorm(n_obs, mean = ifelse(y==1, effect_size, 0)))
}

train_data <- sampled_data(4)
m1 <- glm(y~x1, data = train_data, family = 'binomial')
m2 <- m1
m2$coefficients[2] <- 2 * m2$coefficients[2]

m1_predictions <- predict(m1, newdata = train_data, type= 'response')
m2_predictions <- predict(m2, newdata = train_data, type= 'response')

auc(m1_predictions, train_data$y)
#0.9925867 
auc(m2_predictions, train_data$y)
#0.9925867 

log_loss(m1_predictions, train_data$y)
#0.01985058
log_loss(m2_predictions, train_data$y)
#0.2355433

ดังนั้นเราไม่สามารถพูดได้ว่าแบบจำลองการเพิ่ม AUC ให้มากที่สุดหมายถึงการลดการสูญเสียการบันทึก ไม่ว่ารูปแบบการลดการสูญเสียบันทึกจะสอดคล้องกับ AUC ที่ขยายใหญ่สุดหรือไม่นั้นจะขึ้นอยู่กับบริบทอย่างมากหรือไม่ ความสามารถในการแยกชั้น, แบบจำลองความลำเอียง ฯลฯ ในทางปฏิบัติเราอาจพิจารณาความสัมพันธ์ที่อ่อนแอ แต่โดยทั่วไปแล้วพวกเขามีวัตถุประสงค์ที่แตกต่างกัน ลองพิจารณาตัวอย่างต่อไปนี้ซึ่งทำให้การแยกชั้นเพิ่มขึ้น (ขนาดผลกระทบของตัวทำนายของเรา):

for (effect_size in 1:7) {
  results <- dplyr::bind_rows(lapply(1:100, function(trial) {
                                    train_data <- sampled_data(effect_size)
                                    m <- glm(y~x1, data = train_data, family = 'binomial')
                                    predictions <- predict(m, type = 'response')
                                    list(auc = auc(predictions, train_data$y),
                                         log_loss = log_loss(predictions, train_data$y),
                                         effect_size = effect_size)
                                  }))
  plot(results$auc, results$log_loss, main = paste("Effect size =", effect_size))
  readline()
}

ป้ายขาดดุลพื้นที่ใต้เส้นโค้งแม่นยำเรียกคืนเป็นที่นิยม AUC ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4349800/หรืองูหลาม scikit เรียนรู้เอกสาร )

นอกจากนี้หากเป้าหมายของคุณคือเพิ่มความแม่นยำสูงสุดคุณสามารถลองทำการตรวจสอบความถูกต้องไขว้กันเพื่อเลือกแบบจำลองที่ดีที่สุด (อัลกอริทึม + พารามิเตอร์ไฮเปอร์พารามิเตอร์) โดยใช้ "ความแม่นยำ" เป็นตัวชี้วัดประสิทธิภาพ