โอเคจำความสัมพันธ์ระหว่าง (อัตราบวกเท็จ), T P R (อัตราบวกจริง) และA C C (ความแม่นยำ):FPRTPRCค
TPR = ∑ จริงบวก∑ กรณีบวก
FPR = ∑ บวกเท็จΣ กรณีเชิงลบ
Cค= TPR ⋅ ∑กรณีบวก+ ( 1 - FPR ) ⋅ ∑ กรณีลบΣ กรณีบวก+ Σ กรณีเชิงลบ
CคTPRFPR
Cค= TPR + 1 - FPR2
ยังไม่มีข้อความ-≫ N+
Cค( N-≫ N+) ≈ 1 - FPR
CคFPR
ดูตัวอย่างนี้จำนวนเชิงลบมีจำนวนบวก 1,000: 1
data = c(rnorm(10L), rnorm(10000L)+1)
lab = c(rep(1, 10L), rep(-1, 10000L))
plot(data, lab, col = lab + 3)
tresh = c(-10, data[lab == 1], 10)
do.call(function(x) abline(v = x, col = "gray"), list(tresh))
pred = lapply(tresh, function (x) ifelse(data <= x, 1, -1))
res = data.frame(
acc = sapply(pred, function(x) sum(x == lab)/length(lab)),
tpr = sapply(pred, function(x) sum(lab == x & x == 1)/sum(lab == 1)),
fpr = sapply(pred, function(x) sum(lab != x & x == 1)/sum(lab != 1))
)
res[order(res$acc),]
#> res[order(res$acc),]
# acc tpr fpr
#12 0.000999001 1.0 1.0000
#11 0.189110889 1.0 0.8117
#9 0.500099900 0.9 0.5003
#2 0.757742258 0.8 0.2423
#5 0.763136863 0.7 0.2368
#4 0.792007992 0.6 0.2078
#10 0.807292707 0.5 0.1924
#3 0.884215784 0.4 0.1153
#7 0.890709291 0.3 0.1087
#6 0.903096903 0.2 0.0962
#8 0.971428571 0.1 0.0277
#1 0.999000999 0.0 0.0000
ดูว่าเมื่อfpr
ใดที่ 0 acc
คือสูงสุด
และนี่คือ ROC พร้อมคำอธิบายประกอบที่แม่นยำ
plot(sort(res$fpr), sort(res$tpr), type = "S", ylab = "TPR", xlab = "FPR")
text(sort(res$fpr), sort(res$tpr), pos = 4L, lab = round(res$acc[order(res$fpr)], 3L))
abline(a = 0, b = 1)
abline(a = 1, b = -1)
Uค
1-sum(res$fpr[-12]*0.1)
#[1] 0.74608
บรรทัดล่างคือคุณสามารถเพิ่มประสิทธิภาพความแม่นยำในวิธีที่ทำให้รูปแบบปลอม ( tpr
= 0 ในตัวอย่างของฉัน) นั่นเป็นเพราะความแม่นยำไม่ใช่ตัวชี้วัดที่ดีการแบ่งขั้วผลควรถูกทิ้งไว้กับผู้มีอำนาจตัดสินใจ
TPR = 1 - FPR
เมื่อคุณมีคลาสที่ไม่สมดุลความแม่นยำในการปรับให้เหมาะสมอาจเป็นเรื่องเล็กน้อย
Uค
และที่สำคัญที่สุดของทั้งหมด: ทำไม AUC ถึงสูงกว่าสำหรับลักษณนามที่มีความแม่นยำน้อยกว่าตัวที่มีความแม่นยำมากกว่า