การใช้แพ็กเกจคาเร็ตนั้นเป็นไปได้หรือไม่ที่จะได้รับเมทริกซ์ความสับสนสำหรับค่าเกณฑ์เฉพาะ

ผมเคยได้รับรูปแบบการถดถอยโลจิสติก (ผ่านtrain) สำหรับการตอบสนองไบนารีและฉันได้รับเมทริกซ์ความสับสนโลจิสติกผ่านทางในconfusionMatrix caretมันให้เมทริกซ์ความสับสนของโมเดลโลจิสติกถึงฉัน แต่ฉันไม่แน่ใจว่าจะใช้เกณฑ์ใดในการรับ ฉันจะรับเมทริกซ์ความสับสนสำหรับค่าเกณฑ์เฉพาะที่ใช้confusionMatrixในได้caretอย่างไร

โมเดลการจำแนกประเภทส่วนใหญ่ใน R สร้างทั้งการทำนายคลาสและความน่าจะเป็นสำหรับแต่ละคลาส สำหรับข้อมูลไบนารีในเกือบทุกกรณีการคาดการณ์ของชั้นเรียนจะขึ้นอยู่กับการตัดความน่าจะเป็น 50%

glmเหมือนกัน. ด้วยการcaretใช้predict(object, newdata)จะช่วยให้คุณมีคลาสที่ทำนายไว้และpredict(object, new data, type = "prob")จะให้ความน่าจะเป็นเฉพาะคลาสของคุณ (เมื่อobjectสร้างโดยtrain)

คุณสามารถทำสิ่งต่าง ๆ โดยการกำหนดรูปแบบของคุณเองและใช้สิ่งที่คุณต้องการ caret เว็บไซต์นอกจากนี้ยังมีตัวอย่างที่ใช้ในการเพิ่มประสิทธิภาพ resampling ตัดความน่าจะเป็น

TL; DR

confusionMatrix ใช้คลาสที่คาดการณ์และทำให้ความน่าจะเป็นลดลง 50%

แม็กซ์

มีวิธีที่ง่ายมากสมมติว่าtune <- train(...):

probsTest <- predict(tune, test, type = "prob")
threshold <- 0.5
pred      <- factor( ifelse(probsTest[, "yes"] > threshold, "yes", "no") )
pred      <- relevel(pred, "yes")   # you may or may not need this; I did
confusionMatrix(pred, test$response)

เห็นได้ชัดว่าคุณสามารถตั้งค่าขีด จำกัด เป็นสิ่งที่คุณต้องการลองหรือเลือก "ดีที่สุด" ซึ่งหมายถึงความจำเพาะและความไวสูงสุดที่รวมกันสูงสุด:

library(pROC)
probsTrain <- predict(tune, train, type = "prob")
rocCurve   <- roc(response = train$response,
                      predictor = probsTrain[, "yes"],
                      levels = rev(levels(train$response)))
plot(rocCurve, print.thres = "best")

หลังจากดูตัวอย่าง Max ที่โพสต์แล้วฉันไม่แน่ใจว่ามีความแตกต่างทางสถิติบ้างไหมที่ทำให้แนวทางของฉันต้องการน้อยลง