คำถามติดแท็ก roc

ค้นหาสูงและต่ำและไม่สามารถค้นหาว่า AUC ใดที่เกี่ยวข้องกับการทำนายหมายถึงหรือหมายถึง

228 classification  prediction  roc  auc  abbreviation 

ฉันเข้าใจความแตกต่างอย่างเป็นทางการระหว่างพวกเขาสิ่งที่ฉันอยากรู้ก็คือเมื่อมันเกี่ยวข้องกับการใช้อย่างใดอย่างหนึ่งกับอีก พวกเขาให้ข้อมูลเชิงลึกที่สมบูรณ์เกี่ยวกับประสิทธิภาพของระบบการจำแนกประเภท / การตรวจจับที่ให้มาหรือไม่? เมื่อใดที่มีเหตุผลที่จะให้พวกเขาทั้งสองพูดในกระดาษ? แทนที่จะเป็นเพียงหนึ่ง? มีคำอธิบายอื่น ๆ (อาจทันสมัยกว่า) ที่จับประเด็นที่เกี่ยวข้องของทั้ง ROC และการเรียกคืนที่แม่นยำสำหรับระบบการจำแนกประเภทหรือไม่? ฉันสนใจในการโต้แย้งสำหรับทั้งสองกรณีและไบนารี (เช่นเดียวกับทุกกรณี)

159 machine-learning  roc  precision-recall 

ฉันสนใจในการคำนวณพื้นที่ภายใต้เส้นโค้ง (AUC) หรือ c-statistic ด้วยมือสำหรับแบบจำลองการถดถอยแบบโลจิสติกไบนารี ตัวอย่างเช่นในชุดข้อมูลการตรวจสอบความถูกต้องฉันมีค่าจริงสำหรับตัวแปรตาม, การเก็บรักษา (1 = เก็บไว้; 0 = ไม่เก็บไว้), เช่นเดียวกับสถานะการเก็บรักษาที่คาดการณ์ไว้สำหรับการสังเกตแต่ละครั้งที่สร้างขึ้นโดยการวิเคราะห์การถดถอย สร้างโดยใช้ชุดการฝึกอบรม (ซึ่งจะอยู่ในช่วงตั้งแต่ 0 ถึง 1) ความคิดเริ่มต้นของฉันคือการระบุจำนวนของการจำแนกประเภทของโมเดลที่ถูกต้องและหารจำนวนการสังเกตที่ถูกต้องด้วยจำนวนการสังเกตทั้งหมดเพื่อคำนวณ c-statistic โดย "ถูกต้อง" หากสถานะการเก็บรักษาที่แท้จริงของการสังเกต = 1 และสถานะการเก็บข้อมูลที่คาดการณ์คือ> 0.5 แสดงว่าเป็นการจำแนกประเภท "ถูกต้อง" นอกจากนี้หากสถานะการเก็บรักษาที่แท้จริงของการสังเกต = 0 และสถานะการเก็บข้อมูลที่คาดการณ์ไว้คือ <0.5 แสดงว่าเป็นหมวดหมู่ "ถูกต้อง" ด้วย ฉันถือว่า "เน็คไท" จะเกิดขึ้นเมื่อค่าที่คาดการณ์ = 0.5 แต่ปรากฏการณ์นั้นไม่เกิดขึ้นในชุดข้อมูลการตรวจสอบความถูกต้องของฉัน ในทางตรงกันข้ามการจำแนกประเภท "ไม่ถูกต้อง" จะเป็นถ้าสถานะการเก็บรักษาที่แท้จริงของการสังเกต = 1 และสถานะการเก็บข้อมูลที่คาดการณ์ไว้คือ …

78 regression  logistic  classification  roc  auc 

กล่าวอีกนัยหนึ่งแทนที่จะมีปัญหาสองชั้นฉันจัดการกับ 4 คลาสและยังต้องการประเมินประสิทธิภาพโดยใช้ AUC

66 classification  roc 

ฉันมีปัญหาในการเข้าใจเส้นโค้ง ROC มีข้อได้เปรียบ / การปรับปรุงในพื้นที่ภายใต้เส้นโค้ง ROC หรือไม่ถ้าฉันสร้างแบบจำลองที่แตกต่างจากชุดย่อยเฉพาะแต่ละชุดของการฝึกอบรมและใช้มันเพื่อสร้างความน่าจะเป็น ตัวอย่างเช่นถ้ามีค่าเป็นและฉันสร้างแบบจำลองโดยใช้จากค่าที่ 1-4 ของและค่าที่ 8-9 ของและสร้างแบบจำลองโดยใช้ข้อมูลรถไฟที่ยังคงอยู่ ในที่สุดสร้างความน่าจะเป็น ความคิด / ความคิดเห็นใด ๆ จะได้รับการชื่นชมมากyyy{a,a,a,a,b,b,b,b}{a,a,a,a,b,b,b,b}\{a, a, a, a, b, b, b, b\}AAAaaayyyyyyBBB นี่คือรหัส r สำหรับคำอธิบายที่ดีกว่าสำหรับคำถามของฉัน: Y = factor(0,0,0,0,1,1,1,1) X = matirx(rnorm(16,8,2)) ind = c(1,4,8,9) ind2 = -ind mod_A = rpart(Y[ind]~X[ind,]) mod_B = rpart(Y[-ind]~X[-ind,]) mod_full = rpart(Y~X) pred …

57 r  roc 

ฉันมีข้อมูลการทดสอบที่สามารถใช้แยกแยะเซลล์ปกติและเนื้องอก ตามโค้ง ROC มันดูดีสำหรับจุดประสงค์นี้ (พื้นที่ใต้เส้นโค้งคือ 0.9): คำถามของฉันคือ: จะกำหนดจุดตัดสำหรับการทดสอบนี้และช่วงความมั่นใจได้อย่างไรโดยที่การอ่านควรถูกตัดสินว่าไม่ชัดเจน วิธีที่ดีที่สุดในการมองเห็นภาพนี้ggplot2คืออะไร กราฟแสดงผลโดยใช้ROCRและggplot2แพ็คเกจ: #install.packages("ggplot2","ROCR","verification") #if not installed yet library("ggplot2") library("ROCR") library("verification") d <-read.csv2("data.csv", sep=";") pred <- with(d,prediction(x,test)) perf <- performance(pred,"tpr", "fpr") auc <-performance(pred, measure = "auc")@y.values[[1]] rd <- data.frame(x=perf@x.values[[1]],y=perf@y.values[[1]]) p <- ggplot(rd,aes(x=x,y=y)) + geom_path(size=1) p <- p + geom_segment(aes(x=0,y=0,xend=1,yend=1),colour="black",linetype= 2) p <- p …

51 r  data-visualization  confidence-interval  roc  ggplot2 

ฉันมีงานการจัดหมวดหมู่ที่ฉันมีตัวทำนายจำนวนหนึ่ง (หนึ่งในนั้นมีข้อมูลมากที่สุด) และฉันใช้แบบจำลองMARSเพื่อสร้างตัวจําแนกของฉัน (ฉันสนใจในแบบจําลองง่าย ๆ และใช้ glms เพื่อจุดประสงค์ในการอธิบาย ดีเกินไป). ตอนนี้ฉันมีความไม่สมดุลระดับมากในข้อมูลการฝึกอบรม (ประมาณ 2700 ตัวอย่างลบสำหรับตัวอย่างบวกแต่ละตัวอย่าง) เช่นเดียวกับงานสืบค้นข้อมูลฉันมีความกังวลมากขึ้นเกี่ยวกับการทำนายตัวอย่างการทดสอบเชิงบวกอันดับสูงสุด ด้วยเหตุนี้ประสิทธิภาพในการโค้งแม่นยำของ Recall จึงเป็นสิ่งสำคัญสำหรับฉัน ก่อนอื่นฉันเพียงแค่ฝึกฝนโมเดลข้อมูลการฝึกอบรมของฉันเพื่อรักษาความไม่สมดุลของคลาสเหมือนเดิม ฉันเห็นรูปแบบการฝึกของฉันเป็นสีแดงและอินพุตที่สำคัญที่สุดเป็นสีน้ำเงิน การฝึกอบรมเกี่ยวกับข้อมูลที่ไม่สมดุลการประเมินข้อมูลที่ไม่สมดุล : การคิดว่าความไม่สมดุลในชั้นเรียนกำลังลดลงของแบบจำลองเนื่องจากการเรียนรู้ตัวอย่างเชิงบวกอันดับสูงสุดเป็นส่วนสั้น ๆ ของชุดข้อมูลทั้งหมดฉันเพิ่มจุดฝึกอบรมเชิงบวกเพื่อให้ได้ชุดข้อมูลการฝึกอบรมที่สมดุล เมื่อฉันวางแผนการแสดงในชุดการฝึกอบรมที่สมดุลฉันจะได้รับประสิทธิภาพที่ดี ทั้งในส่วนโค้ง PR และ ROC แบบจำลองที่ผ่านการฝึกอบรมของฉันทำได้ดีกว่าอินพุต การฝึกอบรมเกี่ยวกับข้อมูลที่สมดุล (อัปแซมปิน) การประเมินบนข้อมูลที่สมดุล (อัปแซมปิน): อย่างไรก็ตามหากฉันใช้โมเดลนี้ที่ได้รับการฝึกอบรมเกี่ยวกับข้อมูลที่สมดุลเพื่อคาดการณ์ชุดฝึกอบรมที่ไม่สมดุลแบบดั้งเดิมฉันยังคงได้รับประสิทธิภาพที่ไม่ดีบนกราฟเส้นโค้ง การฝึกอบรมเรื่องข้อมูลที่สมดุล (อัปตัวอย่าง), การประเมินข้อมูลที่ไม่สมดุลเดิม: ดังนั้นคำถามของฉันคือ: เหตุผลที่การสร้างภาพข้อมูลของเส้นโค้ง PR แสดงถึงประสิทธิภาพที่ด้อยกว่าของรุ่นที่ได้รับการฝึกอบรมของฉัน (สีแดง) ในขณะที่เส้นโค้ง ROC แสดงการปรับปรุงเนื่องจากความไม่สมดุลของคลาส? วิธี resampling / up-sampling …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

ฉันสับสนเล็กน้อยเกี่ยวกับ Area Under Curve (AUC) ของ ROC และความแม่นยำโดยรวม AUC จะเป็นสัดส่วนกับความแม่นยำโดยรวมหรือไม่ กล่าวอีกนัยหนึ่งเมื่อเรามีความแม่นยำโดยรวมที่มากขึ้นเราจะได้รับ AUC ที่มากขึ้นอย่างแน่นอนหรือไม่ หรือพวกเขาโดยนิยามมีความสัมพันธ์เชิงบวก? หากพวกเขามีความสัมพันธ์เชิงบวกทำไมเราถึงต้องรายงานทั้งสองอย่างในสิ่งพิมพ์บางเล่ม? ในกรณีจริงฉันดำเนินการจัดหมวดหมู่และได้ผลลัพธ์ดังนี้ลักษณนาม A มีความแม่นยำ 85% และ AUC 0.98 และลักษณนาม B มีความแม่นยำ 93% และ AUC 0.92 คำถามคือลักษณนามอะไรดีกว่ากัน? หรือเป็นไปได้ที่จะได้รับผลลัพธ์ที่คล้ายกันเช่นนี้ (ฉันหมายถึงอาจมีข้อผิดพลาดในการใช้งานของฉัน)?

29 classification  roc 

Akaike Information Criterion (AIC) และ c-statistic (พื้นที่ใต้กราฟ ROC) เป็นแบบวัดสองแบบที่เหมาะสำหรับการถดถอยโลจิสติกส์ ฉันมีปัญหาในการอธิบายสิ่งที่เกิดขึ้นเมื่อผลลัพธ์ของมาตรการทั้งสองไม่สอดคล้องกัน ฉันเดาว่าพวกเขากำลังวัดมุมมองที่แตกต่างกันเล็กน้อยของแบบจำลอง แต่ลักษณะเฉพาะเหล่านั้นคืออะไร ฉันมีแบบจำลองการถดถอย 3 แบบ รุ่น M0 มีโควาเรียตมาตรฐาน รุ่น M1 เพิ่ม X1 ลงใน M0; รุ่น M2 เพิ่ม X2 ไปยัง M0 (ดังนั้น M1 และ M2 จึงไม่ซ้อนกัน) ความแตกต่างใน AIC จาก M0 ถึงทั้ง M1 และ M2 อยู่ที่ประมาณ 15 บ่งชี้ว่า X1 และ X2 ปรับปรุงทั้งแบบพอดีและประมาณเท่ากัน …

29 logistic  roc  aic  auc 

ฉันมีตัวจําแนกสองตัว A: เครือข่าย Bayesian ที่ไร้เดียงสา B: ต้นไม้ (เชื่อมต่อโดยลำพัง) เครือข่ายแบบเบย์ ในแง่ของความแม่นยำและมาตรการอื่น ๆ A ทำงานค่อนข้างแย่กว่า B. อย่างไรก็ตามเมื่อฉันใช้ R แพ็คเกจ ROCR และ AUC เพื่อทำการวิเคราะห์ ROC ปรากฎว่า AUC สำหรับ A สูงกว่า AUC สำหรับ B เหตุใดจึงเป็นเช่นนี้ เกิดขึ้น? จริงบวก (tp), เท็จบวก (fp), ลบเท็จ (fn), ลบจริง (tn), ความไว (เซน), ความจำเพาะ (spec), ค่าพยากรณ์เชิงบวก (ppv), ค่าพยากรณ์ลบ (npv), และ ความแม่นยำ …

29 machine-learning  classification  roc  auc  bayesian-network 

ฉันเพิ่งเสร็จสิ้นการแข่งขัน Kaggle ซึ่งใช้คะแนน roc auc ตามข้อกำหนดการแข่งขัน ก่อนหน้าโครงการนี้ปกติฉันใช้คะแนน f1 เป็นตัวชี้วัดเพื่อวัดประสิทธิภาพของแบบจำลอง ก้าวไปข้างหน้าฉันสงสัยว่าฉันควรเลือกระหว่างสองเมตริกเหล่านี้อย่างไร เมื่อใดควรใช้สิ่งไหนและข้อดีและข้อเสียของพวกเขาคืออะไร แต่ฉันอ่านบทความที่นี่อะไรคือความแตกต่างระหว่างคะแนน AUC และ F1 แต่มันไม่ได้บอกฉันว่าจะใช้เมื่อไหร่ ขอบคุณล่วงหน้าสำหรับความช่วยเหลือใด ๆ !

26 machine-learning  modeling  roc  scoring-rules 

ในการอภิปราย: วิธีสร้างเส้นโค้ง roc สำหรับการจำแนกเลขฐานสองฉันคิดว่าความสับสนคือ "ตัวจําแนกแบบไบนารี" (ซึ่งเป็นลักษณนามใด ๆ ที่แยก 2 คลาส) สำหรับหยางสิ่งที่เรียกว่า "ตัวจําแนกแบบแยก" (ซึ่งผลิต ผลลัพธ์ที่ไม่ต่อเนื่อง 0/1 เหมือน SVM) และไม่ใช่เอาต์พุตต่อเนื่องเช่นตัวแยกประเภท ANN หรือ Bayes ... ฯลฯ ดังนั้นการอภิปรายเกี่ยวกับวิธีการที่ ROC ถูกพล็อตสำหรับ "ตัวแยกประเภทไบนารีต่อเนื่อง" และคำตอบก็คือเรียงลำดับผลลัพธ์ ด้วยคะแนนของพวกเขาเนื่องจากผลลัพธ์เป็นแบบต่อเนื่องและมีการใช้เกณฑ์เพื่อสร้างจุดแต่ละจุดบนกราฟ ROC คำถามของฉันสำหรับ "ตัวแยกประเภทไบนารีไม่ต่อเนื่อง" เช่น SVM ค่าเอาต์พุตเป็น 0 หรือ 1 ดังนั้น ROC จะสร้างเพียงจุดเดียวและไม่ใช่เส้นโค้ง ฉันงงว่าทำไมเราถึงเรียกมันว่าเป็นเส้นโค้ง !! เรายังพูดถึงเกณฑ์ได้หรือไม่? หนึ่งสามารถใช้ thresholds ใน SVM โดยเฉพาะได้อย่างไร คนเราสามารถคำนวณ …

25 cross-validation  roc  auc 

ฉันมีค่าTrue Positive (TP)และFalse Negative (FN)ดังต่อไปนี้: TP = 0.25 FN = 0.75 จากค่าเหล่านั้นเราสามารถคำนวณFalse Positive (FP)และTrue Negative (TN)?

24 roc  confusion-matrix  sensitivity-specificity 

ภาพด้านล่างแสดงเส้นโค้งต่อเนื่องของอัตราบวกเป็นบวกเทียบกับอัตราบวกจริง: อย่างไรก็ตามสิ่งที่ฉันไม่ได้รับทันทีคือวิธีคำนวณอัตราเหล่านี้ หากมีการใช้วิธีการกับชุดข้อมูลจะมีอัตรา FP ที่แน่นอนและอัตรา FN ที่แน่นอน ไม่ได้หมายความว่าแต่ละวิธีควรมีจุดเดียวมากกว่าเป็นเส้นโค้งใช่หรือไม่ แน่นอนว่ามีหลายวิธีในการกำหนดค่าวิธีการสร้างจุดที่แตกต่างกันหลายอย่าง แต่ก็ไม่ชัดเจนสำหรับฉันว่ามีอัตราความต่อเนื่องนี้หรือวิธีที่สร้างขึ้น

22 machine-learning  data-visualization  roc  auc 

คำนำ นี่คือการโพสต์ยาว หากคุณกำลังอ่านสิ่งนี้อีกครั้งโปรดทราบว่าฉันได้แก้ไขส่วนคำถามแล้วแม้ว่าเนื้อหาพื้นหลังจะยังคงเหมือนเดิม นอกจากนี้ฉันเชื่อว่าฉันได้คิดวิธีแก้ปัญหา โซลูชันนั้นจะปรากฏที่ด้านล่างของโพสต์ ขอบคุณ CliffAB ที่ชี้ให้เห็นว่าโซลูชันดั้งเดิมของฉัน (แก้ไขจากโพสต์นี้ดูประวัติการแก้ไขสำหรับโซลูชันนั้น) จำเป็นต้องสร้างการประเมินแบบเอนเอียง ปัญหา ในการจำแนกปัญหาการเรียนรู้ของเครื่องวิธีหนึ่งในการประเมินประสิทธิภาพของแบบจำลองคือการเปรียบเทียบ ROC curves หรือพื้นที่ภายใต้ ROC curve (AUC) อย่างไรก็ตามฉันสังเกตว่ามีการพูดคุยกันเล็กน้อยเกี่ยวกับความแปรปรวนของเส้นโค้ง ROC หรือค่าประมาณของ AUC นั่นคือพวกเขากำลังสถิติจากข้อมูลและมีข้อผิดพลาดบางอย่างที่เกี่ยวข้องกับพวกเขา การหาข้อผิดพลาดในการประมาณค่าเหล่านี้จะช่วยจำแนกลักษณะตัวอย่างเช่นว่าตัวจําแนกตัวหนึ่งเป็นจริงหรือดีกว่าตัวอื่น ฉันได้พัฒนาวิธีการต่อไปนี้ซึ่งฉันเรียกการวิเคราะห์แบบเบย์ของเส้นโค้ง ROC เพื่อแก้ไขปัญหานี้ การสังเกตของฉันมีสองข้อสังเกตสำคัญเกี่ยวกับปัญหา: เส้นโค้ง ROC ประกอบด้วยปริมาณที่ประมาณจากข้อมูลและสามารถแก้ไขการวิเคราะห์แบบเบย์ เส้นโค้ง ROC ประกอบด้วยการวางแผนอัตราบวกจริงTPR(θ)TPR(θ)TPR(\theta)เทียบกับอัตราบวกปลอมFPR(θ)FPR(θ)FPR(\theta)ซึ่งแต่ละตัวนั้นประมาณจากข้อมูล ฉันพิจารณาฟังก์ชันTPRTPRTPRและFPRFPRFPRของθθ\thetaเกณฑ์การตัดสินใจใช้เพื่อจัดเรียงคลาส A จาก B (โหวตต้นไม้ในป่าสุ่มระยะห่างจากไฮเปอร์เพลนใน SVM คาดการณ์ความน่าจะเป็นในการถดถอยโลจิสติกส์เป็นต้น) การเปลี่ยนแปลงค่าของเกณฑ์การตัดสินใจθθ\thetaจะส่งกลับค่าประมาณที่แตกต่างกันของTPRTPRTPRและ R ยิ่งกว่านั้นเราสามารถพิจารณาT P R ( θ )เป็นค่าประมาณความน่าจะเป็นที่จะประสบความสำเร็จในลำดับการทดลองของ Bernoulli …

21 machine-learning  bayesian  sampling  roc  auc