คำถามติดแท็ก auc

AUC ย่อมาจาก Area Under the Curve และมักจะอ้างถึงพื้นที่ภายใต้เส้นโค้งลักษณะตัวดำเนินการรับ (ROC)

3
อะไรคือความแตกต่างระหว่างคะแนน AUC และ F1
คะแนน F1 คือค่าเฉลี่ยฮาร์โมนิกของความแม่นยำและการเรียกคืน แกน y ของการเรียกคืนเป็นอัตราบวกจริง (ซึ่งก็เรียกคืนเช่นกัน) ดังนั้นตัวแยกประเภทบางครั้งสามารถเรียกคืนได้ต่ำ แต่ AUC สูงมากนั่นหมายความว่าอย่างไร อะไรคือความแตกต่างระหว่างคะแนน AUC และ F1

1
เหตุใดจึงใช้คะแนน Normalized Gini แทน AUC เพื่อประเมินผล
การแข่งขันของ Kaggle การแข่งขันการทำนายความปลอดภัยอย่างปลอดภัยของ Porto Seguroใช้คะแนน Normalized Gini เป็นตัวชี้วัดการประเมินผลและสิ่งนี้ทำให้ฉันสงสัยเกี่ยวกับเหตุผลของการเลือกนี้ อะไรคือข้อดีของการใช้คะแนน gini ปกติแทนการวัดทั่วไปมากที่สุดเช่น AUC สำหรับการประเมิน?

3
นัยสำคัญทางสถิติ (p-value) สำหรับการเปรียบเทียบตัวแยกประเภทสองตัวที่เกี่ยวข้องกับ (ค่าเฉลี่ย) ROC AUC ความไวและความเฉพาะเจาะจง
ฉันมีชุดทดสอบ 100 กรณีและตัวแยกประเภทสองตัว ฉันสร้างการคาดคะเนและคำนวณ ROC AUC ความไวและความเฉพาะเจาะจงสำหรับตัวแยกประเภททั้งสอง คำถามที่ 1: ฉันจะคำนวณ p-value เพื่อตรวจสอบว่ามีค่าใดดีกว่าค่าอื่น ๆ ที่เกี่ยวข้องกับคะแนนทั้งหมด (ROC AUC, ความไว, ความเฉพาะเจาะจง) อย่างมีนัยสำคัญหรือไม่ ตอนนี้สำหรับชุดทดสอบ 100 ชุดเดียวกันฉันมีการกำหนดคุณสมบัติที่แตกต่างและเป็นอิสระสำหรับแต่ละกรณี นี่เป็นเพราะคุณสมบัติของฉันได้รับการแก้ไข แต่เป็นแบบอัตนัยและมีให้โดยหลายวิชา (5) ดังนั้นฉันจึงประเมินตัวแยกประเภทสองของฉันอีกครั้งสำหรับชุดทดสอบ "5" ของฉันและได้รับ 5 ROC AUCs ความไว 5 และความเฉพาะเจาะจง 5 ประการสำหรับตัวแยกประเภททั้งสอง จากนั้นฉันคำนวณค่าเฉลี่ยของการวัดประสิทธิภาพสำหรับ 5 วิชา (ROC AUC หมายถึงความไวและความจำเพาะเฉลี่ย) สำหรับตัวแยกประเภททั้งสอง คำถามที่ 2: ฉันจะคำนวณค่า p-value เพื่อตรวจสอบว่ามีค่าใดดีกว่าค่าเฉลี่ยอย่างมีนัยสำคัญ (หมายถึง ROC …

3
จะได้รับการตีความความน่าจะเป็นของ AUC อย่างไร
ทำไมพื้นที่ภายใต้ ROC โค้งความน่าจะเป็นที่ตัวจําแนกจะจัดอันดับอินสแตนซ์ "บวก" ที่เลือกแบบสุ่ม (จากการทำนายที่ดึงมา) สูงกว่าแบบสุ่ม "บวก" ที่เลือกโดยสุ่ม (จากชั้นบวกดั้งเดิม) เราจะพิสูจน์คำแถลงนี้ได้อย่างไรในเชิงคณิตศาสตร์โดยใช้อินทิกรัลโดยให้ CDFs และ PDF ของการแจกแจงคลาสที่เป็นบวกและลบจริง
14 probability  roc  auc 

1
การถดถอยโลจิสติกการเพิ่มความเป็นไปได้สูงสุดนั้นจำเป็นต้องเพิ่ม AUC ให้มากกว่าแบบจำลองเชิงเส้นหรือไม่
เมื่อได้รับชุดข้อมูลที่มีผลลัพธ์แบบไบนารีY∈ { 0 , 1 }ny∈{0,1}ny\in\{0,1\}^nและเมทริกซ์ตัวทำนายบางตัวX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}แบบจำลองการถดถอยแบบโลจิสติกมาตรฐานประมาณค่าสัมประสิทธิ์βMLEβMLE\beta_{MLE}ซึ่งเพิ่มความน่าจะเป็นทวินาม เมื่อXXXอยู่ในอันดับเต็มβMLEβMLE\beta_{MLE}นั้นมีเอกลักษณ์ เมื่อไม่มีการแยกที่สมบูรณ์แบบมันจะ จำกัด ไม่แบบนี้โอกาสสูงสุดยังเพิ่ม ROC AUC (aka ccc -statistic) หรือไม่มีอยู่ประมาณการค่าสัมประสิทธิ์บางβAUC≠βMLEβAUC≠βMLE\beta_{AUC} \neq \beta_{MLE}ซึ่งจะได้รับสูงกว่า ROC AUC? ถ้ามันเป็นความจริงที่ MLE ไม่จำเป็นต้องเพิ่ม ROC AUC ให้มากที่สุดอีกวิธีหนึ่งในการดูคำถามนี้คือ "มีทางเลือกอื่นในการเพิ่มความน่าจะเป็นซึ่งจะเพิ่ม ROC AUC สูงสุดของการถดถอยโลจิสติกเสมอหรือไม่" ฉันสมมติว่าแบบจำลองนั้นเหมือนกัน: เราไม่ได้เพิ่มหรือลบตัวทำนายในXXXหรือเปลี่ยนแปลงข้อกำหนดของแบบจำลองและฉันสมมติว่าแบบจำลองความน่าจะเป็นสูงสุดและ AUC-maximizing model กำลังใช้ฟังก์ชันลิงก์เดียวกัน

1
Comparisson ของทั้งสองรุ่นเมื่อ ROC curves ข้ามซึ่งกันและกัน
มาตรการทั่วไปหนึ่งที่ใช้ในการเปรียบเทียบแบบจำลองการจำแนกสองแบบขึ้นไปคือการใช้พื้นที่ใต้กราฟ ROC (AUC) เป็นวิธีการประเมินประสิทธิภาพทางอ้อม ในกรณีนี้โมเดลที่มี AUC ขนาดใหญ่มักตีความว่าทำงานได้ดีกว่าโมเดลที่มี AUC ขนาดเล็กกว่า แต่ตาม Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ) เมื่อเส้นโค้งทั้งคู่ข้ามกันการเปรียบเทียบดังกล่าวไม่สามารถใช้งานได้อีกต่อไป ทำไมถึงเป็นเช่นนั้น? ตัวอย่างเช่นมีสิ่งใดที่สามารถตรวจสอบเกี่ยวกับแบบจำลอง A, B และ C ตาม ROC curves และ AUCs bellow?

1
ประเมิน Random Forest: OOB กับ CV
เมื่อเราประเมินคุณภาพของป่าสุ่มตัวอย่างเช่นใช้ AUC มีความเหมาะสมกว่าหรือไม่ในการคำนวณปริมาณเหล่านี้ผ่านตัวอย่าง Out of Bag หรือชุดตรวจสอบข้ามที่ถูกระงับไว้? ฉันได้ยินมาว่าการคำนวณมันผ่านตัวอย่าง OOB ให้การประเมินในแง่ร้ายมากกว่า แต่ฉันไม่เห็นสาเหตุ

1
การเชื่อมต่อระหว่าง (d-prime) และ AUC (Area Under the ROC Curve); สมมติฐานพื้นฐาน
ในการเรียนรู้ของเครื่องเราอาจใช้พื้นที่ใต้เส้นโค้ง ROC (มักเรียกว่าAUCย่อหรือ AUROC) เพื่อสรุปว่าระบบสามารถแยกแยะระหว่างสองประเภทได้ดีเพียงใด ในทฤษฎีการตรวจจับสัญญาณมักใช้ (ดัชนีความไว)เพื่อวัตถุประสงค์ที่คล้ายกัน ทั้งสองมีความเกี่ยวข้องใกล้ชิดและผมเชื่อว่าพวกเขาจะเทียบเท่ากับแต่ละอื่น ๆ หากสมมติฐานบางอย่างมีความพึงพอใจd′d′d' การคำนวณมักจะนำเสนอโดยยึดตามการแจกแจงแบบปกติสำหรับการแจกแจงสัญญาณ (ดูลิงค์วิกิพีเดียด้านบนเป็นต้น) การคำนวณโค้ง ROC ไม่ได้ทำให้สมมติฐานนี้: มันใช้กับตัวจําแนกใด ๆ ที่ส่งออกเกณฑ์การตัดสินใจอย่างต่อเนื่องมูลค่าที่สามารถเกณฑ์d′d′d' วิกิพีเดียกล่าวว่าเทียบเท่ากับ1 ดูเหมือนว่าจะถูกต้องถ้าสมมติฐานของทั้งสองมีความพึงพอใจ; แต่ถ้าสมมติฐานไม่เหมือนกันมันไม่ใช่ความจริงสากล 2 AUC - 1d′d′d'2AUC−12AUC−12 \text{AUC} - 1 มันยุติธรรมหรือไม่ที่จะแสดงลักษณะของความแตกต่างของข้อสันนิษฐานเนื่องจาก "AUC ทำให้สมมติฐานน้อยลงเกี่ยวกับการแจกแจงพื้นฐาน" หรือเป็นใช้กันอย่างแพร่หลายเช่นเดียวกับ AUC แต่เป็นเพียงการปฏิบัติทั่วไปที่ผู้ใช้มีแนวโน้มที่จะใช้การคำนวณที่ถือว่าการแจกแจงปกติ? มีข้อแตกต่างอื่น ๆ ในสมมติฐานพื้นฐานที่ฉันพลาดหรือไม่?d ′d′d′d'd′d′d'

2
สัมประสิทธิ์ของลูกเต๋าเหมือนกับความถูกต้องหรือไม่?
ผมเจอค่าสัมประสิทธิ์ลูกเต๋าสำหรับความคล้ายคลึงกันเสียง ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) และความถูกต้อง ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) สำหรับฉันแล้วดูเหมือนว่ามาตรการทั้งสองนี้เหมือนกัน ความคิดใด ๆ

3
แบบจำลองของฉันดีหรือไม่ขึ้นอยู่กับค่าการวินิจฉัยของเมตริก (
ฉันติดตั้งโมเดลของฉันแล้วและพยายามเข้าใจว่ามันดีหรือไม่ ฉันได้คำนวณตัวชี้วัดที่แนะนำเพื่อประเมิน ( ข้อผิดพลาด / AUC / ความถูกต้อง / การคาดการณ์ / ฯลฯ ) แต่ไม่ทราบว่าจะตีความได้อย่างไร ในระยะสั้นฉันจะบอกได้อย่างไรว่าแบบจำลองของฉันดีตามเมตริกหรือไม่ เป็น 0.6 (ตัวอย่าง) เพียงพอที่จะแจ้งให้เราดำเนินการวาดข้อสรุปหรือการตัดสินใจธุรกิจ / วิทยาศาสตร์ฐาน?R2R2R^2R2R2R^2 คำถามนี้ตั้งใจกว้างเพื่อครอบคลุมสถานการณ์ที่สมาชิกเผชิญบ่อยครั้ง คำถามดังกล่าวอาจถูกปิดซ้ำซ้อนกับคำถามนี้ การแก้ไขเพื่อขยายขอบเขตนอกเหนือจากตัวชี้วัดที่กล่าวถึงที่นี่ยินดีต้อนรับเช่นเดียวกับคำตอบเพิ่มเติมโดยเฉพาะอย่างยิ่งสิ่งที่ให้ข้อมูลเชิงลึกเกี่ยวกับเมตริกประเภทอื่น

2
เพิ่มประสิทธิภาพ auc vs logloss ในปัญหาการจำแนกประเภทไบนารี
ฉันกำลังทำงานการจำแนกประเภทแบบไบนารีที่ความน่าจะเป็นผลลัพธ์อยู่ในระดับต่ำ (ไม่เกิน 3%) ฉันกำลังพยายามตัดสินใจว่าจะเพิ่มประสิทธิภาพโดย AUC หรือบันทึกการสูญเสีย เท่าที่ฉันเข้าใจ AUC จะเพิ่มความสามารถของโมเดลในการแยกแยะระหว่างคลาสขณะที่ logloss จะลงโทษความแตกต่างระหว่างความน่าจะเป็นจริงและประมาณ ในงานของฉันเป็นสิ่งสำคัญอย่างยิ่งในการสอบเทียบความถูกต้องแม่นยำ ดังนั้นฉันจะเลือก logloss แต่ฉันสงสัยว่ารูปแบบการบันทึกที่ดีที่สุดควรเป็น AUC / GINI ที่ดีที่สุดหรือไม่

2
เปรียบเทียบตัวแยกประเภทตาม AUROC หรือความแม่นยำ
ฉันมีปัญหาการจำแนกเลขฐานสองและฉันได้ทดสอบตัวแยกประเภทที่แตกต่างกัน: ฉันต้องการเปรียบเทียบตัวแยกประเภท ข้อใดเป็นค่าวัด AUC หรือความแม่นยำที่ดีกว่า และทำไม? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

1
R / mgcv: เพราะเหตุใดผลิตภัณฑ์ te () และ ti () เทนเซอร์จึงให้พื้นผิวที่แตกต่างกัน
mgcvแพคเกจสำหรับการRมีสองฟังก์ชั่นสำหรับการปฏิสัมพันธ์กระชับเมตริกซ์ผลิตภัณฑ์: และte() ti()ฉันเข้าใจการแบ่งขั้นพื้นฐานของการใช้แรงงานระหว่างคนทั้งสอง (ปรับให้เหมาะสมกับการทำงานแบบไม่เป็นเชิงเส้นเปรียบเทียบกับการย่อยสลายการโต้ตอบนี้เป็นผลกระทบหลักและการโต้ตอบ) สิ่งที่ฉันไม่เข้าใจคือสาเหตุte(x1, x2)และti(x1) + ti(x2) + ti(x1, x2)อาจให้ผลลัพธ์ที่แตกต่าง (เล็กน้อย) MWE (ดัดแปลงมาจาก?ti): require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f …
11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

3
AUC ที่ดีสำหรับเส้นโค้งการเรียกคืนที่แม่นยำคืออะไร
เนื่องจากฉันมีชุดข้อมูลที่ไม่สมดุลมาก (ผลบวก 9%) ฉันจึงตัดสินใจว่ากราฟความแม่นยำในการเรียกคืนมีความเหมาะสมมากกว่าเส้นโค้ง ROC ฉันได้รับมาตรวัดสรุปพื้นที่แบบอะนาล็อกภายใต้เส้นโค้ง PR (.49 ถ้าคุณสนใจ) แต่ไม่แน่ใจว่าจะตีความมันอย่างไร ฉันได้ยินมาว่า. 8 หรือสูงกว่านั้นเป็น AUC ที่ดีสำหรับ ROC แต่การตัดทั่วไปจะเหมือนกันสำหรับ AUC สำหรับเส้นโค้งการเรียกคืนที่แม่นยำหรือไม่

4
AUC น่าจะเป็นของการจำแนกอินสแตนซ์ที่เลือกแบบสุ่มจากแต่ละชั้นอย่างถูกต้องหรือไม่
ฉันอ่านคำอธิบายภาพนี้ในกระดาษและไม่เคยเห็น AUC อธิบายในลักษณะนี้ที่อื่น มันเป็นเรื่องจริงเหรอ? มีหลักฐานหรือวิธีง่ายๆในการดูสิ่งนี้หรือไม่? ภาพที่ 2 แสดงความถูกต้องในการทำนายของตัวแปรโดมิโนที่แสดงในรูปของพื้นที่ภายใต้เส้นโค้งลักษณะการรับ - ปฏิบัติการ (AUC) ซึ่งเทียบเท่ากับความน่าจะเป็นในการจำแนกผู้ใช้สองคนที่เลือกแบบสุ่มอย่างละหนึ่งคน ) สำหรับฉันแล้วดูเหมือนว่ามันไม่เป็นความจริงเนื่องจากสำหรับ AUC = 0.5 ข้างต้นจะแนะนำว่ามีความน่าจะเป็น 50% ในการทำนายการพลิกเหรียญอย่างถูกต้องสองครั้งติดต่อกัน แต่ในความเป็นจริงคุณมีโอกาส 25% เท่านั้น การทำนายการโยนเหรียญสองครั้งในแถวอย่างถูกต้อง อย่างน้อยนั่นคือสิ่งที่ฉันกำลังคิดถึงคำแถลงนี้

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.