ใน R วิธีคำนวณค่า p สำหรับพื้นที่ใต้ ROC

ฉันพยายามหาวิธีคำนวณค่า p สำหรับพื้นที่ภายใต้ลักษณะตัวดำเนินการตัวรับ (ROC) ฉันมีตัวแปรต่อเนื่องและผลการทดสอบการวินิจฉัย ฉันต้องการดูว่า AUROC มีนัยสำคัญทางสถิติหรือไม่

ฉันพบแพ็คเกจจำนวนมากที่เกี่ยวข้องกับเส้นโค้ง ROC: pROC, ROCR, caTools, การตรวจสอบ, Epi แต่หลังจากใช้เวลาหลายชั่วโมงในการอ่านเอกสารและการทดสอบฉันไม่สามารถหาวิธีได้ ฉันคิดว่าฉันเพิ่งพลาดไป

ในสถานการณ์ของคุณมันจะเป็นการดีที่จะพล็อตกราฟ ROC และคำนวณพื้นที่ใต้เส้นโค้งนั้น แต่สิ่งนี้ควรพิจารณาเป็นส่วนเสริมสำหรับการวิเคราะห์หลักของคุณแทนที่จะเป็นการวิเคราะห์หลัก คุณต้องการสร้างโมเดลการถดถอยแบบโลจิสติกส์แทน

โมเดลการถดถอยโลจิสติกจะมาพร้อมกับการทดสอบโมเดลโดยรวม (ที่จริงแล้วเนื่องจากคุณมีเพียงหนึ่งตัวแปร p-value นั้นจะเหมือนกับ p-value สำหรับตัวแปรผลการทดสอบของคุณ) p-value นั้นคือสิ่งที่คุณเป็นหลังจากนั้น แบบจำลองนี้จะช่วยให้คุณสามารถคำนวณความน่าจะเป็นที่คาดการณ์ไว้ของการสังเกตที่กำลังเป็นโรค ลักษณะการดำเนินงานรับสัญญาณบอกคุณว่ามีความไวและความจำเพาะจะค้าปิดถ้าคุณใช้เกณฑ์ที่แตกต่างกันในการแปลงความน่าจะเป็นที่คาดการณ์การจัดหมวดหมู่เป็นที่คาดการณ์ไว้ เนื่องจากความน่าจะเป็นที่คาดการณ์ไว้จะเป็นหน้าที่ของตัวแปรผลการทดสอบของคุณดังนั้นจึงเป็นการบอกคุณว่าพวกเขาแลกเปลี่ยนกันอย่างไรถ้าคุณใช้ค่าผลการทดสอบที่แตกต่างกันเป็นเกณฑ์ของคุณ

หากคุณไม่คุ้นเคยอย่างมากกับการถดถอยโลจิสติกมีทรัพยากรบางอย่างในอินเทอร์เน็ต (นอกเหนือจากหน้า Wikipedia ที่ลิงก์ด้านบน):

• ผมหารือเกี่ยวกับพื้นฐานบางอย่างในคำตอบของฉันที่นี่: การแปลความหมายของการคาดการณ์ที่ง่ายในการอัตราส่วนราคาต่อรองในการถดถอยโลจิสติก ; และ (ถึงแม้จะเขียนในบริบทที่แตกต่างกัน) ผมให้ภาพรวมของสิ่งที่ถดถอยโลจิสติกและวิธีการที่เกี่ยวข้องกับ OLS (ปกติ) การถดถอยในคำตอบของฉันที่นี่: ความแตกต่างระหว่าง logit และ probit รุ่น
• นอกจากนี้คุณยังสามารถอ่านหัวข้อที่จัดหมวดหมู่ได้ภายใต้แท็ก โลจิสติกของเรา
• สำหรับวิธีการให้เหมาะสมกับรูปแบบการถดถอยโลจิสติในRที่ยูซีแอลสถิติเว็บไซต์ความช่วยเหลือเป็นอย่างดีโดยทั่วไปและมีหน้าเว็บที่เกี่ยวข้องที่นี่

โดยทั่วไปคุณต้องการทดสอบ H0 = "AUC เท่ากับ 0.5"

นี่คือความจริงที่เทียบเท่ากับการพูด H0 = "การกระจายของอันดับในทั้งสองกลุ่มเท่ากัน"

หลังเป็นสมมติฐานว่างของการทดสอบ Mann-Whitney (Wilcoxon) (ดูตัวอย่างGold, 1999 )

กล่าวอีกนัยหนึ่งคุณสามารถใช้การทดสอบ Mann-Whitney-Wilcoxon อย่างปลอดภัยเพื่อตอบคำถามของคุณ (ดูตัวอย่างMason & Graham, 2002 ) นี่คือสิ่งที่แพคเกจการยืนยันที่กล่าวถึงโดย Franck Dernoncourt ทำ

คุณสามารถใช้roc.area ()จากการตรวจสอบแพ็คเกจ:

install.packages("verification")
library("verification")

# Data used from Mason and Graham (2002).
a<- c(1981, 1982, 1983, 1984, 1985, 1986, 1987, 1988, 1989, 1990,
 1991, 1992, 1993, 1994, 1995)
d<- c(.928,.576, .008, .944, .832, .816, .136, .584, .032, .016, .28, .024, 0, .984, .952)

A<- data.frame(a,d)
names(A)<- c("year", "p2")

# For model without ties
roc.area(A$event, A$p2)

มันจะกลับมา $p.value [1] 0.0069930071

เส้นโค้งสอง ROC สามารถนำมาเปรียบเทียบใน proc roc.test()ใช้ สิ่งนี้ยังสร้างค่า p นอกจากนี้การใช้roc(..., auc=TRUE, ci=TRUE)จะช่วยให้คุณมีช่วงความเชื่อมั่นที่ต่ำกว่าและสูงกว่าพร้อมกับ AUC ในผลลัพธ์ในขณะที่สร้างวัตถุ ROC ซึ่งอาจเป็นประโยชน์

ต่อไปนี้เป็นโค้ดตัวอย่างที่ใช้งานได้ซึ่งทดสอบว่าไมล์ต่อแกลลอนหรือน้ำหนักของรถยนต์เป็นตัวทำนายที่ดีกว่าของการส่งสัญญาณประเภทนั้นที่มาพร้อมกับ (อัตโนมัติหรือด้วยตนเอง):

library(pROC)
roc_object_1 <- roc(mtcars$am, mtcars$mpg, auc=T, ci=T) #gives AUC and CI
roc_object_2 <- roc(mtcars$am, mtcars$wt, auc=T, ci=T) #gives AUC and CI

roc.test(roc_object_1, roc_object_2) #gives p-value

น้ำหนักเป็นตัวทำนายที่ดีกว่าการใช้เชื้อเพลิงอย่างเห็นได้ชัด อย่างไรก็ตามนี่เป็นการเปรียบเทียบสองเส้นโค้งและไม่ใช่เส้นโค้งเดี่ยวกับตัวเลขเช่น 0.5 ดูช่วงความมั่นใจเพื่อดูว่ามันมีหมายเลข 0.5 บอกเราหรือไม่ว่ามันแตกต่างกันอย่างมีนัยสำคัญหรือไม่ แต่ไม่ได้สร้างค่า p