ฉันมีชุดทดสอบ 100 กรณีและตัวแยกประเภทสองตัว

ฉันสร้างการคาดคะเนและคำนวณ ROC AUC ความไวและความเฉพาะเจาะจงสำหรับตัวแยกประเภททั้งสอง

คำถามที่ 1: ฉันจะคำนวณ p-value เพื่อตรวจสอบว่ามีค่าใดดีกว่าค่าอื่น ๆ ที่เกี่ยวข้องกับคะแนนทั้งหมด (ROC AUC, ความไว, ความเฉพาะเจาะจง) อย่างมีนัยสำคัญหรือไม่

---

ตอนนี้สำหรับชุดทดสอบ 100 ชุดเดียวกันฉันมีการกำหนดคุณสมบัติที่แตกต่างและเป็นอิสระสำหรับแต่ละกรณี นี่เป็นเพราะคุณสมบัติของฉันได้รับการแก้ไข แต่เป็นแบบอัตนัยและมีให้โดยหลายวิชา (5)

ดังนั้นฉันจึงประเมินตัวแยกประเภทสองของฉันอีกครั้งสำหรับชุดทดสอบ "5" ของฉันและได้รับ 5 ROC AUCs ความไว 5 และความเฉพาะเจาะจง 5 ประการสำหรับตัวแยกประเภททั้งสอง จากนั้นฉันคำนวณค่าเฉลี่ยของการวัดประสิทธิภาพสำหรับ 5 วิชา (ROC AUC หมายถึงความไวและความจำเพาะเฉลี่ย) สำหรับตัวแยกประเภททั้งสอง

คำถามที่ 2: ฉันจะคำนวณค่า p-value เพื่อตรวจสอบว่ามีค่าใดดีกว่าค่าเฉลี่ยอย่างมีนัยสำคัญ (หมายถึง ROC AUC ค่าเฉลี่ยความอ่อนไหวค่าเฉลี่ยความจำเพาะ)

---

รู้รอบด้วยตัวอย่างของไพ ธ อน (ดีกว่า) หรือรหัส MatLab เป็นมากกว่าการต้อนรับ

Wojtek J. Krzanowski และ David J. Hand ROC Curves สำหรับข้อมูลอย่างต่อเนื่อง (2009) เป็นข้อมูลอ้างอิงที่ดีสำหรับทุกสิ่งที่เกี่ยวข้องกับ ROC curves มันรวบรวมผลลัพธ์จำนวนมากในสิ่งที่เป็นฐานวรรณกรรมที่กว้างใหญ่ที่น่าหงุดหงิดซึ่งมักจะใช้คำศัพท์ที่แตกต่างกันเพื่อหารือเกี่ยวกับหัวข้อเดียวกัน

นอกจากนี้หนังสือเล่มนี้เสนอความเห็นและการเปรียบเทียบวิธีการทางเลือกที่ได้รับมาเพื่อประเมินปริมาณเดียวกันและชี้ให้เห็นว่าวิธีการบางอย่างทำให้สมมติฐานที่ไม่สามารถป้องกันได้ในบริบทเฉพาะ นี่เป็นบริบทเช่นนั้น คำตอบอื่น ๆ รายงานวิธีการของ Hanley & McNeil ซึ่งสมมติว่าแบบจำลอง binormal สำหรับการแจกแจงคะแนนซึ่งอาจไม่เหมาะสมในกรณีที่การแจกแจงคะแนนชั้นเรียนไม่ปกติ (ใกล้เคียง) ข้อสันนิษฐานของคะแนนการแจกแจงแบบปกติดูเหมือนจะไม่เหมาะสมโดยเฉพาะอย่างยิ่งในบริบทการเรียนรู้ของเครื่องจักรสมัยใหม่โมเดลทั่วไปทั่วไปเช่นxgboostมีแนวโน้มที่จะสร้างคะแนนด้วยการแจกแจง "อ่างอาบน้ำ" สำหรับงานการจำแนกประเภท (นั่นคือการแจกแจงที่มีความหนาแน่นสูง )

คำถามที่ 1 - AUC

ส่วนที่ 6.3 อธิบายการเปรียบเทียบ ROC AUC สำหรับสอง ROC curves (pp 113-114) โดยเฉพาะอย่างยิ่งความเข้าใจของฉันคือว่าทั้งสองรุ่นมีความสัมพันธ์กันดังนั้นข้อมูลเกี่ยวกับวิธีการคำนวณมีความสำคัญอย่างยิ่งที่นี่; มิฉะนั้นสถิติการทดสอบของคุณจะมีอคติเพราะไม่ได้มีส่วนเกี่ยวข้องกับความสัมพันธ์$r$

สำหรับกรณีของเส้นโค้ง ROC ที่ไม่ได้เชื่อมโยงซึ่งไม่ได้อยู่บนสมมติฐานการแจกแจงแบบพารามิเตอร์ใด ๆ สถิติสำหรับ tets และช่วงความเชื่อมั่นเมื่อเปรียบเทียบ AUC สามารถตรงไปตรงมาตามการประมาณการและ^ AUC 2ของค่า AUC และประมาณการค่าเบี่ยงเบนมาตรฐานS 1และS 2ตามที่กำหนดในหัวข้อ 3.5.1:$\widehat{\text{AUC}}_1$$\widehat{\text{AUC}}_2$$S_1$$S_2$

$$Z = \frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2}}$$

ในการขยายการทดสอบดังกล่าวไปยังกรณีที่มีการใช้ข้อมูลเดียวกันสำหรับตัวแยกประเภททั้งสองเราต้องคำนึงถึงความสัมพันธ์ระหว่างการประมาณ AUC:

$$z=\frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2 - rS_1S_2}}$$

โดยที่คือค่าประมาณความสัมพันธ์นี้ Hanley และ McNeil (1983) ทำส่วนขยายโดยอาศัยการวิเคราะห์ของพวกเขาในกรณีปกติ แต่ให้ตารางแสดงวิธีการคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ประมาณrจากความสัมพันธ์r Pของตัวแยกประเภทสองภายในคลาส P และความสัมพันธ์ของr nของตัวแยกประเภทสองตัวภายในคลาส N โดยบอกว่าได้รับมาทางคณิตศาสตร์เมื่อมีการร้องขอ ผู้เขียนคนอื่น ๆ (เช่น Zou, 2001) ได้พัฒนาแบบทดสอบตามแบบจำลองสองชั้นโดยสมมติว่าการแปลงที่เหมาะสมสามารถพบได้ซึ่งจะเปลี่ยนการแจกแจงคะแนนของคลาส P และ N เป็นปกติพร้อมกัน$r$$r$$r_P$$r_n$

$U$$k\ge 2$

$U$

$$\widehat{AUC}=\frac{1}{n_N n_P} \sum_{i=1}^{n_N} \sum_{j=1}^{n_P} \left[ I(s_{P_j} > s_{N_i}) + \frac{1}{2}I(s_{P_j} = s_{N_i}) \right]$$ $s_{P_i}, i = 1, \dots,n_P$$P$$s_{N_j}, j = 1, \dots,n_N$$N$$k$$s^r_{N_j}, j=1\dots n_N$$s_{P_i}^r, j = 1, \dots,n_P$$\widehat{AUC}_r, r = 1, \dots, k$k กำหนด

V r 01 =

$$V^r_{10}=\frac{1}{n_N}\sum_{j=1}^{n_N} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , i=1,\dots,n_P$$ และ $$V^r_{01} = \frac{1}{n_P}\sum_{i=1}^{n_P} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , j=1,\dots,n_N$$

ถัดไปกำหนด matrixด้วยองค์ประกอบ th และ matrixด้วยองค์ประกอบ th จากนั้นเมทริกซ์ความแปรปรวนร่วม estiamted สำหรับเวกเตอร์ของพื้นที่โดยประมาณภายใต้เส้นโค้งคือ $k \times k$$\mathbf{W}_{10}$$(r,s)$

$$w_{10}^{r,s} = \frac{1}{n_P - 1}\sum_{i=1}^{n_P} \left[ V_{10}^r(s_{P_i}) - \widehat{AUC}_r \right] \left[ V_{10}^s(s_{P_i}) - \widehat{AUC}_s \right]$$ $k \times k$$\mathbf{W}_{01}$$(r,s)$ $$w_{01}^{r,s} = \frac{1}{n_N - 1}\sum_{i=1}^{n_N} \left[ V_{01}^r(s_{N_i}) - \widehat{AUC}_r \right] \left[ V_{01}^s(s_{N_i}) - \widehat{AUC}_s \right]$$ $(\widehat{AUC}_1, \dots, \widehat{AUC}_k)$ $$\mathbf{W} = \frac{1}{n_P}\mathbf{W}_{10} + \frac{1}{n_N}\mathbf{W}_{01}$$ พร้อมองค์ประกอบ . นี่คือการวางนัยทั่วไปของผลลัพธ์สำหรับการประมาณความแปรปรวนของ AUC ที่ประเมินค่าเพียงครั้งเดียวเช่นกันซึ่งให้ไว้ในหัวข้อ 3.5.1 ในกรณีที่มีตัวจําแนกสองตัวความสัมพันธ์เชิงประจักษ์ระหว่าง AUCs โดยประมาณนั้นได้รับโดยซึ่งสามารถใช้ในด้านบน$w^{r,s}$$r$$\frac{w^{1,2}}{\sqrt{w^{1,1}w^{2,2}}}$$z$

เนื่องจากคำตอบอื่นให้นิพจน์ของ Hanley และ McNeil สำหรับตัวประมาณค่าความแปรปรวน AUC ที่นี่ฉันจะสร้างตัวประมาณ DeLong จาก p 68:

วิธีการทางเลือกเนื่องจาก DeLong et al (1988) และแบบสุดขั้วโดย Pepe (2003) อาจทำให้การประมาณการง่ายขึ้นและเป็นแนวทางที่นำเสนอแนวคิดที่มีประโยชน์พิเศษของค่าตำแหน่ง ค่าตำแหน่งของคะแนนมีการอ้างอิงถึงประชากรที่ระบุเป็นหน้าที่ของผู้รอดชีวิตประชากรที่sนี้ค่าตำแหน่งสำหรับในประชากร N คือและประชากร P มันเป็น(s) การประเมินเชิงประจักษ์ของค่าตำแหน่งจะได้รับตามสัดส่วนที่ชัดเจน ดังนั้นค่าตำแหน่งของการสังเกตในประชากร P แสดงถึงเป็นสัดส่วนของค่าตัวอย่างจาก P ที่เกิน$s$$s$$s$$1 - F(s)$$s$$1 - G(s)$$s_{N_i}$$s^P_{N_i}$$s_{N_i}$และคือความแปรปรวนของค่าตำแหน่งของแต่ละการสังเกตจาก N ที่เกี่ยวข้องกับประชากร P ...$\text{var}(s_{P_i}^N)$

การประเมินความแปรปรวนของ DeLong et al (1988) ของได้รับในรูปของความแปรปรวนเหล่านี้: $\widehat{AUC}$

$$s^2(\widehat{AUC}) = \frac{1}{n_P} \text{var}\left(s_{P_i}^N\right) + \frac{1}{n_N}\text{var}\left(s_{N_i}^P\right)$$

โปรดทราบว่าเป็นฟังก์ชันการแจกแจงสะสมคะแนนในประชากร N และเป็นฟังก์ชันการแจกแจงสะสมคะแนนในประชากรพีวิธีมาตรฐานในการประมาณการและคือการใช้ecdf หนังสือเล่มนี้ยังมีวิธีการทางเลือกอื่น ๆ ในการประมาณค่า ecdf เช่นการประมาณความหนาแน่นของเคอร์เนล แต่นั่นอยู่นอกขอบเขตของคำตอบนี้$F$$G$$F$$G$

สถิติและอาจจะถือว่าเป็นค่าเบี่ยงเบนมาตรฐานและการทดสอบทางสถิติของสมมติฐานว่างดำเนินไปตามปกติ (ดูเพิ่มเติมที่: การทดสอบสมมติฐาน )$Z$$z$

นี่เป็นโครงร่างระดับสูงที่เรียบง่ายของวิธีการทดสอบสมมติฐาน:

• การทดสอบในคำพูดของคุณ "ว่าตัวแยกประเภทหนึ่งดีกว่าตัวอื่นอย่างมีนัยสำคัญหรือไม่" สามารถใช้ถ้อยคำใหม่เป็นการทดสอบสมมติฐานว่าง ๆ ว่าแบบจำลองทั้งสองมี AUC ที่เท่าเทียมกันทางสถิติเทียบกับสมมติฐานทางเลือกที่สถิติไม่เท่ากัน

• นี่คือการทดสอบแบบสองด้าน

• เราปฏิเสธสมมติฐานว่างถ้าสถิติการทดสอบอยู่ในพื้นที่วิกฤตของการแจกแจงการอ้างอิงซึ่งเป็นการแจกแจงแบบปกติมาตรฐานในกรณีนี้

• ขนาดของภูมิภาคสำคัญขึ้นอยู่กับระดับของการทดสอบ สำหรับระดับความสำคัญของ 95% สถิติทดสอบตกอยู่ในภูมิภาคที่สำคัญถ้าหรือ<-1.96 (นี่คือและ quantiles ของการแจกแจงแบบปกติมาตรฐาน) มิฉะนั้นคุณล้มเหลวในการปฏิเสธสมมติฐานว่างและทั้งสองโมเดลมีความสัมพันธ์ทางสถิติ$\alpha$$z > 1.96$$z < -1.96$$\alpha/2$$1 - \alpha/2$

คำถามที่ 1 - ความไวและความจำเพาะ

กลยุทธ์ทั่วไปสำหรับการเปรียบเทียบความไวและความเฉพาะเจาะจงคือการสังเกตว่าสถิติทั้งสองนี้มีจำนวนเท่ากับการอนุมานเชิงสถิติตามสัดส่วนและนี่เป็นปัญหามาตรฐานที่มีการศึกษาเป็นอย่างดี โดยเฉพาะความไวคือสัดส่วนของประชากร P ที่มีคะแนนมากกว่าบางเกณฑ์และในทำนองเดียวกันสำหรับประชากร wrt ที่ระบุ N: $t$

$$\begin{align} \text{sensitivity} = tp &= \mathbb{P}(s_P > t) \\ 1 - \text{specificity} = fp &= \mathbb{P}(s_N > t) \end{align}$$

จุดยึดหลักคือการพัฒนาการทดสอบที่เหมาะสมเนื่องจากสัดส่วนของตัวอย่างทั้งสองนั้นจะมีความสัมพันธ์กัน (ในขณะที่คุณใช้สองแบบจำลองกับข้อมูลการทดสอบเดียวกัน) นี่คือการแก้ไขในหน้า 111

จากการทดสอบเป็นพิเศษสถิติสรุปหลายอย่างจะลดลงเป็นสัดส่วนสำหรับแต่ละโค้งดังนั้นวิธีมาตรฐานสำหรับการเปรียบเทียบสัดส่วนสามารถนำมาใช้ ยกตัวอย่างเช่นค่าของสำหรับการแก้ไขเป็นสัดส่วนที่เป็นอัตราจำแนกสำหรับการแก้ไขเกณฑ์ทีเราสามารถเปรียบเทียบเส้นโค้งโดยใช้มาตรการเหล่านี้โดยใช้การทดสอบมาตรฐานเพื่อเปรียบเทียบสัดส่วน ตัวอย่างเช่นในกรณีที่ไม่มีการจับคู่เราสามารถใช้สถิติทดสอบโดยที่เป็นอัตราบวกที่แท้จริงสำหรับโค้งเป็นจุดที่เป็นปัญหาและคือ ผลรวมของความแปรปรวนของและ ...$tp$$fp$$t$$(tp_1 - tp_2) / s_{12}$$tp_i$$i$$s_{12}^2$$tp_1$$tp_2$

อย่างไรก็ตามสำหรับกรณีที่จับคู่ใครสามารถได้รับการปรับที่อนุญาตให้ค่าความแปรปรวนร่วมระหว่างและแต่อีกทางเลือกหนึ่งคือใช้การทดสอบของ McNemar สำหรับสัดส่วนที่สัมพันธ์กัน (Marascuilo และ McSweeney, 1977)$tp_1$$tp_2$

การทดสอบ mcnemarนั้นเหมาะสมเมื่อคุณมีอาสาสมัครคนและแต่ละวิชาจะถูกทดสอบสองครั้งหนึ่งครั้งสำหรับผลลัพธ์สองขั้วแต่ละครั้ง ด้วยคำจำกัดความของความไวและความเฉพาะเจาะจงมันควรจะชัดเจนว่านี่เป็นการทดสอบที่เราต้องการเพราะคุณใช้สองรุ่นกับข้อมูลการทดสอบเดียวกันและคำนวณความไวและความเฉพาะเจาะจงในบางเกณฑ์$N$

การทดสอบ McNemar ใช้สถิติที่แตกต่างกัน แต่เป็นโมฆะและสมมติฐานทางเลือกที่คล้ายกัน ตัวอย่างเช่นเมื่อพิจารณาจากความไว , สมมติฐานคือการที่สัดส่วนและทางเลือกที่เป็นtp_2 การจัดสัดส่วนใหม่ให้เป็นจำนวนดิบแทนเราสามารถเขียนตารางฉุกเฉิน ซึ่งนับเซลล์จะได้รับโดยการนับ ผลบวกจริงและเชิงลบที่ผิดพลาดตามแต่ละรุ่น$tp_1 = tp_2$$tp_1 \neq tp_2$

$$\begin{array}{c|c|c|} & \text{Model 1 Positive at } t & \text{Model 1 Negative at } t \\ \hline \text{Model 2 Positive at } t & a & b \\ \hline \text{Model 2 Negative at } t & c & d \\ \hline \end{array}$$

$$\begin{align} a &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 > t) \\ b &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 > t) \\ c &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 \le t) \\ d &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 \le t) \\ \end{align}$$

และเรามีสถิติทดสอบ ซึ่งกระจายเป็นการแจกแจงแบบไคสแควร์ที่มี 1 องศาอิสระ ด้วยระดับ , สมมติฐานถูกปฏิเสธสำหรับ3.841459

$$M = \frac{(b-c)^2}{b + c}$$ $\chi^2_1$$\alpha=95\%$$M > 3.841459$

สำหรับความจำเพาะคุณสามารถใช้ขั้นตอนเดียวกันยกเว้นว่าคุณแทนที่กับ{}$s^r_{P_i}$$s^r_{N_j}$

คำถามที่ 2

ดูเหมือนว่ามันเพียงพอที่จะรวมผลลัพธ์โดยเฉลี่ยค่าการทำนายสำหรับผู้ตอบแต่ละคนดังนั้นสำหรับแต่ละรุ่นคุณมี 1 เวกเตอร์ของ 100 ค่าเฉลี่ยที่คาดการณ์ไว้ จากนั้นคำนวณ ROC AUC ความไวและสถิติความจำเพาะตามปกติราวกับว่าไม่มีโมเดลเดิมอยู่ สิ่งนี้สะท้อนให้เห็นถึงกลยุทธ์การสร้างแบบจำลองที่ใช้โมเดลของผู้ตอบแบบสอบถามทั้ง 5 คนเป็นหนึ่งใน "คณะกรรมการ" ของแบบจำลองคล้ายกับวงดนตรี

ผมขอให้สั้นคำตอบเพราะคู่มือนี้จะอธิบายมากขึ้นและดีขึ้น

โดยพื้นฐานแล้วคุณมีจำนวน True Postives ( ) และจำนวน True Negatives ( ) ของคุณ นอกจากนี้คุณยังมี AUC, A. ข้อผิดพลาดมาตรฐานของ A นี้คือ:$nTP$$nTN$

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

กับและA)$Q_1 = A / (2 - A)$$Q_2 = 2A^2 / (1 + A)$

ในการเปรียบเทียบสอง AUC คุณต้องคำนวณ SE ของทั้งคู่โดยใช้:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

โดยที่คือปริมาณที่แสดงถึงความสัมพันธ์ที่เกิดขึ้นระหว่างสองพื้นที่โดยการศึกษาชุดกรณีเดียวกัน หากกรณีของคุณแตกต่างกันดังนั้น ; ไม่เช่นนั้นคุณจะต้องค้นหามัน (ตารางที่ 1 หน้า 3 ในบทความที่มีให้ใช้อย่างอิสระ)$r$$r=0$

ระบุว่าคุณคำนวณ -Score โดย$z$

$z = (A_1 - A_2) / SE_{A_1-A_2}$

จากตรงนั้นคุณสามารถคำนวณค่า p โดยใช้ความหนาแน่นของความน่าจะเป็นของการแจกแจงแบบปกติมาตรฐาน หรือเพียงใช้เครื่องคิดเลขนี้

นี้หวังว่าคำตอบของคำถามที่ 1 - อย่างน้อยส่วนหนึ่งเปรียบเทียบ AUC Sens / Spec ได้รับการคุ้มครองโดย ROC / AUC แล้ว มิฉะนั้นคำตอบที่ฉันคิดว่าอยู่ในคำถาม 2

สำหรับคำถามที่ 2 , เซ็นทรัล จำกัด ทฤษฎีบทบอกเราว่าสถิติสรุปของคุณจะเป็นไปตามการแจกแจงแบบปกติ ดังนั้นฉันคิดว่าการทดสอบ t ง่าย ๆ จะพอเพียง (5 การวัดของตัวจําแนกหนึ่งต่อ 5 การวัดของตัวจําแนกที่สองที่การวัดอาจเป็น AUC, sens, spec)

แก้ไข: สูตรที่แก้ไขสำหรับ ( ) … - 2 r $\texttt{SE}$$\ldots - 2r \ldots$

สำหรับคำถามที่ 1 @Sycorax ให้คำตอบที่ครอบคลุม

สำหรับคำถามที่ 2 เพื่อความรู้ที่ดีที่สุดของฉันการคาดคะเนค่าเฉลี่ยจากวิชาไม่ถูกต้อง ฉันตัดสินใจใช้ bootstrapping เพื่อคำนวณค่า p และเปรียบเทียบแบบจำลอง

ในกรณีนี้ขั้นตอนดังต่อไปนี้:

For N iterations:
  sample 5 subjects with replacement
  sample 100 test cases with replacement
  compute mean performance of sampled subjects on sampled cases for model M1
  compute mean performance of sampled subjects on sampled cases for model M2
  take the difference of mean performance between M1 and M2
p-value equals to the proportion of differences smaller or equal than 0

ขั้นตอนนี้ดำเนินการทดสอบแบบด้านเดียวและถือว่า M1 หมายถึงประสิทธิภาพ> M2 หมายถึงประสิทธิภาพ

การใช้ Python ในการบูตสแตรปสำหรับการคำนวณค่า p เปรียบเทียบผู้อ่านหลายคนสามารถพบได้ใน repo GitHub นี้: https://github.com/mateuszbuda/ml-stat-util