จะได้รับการตีความความน่าจะเป็นของ AUC อย่างไร

14

ทำไมพื้นที่ภายใต้ ROC โค้งความน่าจะเป็นที่ตัวจําแนกจะจัดอันดับอินสแตนซ์ "บวก" ที่เลือกแบบสุ่ม (จากการทำนายที่ดึงมา) สูงกว่าแบบสุ่ม "บวก" ที่เลือกโดยสุ่ม (จากชั้นบวกดั้งเดิม) เราจะพิสูจน์คำแถลงนี้ได้อย่างไรในเชิงคณิตศาสตร์โดยใช้อินทิกรัลโดยให้ CDFs และ PDF ของการแจกแจงคลาสที่เป็นบวกและลบจริง

probability roc auc

— MFF
แหล่งที่มา

2

ฉันเขียนหลักฐานเบื้องต้นเกี่ยวกับเรื่องนี้ที่นี่: madrury.github.io/jekyll/update/statistics/2017/06/21/…

— Matthew Drury

10

อย่างแรกลองกำหนดพื้นที่ใต้เส้นโค้ง ROC อย่างเป็นทางการ สมมติฐานและคำจำกัดความบางประการ:

เรามีลักษณนามน่าจะเป็นที่เอาท์พุท "คะแนน" s (x) โดยที่ x เป็นคุณลักษณะและ s คือฟังก์ชันโมโนโทนิกที่เพิ่มขึ้นทั่วไปของความน่าจะเป็นโดยประมาณ p (class = 1 | x)
, ด้วย : = pdf ของคะแนนสำหรับคลาส k, ด้วย CDF $f_{k}(s)$ $k = \{0, 1\}$ $F_{k}(s)$
การจำแนกประเภทของการสังเกตใหม่นั้นได้มาจากคะแนนsถึงขีด จำกัดt

นอกจากนี้เพื่อความสะดวกทางคณิตศาสตร์ลองพิจารณาคลาสบวก (ตรวจพบเหตุการณ์) k = 0 และลบ k = 1 ในการตั้งค่านี้เราสามารถกำหนด:

เรียกคืน (aka Sensitivity, aka TPR) : (สัดส่วนของผู้ป่วยที่เป็นบวกแยกเป็นบวก) $F_{0}(t)$
ความเฉพาะเจาะจง (aka TNR) : (สัดส่วนของผู้ติดลบที่จำแนกเป็นลบ) $1 - F_{1}(t)$
FPR (aka Fall-out) : 1 - TNR = $F_{1}(t)$

เส้นโค้ง ROC แล้วพล็อตของ กับ )การตั้งค่าเราสามารถกำหนดพื้นที่อย่างเป็นทางการภายใต้เส้นโค้ง ROC เป็น: การเปลี่ยนตัวแปร ( $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$ ):

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

สูตรนี้สามารถเห็นได้ง่ายว่าเป็นความน่าจะเป็นที่สมาชิกสุ่มที่ดึงของคลาส 0 จะผลิตคะแนนต่ำกว่าคะแนนของสมาชิกที่วาดแบบสุ่มของคลาส 1

หลักฐานนี้นำมาจาก: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— alebu
แหล่งที่มา

5

คำตอบของ @ alebu นั้นยอดเยี่ยม แต่สัญกรณ์มันไม่เป็นมาตรฐานและใช้ 0 สำหรับคลาสบวกและ 1 สำหรับคลาสลบ ด้านล่างนี้เป็นผลของสัญกรณ์มาตรฐาน (0 สำหรับคลาสลบและ 1 สำหรับคลาสบวก):

$f_0(s)$ $F_0(s)$

$f_1(s)$ $F_1(s)$

$x(s) = 1-F_0(s)$

$y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

$\tau$

— เหลียงหวาง
แหล่งที่มา

1

$\tau$

$A$
$B$ $A$
$\tau$

$P(A>\tau)$ $P(B>\tau)$

$\tau$ $AUC$

เราได้รับ:

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$

x \sim U [0, 1)

$x \sim U[0,1)$

$x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

$X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$

τ (x) \sim B

$\tau(x) \sim B$

แทนสิ่งนี้เป็นสมการ (1) เราได้:

A U C = E_{x} (P (A > B)) = P (A > B)

$AUC=E_x(P(A>B))=P(A>B)$

กล่าวอีกนัยหนึ่งพื้นที่ใต้เส้นโค้งคือความน่าจะเป็นที่ตัวอย่างบวกแบบสุ่มจะมีคะแนนสูงกว่าตัวอย่างเชิงลบแบบสุ่ม

— ryu576
แหล่งที่มา