การตรวจสอบข้ามและการถดถอยโลจิสติกอันดับ

ฉันพยายามที่จะเข้าใจการตรวจสอบข้ามสำหรับการถดถอยโลจิสติกอันดับ เป้าหมายของเกมคือการตรวจสอบรูปแบบที่ใช้ในการวิเคราะห์ ...

ฉันแรกสร้างชุดข้อมูลของเล่น:

set.seed(1)
N <- 10000
# predictors
x1 <- runif(N)
x2 <- runif(N)
x3 <- runif(N)

# coeffs in the model
a <- c(-2,-1)
x <- -x1+2*x2+x3

# P( y ≤ i ) is given by logit^{-1} ( a[i]+x )
p <- outer(a,x, function(a,x) 1/(1+exp(-a-x)) )

# computing the probabilities of each category
q <- 1 - p[2,]
p[2,] <- p[2,] - p[1,];
p <- rbind(p,q);

# outcome
y <- ordered( apply( p, 2, function(p) which(rmultinom(1,1,p)>0) ) ) 

ตอนนี้ผมเหมาะสมกับรูปแบบที่ใช้ในแพคเกจlrmrms

require("rms")
fit <- lrm(y~x1+x2+x3, x=TRUE,y=TRUE)


> fit

Logistic Regression Model

lrm(formula = y ~ x1 + x2 + x3, x = TRUE, y = TRUE)

                      Model Likelihood     Discrimination    Rank Discrim.
                         Ratio Test            Indexes          Indexes   
Obs         10000    LR chi2    1165.46    R2       0.126    C       0.664
 1           2837    d.f.             3    g        0.779    Dxy     0.328
 2           2126    Pr(> chi2) <0.0001    gr       2.178    gamma   0.329
 3           5037                          gp       0.147    tau-a   0.203
max |deriv| 4e-10                          Brier    0.187                 

     Coef    S.E.   Wald Z Pr(>|Z|)
y>=2  2.1048 0.0656  32.06 <0.0001
y>=3  1.0997 0.0630  17.45 <0.0001
x1    0.8157 0.0675  12.09 <0.0001
x2   -1.9790 0.0701 -28.21 <0.0001
x3   -1.0095 0.0687 -14.68 <0.0001

ฉันเข้าใจส่วนที่สองของผลลัพธ์: ค่าสัมประสิทธิ์ที่ฉันใส่ในแบบจำลองอยู่ที่นี่ (มันเกือบจะสมบูรณ์แบบด้วยN = 100000) สัญญาณกลับด้านเพราะในโมเดลของฉันฉันใช้ coeffs เพื่อคำนวณอัตราต่อรองของการเป็นและที่นี่เป็นอีกวิธีหนึ่งฉันคิดว่ามันไม่มีปัญหามากนัก$\le 1$$\le 2$

แต่ผมไม่เข้าใจว่าการเลือกปฏิบัติและการจัดอันดับดัชนีการเลือกปฏิบัติ คุณสามารถช่วยฉันได้ไหม?! พอยน์เตอร์บางอย่าง?

สิ่งต่าง ๆ แย่ลงเมื่อเราหันมาตรวจสอบความถูกต้อง ...

> validate(fit, method="cross")
          index.orig training    test optimism index.corrected  n
Dxy           0.3278   0.3278  0.3290  -0.0012          0.3291 40
R2            0.1260   0.1260  0.1313  -0.0053          0.1313 40
Intercept     0.0000   0.0000 -0.0072   0.0072         -0.0072 40
Slope         1.0000   1.0000  1.0201  -0.0201          1.0201 40
Emax          0.0000   0.0000  0.0056   0.0056          0.0056 40
D             0.1164   0.1165  0.1186  -0.0021          0.1186 40
U            -0.0002  -0.0002 -0.8323   0.8321         -0.8323 40
Q             0.1166   0.1167  0.9509  -0.8342          0.9509 40
B             0.1865   0.1865  0.1867  -0.0001          0.1867 40
g             0.7786   0.7786  0.7928  -0.0142          0.7928 40
gp            0.1472   0.1472  0.1478  -0.0007          0.1478 40

Mmffff? นี่อะไรน่ะ? ฉันจะตีความสิ่งนี้ได้อย่างไร หน้าคนให้คำอธิบายน้อยฉันไม่สามารถเข้าถึงเอกสารนี้ ... และฉันรู้สึกจมอยู่ใต้มหาสมุทรแห่งความซับซ้อน กรุณาช่วย!

จดจ่อกับดัชนีบางส่วนในขณะนี้ index.origคือความสามารถในการทำนายที่ชัดเจน / คะแนนความแม่นยำเมื่อคุณประเมินข้อมูลที่ใช้เพื่อให้พอดีกับแบบจำลอง index.correctedเป็นเวอร์ชันที่แก้ไขข้ามการตรวจสอบความถูกต้องของดัชนีเดียวกันคือแก้ไขสำหรับการ overfitting (de-biased) Dxyคือซอมเมอร์ 'สัมประสิทธิ์สหสัมพันธ์อันดับ - ตัวชี้วัดของการเลือกปฏิบัติที่บริสุทธิ์ ดูกระดาษต้นฉบับหรือข้อความที่ไม่มีพารามิเตอร์สำหรับรายละเอียด โดยที่คือพื้นที่ ROC ทั่วไป (ความน่าจะเป็นที่สอดคล้องกัน) และเกี่ยวข้องกับกราฟการปรับเทียบในระดับ logit เป็นข้อผิดพลาดการสอบเทียบสูงสุดโดยประมาณโดยใช้ความชันและจุดตัด $D_{xy}$$D_{xy} = 2(C - \frac{1}{2})$$C$InterceptSlopeEmaxB คือคะแนนความแม่นยำของ Brier (รวมการเลือกปฏิบัติและการสอบเทียบ)

วิธีการอธิบายไว้ในหนังสือของฉันหรือบันทึกย่อของหลักสูตรบนเว็บไซต์ของหนังสือ: http://biostat.mc.vanderbilt.edu/rms

สำหรับคำถามแรกของคุณ: พวกเขาเป็นการวัดประสิทธิภาพแบบจำลองที่แตกต่างกัน คุณต้องการให้บางคนมีขนาดใหญ่และคนอื่น ๆ จะเล็ก ในความเป็นจริงพวกเขามีความสัมพันธ์กันดังนั้นขอแนะนำให้คุณมุ่งเน้นไปที่หนึ่งหรือสอง

สำหรับคำถามที่สองของคุณ: สิ่งที่คุณมีในผลลัพธ์ R แรกของคุณคือประสิทธิภาพของแบบจำลองในตัวอย่างการฝึกอบรม เมื่อคุณทำการตรวจสอบโดยการตรวจสอบข้ามคุณจะได้รับการวัดเหล่านั้นในตัวอย่างทดสอบหลายรายการและค่าเฉลี่ย สิ่งนี้จะช่วยให้คุณประเมินแบบจำลองของคุณได้สมจริงยิ่งขึ้น

HTH