ตัวแปรสำคัญจาก GLMNET

ฉันกำลังดูการใช้ lasso เป็นวิธีการเลือกคุณสมบัติและปรับโมเดลการทำนายให้เหมาะสมกับเป้าหมายไบนารี ด้านล่างนี้เป็นรหัสที่ฉันเล่นด้วยเพื่อลองใช้วิธีที่มีการถดถอยโลจิสติกปกติ

คำถามของฉันคือฉันได้รับกลุ่มตัวแปร "สำคัญ" แต่ฉันสามารถจัดอันดับสิ่งเหล่านี้เพื่อประเมินความสำคัญสัมพัทธ์ของแต่ละรายการได้หรือไม่ สัมประสิทธิ์สามารถเป็นมาตรฐานสำหรับจุดประสงค์ของการจัดอันดับนี้ด้วยค่าสัมบูรณ์ (ฉันเข้าใจว่าพวกเขาจะแสดงในระดับตัวแปรดั้งเดิมผ่านcoefฟังก์ชั่น)? หากดังนั้นวิธีที่จะทำเช่นนั้น (ใช้ค่าเบี่ยงเบนมาตรฐานของ x และ y) วางมาตรฐานค่าสัมประสิทธิ์การถดถอย

รหัสตัวอย่าง:

    library(glmnet)

    #data comes from

#http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+(Diagnostic)

    datasetTest <- read.csv('C:/Documents and Settings/E997608/Desktop/wdbc.data.txt',head=FALSE)


#appears to use the first level as the target success
   datasetTest$V2<-as.factor(ifelse(as.character(datasetTest$V2)=="M","0","1"))


#cross validation to find optimal lambda
#using the lasso because alpha=1

    cv.result<-cv.glmnet(       
              x=as.matrix(dataset[,3:ncol(datasetTest)]),
              y=datasetTest[,2],        
              family="binomial",        
              nfolds=10,        
              type.measure="deviance",       
              alpha=1      
              )

#values of lambda used

    histogram(cv.result$lambda)

#plot of the error measure (here was deviance)
#as a CI from each of the 10 folds
#for each value of lambda (log actually)

    plot(cv.result) 

#the mean cross validation error (one for each of the
#100 values of lambda

    cv.result$cvm

#the value of lambda that minimzes the error measure
#result: 0.001909601

    cv.result$lambda.min
    log(cv.result$lambda.min)

#the value of lambda that minimzes the error measure
#within 1 SE of the minimum
#result: 0.007024236

    cv.result$lambda.1se

#the full sequence was fit in the object called cv.result$glmnet.fit
#this is same as a call to it directly.
#here are the coefficients from the min lambda

    coef(cv.result$glmnet.fit,s=cv.result$lambda.1se)

เท่าที่ฉันรู้ glmnet ไม่ได้คำนวณข้อผิดพลาดมาตรฐานของสัมประสิทธิ์การถดถอย ดังนั้นหากคุณต้องการค่าสัมประสิทธิ์การถดถอยมาตรฐานคุณจะต้องใช้วิธีการอื่น (เช่น glm)

ต้องบอกว่าถ้าตัวแปรอธิบายได้มาตรฐานก่อนพอดีและ glmnet ถูกเรียกด้วย "standardize = FALSE" ค่าสัมประสิทธิ์ที่สำคัญน้อยกว่านั้นจะเล็กกว่าค่าที่สำคัญกว่า - ดังนั้นคุณสามารถจัดอันดับตัวแปรตามขนาดของมัน สิ่งนี้ยิ่งเด่นชัดยิ่งขึ้นด้วยการลดลงของปริมาณที่ไม่สำคัญ (เช่นแลมบ์ดาที่ไม่ใช่ศูนย์)

หวังว่านี่จะช่วย ..

ในการรับค่าสัมประสิทธิ์ในพื้นที่ที่ให้คุณเปรียบเทียบความสำคัญโดยตรงคุณต้องสร้างมาตรฐาน ฉันเขียนบันทึกใน Thinklab เพื่อหารือเกี่ยวกับมาตรฐานของสัมประสิทธิ์การถดถอยโลจิสติก

(มาก) เรื่องสั้นยาวฉันแนะนำให้ใช้วิธีAgresti :

# if X is the input matrix of the glmnet function,
# and cv.result is your glmnet object:
sds <- apply(X, 2, sd)
cs <- as.matrix(coef(cv.result, s = "lambda.min"))
std_coefs <- coefs[-1, 1] * sds

หากคุณพึ่งพามาตรฐานภายในโดย glmnet (ตัวเลือกเริ่มต้นstandardize = TRUE) สัมประสิทธิ์มาตรฐานเหล่านี้เป็นสิ่งที่เกิดจากขั้นตอนที่เหมาะสมก่อนที่จะทำการส่งต่อโดย glmnet ในพื้นที่เดิม (ดูหมายเหตุอื่น :-))