จะประมาณค่าพารามิเตอร์การหดตัวใน Lasso หรือการถดถอยสันด้วยตัวแปร> 50K ได้อย่างไร?

ฉันต้องการใช้ Lasso หรือการถดถอยสันสำหรับโมเดลที่มีตัวแปรมากกว่า 50,000 ตัว ฉันต้องการทำเช่นนั้นโดยใช้แพคเกจซอฟต์แวร์ในอาร์ฉันสามารถประมาณการพารามิเตอร์การหดตัว ( )?$\lambda$

การแก้ไข:

นี่คือจุดที่ฉันตื่นขึ้นมา:

set.seed (123)
Y <- runif (1000)
Xv <- sample(c(1,0), size= 1000*1000,  replace = T)
X <- matrix(Xv, nrow = 1000, ncol = 1000)

mydf <- data.frame(Y, X)

require(MASS)
lm.ridge(Y ~ ., mydf)

plot(lm.ridge(Y ~ ., mydf,
              lambda = seq(0,0.1,0.001)))

คำถามของฉันคือ: ฉันจะรู้ได้อย่างไรว่าดีที่สุดสำหรับแบบจำลองของฉัน?$\lambda$

cv.glmnet$\lambda$$\ell_1$$\ell_1$$\ell_2$$\alpha$

$\lambda$$\lambda$cv.glmnet$\lambda$lambda.minlambda.1se$\lambda$type.measure

อีกวิธีหนึ่งแพคเกจ R mgcvมีความเป็นไปได้มากมายสำหรับการประเมินด้วยการลงโทษแบบกำลังสองรวมถึงการเลือกพารามิเตอร์การปรับโดยอัตโนมัติ วิธีการดำเนินการรวมถึงการตรวจสอบข้ามทั่วไปและ REML ตามที่ระบุไว้ในความคิดเห็น รายละเอียดเพิ่มเติมสามารถพบได้ในหนังสือผู้แต่งแพ็คเกจ: Wood, SN (2006) Generalized Additive Models: บทนำกับ R, CRC

คำตอบนี้เฉพาะเจาะจงกับ MATLAB อย่างไรก็ตามแนวคิดพื้นฐานควรจะค่อนข้างคล้ายกับสิ่งที่คุณคุ้นเคยกับ R ...

ในกรณีของ MATLAB คุณมีตัวเลือกในการรัน lasso โดยเปิดใช้งานการตรวจสอบความถูกต้องข้าม

หากคุณทำเช่นนั้นฟังก์ชัน lasso จะรายงานค่าพารามิเตอร์ที่สำคัญสองค่า

1. ค่าแลมบ์ดาที่ลดข้อผิดพลาดกำลังสองเฉลี่ยที่ผ่านการตรวจสอบความถูกต้องแล้ว
2. ค่าแลมบ์ดาที่มีจำนวนการหดตัวมากที่สุดซึ่ง CVMSE อยู่ภายในข้อผิดพลาดมาตรฐานเดียวของค่าต่ำสุด

คุณยังได้แผนภูมิเล็ก ๆ ที่คุณสามารถใช้เพื่อตรวจสอบความสัมพันธ์ระหว่างแลมบ์ดาและ CVMSE

โดยทั่วไปคุณจะต้องเลือกค่าแลมบ์ดาที่อยู่ระหว่างเส้นสีน้ำเงินกับเส้นสีเขียว

การโพสต์บล็อกต่อไปนี้มีรหัสตัวอย่างบางส่วนตามตัวอย่างใน

Tibshirani, R. (1996) การหดตัวและการเลือกการถดถอยผ่านเชือก เจ. โรยัล statist Soc B. , Vol. 58, หมายเลข 1, หน้า 267-288)

http://blogs.mathworks.com/loren/2011/11/29/subset-selection-and-regularization-part-2/

$L_{2}$rmsrms pentrace