คำถามติดแท็ก lasso

กล่าวว่าฉันต้องการประมาณค่าพารามิเตอร์จำนวนมากและฉันต้องการลงโทษบางส่วนเพราะฉันเชื่อว่าพวกเขาควรมีผลเพียงเล็กน้อยเมื่อเทียบกับคนอื่น ฉันจะตัดสินใจว่าจะใช้รูปแบบการลงโทษได้อย่างไร การถดถอยของสันเขาจะเหมาะสมกว่าเมื่อใด เมื่อใดที่ฉันควรใช้บ่วงบาศ

167 regression  lasso  ridge-regression 

ฉันกำลังอ่านหนังสือเกี่ยวกับการถดถอยเชิงเส้น มีประโยคบางส่วนเกี่ยวกับบรรทัดฐาน L1 และ L2 ฉันรู้ว่าพวกเขาเพียงแค่ไม่เข้าใจว่าทำไมมาตรฐาน L1 สำหรับรุ่นที่กระจัดกระจาย ใครสามารถใช้คำอธิบายง่ายๆ?

97 regression  lasso  regularization  ridge-regression 

ในสถานการณ์ใดที่เราควรพิจารณาใช้วิธีการทำให้เป็นมาตรฐาน (สันเขา, บาศหรือการถดถอยมุมน้อยที่สุด) แทนที่จะเป็น OLS? ในกรณีนี้จะช่วยคัดท้ายการสนทนาความสนใจหลักของฉันคือการปรับปรุงความแม่นยำในการทำนาย

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

ฉันกำลังมองหาความหมายที่ไม่ใช่ทางเทคนิคของเชือกและสิ่งที่มันใช้

81 regression  lasso  regularization  shrinkage 

ฉันเริ่มตะลุยกับการใช้งานglmnetกับการถดถอยแบบ LASSOซึ่งผลลัพธ์ของความสนใจของฉันนั้นเป็นแบบขั้วคู่ ฉันได้สร้างกรอบข้อมูลจำลองขนาดเล็กด้านล่าง: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

ฉันได้อ่านองค์ประกอบของการเรียนรู้ทางสถิติแล้วและฉันอยากจะรู้ว่าทำไม Lasso ถึงเลือกตัวแปรและการถดถอยแบบสันไม่ได้ ทั้งสองวิธีลดผลรวมการตกค้างของสี่เหลี่ยมและมีข้อ จำกัด เกี่ยวกับค่าที่เป็นไปได้ของพารามิเตอร์\สำหรับคล้องข้อ จำกัด คือ , ในขณะที่สำหรับสันมันเป็นสำหรับบางคนทีββ\beta||β||1≤t||β||1≤t||\beta||_1 \le t||β||2≤t||β||2≤t||\beta||_2 \le tttt ฉันเคยเห็นรูป Diamond vs ellipse ในหนังสือแล้วและฉันมีสัญชาตญาณว่าทำไม Lasso ถึงมุมของภูมิภาคที่ถูก จำกัด ซึ่งหมายความว่าหนึ่งในสัมประสิทธิ์ถูกตั้งค่าเป็นศูนย์ อย่างไรก็ตามสัญชาตญาณของฉันค่อนข้างอ่อนแอและฉันไม่มั่นใจ มันควรจะเห็นง่าย แต่ฉันไม่รู้ว่าทำไมเรื่องนี้ถึงเป็นจริง ดังนั้นฉันเดาว่าฉันกำลังมองหาเหตุผลทางคณิตศาสตร์หรือคำอธิบายที่เข้าใจง่ายว่าทำไมรูปทรงของผลรวมที่เหลือของกำลังสองมีแนวโน้มที่จะเข้ามุมของ ขอบเขต จำกัด (ในขณะที่สถานการณ์นี้ไม่น่าจะเกิดขึ้นถ้า ข้อ จำกัด คือ )||β||1||β||1||\beta||_1||β||2||β||2||\beta||_2

76 regression  feature-selection  lasso  regularization 

เทศกาลวันหยุดที่มีให้ฉันมีโอกาสที่จะขดตัวถัดไปในกองไฟที่มีองค์ประกอบของการเรียนรู้ทางสถิติ มาจากมุมมองเศรษฐมิติ (บ่อยครั้ง) ฉันมีปัญหาในการเข้าใจการใช้งานของวิธีการหดตัวเช่นการถดถอยสันสัน, เชือกและการถดถอยมุมน้อย (LAR) โดยทั่วไปฉันสนใจในการประมาณค่าพารามิเตอร์ของตัวเองและในการบรรลุความเป็นกลางหรืออย่างน้อยที่สุด วิธีการหดตัวไม่ได้ทำอย่างนั้น สำหรับฉันแล้วดูเหมือนว่าวิธีการเหล่านี้จะใช้เมื่อนักสถิติกังวลว่าฟังก์ชั่นการถดถอยจะตอบสนองต่อตัวทำนายมากเกินไปซึ่งจะถือว่าตัวทำนายนั้นสำคัญกว่า (วัดจากขนาดของสัมประสิทธิ์) มากกว่าที่เป็นจริง กล่าวอีกนัยหนึ่งคือ overfitting แต่โดยทั่วไปแล้ว OLS จะให้การประมาณที่ไม่เอนเอียงและสอดคล้องกัน (เชิงอรรถ) ฉันมักจะดูปัญหาของการไม่ให้ข้อมูลมากไปกว่าการประเมินที่ใหญ่เกินไป ESL กล่าวถึงจุดหลังนี้) การประมาณค่าสัมประสิทธิ์ที่ไม่เอนเอียง / สม่ำเสมอนำไปสู่การทำนายผลลัพธ์ที่ไม่เอนเอียง / สม่ำเสมอ วิธีการหดตัวผลักดันการคาดการณ์ให้ใกล้เคียงกับผลลัพธ์เฉลี่ยมากกว่า OLS ซึ่งดูเหมือนว่าจะทิ้งข้อมูลไว้ในตาราง เพื่อย้ำอีกครั้งฉันไม่เห็นว่าปัญหาวิธีหดตัวกำลังพยายามแก้ไข ฉันพลาดอะไรไปรึเปล่า? เชิงอรรถ: เราต้องการเงื่อนไขการจัดอันดับคอลัมน์แบบเต็มเพื่อระบุค่าสัมประสิทธิ์ สมมติฐานค่าเฉลี่ยเชิงเงื่อนไข / ศูนย์สำหรับข้อผิดพลาดและข้อคาดหวังตามเงื่อนไขเชิงเส้นกำหนดการตีความที่เราสามารถให้กับค่าสัมประสิทธิ์

61 lasso  ridge-regression  shrinkage  lars 

ฉันพยายามใช้โมเดล LASSO เพื่อการคาดการณ์และฉันต้องประเมินข้อผิดพลาดมาตรฐาน มีคนเขียนแพคเกจเพื่อทำสิ่งนี้แล้ว แต่เท่าที่ฉันเห็นไม่มีแพ็คเกจใน CRAN ที่ทำการทำนายโดยใช้ LASSO จะส่งกลับข้อผิดพลาดมาตรฐานสำหรับการคาดการณ์เหล่านั้น ดังนั้นคำถามของฉันคือ: มีแพ็คเกจหรือรหัส R บางอย่างที่สามารถคำนวณข้อผิดพลาดมาตรฐานสำหรับการทำนาย LASSO ได้หรือไม่?

60 r  standard-error  prediction  lasso 

จากสิ่งที่ฉันรู้การใช้ lasso สำหรับการเลือกตัวแปรช่วยจัดการปัญหาของอินพุตที่สัมพันธ์กัน นอกจากนี้เนื่องจากมันเทียบเท่ากับ Least Angle Regression มันจึงไม่คำนวณช้า อย่างไรก็ตามหลายคน (ตัวอย่างเช่นคนที่ฉันรู้ว่าทำสถิติไบโอ) ยังดูเหมือนว่าจะชอบการเลือกตัวแปรขั้นตอน มีข้อเสียในทางปฏิบัติของการใช้บ่วงบาศที่ทำให้เสียเปรียบหรือไม่?

60 regression  feature-selection  lasso 

เพื่อที่จะแก้ปัญหาของการเลือกแบบจำลองจำนวนของวิธีการ (LASSO, การถดถอยของสันเขา ฯลฯ ) จะลดค่าสัมประสิทธิ์ของตัวแปรทำนายไปทางศูนย์ ฉันกำลังมองหาคำอธิบายที่เข้าใจง่ายว่าทำไมสิ่งนี้จึงปรับปรุงความสามารถในการทำนาย หากผลที่แท้จริงของตัวแปรมีขนาดใหญ่มากทำไมไม่ลดขนาดพารามิเตอร์ส่งผลให้การคาดการณ์แย่ลง?

55 lasso  regularization  ridge-regression  intuition  shrinkage 

minβ(Y−Xβ)T(Y−Xβ)minβ(Y−Xβ)T(Y−Xβ)\min_\beta (Y-X\beta)^T(Y-X\beta)∥β∥1≤t‖β‖1≤t\|\beta\|_1 \leq tβlassoj=sgn(βLSj)(|βLSj|−γ)+βjlasso=sgn(βjLS)(|βjLS|−γ)+ \beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+ XXX

52 lasso 

ฉันต้องการค้นหาตัวทำนายสำหรับตัวแปรพึ่งพาต่อเนื่องจากชุดของตัวแปรอิสระ 30 ตัว ฉันใช้ Lasso regression ตามที่นำมาใช้ในแพ็คเกจglmnetใน R ต่อไปนี้เป็นตัวอย่างรหัสจำลอง # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) x2=matrix(y+rnorm(100*10),100,10) x=cbind(x1,x2) # use crossvalidation to find the best lambda library(glmnet) cv <- cv.glmnet(x,y,alpha=1,nfolds=10) l <- cv$lambda.min alpha=1 # fit the model fits <- glmnet( x, …

40 r  multiple-regression  lasso  glmnet  communication 

ขออภัยถ้าคำถามนี้เจอพื้นฐานเล็กน้อย ฉันกำลังมองหาที่จะใช้การเลือกตัวแปร LASSO สำหรับตัวแบบการถดถอยเชิงเส้นหลายแบบในอาร์ฉันมีตัวทำนาย 15 ตัวซึ่งหนึ่งในนั้นคือหมวดหมู่ (นั่นจะทำให้เกิดปัญหาหรือไม่) หลังจากตั้งค่าและฉันฉันใช้คำสั่งต่อไปนี้:xxxyyy model = lars(x, y) coef(model) coef(model)ปัญหาของฉันคือเมื่อฉันใช้ สิ่งนี้จะส่งกลับเมทริกซ์ที่มี 15 แถวโดยเพิ่มตัวทำนายพิเศษหนึ่งตัวในแต่ละครั้ง อย่างไรก็ตามไม่มีข้อเสนอแนะว่าควรเลือกรุ่นใด ฉันพลาดอะไรไปหรือเปล่า มีวิธีที่ฉันจะได้รับแพคเกจ lars เพื่อส่งกลับแบบ " ดีที่สุด " เพียงหนึ่งรุ่นหรือไม่? มีโพสต์อื่น ๆ ที่แนะนำให้ใช้glmnetแทน แต่ดูเหมือนจะซับซ้อนกว่านี้ ความพยายามดังต่อไปนี้โดยใช้และเดียวกัน ฉันพลาดอะไรที่นี่ไหม: xxxyyy cv = cv.glmnet(x, y) model = glmnet(x, y, type.gaussian="covariance", lambda=cv$lambda.min) predict(model, type="coefficients") คำสั่งสุดท้ายส่งกลับรายการตัวแปรของฉันส่วนใหญ่มีค่าสัมประสิทธิ์แม้ว่าบาง = 0 นี่เป็นตัวเลือกที่ถูกต้องของรุ่น " …

39 feature-selection  lasso  glmnet  lars 

การถดถอยแบบมุมต่ำและบ่วงนั้นมีแนวโน้มที่จะสร้างเส้นทางการทำให้เป็นมาตรฐานที่คล้ายกันมาก (เหมือนกันยกเว้นเมื่อค่าสัมประสิทธิ์กากบาทเป็นศูนย์) พวกเขาทั้งสองสามารถปรับได้อย่างมีประสิทธิภาพโดยอัลกอริทึมที่เหมือนจริง มีเหตุผลเชิงปฏิบัติหรือไม่ที่จะชอบวิธีหนึ่งมากกว่าอีกวิธี?

39 regression  lasso 

ฉันแค่อยากรู้ว่าทำไมมักจะมีบรรทัดฐานปกติและมีข้อพิสูจน์ว่าทำไมสิ่งเหล่านี้ถึงดีกว่า?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression