คำถามติดแท็ก cross-validation

เมื่อแยกข้อมูลที่มีป้ายกำกับของฉันออกเป็นชุดการฝึกอบรมการตรวจสอบความถูกต้องและการทดสอบฉันได้ยินทุกอย่างตั้งแต่ 50/25/25 ถึง 85/5/10 ฉันแน่ใจว่าสิ่งนี้ขึ้นอยู่กับว่าคุณจะใช้โมเดลของคุณอย่างไรและมีแนวโน้มที่จะทำให้อัลกอริทึมการเรียนรู้ของคุณมากเกินไป มีวิธีในการตัดสินใจหรือเป็นทั้งหมดโดยกฎของหัวแม่มือ? แม้แต่ ELSII ก็ยังคลุมเครือในเรื่องนี้

10 machine-learning  cross-validation 

ฉันมีแบบฟอร์ม GLMM: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) เมื่อฉันใช้drop1(model, test="Chi")ฉันได้รับผลลัพธ์ที่แตกต่างกว่าถ้าผมใช้จากแพคเกจรถหรือAnova(model, type="III") summary(model)สองหลังนี้ให้คำตอบเดียวกัน จากการใช้ข้อมูลที่ประดิษฐ์ขึ้นมาฉันพบว่าทั้งสองวิธีปกติไม่แตกต่างกัน พวกเขาให้คำตอบเดียวกันสำหรับแบบจำลองเชิงเส้นที่มีความสมดุลแบบจำลองเชิงเส้นที่ไม่สมดุล (ซึ่งไม่เท่ากันในกลุ่มต่าง ๆ ) และสำหรับแบบจำลองเชิงเส้นที่สมดุลแบบทั่วไป ดังนั้นจึงปรากฏว่าเฉพาะในกรณีที่มีการรวมปัจจัยแบบสุ่มเข้าด้วยกัน ทำไมจึงมีความคลาดเคลื่อนระหว่างสองวิธีนี้? เมื่อใช้ GLMM ควรAnova()หรือdrop1()จะใช้งานอย่างไร ความแตกต่างระหว่างสองสิ่งนี้ค่อนข้างเล็กน้อยอย่างน้อยสำหรับข้อมูลของฉัน มันมีความสำคัญต่อการใช้งานหรือไม่?

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

เมื่อพิจารณาถึงการข้ามการตรวจสอบหลายครั้งของการถดถอยโลจิสติกส์และการประมาณค่าหลาย ๆ ค่าของสัมประสิทธิ์การถดถอยแต่ละวิธีควรวัดว่าตัวทำนาย (หรือชุดของผู้ทำนาย) มีเสถียรภาพและมีความหมายหรือไม่ขึ้นอยู่กับสัมประสิทธิ์การถดถอย ? สิ่งนี้แตกต่างสำหรับการถดถอยเชิงเส้นหรือไม่?

10 regression  model-selection  cross-validation 

ฉันมีชุดข้อมูลที่มีตัวแปรประมาณ 70 ตัวที่ฉันต้องการลด สิ่งที่ฉันต้องการทำคือใช้ CV เพื่อค้นหาตัวแปรที่มีประโยชน์มากที่สุดในรูปแบบต่อไปนี้ 1) สุ่มเลือกพูด 20 ตัวแปร 2) ใช้stepwise/ LASSO/ lars/ ฯลฯ เพื่อเลือกตัวแปรที่สำคัญที่สุด 3) ทำซ้ำ ~ 50x และดูว่าตัวแปรใดถูกเลือก (ไม่ตัดออก) บ่อยที่สุด นี่เป็นไปตามสายของสิ่งที่randomForestจะทำ แต่rfVarSelดูเหมือนว่าแพคเกจจะทำงานเฉพาะกับปัจจัย / การจัดหมวดหมู่และฉันจำเป็นต้องทำนายตัวแปรตามอย่างต่อเนื่อง ฉันกำลังใช้ R ดังนั้นคำแนะนำใด ๆ ก็จะถูกนำไปใช้อย่างเหมาะสม

10 r  cross-validation  feature-selection  random-forest  stepwise-regression 

ไม่มีใครรู้หนังสือ / หน้าเว็บที่ดีเพื่อเริ่มเรียนรู้เทคนิคการตรวจสอบข้าม?

10 references  cross-validation 

ฟังก์ชัน R cv.glm (ไลบรารี่: บูต) คำนวณข้อผิดพลาดในการทำนายการตรวจสอบความถูกต้องข้ามแบบ K-fold สำหรับโมเดลเชิงเส้นทั่วไปและส่งกลับเดลต้า มันเหมาะสมหรือไม่ที่จะใช้ฟังก์ชั่นนี้สำหรับการถดถอยแบบ lasso (ไลบรารี่: glmnet) และถ้าเป็นเช่นนั้นจะสามารถดำเนินการได้อย่างไร? ไลบรารี glmnet ใช้ cross-validation เพื่อให้ได้พารามิเตอร์การกลึงที่ดีที่สุด แต่ฉันไม่พบตัวอย่างใด ๆ ที่ cross-validates สมการ glmnet สุดท้าย

10 r  regression  cross-validation  lasso  glmnet 

ฉันมักจะเห็นคนพูดเกี่ยวกับการตรวจสอบ 5x2 ข้ามเป็นกรณีพิเศษของการตรวจสอบข้ามซ้อนกัน ฉันถือว่าตัวเลขแรก (ที่นี่: 5) หมายถึงจำนวนเท่าในวงด้านในและหมายเลขที่สอง (ที่นี่: 2) หมายถึงจำนวนเท่าในวงด้านนอก? ดังนั้นวิธีนี้แตกต่างจากการเลือกรูปแบบและการประเมินผลแบบ "ดั้งเดิม" อย่างไร โดย "ดั้งเดิม" ฉันหมายถึง แบ่งชุดข้อมูลออกเป็นการฝึกอบรมแยกต่างหาก (เช่น 80%) และชุดทดสอบ ใช้การตรวจสอบความถูกต้องไขว้ของ k-fold (เช่น k = 10) สำหรับการปรับจูนพารามิเตอร์และการเลือกแบบจำลองในชุดฝึกอบรม ประเมินประสิทธิภาพการวางนัยทั่วไปของรุ่นที่เลือกโดยใช้ชุดการทดสอบ ไม่ใช่ 5x2 เหมือนกันทุกประการยกเว้นชุดทดสอบและชุดฝึกอบรมที่มีขนาดเท่ากันถ้า k = 2 หรือไม่

10 machine-learning  cross-validation  hyperparameter 

ฉันพยายามที่จะเข้าใจว่าความเข้าใจของฉันเกี่ยวกับการตรวจสอบความถูกต้องแบบซ้อนกันดังนั้นฉันจึงเขียนตัวอย่างของเล่นนี้เพื่อดูว่าฉันพูดถูกหรือไม่: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import load_boston # set random state state = 1 # load boston dataset boston = load_boston() X = boston.data y = boston.target outer_scores = [] # outer cross-validation outer = cross_validation.KFold(len(y), n_folds=3, shuffle=True, …

10 cross-validation  python  scikit-learn 

ฉันกำลังพยายามปรับโมเดลที่ไม่ต่อเนื่องใน R แต่ฉันไม่แน่ใจว่าจะทำอย่างไร ฉันได้อ่านแล้วว่าคุณสามารถจัดระเบียบตัวแปรตามในแถวต่างกันหนึ่งตัวสำหรับแต่ละการสังเกตเวลาและการใช้glmฟังก์ชั่นที่มีลิงค์ logit หรือ cloglog ในแง่นี้ฉันมีสามคอลัมน์: ID, Event(1 หรือ 0 ในแต่ละช่วงเวลา) และTime Elapsed(ตั้งแต่จุดเริ่มต้นของการสังเกต) รวมทั้ง covariates อื่น ๆ ฉันจะเขียนรหัสเพื่อให้พอดีกับรุ่นได้อย่างไร ตัวแปรตามคืออะไร ฉันเดาว่าฉันสามารถใช้Eventเป็นตัวแปรตามและรวมTime Elapsedอยู่ใน covariates แต่สิ่งที่เกิดขึ้นกับID? ฉันต้องการมันไหม ขอบคุณ

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

คำถามของฉันเกี่ยวกับเกมในแพ็คเกจ mgcv R เนื่องจากขนาดตัวอย่างเล็กฉันต้องการตรวจสอบข้อผิดพลาดการทำนายโดยใช้การตรวจสอบความถูกต้องแบบลาก่อน มันสมเหตุสมผลหรือไม่ ฉันมีแพคเกจหรือรหัสที่ฉันสามารถทำได้หรือไม่? errorest()ฟังก์ชั่นในIPREDแพคเกจไม่ทำงาน ชุดข้อมูลการทดสอบอย่างง่ายคือ: library(mgcv) set.seed(0) dat <- gamSim(1,n=400,dist="normal",scale=2) b<-gam(y~s(x0)+s(x1)+s(x2)+s(x3),data=dat) summary(b) pred <- predict(b, type="response") ขอบคุณมากสำหรับความช่วยเหลือของคุณ!

10 r  cross-validation  gam  mgcv 

การประมาณค่าเบี่ยงเบนมาตรฐานคำนวณโดย: sN=1N∑Ni=1(xi−x¯¯¯)2−−−−−−−−−−−−−√.sN=1N∑i=1N(xi−x¯)2. s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}. ( http://en.wikipedia.org/wiki/Standard_deviation#Sample_standard_deviation ) สำหรับการทำนายความถูกต้องตัวอย่างจากการตรวจสอบความถูกต้องไขว้ 10 เท่า ฉันกังวลว่าความแม่นยำในการทำนายที่คำนวณระหว่างแต่ละครั้งนั้นขึ้นอยู่กับชุดการฝึกอบรมที่ทับซ้อนกันอย่างมาก (แม้ว่าชุดการทำนายจะเป็นอิสระ) แหล่งข้อมูลใด ๆ ที่กล่าวถึงนี้จะเป็นประโยชน์อย่างมาก

10 confidence-interval  cross-validation  prediction  prediction-interval 

ส่วนของสถานการณ์เราจะจัดการกับผลตอบสนอง / ตัวแปรเช่น+ อย่างไรก็ตามในบางสถานการณ์โดยเฉพาะอย่างยิ่งในข้อมูลทางคลินิกตัวแปรผลลัพธ์อาจเป็นมิติสูง / หลายตัวแปร เช่นโดยที่มีตัวแปร Y_1 , Y_2และY_3และผลลัพธ์เหล่านี้ล้วนมีความสัมพันธ์กัน หากxแทนการรับการรักษา (ใช่ / ไม่ใช่) ฉันจะจำลองข้อมูลประเภทนี้ใน R ได้อย่างไร?Y= a + b x + ϵy=a+bx+ϵy = a + bx +\epsilonY =βx + ϵY=βx+ϵ\mathsf{Y} = \beta{x} + \mathsf{\epsilon}YY\mathsf{Y}Y1Y1Y_1Y2Y2Y_2Y3Y3Y_3xxx ตัวอย่างในชีวิตจริงผู้ป่วยแต่ละรายได้รับการผ่าตัดบายพาสหนึ่งใน 2 ประเภทและนักวิจัยวัดผู้ป่วยแต่ละรายเกี่ยวกับความเจ็บปวดบวมความเหนื่อยล้า ... ฯลฯ หลังการผ่าตัดบายพาส ฉัน "ถือว่า" ผลลัพธ์ (ความรุนแรงของอาการ) เป็นหลายตัวแปรปกติ หวังว่าตัวอย่างจริงนี้สามารถทำให้คำถามของฉันชัดเจนขึ้น ขอบคุณมากล่วงหน้า

10 r  cross-validation 

ฉันใช้การถดถอยโลจิสติก 2 ชนิด - ชนิดหนึ่งเป็นแบบง่ายสำหรับการจำแนกไบนารีและอีกประเภทหนึ่งคือการถดถอยโลจิสติกอันดับ สำหรับการคำนวณความแม่นยำของครั้งแรกฉันใช้การตรวจสอบความถูกต้องข้ามซึ่งฉันคำนวณ AUC สำหรับแต่ละเท่าและกว่าการคำนวณ AUC เฉลี่ย ฉันจะทำอย่างไรสำหรับการถดถอยโลจิสติกอันดับ ฉันได้ยินเกี่ยวกับ ROC ทั่วไปสำหรับเครื่องมือทำนายหลายระดับ แต่ฉันไม่แน่ใจว่าจะคำนวณได้อย่างไร ขอบคุณ!

10 logistic  cross-validation  roc  auc  ordered-logit 

เมื่อทำการตรวจสอบความถูกต้องไขว้ 5 เท่า (เช่น) เป็นเรื่องปกติที่จะคำนวณเส้นโค้ง ROC ที่แยกต่างหากสำหรับแต่ละ 5 เท่าและบ่อยครั้งที่เส้นโค้ง ROC เฉลี่ยกับ std dev แสดงเป็นความหนาของเส้นโค้ง อย่างไรก็ตามสำหรับการข้ามการตรวจสอบความถูกต้องของ LOO ที่มีการทดสอบดาต้าพอยน์เพียงครั้งเดียวในแต่ละครั้งดูเหมือนจะไม่น่าสนใจที่จะคำนวณ ROC "โค้ง" สำหรับดาต้าพอยน์นี้ ฉันได้รับคะแนนข้อมูลการทดสอบทั้งหมดของฉัน (พร้อมกับค่า p ที่คำนวณแยกต่างหาก) และรวมพวกมันไว้ในชุดใหญ่ชุดหนึ่งเพื่อคำนวณเส้นโค้ง ROC เดียว แต่นี่เป็นสิ่งที่ควรทำเพื่อสถิติเชิงสถิติหรือไม่ วิธีที่ถูกต้องในการใช้การวิเคราะห์ ROC คือเมื่อจำนวนจุดข้อมูลในแต่ละเท่าเป็นหนึ่ง (เช่นในกรณีของการตรวจสอบข้าม LOO)

10 cross-validation  roc 

ฉันกำลังใช้การตรวจสอบความถูกต้องข้ามและการคำนวณตัวชี้วัดข้อผิดพลาดเช่น RMSE R2R2R^2, Mae, MSE ฯลฯ RMSE และ Mae สามารถมีค่าเหมือนกันได้หรือไม่?

9 cross-validation  rms  mae