คำถามติดแท็ก cross-validation

mgcvแพคเกจสำหรับการRมีสองฟังก์ชั่นสำหรับการปฏิสัมพันธ์กระชับเมตริกซ์ผลิตภัณฑ์: และte() ti()ฉันเข้าใจการแบ่งขั้นพื้นฐานของการใช้แรงงานระหว่างคนทั้งสอง (ปรับให้เหมาะสมกับการทำงานแบบไม่เป็นเชิงเส้นเปรียบเทียบกับการย่อยสลายการโต้ตอบนี้เป็นผลกระทบหลักและการโต้ตอบ) สิ่งที่ฉันไม่เข้าใจคือสาเหตุte(x1, x2)และti(x1) + ti(x2) + ti(x1, x2)อาจให้ผลลัพธ์ที่แตกต่าง (เล็กน้อย) MWE (ดัดแปลงมาจาก?ti): require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

ฉันกำลังประมวลผลข้อมูลล่วงหน้าและจะสร้าง Convonets กับข้อมูลของฉันหลังจากนั้น คำถามของฉันคือ: สมมติว่าฉันมีชุดข้อมูลทั้งหมด 100 ภาพฉันคำนวณค่าเฉลี่ยสำหรับแต่ละภาพ 100 ภาพแล้วลบมันออกจากแต่ละภาพจากนั้นแยกชุดนี้เป็นชุดรถไฟและชุดตรวจสอบและฉันก็ทำเช่นเดียวกัน ขั้นตอนในการประมวลผลในชุดทดสอบที่กำหนด แต่ดูเหมือนว่านี่ไม่ใช่วิธีที่ถูกต้องในการทำตามลิงค์นี้: http://cs231n.github.io/neural-networks-2/#datapre จุดผิดพลาดทั่วไปจุดสำคัญที่จะทำให้การประมวลผลล่วงหน้าคือสถิติการประมวลผลล่วงหน้า (เช่นค่าเฉลี่ยของข้อมูล) จะต้องคำนวณจากข้อมูลการฝึกอบรมเท่านั้นจากนั้นนำไปใช้กับข้อมูลการตรวจสอบ / ทดสอบเช่นคำนวณค่าเฉลี่ยและลบออกจาก ทุกภาพในชุดข้อมูลทั้งหมดจากนั้นแยกข้อมูลออกเป็นส่วนแยก train / val / test จะเป็นความผิดพลาดแทนค่าเฉลี่ยจะต้องคำนวณเฉพาะข้อมูลการฝึกอบรมและจากนั้นแยกเท่า ๆ กันจากการแยกทั้งหมด (train / val / test) " ฉันคาดเดาสิ่งที่ผู้เขียนพูดคืออย่าคำนวณค่าเฉลี่ยและลบมันภายในแต่ละภาพ แต่คำนวณค่าเฉลี่ยของชุดภาพทั้งหมด (เช่น (image1 + ... + image100) / 100) และลบค่าเฉลี่ยของ แต่ละภาพ ฉันไม่เข้าใจทุกคนสามารถอธิบายได้? และอาจอธิบายได้ว่าทำไมสิ่งที่ฉันทำผิด (ถ้าผิด)

11 machine-learning  cross-validation  data-preprocessing 

เมื่อฉันอ่านในเว็บไซต์คำตอบส่วนใหญ่แนะนำว่าควรทำการตรวจสอบไขว้ในอัลกอริทึมการเรียนรู้ของเครื่อง อย่างไรก็ตามขณะที่ฉันอ่านหนังสือ "การเรียนรู้ของเครื่องเข้าใจ" ฉันเห็นว่ามีแบบฝึกหัดที่บางครั้งมันก็ดีกว่าที่จะไม่ใช้การตรวจสอบไขว้ ฉันสับสนจริงๆ เมื่อขั้นตอนวิธีการฝึกอบรมกับข้อมูลทั้งหมดดีกว่าการตรวจสอบข้าม มันเกิดขึ้นในชุดข้อมูลจริงหรือไม่? ให้เป็นคลาสสมมติฐาน สมมติว่าคุณจะได้รับ IID ฝึกอบรมตัวอย่างและคุณต้องการที่จะเรียนรู้ในชั้นเรียนHพิจารณาสองแนวทางทางเลือก: m H = ∪ k i = 1 H iH1, . . . , ชkH1,...,HkH_1,...,H_kม.mmH= ∪ki = 1HผมH=∪i=1kHiH=\cup^k_{i=1}H_i เรียนรู้เกี่ยวกับตัวอย่างโดยใช้กฎ ERMเมตรHHHม.mm แบ่งตัวอย่างเมตรเป็นชุดการฝึกอบรมที่มีขนาดและชุดตรวจสอบขนาดสำหรับบาง(0,1) จากนั้นใช้วิธีการเลือกแบบจำลองโดยใช้การตรวจสอบความถูกต้อง นั่นคือ fi rst ฝึกฝนแต่ละคลาสในตัวอย่างการฝึกอบรมโดยใช้กฎ ERM สำหรับและให้เป็นสมมติฐานที่เกิดขึ้น . ประการที่สองใช้กฎ ERM เกี่ยวกับคลาส class nite { } ในตัวอย่างการตรวจสอบความถูกต้องα เมตรα ∈ …

10 machine-learning  self-study  cross-validation 

ฉันพยายามใช้การถดถอยแบบ RF เพื่อคาดการณ์ประสิทธิภาพของโรงสีกระดาษ ฉันมีข้อมูลแบบนาทีต่อนาทีสำหรับอินพุต (อัตราและปริมาณของเยื่อไม้ที่เข้ามาใน ฯลฯ .. ) รวมถึงประสิทธิภาพของเครื่อง (กระดาษที่ผลิตพลังงานจากเครื่อง) และกำลังคาดการณ์ 10 นาที ล่วงหน้าเกี่ยวกับตัวแปรประสิทธิภาพ ฉันมีข้อมูล 12 เดือนดังนั้นได้แยกเป็นชุดฝึกอบรม 11 เดือนและเดือนสุดท้ายสำหรับการทดสอบ จนถึงตอนนี้ฉันได้สร้างคุณสมบัติใหม่ 10 รายการซึ่งมีค่าความล่าช้า 1-10 นาทีสำหรับตัวแปรประสิทธิภาพแต่ละตัวและใช้สิ่งเหล่านี้รวมทั้งอินพุตเพื่อทำการคาดการณ์ ประสิทธิภาพของชุดทดสอบค่อนข้างดี (ระบบสามารถคาดเดาได้ค่อนข้างมาก) แต่ฉันกังวลว่าฉันขาดอะไรบางอย่างในการเข้าใกล้ ตัวอย่างเช่นในบทความนี้ผู้เขียนระบุวิธีการของพวกเขาในการทดสอบความสามารถในการทำนายของรูปแบบป่าสุ่ม การจำลองดำเนินการโดยเพิ่มสัปดาห์ใหม่ของข้อมูลฝึกอบรมโมเดลใหม่โดยใช้ข้อมูลที่อัปเดตและคาดการณ์จำนวนการระบาดของสัปดาห์ถัดไป สิ่งนี้แตกต่างจากการใช้ข้อมูล 'ภายหลัง' ในอนุกรมเวลาเป็นการทดสอบอย่างไร ฉันควรตรวจสอบความถูกต้องของแบบจำลองการถดถอย RF ด้วยวิธีนี้เช่นเดียวกับชุดข้อมูลการทดสอบหรือไม่ นอกจากนี้วิธีการ 'autoregressive' แบบสุ่มเพื่อการถดถอยป่าแบบนี้ใช้ได้กับอนุกรมเวลาและฉันจำเป็นต้องสร้างตัวแปรที่ล้าหลังจำนวนมากหรือไม่ถ้าฉันสนใจการทำนาย 10 นาทีในอนาคต?

10 time-series  forecasting  cross-validation  random-forest  autoregressive 

ฉันสงสัยว่าจะเข้าใกล้การฝึกอบรมและทดสอบแบบจำลอง LASSO โดยใช้ glmnet ใน R ได้อย่างไร โดยเฉพาะฉันสงสัยว่าจะทำอย่างไรหากขาดชุดข้อมูลการทดสอบภายนอกทำให้ฉันต้องใช้การตรวจสอบข้าม (หรือวิธีการอื่นที่คล้ายคลึงกัน) เพื่อทดสอบแบบจำลอง LASSO ของฉัน ให้ฉันทำลายสถานการณ์ของฉัน: ฉันมีชุดข้อมูลเพียงชุดเดียวเพื่อแจ้งและฝึกอบรมโมเดล glmnet ของฉัน ดังนั้นฉันจะต้องใช้การตรวจสอบข้ามเพื่อแยกข้อมูลของฉันเพื่อสร้างวิธีทดสอบโมเดลของฉัน ฉันกำลังใช้อยู่cv.glmnetซึ่งตามรายละเอียดแพ็คเกจ : ทำการตรวจสอบความถูกต้องข้ามของ k-fold สำหรับ glmnet, สร้างพล็อตและส่งกลับค่าสำหรับแลมบ์ดา การตรวจสอบข้ามถูกดำเนินการในcv.glmnetการเลือกแลมบ์ดาที่ดีที่สุดหรือเป็นวิธีการตรวจสอบข้ามโดยทั่วไปหรือไม่ กล่าวอีกนัยหนึ่งฉันยังต้องทำอีกขั้นตอนการตรวจสอบข้ามเพื่อ "ทดสอบ" โมเดลของฉันหรือไม่ ฉันทำงานกับข้อสันนิษฐานที่ว่า "ใช่แล้ว" ในกรณีนี้ฉันจะตรวจสอบcv.glmnetรุ่นของฉันได้อย่างไร ฉันต้องทำด้วยตนเองหรืออาจเป็นcaretฟังก์ชั่นที่มีประโยชน์สำหรับรุ่น glmnet หรือไม่? ฉันจะใช้ "ลูป" สองจุดศูนย์กลางของการตรวจสอบความถูกต้องไขว้หรือไม่ ... ฉันใช้ "ลูปด้านใน" ของ CV ผ่านcv.glmnetเพื่อกำหนดค่าแลมบ์ดาที่ดีที่สุดในแต่ละkเท่าของ "ลูปภายนอก" ของการประมวลผลการตรวจสอบความถูกต้องข้าม ? หากฉันทำการตรวจสอบความถูกต้องของcv.glmnetรูปแบบการตรวจสอบความถูกต้องไขว้ฉันจะแยกโมเดล "ดีที่สุด" (จากแลมบ์ดา "ที่ดีที่สุด") …

10 r  cross-validation  glmnet  lasso 

ฉันเข้าใจว่าการประเมินการตรวจสอบข้ามข้อผิดพลาดของ k-fold มักจะประเมินข้อผิดพลาดการทดสอบจริงต่ำเกินไป ฉันสับสนว่าทำไมในกรณีนี้ ฉันเห็นว่าทำไมข้อผิดพลาดในการฝึกอบรมจึงต่ำกว่าข้อผิดพลาดในการทดสอบ - เนื่องจากคุณกำลังฝึกอบรมแบบจำลองในข้อมูลเดียวกันกับที่คุณประเมินข้อผิดพลาด! แต่นั่นไม่ใช่กรณีของการตรวจสอบข้าม - รอยพับที่คุณวัดความผิดพลาดนั้นจะถูกทิ้งไว้โดยเฉพาะในระหว่างกระบวนการฝึกอบรม นอกจากนี้ถูกต้องหรือไม่ที่จะบอกว่าการประเมินการตรวจสอบข้ามข้อผิดพลาดของการทดสอบนั้นมีความลำเอียงลดลง?

10 cross-validation  bias 

เมื่อเร็ว ๆ นี้ฉันเริ่มใช้การสุ่มตัวอย่างความสำคัญแบบพาเรนต์แบบเรียบง่ายจาก Pareto การตรวจสอบความถูกต้องแบบ cross-one-out (PSIS-LOO) ที่อธิบายไว้ในเอกสารเหล่านี้: Vehtari, A. , & Gelman, A. (2015) การสุ่มตัวอย่างสำคัญของ Pareto ทำให้ราบรื่น พิมพ์ล่วงหน้า arXiv ( ลิงก์ ) Vehtari, A. , Gelman, A. , & Gabry, J. (2016) การประเมินรูปแบบเบย์ในทางปฏิบัติโดยใช้การตรวจสอบความถูกต้องแบบลาก่อนและ WAIC คำนำหน้า arXiv ( ลิงก์ ) สิ่งนี้แสดงให้เห็นถึงวิธีการที่น่าสนใจอย่างมากในการประเมินแบบจำลองนอกตัวอย่างเนื่องจากช่วยให้สามารถทำการ LOO-CV ด้วยการเรียกใช้ MCMC เดียวและถูกกล่าวหาว่าดีกว่าเกณฑ์ข้อมูลที่มีอยู่เช่น WAIC k^ผมk^ผม\hat{k}_ik^ผม≳ 0.7k^ผม≳0.7\hat{k}_i \gtrsim 0.7 …

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

ผมมีข้อมูลบางอย่างที่มีอยู่บนกราฟ ) จุดยอดอยู่ในหนึ่งในสองคลาสy i ∈ { - 1 , 1 }และฉันสนใจที่จะฝึกอบรม SVM เพื่อแยกความแตกต่างระหว่างสองคลาส หนึ่งเคอร์เนลที่เหมาะสมสำหรับการนี้คือการแพร่กระจายเคอร์เนล , K = ประสบการณ์( - β L ) ,ที่Lเป็นLaplacianของGและβเป็นปรับพารามิเตอร์G=(V,E)G=(V,E)G=(V,E)yi∈{−1,1}yi∈{−1,1}y_i\in\{-1,1\}K=exp(−βL),K=exp⁡(−βL),K=\exp(-\beta L),LLLGGGββ\beta การปรับ SVM ต้องเลือกของ hyperparameters ดังนั้นฉันมีการปรับแต่งโดยทั่วไปเราใช้การตรวจสอบข้ามปัญหานี้ แต่ดูเหมือนจะไม่เหมาะสมที่นี่เนื่องจากการละเว้นจุดสุดยอดiจากGเปลี่ยนกราฟทั้งหมดอาจเพิ่มจำนวนของส่วนประกอบที่เชื่อมต่อ! หากจำนวนของส่วนประกอบที่เชื่อมต่อมีการเปลี่ยนแปลงจุดยอดบางอย่างจะไม่สามารถเข้าถึงได้จากจุดอื่นและเรากำลังเผชิญกับชุดข้อมูลที่แตกต่างจากที่เราเริ่มต้น นั่นคือไม่เพียง แต่เราจะหายไปจุดสุดยอดที่นำออกไปฉันแต่เรายังขาดข้อมูลเกี่ยวกับจุดอื่น ๆ ทั้งหมดที่ jθ=(β,C).θ=(β,C).\theta=(\beta, C).iiiGGGiiijjj ในกราฟที่อยู่ติดกับจุดสุดยอดนั้น แนวคิดพื้นฐานของการตรวจสอบข้ามคือเราต้องการประมาณว่าโมเดลจะทำงานอย่างไรเมื่อนำเสนอด้วยข้อมูลใหม่ ในปัญหามาตรฐานการละเว้นข้อมูลบางส่วนของคุณสำหรับการทดสอบจะไม่เปลี่ยนค่าของข้อมูลการฝึกอบรมที่เหลืออยู่ อย่างไรก็ตามในกรณีของข้อมูลกราฟมันไม่ชัดเจนว่ามันหมายถึงอะไรสำหรับรุ่นที่จะเห็นข้อมูล "ใหม่" ในการตั้งค่า CV การละเว้นจุดยอดหรือขอบมีแนวโน้มที่จะเปลี่ยนแปลงข้อมูลทั้งหมด ตัวอย่างเช่นลองนึกภาพกราฟซึ่งเป็นกราฟk- star ซึ่งหนึ่งจุดยอดมีk edge to …

10 svm  cross-validation  kernel-trick  graph-theory 

เท่าที่ฉันเคยเห็นความคิดเห็นมีแนวโน้มที่จะแตกต่างกันเกี่ยวกับเรื่องนี้ แนวปฏิบัติที่ดีที่สุดจะใช้การตรวจสอบข้าม (โดยเฉพาะอย่างยิ่งหากเปรียบเทียบ RF กับอัลกอริธึมอื่น ๆ ในชุดข้อมูลเดียวกัน) แหล่งที่มาดั้งเดิมระบุว่ามีการคำนวณข้อผิดพลาด OOB ข้อเท็จจริงระหว่างการฝึกอบรมแบบจำลองเพียงพอที่จะเป็นตัวบ่งชี้ประสิทธิภาพของชุดทดสอบ แม้แต่ Trevor Hastie ในการพูดคุยเมื่อไม่นานมานี้กล่าวว่า "Random Forest ให้การตรวจสอบข้ามฟรี" โดยสัญชาตญาณสิ่งนี้สมเหตุสมผลสำหรับฉันหากการฝึกอบรมและพยายามปรับปรุงโมเดล RF-based บนหนึ่งชุดข้อมูล ความคิดเห็นของคุณเกี่ยวกับเรื่องนี้คืออะไร?

10 cross-validation  random-forest  overfitting  out-of-sample 

สมมติว่าฉันมีตัวอย่างขนาดเล็กเช่น N = 100 และสองชั้น ฉันจะเลือกการฝึกอบรมการตรวจสอบข้ามและขนาดชุดการทดสอบสำหรับการเรียนรู้ของเครื่องได้อย่างไร ฉันจะเลือกอย่างสังหรณ์ใจ ขนาดชุดฝึกอบรมเท่ากับ 50 ขนาดชุดการตรวจสอบความถูกต้องแบบไขว้และ ขนาดทดสอบ 25 แต่อาจทำให้รู้สึกมากหรือน้อย ฉันจะตัดสินใจค่าเหล่านี้ได้อย่างไร ฉันขอลองตัวเลือกที่แตกต่างกัน (แม้ว่าฉันเดาว่ามันจะไม่เป็นที่นิยม ... เพิ่มความเป็นไปได้ในการเรียนรู้มากกว่า)? ถ้าฉันมีมากกว่าสองคลาส

10 machine-learning  sampling  svm  cross-validation  sample-size 

ฉันคิดทบทวนคำตอบอีกครั้งเมื่อสองสามสัปดาห์ที่แล้ว การตรวจสอบความถูกต้องไขว้ของ Hold-out สร้างชุดการทดสอบเดี่ยวที่สามารถใช้ซ้ำ ๆ เพื่อสาธิตได้ เราทุกคนต่างก็เห็นด้วยว่านี่เป็นคุณลักษณะเชิงลบหลายประการเนื่องจากชุดที่ถูกชูไว้อาจกลายเป็นตัวแทนที่ไม่ใช่แบบสุ่มได้ ยิ่งไปกว่านั้นคุณสามารถสรุปข้อมูลการทดสอบในแบบเดียวกับที่คุณสามารถประเมินข้อมูลการฝึกอบรมได้ อย่างไรก็ตามสำหรับฉันแล้วดูเหมือนว่าลักษณะคงที่ของตัวอย่างที่ถูกจัดเก็บออกมานั้นเป็นการประมาณที่ดีกว่าในการ "รับข้อมูลเพิ่มเติม" กว่า k-fold CV และหลีกเลี่ยงปัญหาการเฉลี่ยข้ามครึ่ง อย่างไรก็ตามฉันไม่สามารถคิดสถิติพื้นฐานสำหรับความรู้สึกนี้ได้ มีเหตุผลอะไรบ้างในสัญชาตญาณของฉัน ตัวอย่างเช่นสิ่งที่ฉันมีอยู่ในใจสำหรับโครงการที่จะเกิดขึ้นเป็นครั้งแรกโดยใช้การตรวจสอบความถูกต้องในการสร้างและทดสอบแบบจำลองจากนั้นเป็นขั้นตอนการตรวจสอบความถูกต้องอีกครั้งการวาดภาพที่ค้างไว้ตั้งหลายครั้ง ในชุดทดสอบ) มีความทนทานต่อการสุ่มตัวอย่างข้อผิดพลาดในชุดทดสอบ นี่เป็นความคิดที่ดีไม่ว่าด้วยเหตุผลใด ๆ คำถามนี้ถูกถามมาก่อนแต่ไม่เคยได้รับคำตอบ

10 cross-validation 

ฉันได้รับแบบจำลองที่ลดลงสามแบบจากแบบเต็มรูปแบบดั้งเดิมโดยใช้ การเลือกไปข้างหน้า กำจัดไปข้างหลัง เทคนิคการลงโทษ L1 (LASSO) สำหรับรุ่นที่ได้รับใช้ไปข้างหน้าเลือกกำจัด / ข้างหลังผมได้รับการตรวจสอบประมาณการข้ามความผิดพลาดของการทำนายโดยใช้CVlmในแพคเกจในการใช้ได้DAAG Rสำหรับรูปแบบที่เลือกผ่าน Lasso cv.glmผมใช้ ข้อผิดพลาดในการทำนายสำหรับ LASSO นั้นน้อยกว่าข้อผิดพลาดที่ได้รับจากคนอื่น ดังนั้นโมเดลที่ได้จาก LASSO จึงน่าจะดีกว่าในแง่ของความสามารถในการทำนายและความแปรปรวน นี่เป็นปรากฏการณ์ทั่วไปที่เกิดขึ้นเสมอหรือเป็นปัญหาที่เฉพาะเจาะจงหรือไม่? อะไรคือเหตุผลเชิงทฤษฎีสำหรับสิ่งนี้หากนี่เป็นปรากฏการณ์ทั่วไป

10 cross-validation  model-selection  lasso  stepwise-regression 

ควรเลือกคุณลักษณะที่ทำกับข้อมูลการฝึกอบรมเท่านั้น (หรือข้อมูลทั้งหมด)? ฉันผ่านการสนทนาและเอกสารเช่นGuyon (2003)และSinghi และ Liu (2006)แต่ก็ยังไม่แน่ใจเกี่ยวกับคำตอบที่ถูก การตั้งค่าการทดสอบของฉันเป็นดังนี้: ชุดข้อมูล: การควบคุมที่ดีต่อสุขภาพ 50 คนและผู้ป่วยโรค 50 คน (คุณสมบัติ cca 200 ที่สามารถเกี่ยวข้องกับการทำนายโรค) ภารกิจคือการวินิจฉัยโรคตามคุณสมบัติที่มีอยู่ สิ่งที่ฉันทำคือ ใช้ชุดข้อมูลทั้งหมดและทำการเลือกคุณสมบัติ (FS) ฉันเก็บเฉพาะคุณสมบัติที่เลือกไว้เพื่อการประมวลผลต่อไป แยกเพื่อทดสอบและฝึกอบรมตัวจําแนกรถไฟโดยใช้ข้อมูลรถไฟและคุณสมบัติที่เลือก จากนั้นใช้ตัวจําแนกเพื่อทดสอบข้อมูล (อีกครั้งโดยใช้เฉพาะคุณสมบัติที่เลือก) ใช้การตรวจสอบความถูกต้องแบบลาก่อน รับความถูกต้องจำแนก ค่าเฉลี่ย: ทำซ้ำ 1) -3) N ครั้ง (100)ยังไม่มีข้อความ= 50ยังไม่มีข้อความ=50N=50 ฉันจะยอมรับว่าการทำ FS กับชุดข้อมูลทั้งหมดสามารถแนะนำอคติบางอย่าง แต่ความเห็นของฉันคือ "เฉลี่ยโดยเฉลี่ย" ในระหว่างการหาค่าเฉลี่ย (ขั้นตอนที่ 4) ถูกต้องหรือไม่ (ความแปรปรวนความแม่นยำคือ&lt; 2 %&lt;2%<2\% ) 1 …

10 dataset  cross-validation  experiment-design  feature-selection 

บอกว่าฉันมีวิธีการเรียนรู้สองวิธีสำหรับปัญหาการจัดหมวดหมู่และและฉันประเมินประสิทธิภาพการวางนัยทั่วไปด้วยบางอย่างเช่นการตรวจสอบความถูกต้องแบบไขว้ซ้ำหรือการบูตแบบสแตรป จากกระบวนการนี้ฉันได้รับการแจกแจงคะแนนและสำหรับแต่ละวิธีในการทำซ้ำเหล่านี้ (เช่นการกระจายของค่า ROC AUC สำหรับแต่ละรุ่น)AAABBB PAPAP_APBPBP_B เมื่อมองไปที่การแจกแจงเหล่านี้อาจเป็นได้ว่า แต่ (เช่นประสิทธิภาพการวางนัยทั่วไปที่คาดไว้ของสูงกว่าแต่มีความไม่แน่นอนเกี่ยวกับการประมาณนี้)μA≥μBμA≥μB\mu_A \ge \mu_BσA≥σBσA≥σB\sigma_A \ge \sigma_BAAABBB ฉันคิดว่าสิ่งนี้เรียกว่าภาวะที่กลืนไม่เข้าคายไม่ออกอคติในการถดถอย อะไรวิธีการทางคณิตศาสตร์ที่ฉันสามารถใช้เพื่อเปรียบเทียบและและในที่สุดก็ทำให้การตัดสินใจเกี่ยวกับรูปแบบการใช้งาน?PAPAP_APBPBP_B หมายเหตุ:เพื่อความเรียบง่ายฉันหมายถึงสองวิธีและที่นี่ แต่ฉันสนใจวิธีที่สามารถนำมาใช้เพื่อเปรียบเทียบการแจกแจงคะแนนของวิธีการเรียนรู้ ~ 1000 วิธี (เช่นจากการค้นหากริด) และในที่สุดก็สร้าง การตัดสินใจขั้นสุดท้ายเกี่ยวกับรูปแบบที่จะใช้AAABBB

10 cross-validation  model-selection 

ฉันกำลังทำงานกับชุดข้อมูล หลังจากใช้เทคนิคการระบุตัวแบบบางอย่างฉันก็ออกมาพร้อมกับแบบจำลอง ARIMA (0,2,1) ผมใช้detectIOฟังก์ชั่นในแพคเกจTSAในการวิจัยที่จะตรวจพบนวัตกรรมขอบเขต (IO) ที่สังเกต 48th ของชุดข้อมูลเดิมของฉัน ฉันจะรวมค่าผิดปกตินี้ไว้ในแบบจำลองของฉันเพื่อที่ฉันจะสามารถใช้เพื่อวัตถุประสงค์ในการพยากรณ์ได้อย่างไร ฉันไม่ต้องการใช้แบบจำลอง ARIMAX เนื่องจากฉันอาจไม่สามารถคาดการณ์ได้จากสิ่งนั้นใน R มีวิธีอื่นที่ฉันสามารถทำได้หรือไม่ นี่คือค่านิยมของฉันตามลำดับ: VALUE &lt;- scan() 4.6 4.5 4.4 4.5 4.4 4.6 4.7 4.6 4.7 4.7 4.7 5.0 5.0 4.9 5.1 5.0 5.4 5.6 5.8 6.1 6.1 6.5 6.8 7.3 7.8 8.3 8.7 9.0 9.4 9.5 9.5 …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models