คำถามติดแท็ก dataset

ฉันจะอธิบายปัญหาด้วยตัวอย่าง สมมติว่าคุณต้องการที่จะทำนายรายได้ของแต่ละบุคคลที่มีคุณลักษณะบางอย่าง: {อายุ, เพศ, ประเทศ, ภูมิภาค, เมือง} คุณมีชุดข้อมูลการฝึกอบรมเช่นนั้น train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

"ไอริส"ชุดข้อมูลที่น่าจะเป็นที่คุ้นเคยกับคนส่วนใหญ่ที่นี่ - มันเป็นหนึ่งในชุดข้อมูลการทดสอบเป็นที่ยอมรับและการเดินทางไปตัวอย่างเช่นชุดสำหรับทุกอย่างจากการแสดงข้อมูลในการเรียนรู้ของเครื่อง ตัวอย่างเช่นทุกคนในคำถามนี้ลงเอยด้วยการใช้มันเพื่อการอภิปรายเกี่ยวกับแผนการกระจายที่แยกออกจากกันโดยการรักษา อะไรที่ทำให้ชุดข้อมูลIrisมีประโยชน์มาก? แค่นั้นแหละที่นั่นก่อน? หากมีคนพยายามสร้างชุดข้อมูล / ตัวอย่างทดสอบที่มีประโยชน์พวกเขาสามารถนำบทเรียนใดไปใช้

28 dataset 

ฉันเพิ่งอ่านบทความนี้ซึ่งอธิบายถึงวิธีการคำนวณความสามารถในการทำซ้ำ (ความน่าเชื่อถือหรือความสัมพันธ์ภายในอินทราเน็ต) ของการวัดผ่านการสร้างแบบจำลองเอฟเฟกต์ผสม รหัส R จะเป็น: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = intercept_var/(intercept_var+residual_var) #compute n0, the repeatability adjustment n = as.data.frame(table(my_data$unit)) k = nrow(n) N = sum(n$Freq) n0 = (N-(sum(n$Freq^2)/N))/(k-1) #compute …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

เมื่อฉันใช้ GAM มันให้ DF ที่เหลือกับฉันคือ (บรรทัดสุดท้ายในรหัส) นั่นหมายความว่าอย่างไร? นอกเหนือไปจากตัวอย่างของ GAM โดยทั่วไปแล้วจำนวนองศาความเป็นอิสระจะเป็นจำนวนที่ไม่ใช่จำนวนเต็มหรือไม่26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

ซอฟต์แวร์ในที่สุดจะทำให้นักสถิติล้าสมัยหรือไม่? สิ่งใดที่ไม่สามารถตั้งโปรแกรมไว้ในคอมพิวเตอร์ได้

26 machine-learning  dataset  careers 

ในฐานะที่เป็นวิทยาศาสตร์จะต้องทำซ้ำโดยความหมายมีการรับรู้เพิ่มขึ้นว่าข้อมูลและรหัสเป็นองค์ประกอบที่สำคัญของ reproduciblity ตามที่กล่าวโดยเยลโต๊ะกลมสำหรับข้อมูลและการแบ่งปันรหัส ในการตรวจสอบต้นฉบับสำหรับวารสารที่ไม่ต้องการข้อมูลและการแชร์รหัสฉันสามารถขอให้มีการใช้ข้อมูลและรหัสได้หรือไม่ ถึงฉันในเวลาที่รีวิว สาธารณะในเวลาที่เผยแพร่ (วารสารสนับสนุนข้อมูลเพิ่มเติม) นอกจากนี้ฉันจะวลีคำขอดังกล่าวได้อย่างไร อัปเดต : แม้ว่าฉันสนใจกรณีทั่วไป แต่เฉพาะกรณีนี้ประกอบด้วยการวิเคราะห์ meta กับข้อมูลที่เผยแพร่ก่อนหน้านี้ทั้งหมดและรหัสเป็นตัวแบบเชิงเส้นง่าย ๆ ใน SAS หมายเหตุข้างเคียงความสามารถในการอนุมานการศึกษาข้าม (เช่นเดียวกับเป้าหมายของการวิเคราะห์อภิมาน) จะได้รับการปรับปรุงอย่างมากหากมีการศึกษาเพิ่มเติมที่ให้ข้อมูลดิบ อัปเดต 2 : ฉันขอข้อมูลและรหัสจากเครื่องมือแก้ไขเพื่อการตรวจทานบรรณาธิการพิจารณาคำขอที่สมเหตุสมผลและฉันได้รับเนื้อหาที่ร้องขอ (เพียงพอ แต่มีชื่อตัวแปรที่เข้ารหัสลับไม่มีข้อมูลเมตาดาต้าและความคิดเห็นแบบอินไลน์เล็กน้อย) ภายในหนึ่งวัน

23 dataset  validation  reproducible-research  journals 

ในหลาย ๆ แอปพลิเคชันการเรียนรู้ของเครื่องวิธีการเสริมข้อมูลที่เรียกว่าได้อนุญาตให้สร้างแบบจำลองที่ดีกว่า ตัวอย่างเช่นสมมติชุดฝึกสุนัขและแมวจำนวนภาพ โดยการหมุน, การทำมิเรอร์, การปรับคอนทราสต์ ฯลฯ เป็นไปได้ที่จะสร้างภาพเพิ่มเติมจากภาพต้นฉบับ100100100 ในกรณีของภาพการเพิ่มข้อมูลค่อนข้างตรงไปตรงมา อย่างไรก็ตามสมมติว่ามีตัวอย่างชุดฝึกอบรมจำนวนตัวอย่างและตัวแปรต่อเนื่องสองสามร้อยตัวที่เป็นตัวแทนของสิ่งต่าง ๆ การเพิ่มข้อมูลดูเหมือนจะไม่ง่ายอีกต่อไป จะทำอะไรได้บ้างในกรณีเช่นนี้?100100100

21 machine-learning  predictive-models  dataset  independence  data-augmentation 

หลังจากทำการวิเคราะห์องค์ประกอบหลัก (PCA) ฉันต้องการฉายเวกเตอร์ใหม่ลงบนพื้นที่ PCA (เช่นค้นหาพิกัดในระบบพิกัด PCA) ผมได้คำนวณ PCA ในภาษา R prcompโดยใช้ ตอนนี้ฉันควรคูณเวกเตอร์ของฉันด้วยเมทริกซ์การหมุน PCA ควรจัดองค์ประกอบหลักในเมทริกซ์นี้เป็นแถวหรือคอลัมน์?

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

ฉันได้ทำการวิจัยบางอย่างเกี่ยวกับการให้น้ำหนักมากไปและ underfitting และฉันเข้าใจว่ามันคืออะไร แต่ฉันไม่สามารถหาสาเหตุได้ อะไรคือสาเหตุหลักของการทำ overfitting และ underfitting? ทำไมเราต้องเผชิญกับปัญหาทั้งสองนี้ในการฝึกอบรมนางแบบ?

20 machine-learning  dataset  overfitting 

อะไรคือความแตกต่างที่สำคัญระหว่างข้อมูลที่กระจัดกระจายและข้อมูลที่ขาดหายไป? และมันมีอิทธิพลต่อการเรียนรู้ของเครื่องอย่างไร โดยเฉพาะอย่างยิ่งสิ่งที่ทำให้ข้อมูลกระจัดกระจายและข้อมูลที่ขาดหายไปนั้นมีต่ออัลกอริธึมการจำแนกและประเภทการถดถอย ฉันกำลังพูดถึงสถานการณ์ที่เปอร์เซ็นต์ของข้อมูลที่ขาดหายไปมีความสำคัญและเราไม่สามารถวางแถวที่มีข้อมูลที่ขาดหายไปได้

20 machine-learning  dataset  missing-data  sparse 

"การดูแลระยะไกล" เป็นรูปแบบการเรียนรู้ที่ตัวจำแนกลักษณนามได้รับชุดฝึกอบรมที่มีป้ายกำกับอ่อนแอ (ข้อมูลการฝึกอบรมจะมีป้ายกำกับโดยอัตโนมัติตามการวิเคราะห์พฤติกรรม / กฎ) ฉันคิดว่าทั้งการเรียนรู้ภายใต้การดูแลและการเรียนรู้แบบกึ่งมีส่วนร่วมอาจรวมถึง "การกำกับดูแลที่ห่างไกล" หากข้อมูลที่ติดฉลากของพวกเขานั้นมีการแก้ปัญหาด้วยวิธีฮิวริสติก / อัตโนมัติ อย่างไรก็ตามในหน้านี้ "การกำกับดูแลที่ห่างไกล" หมายถึง "การเรียนรู้แบบกึ่งภายใต้การดูแล" (เช่น จำกัด เฉพาะ "การควบคุมกึ่ง") ดังนั้นคำถามของฉันคือ"การควบคุมดูแลที่ห่างไกล" อ้างถึงการควบคุมกึ่งหรือไม่? ในความคิดของฉันมันสามารถนำไปใช้กับการเรียนรู้ทั้งแบบมีผู้สอนและแบบกึ่งมีผู้สอน โปรดระบุข้อมูลอ้างอิงที่เชื่อถือได้หากมี

20 machine-learning  data-mining  dataset  references  unsupervised-learning 

ฉันยังใหม่กับการเรียนรู้ของเครื่องและกำลังมองหาชุดข้อมูลบางอย่างที่ฉันสามารถเปรียบเทียบและตัดกันความแตกต่างระหว่างอัลกอริทึมการเรียนรู้ของเครื่องที่แตกต่างกัน (Decision Trees, Boosting, SVM และ Neural Networks) ฉันจะหาชุดข้อมูลเหล่านี้ได้จากที่ไหน? ฉันควรมองหาอะไรขณะพิจารณาชุดข้อมูล มันจะดีถ้าคุณสามารถชี้ไปที่ชุดข้อมูลที่ดีและบอกฉันว่าอะไรทำให้พวกเขาเป็นชุดข้อมูลที่ดี?

19 machine-learning  dataset 

ฉันได้ดูชุดข้อมูล R จำนวนมากการโพสต์ใน DASL และที่อื่น ๆ และฉันไม่พบตัวอย่างที่ดีของชุดข้อมูลที่น่าสนใจมากมายที่แสดงการวิเคราะห์ความแปรปรวนร่วมสำหรับข้อมูลการทดลอง มีชุดข้อมูล "ของเล่น" จำนวนมากที่มีข้อมูลที่ประดิษฐ์ไว้ในตำราเรียน ฉันต้องการตัวอย่างที่: ข้อมูลเป็นของจริงพร้อมเรื่องราวที่น่าสนใจ มีปัจจัยการรักษาอย่างน้อยหนึ่งปัจจัยและสองตัวแปรร่วม covariate อย่างน้อยหนึ่งตัวได้รับผลกระทบจากปัจจัยการรักษาอย่างน้อยหนึ่งอย่างและอย่างใดอย่างหนึ่งไม่ได้รับผลกระทบจากการรักษา ทดลองมากกว่าการสังเกตโดยเฉพาะอย่างยิ่ง พื้นหลัง เป้าหมายที่แท้จริงของฉันคือการหาตัวอย่างที่ดีในการเขียนบทความสั้น ๆ สำหรับแพ็คเกจ R ของฉัน แต่เป้าหมายที่ใหญ่กว่าคือผู้คนจำเป็นต้องเห็นตัวอย่างที่ดีเพื่อแสดงให้เห็นถึงความกังวลที่สำคัญในการวิเคราะห์ความแปรปรวนร่วม พิจารณาสถานการณ์ที่สร้างขึ้นต่อไปนี้ (และโปรดเข้าใจว่าความรู้ของฉันเกี่ยวกับการเกษตรเป็นเรื่องที่ตื้นที่สุด) เราทำการทดลองที่ปุ๋ยถูกสุ่มไปยังแปลงและปลูกพืช หลังจากระยะเวลาการเจริญเติบโตที่เหมาะสมเราเก็บเกี่ยวพืชผลและวัดลักษณะคุณภาพ - นั่นคือตัวแปรตอบสนอง แต่เรายังบันทึกปริมาณน้ำฝนทั้งหมดในช่วงที่ปลูกและความเป็นกรดของดินในช่วงที่มีการเก็บเกี่ยว - และแน่นอนว่ามีการใช้ปุ๋ย ดังนั้นเราจึงมีโควาเรียสองตัวและการบำบัด วิธีปกติในการวิเคราะห์ข้อมูลที่ได้จะเป็นแบบจำลองเชิงเส้นตรงกับการรักษาเป็นปัจจัยและผลเสริมสำหรับ covariates จากนั้นจะสรุปผลลัพธ์หนึ่งคำสั่ง "ปรับหมายถึง" (AKA หมายถึงกำลังสองน้อยที่สุด) ซึ่งเป็นการทำนายจากแบบจำลองสำหรับแต่ละปุ๋ยที่ปริมาณน้ำฝนเฉลี่ยและความเป็นกรดของดินเฉลี่ย 3 สิ่งนี้ทำให้ทุกอย่างเท่าเทียมกันเพราะเมื่อเราเปรียบเทียบผลลัพธ์เหล่านี้เรามีปริมาณน้ำฝนและค่าความเป็นกรดคงที่ แต่นี่อาจเป็นสิ่งที่ผิดที่ต้องทำเพราะปุ๋ยอาจส่งผลกระทบต่อความเป็นกรดของดินรวมถึงการตอบสนอง สิ่งนี้ทำให้การปรับหมายถึงทำให้เข้าใจผิดเพราะผลการรักษารวมถึงผลกระทบต่อความเป็นกรด วิธีหนึ่งในการจัดการสิ่งนี้คือการเอากรดออกจากแบบจำลองจากนั้นวิธีการปรับปริมาณน้ำฝนจะให้การเปรียบเทียบที่เป็นธรรม แต่ถ้าความเป็นกรดมีความสำคัญความเป็นธรรมนี้มาพร้อมกับราคาที่ดีในการเพิ่มความแปรปรวนที่เหลือ มีวิธีแก้ไขโดยใช้ความเป็นกรดที่ปรับแล้วในแบบจำลองแทนที่จะเป็นค่าดั้งเดิม การปรับปรุงที่จะเกิดขึ้นในแพคเกจ R ฉันlsmeansจะทำให้เรื่องนี้อย่างจริงจังง่าย …

19 dataset  ancova  predictor 

พื้นหลัง ฉันกำลังดูแลการป้อนข้อมูลจากวรรณกรรมหลักลงในฐานข้อมูล กระบวนการป้อนข้อมูลนั้นเกิดข้อผิดพลาดได้ง่ายโดยเฉพาะอย่างยิ่งเนื่องจากผู้ใช้ต้องตีความการออกแบบการทดลองดึงข้อมูลจากกราฟิกและตารางและแปลงผลลัพธ์เป็นหน่วยมาตรฐาน ข้อมูลจะถูกป้อนเข้าสู่ฐานข้อมูล MySQL ผ่านเว็บอินเตอร์เฟส จุดข้อมูลมากกว่า 10k จากตัวแปร> 20 ชนิด> 100 สปีชีส์และ> 500 การอ้างอิงได้ถูกรวมไว้แล้ว ฉันต้องการเรียกใช้การตรวจสอบคุณภาพของข้อมูลตัวแปรไม่เพียง แต่รวมถึงข้อมูลที่มีอยู่ในตารางการค้นหาเช่นสปีชีส์ที่เกี่ยวข้องกับแต่ละจุดข้อมูลสถานที่ตั้งของการศึกษา ฯลฯ การป้อนข้อมูลยังดำเนินอยู่ดังนั้น QA / QC จะต้องทำงานเป็นระยะ ๆ ข้อมูลยังไม่ได้เผยแพร่สู่สาธารณะ แต่เราวางแผนที่จะเผยแพร่ในอีกไม่กี่เดือนข้างหน้า ปัจจุบัน QA / QC ของฉันมีสามขั้นตอน: ผู้ใช้ที่สองตรวจสอบแต่ละจุดข้อมูล ตรวจสอบฮิสโตแกรมที่มองเห็นด้วยตาแต่ละตัวแปรสำหรับค่าผิดปกติ ผู้ใช้รายงานข้อมูลที่น่าสงสัยหลังจากได้รับผลลัพธ์ปลอม คำถาม มีแนวทางที่ฉันสามารถใช้สำหรับการพัฒนากระบวนการ QA / QC ที่มีประสิทธิภาพสำหรับฐานข้อมูลนี้หรือไม่? ขั้นตอนแรกใช้เวลานานที่สุด มีสิ่งใดบ้างที่ฉันสามารถทำได้เพื่อให้มีประสิทธิภาพมากขึ้น

18 dataset  meta-analysis  quality-control  database 

ล็อคแล้ว คำถามและคำตอบของคำถามนี้ถูกล็อคเนื่องจากคำถามอยู่นอกหัวข้อ แต่มีความสำคัญทางประวัติศาสตร์ ขณะนี้ไม่ยอมรับคำตอบหรือการโต้ตอบใหม่ ฉันกำลังมองหาชุดข้อมูลเครือข่ายสังคมออนไลน์ (twitter, friendfeed, facebook, lastfm และอื่น ๆ ) สำหรับการจัดประเภทงานโดยเฉพาะอย่างยิ่งในรูปแบบ arff การค้นหาของฉันผ่าน UCI และ Google ยังไม่ประสบความสำเร็จ ... คำแนะนำใด ๆ

18 classification  dataset