คำถามติดแท็ก parallel-computing

ฉันมีสคริปต์ R สำหรับอ่านข้อมูล csv จำนวนมากจากไฟล์ต่าง ๆ จากนั้นทำงานการเรียนรู้ของเครื่องเช่น svm สำหรับการจัดหมวดหมู่ มีห้องสมุดใดที่ใช้ประโยชน์หลายคอร์บนเซิร์ฟเวอร์สำหรับอาร์ หรือ วิธีที่เหมาะสมที่สุดในการบรรลุนั้นคืออะไร?

28 r  parallel-computing  multicore 

หลังจากทำการวิเคราะห์องค์ประกอบหลัก (PCA) ฉันต้องการฉายเวกเตอร์ใหม่ลงบนพื้นที่ PCA (เช่นค้นหาพิกัดในระบบพิกัด PCA) ผมได้คำนวณ PCA ในภาษา R prcompโดยใช้ ตอนนี้ฉันควรคูณเวกเตอร์ของฉันด้วยเมทริกซ์การหมุน PCA ควรจัดองค์ประกอบหลักในเมทริกซ์นี้เป็นแถวหรือคอลัมน์?

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

ใครของคุณในฟอรัมนี้ใช้ "> R กับmulticore , snow packages หรือCUDAดังนั้นสำหรับการคำนวณขั้นสูงที่ต้องใช้พลังงานมากกว่า CPU แบบเวิร์กสเตชัน? คุณใช้คอมพิวเตอร์เครื่องไหนในการคำนวณสคริปต์เหล่านี้ที่บ้าน / ที่ทำงานหรือคุณมี เข้าถึงศูนย์ข้อมูลได้ที่ไหน? พื้นหลังของคำถามเหล่านี้มีดังต่อไปนี้: ฉันกำลังเขียน วท.ม. วิทยานิพนธ์เกี่ยวกับ R และการคำนวณที่มีประสิทธิภาพสูงและต้องการความรู้อย่างมากเกี่ยวกับผู้ที่ใช้อาร์จริงฉันอ่านว่า R มีผู้ใช้ 1 ล้านคนในปี 2008 แต่นั่นเป็นสถิติผู้ใช้เพียงอย่างเดียวที่ฉันสามารถหาได้ในหัวข้อนี้ คำตอบ! ขอแสดงความนับถือเฮ็น

16 r  mathematical-statistics  computing  parallel-computing 

เมื่อเขียนโปรแกรมใน R ฉันใช้แพ็คเกจมัลติคอร์สองสามครั้ง อย่างไรก็ตามฉันไม่เคยเห็นคำสั่งเกี่ยวกับวิธีการจัดการกับตัวเลขสุ่ม เมื่อฉันใช้ openMP กับ C ฉันระวังที่จะใช้ RNG แบบขนานที่เหมาะสม แต่ด้วย R ฉันคิดว่ามีบางอย่างที่เหมาะสมเกิดขึ้น มีใครยืนยันได้ไหมว่ามีบางสิ่งที่เหมาะสมเกิดขึ้น? ตัวอย่าง จากเอกสารเรามี x <- foreach(icount(1000), .combine = "+") %do% rnorm(4) วิธีนี้เป็นrnorm`s สร้าง?

15 r  random-generation  parallel-computing  multicore 

ฉันกำลังทำงานกับชุดข้อมูล หลังจากใช้เทคนิคการระบุตัวแบบบางอย่างฉันก็ออกมาพร้อมกับแบบจำลอง ARIMA (0,2,1) ผมใช้detectIOฟังก์ชั่นในแพคเกจTSAในการวิจัยที่จะตรวจพบนวัตกรรมขอบเขต (IO) ที่สังเกต 48th ของชุดข้อมูลเดิมของฉัน ฉันจะรวมค่าผิดปกตินี้ไว้ในแบบจำลองของฉันเพื่อที่ฉันจะสามารถใช้เพื่อวัตถุประสงค์ในการพยากรณ์ได้อย่างไร ฉันไม่ต้องการใช้แบบจำลอง ARIMAX เนื่องจากฉันอาจไม่สามารถคาดการณ์ได้จากสิ่งนั้นใน R มีวิธีอื่นที่ฉันสามารถทำได้หรือไม่ นี่คือค่านิยมของฉันตามลำดับ: VALUE <- scan() 4.6 4.5 4.4 4.5 4.4 4.6 4.7 4.6 4.7 4.7 4.7 5.0 5.0 4.9 5.1 5.0 5.4 5.6 5.8 6.1 6.1 6.5 6.8 7.3 7.8 8.3 8.7 9.0 9.4 9.5 9.5 …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

UPDATE: คาเร็ตใช้ในตอนนี้foreachดังนั้นคำถามนี้จึงไม่มีความเกี่ยวข้องอีกต่อไป หากคุณสามารถลงทะเบียนแบ็กเอนด์แบบขนานที่foreachใช้งานได้คาเร็ตจะใช้มัน ฉันมีชุดคาเร็ตสำหรับ R และฉันสนใจที่จะใช้trainฟังก์ชั่นเพื่อตรวจสอบความถูกต้องของโมเดลของฉัน อย่างไรก็ตามฉันต้องการเพิ่มความเร็วและดูเหมือนว่าเครื่องหมายรูปหมวกจะให้การสนับสนุนการประมวลผลแบบขนาน วิธีที่ดีที่สุดในการเข้าถึงคุณลักษณะนี้ในเครื่อง Windows คืออะไร ฉันมีแพ็คเกจdoSMPแต่ฉันไม่สามารถเข้าใจวิธีการแปลforeachฟังก์ชั่นเป็นlapplyฟังก์ชั่นดังนั้นฉันสามารถส่งผ่านไปยังtrainฟังก์ชันได้ นี่คือตัวอย่างของสิ่งที่ฉันต้องการจะทำจากtrainเอกสาร: นี่คือสิ่งที่ฉันต้องการจะทำ แต่ใช้doSMPแพ็คเกจแทนที่จะเป็นdoMPIแพ็คเกจ ## A function to emulate lapply in parallel mpiCalcs <- function(X, FUN, ...) } theDots <- list(...) parLapply(theDots$cl, X, FUN) { library(snow) cl <- makeCluster(5, "MPI") ## 50 bootstrap models distributed across 5 workers mpiControl <- …

10 r  parallel-computing 

ฉันใช้การจำลองใน R และคลัสเตอร์คอมพิวเตอร์และมีปัญหาดังต่อไปนี้ ฉันใช้งานคอมพิวเตอร์ X แต่ละเครื่อง: fxT2 <- function(i) runif(10) nessay <- 100 c(mclapply(1:nessay, fxT2), recursive=TRUE) มีคอมพิวเตอร์ 32 เครื่องแต่ละเครื่องมี 16 คอร์ อย่างไรก็ตามประมาณ 2% ของตัวเลขสุ่มนั้นเหมือนกัน คุณจะใช้กลยุทธ์อะไรเพื่อหลีกเลี่ยงปัญหานี้? ฉันสามารถหลีกเลี่ยงปัญหานี้สำหรับ fxT2 โดยการตั้งเวลาแฝง (เช่นการหน่วงเวลาวินาทีที่แต่ละงานถูกส่งไปยังคอมพิวเตอร์ X แต่ละเครื่อง) แต่ดูเหมือนว่าจะเป็นโฆษณาสำหรับ fxt2 ปัญหาคือว่าในความเป็นจริง fxT2 เป็นงานที่ยาวนานที่เกี่ยวข้องกับการสุ่มตัวเลขหลอก ในตอนท้ายของกระบวนการฉันคาดว่าจะได้รับการทำสำเนา X * nessay จากการทดลองทางสถิติแบบเดียวกันไม่ใช่การทำซ้ำแบบ nessay วิธีการตรวจสอบให้แน่ใจว่าเป็นกรณีนี้และมีวิธีการตรวจสอบนี้หรือไม่?

10 r  random-generation  parallel-computing  multicore