คำถามติดแท็ก predictive-models

ครั้งแรกมันคือBrexitตอนนี้การเลือกตั้งสหรัฐ การทำนายแบบจำลองจำนวนมากถูกปิดลงโดยมีระยะขอบกว้างและมีบทเรียนที่ต้องเรียนรู้ที่นี่หรือไม่? ดึกแค่สี่ทุ่ม PST เมื่อวานนี้ตลาดการเดิมพันยังคงเป็นที่นิยมของฮิลลารี 4 ต่อ 1 ฉันคิดว่าตลาดการเดิมพันด้วยเงินจริงในบรรทัดควรทำหน้าที่เป็นชุดของการทำนายที่มีทั้งหมด ดังนั้นจึงไม่ใช่เรื่องที่ไกลเกินกว่าที่จะบอกว่าแบบจำลองเหล่านี้ทำงานได้ไม่ดีนัก ฉันเห็นหนึ่งคำอธิบายว่าผู้ลงคะแนนไม่เต็มใจที่จะระบุตัวเองว่าเป็นผู้สนับสนุนทรัมป์ แบบจำลองสามารถรวมเอฟเฟกต์แบบนั้นได้อย่างไร คำอธิบายหนึ่งแมโครผมอ่านคือการเพิ่มขึ้นของประชานิยม คำถามคือโมเดลทางสถิติสามารถจับแนวโน้มมาโครได้อย่างไร แบบจำลองการทำนายเหล่านี้ออกมามีน้ำหนักมากเกินไปกับข้อมูลจากการสำรวจและความเชื่อมั่นซึ่งไม่เพียงพอจากที่ประเทศกำลังยืนอยู่ในมุมมอง 100 ปี? ฉันกำลังพูดถึงความคิดเห็นของเพื่อน

108 predictive-models  ensemble  confounding 

ฉันต้องการความคิดของคุณเกี่ยวกับความแตกต่างระหว่างการตรวจสอบความถูกต้องระหว่างกันและการบูตสแตรปเพื่อประเมินข้อผิดพลาดในการทำนาย ทำงานได้ดีกว่าสำหรับชุดข้อมูลขนาดเล็กหรือชุดข้อมูลขนาดใหญ่หรือไม่

102 cross-validation  predictive-models  bootstrap 

สำหรับช่วงเวลาการคาดการณ์ในการถดถอยเชิงเส้นคุณยังคงใช้เพื่อสร้างช่วงเวลา นอกจากนี้คุณยังใช้วิธีนี้ในการสร้างความเชื่อมั่นของx_0] ความแตกต่างระหว่างสองคืออะไรE[Y| x0]E^[ Y| x]= β0^+ β^1xE^[Y|x]=β0^+β^1x\hat{E}[Y|x] = \hat{\beta_0}+\hat{\beta}_{1}xE[ Y| x0]E[Y|x0]E[Y|x_0]

80 regression  confidence-interval  predictive-models  prediction-interval 

สำหรับการศึกษาการจำลองฉันต้องสร้างตัวแปรสุ่มที่แสดง prefined (ประชากร) ความสัมพันธ์กับตัวแปรที่มีอยู่YYYY ฉันดูในRแพ็คเกจcopulaและCDVineสามารถสร้างการแจกแจงหลายตัวแปรแบบสุ่มด้วยโครงสร้างการพึ่งพาที่กำหนด อย่างไรก็ตามเป็นไปไม่ได้ที่จะแก้ไขหนึ่งในตัวแปรที่เป็นผลลัพธ์ของตัวแปรที่มีอยู่ ความคิดและลิงก์ไปยังฟังก์ชั่นที่มีอยู่นั้นได้รับการชื่นชม! สรุป: คำตอบที่ถูกต้องสองคำขึ้นมาพร้อมกับโซลูชันที่แตกต่าง: R สคริปต์โดย Caracal ซึ่งจะคำนวณตัวแปรสุ่มกับที่แน่นอน (ตัวอย่าง) ความสัมพันธ์กับตัวแปรที่กำหนดไว้ล่วงหน้า R ฟังก์ชั่นฉันพบตัวเองซึ่งจะคำนวณตัวแปรสุ่มที่มีการกำหนดประชากรความสัมพันธ์กับตัวแปรที่กำหนดไว้ล่วงหน้า [@ttnphns 'นอกจากนี้: ฉันใช้เสรีภาพในการขยายชื่อคำถามจากกรณีตัวแปรคงที่เดียวเป็นจำนวนคงที่ของตัวแปรคงที่; เช่นวิธีการสร้างตัวแปรที่มีคอร์เรชั่นที่กำหนดไว้ล่วงหน้าพร้อมกับตัวแปรคงที่บางตัวที่มีอยู่]

71 r  correlation  random-variable  random-generation  independence  assumptions  random-variable  unbiased-estimator  regression  hypothesis-testing  heteroscedasticity  generalized-least-squares  distributions  networks  data-visualization  sas  reproducible-research  philosophical  time-series  variance  outliers  quality-control  mean  multilevel-analysis  average  weighted-mean  regression  confidence-interval  prediction-interval  correlation  matlab  matrix  data-mining  maximum-likelihood  r  time-series  survival  predictive-models 

ย้อนกลับไปในเดือนเมษายนฉันได้เข้าร่วมการสัมมนาในชุดสัมมนากลุ่มสถิติภาควิชาคณิตศาสตร์ของ UMD ชื่อ "เพื่ออธิบายหรือทำนาย" คำปราศรัยนี้ได้รับจากศาสตราจารย์ Galit Shmueliผู้สอนที่โรงเรียนธุรกิจ Smith ของ UMD คำปราศรัยของเธอขึ้นอยู่กับการวิจัยที่เธอทำกับกระดาษที่มีชื่อว่า"Predictive vs. Explanatory Modeling in IS Research"และบทความเกี่ยวกับการทำงานติดตามเรื่อง"To Explain or To Predict?" . ข้อโต้แย้งของดร. Shmueli ก็คือคำที่ใช้ในการทำนายและอธิบายในบริบทการสร้างแบบจำลองทางสถิติได้เกิดการสับสน ในกระดาษเธอแตกต่างทั้งสองและพูดคุยเกี่ยวกับความหมายในทางปฏิบัติของพวกเขา ฉันแนะนำให้คุณอ่านเอกสาร คำถามที่ฉันต้องการโพสต์ในชุมชนผู้ประกอบการคือ: คุณกำหนดแบบฝึกหัดทำนายผลได้อย่างไรกับแบบอธิบาย / อธิบาย มันจะมีประโยชน์ถ้าคุณสามารถพูดคุยเกี่ยวกับการใช้งานเฉพาะ คุณเคยตกหลุมพรางของการใช้อันใดอันหนึ่งเมื่อหมายถึงการใช้อันอื่นหรือไม่? ฉันมี คุณรู้ได้อย่างไรว่าจะใช้อันไหน

70 predictive-models 

สมมติว่าเรามีใครบางคนกำลังสร้างแบบจำลองการทำนาย แต่บางคนไม่จำเป็นต้องมีความรอบรู้ในหลักการทางสถิติหรือการเรียนรู้ของเครื่องที่เหมาะสม บางทีเราอาจช่วยคน ๆ นั้นขณะที่พวกเขากำลังเรียนรู้หรือบางทีคนนั้นก็กำลังใช้แพคเกจซอฟต์แวร์บางประเภทที่ต้องการความรู้น้อยที่สุดในการใช้งาน ตอนนี้บุคคลนี้อาจจำได้ดีว่าการทดสอบจริงมาจากความถูกต้อง (หรืออะไรก็ตามที่วัดอื่น ๆ ) จากข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่าง อย่างไรก็ตามความกังวลของฉันคือมีจำนวนมากรายละเอียดย่อยที่ต้องกังวลเกี่ยวกับ ในกรณีที่ง่ายพวกเขาสร้างแบบจำลองของพวกเขาและประเมินบนข้อมูลการฝึกอบรมและประเมินบนข้อมูลการทดสอบที่จัดขึ้น น่าเสียดายที่บางครั้งมันง่ายเกินไปที่จะย้อนกลับไปและปรับแต่งพารามิเตอร์การสร้างแบบจำลองและตรวจสอบผลลัพธ์ในข้อมูล "การทดสอบ" เดียวกันนั้น ณ จุดนี้ข้อมูลไม่ได้เป็นข้อมูลนอกตัวอย่างที่แท้จริงอีกต่อไปและการมีน้ำหนักเกินอาจกลายเป็นปัญหาได้ วิธีหนึ่งที่เป็นไปได้ในการแก้ไขปัญหานี้คือการแนะนำให้สร้างชุดข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่างจำนวนมากซึ่งชุดทดสอบแต่ละชุดสามารถถูกทิ้งหลังการใช้งานและไม่ได้นำมาใช้ซ้ำเลย วิธีนี้ต้องใช้การจัดการข้อมูลจำนวนมากโดยเฉพาะอย่างยิ่งการแยกที่ต้องทำก่อนการวิเคราะห์ (ดังนั้นคุณจะต้องรู้จำนวนการแยกก่อนล่วงหน้า) บางทีวิธีการทั่วไปที่มากขึ้นก็คือการตรวจสอบความถูกต้องด้วย k-fold อย่างไรก็ตามในบางแง่ที่สูญเสียความแตกต่างระหว่างชุดข้อมูล "การฝึกอบรม" และ "การทดสอบ" ที่ฉันคิดว่าจะมีประโยชน์โดยเฉพาะอย่างยิ่งกับผู้ที่ยังคงเรียนรู้ นอกจากนี้ฉันไม่มั่นใจว่าสิ่งนี้เหมาะสมสำหรับแบบจำลองการทำนายทุกประเภท มีวิธีที่ฉันมองข้ามเพื่อช่วยเอาชนะปัญหาการ overfitting และการทดสอบการรั่วไหลในขณะที่ยังคงค่อนข้างชัดเจนกับผู้ใช้ที่ไม่มีประสบการณ์?

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

ในสถานการณ์ใดที่คุณต้องการหรือไม่ต้องการปรับขนาดหรือทำให้มาตรฐานเป็นตัวแปรก่อนที่จะทำการปรับแบบจำลอง ข้อดีและข้อเสียของการปรับขนาดตัวแปรคืออะไร?

56 modeling  predictive-models  feature-selection  theory  standardization 

ฉันต้องการอัลกอริทึมเป็นจำนวนมากที่ทำงานเช่นเดียวกับการถดถอยโลจิสติก นั่นคืออัลกอริธึม / แบบจำลองที่สามารถทำนายการตอบสนองแบบไบนารี (Y) ด้วยตัวแปรอธิบาย (X) ฉันจะดีใจถ้าคุณตั้งชื่ออัลกอริทึมถ้าคุณจะแสดงวิธีการใช้ในอาร์นี่คือรหัสที่สามารถอัปเดตกับรุ่นอื่น ๆ ได้: set.seed(55) n <- 100 x <- c(rnorm(n), 1+rnorm(n)) y <- c(rep(0,n), rep(1,n)) r <- glm(y~x, family=binomial) plot(y~x) abline(lm(y~x), col='red', lty=2) xx <- seq(min(x), max(x), length=100) yy <- predict(r, data.frame(x=xx), type='response') lines(xx, yy, col='blue', lwd=5, lty=2) title(main='Logistic regression with the "glm" …

55 r  regression  logistic  classification  predictive-models 

สมมติว่าคุณเป็นนักวิจัยสังคมศาสตร์ / เศรษฐมิติที่พยายามค้นหาตัวทำนายที่เกี่ยวข้องของความต้องการใช้บริการ คุณมี 2 ผลลัพธ์ / ตัวแปรตามที่อธิบายความต้องการ (ใช้บริการใช่ / ไม่ใช่และจำนวนครั้ง) คุณมีตัวแปรทำนาย 10 ตัว / ตัวแปรอิสระที่สามารถอธิบายความต้องการในทางทฤษฎี (เช่นอายุเพศรายได้ราคาเชื้อชาติ ฯลฯ ) การรันการถดถอยหลาย ๆ ตัวสองตัวที่แยกกันจะให้ค่าประมาณ 20 สัมประสิทธิ์และค่า p เมื่อมีตัวแปรอิสระเพียงพอในการถดถอยของคุณคุณจะพบตัวแปรอย่างน้อยหนึ่งตัวแปรที่มีความสัมพันธ์อย่างมีนัยสำคัญทางสถิติระหว่างตัวแปรที่ขึ้นอยู่กับตัวแปรอิสระ คำถามของฉัน: เป็นความคิดที่ดีหรือไม่ที่จะแก้ไขค่า p สำหรับการทดสอบหลายครั้งถ้าฉันต้องการรวมตัวแปรอิสระทั้งหมดในการถดถอย การอ้างอิงถึงงานก่อนหน้านี้ชื่นชมมาก

54 regression  multivariate-analysis  predictive-models  multiple-regression  multiple-comparisons 

เรามีคำถามหลายข้อเกี่ยวกับข้อมูลที่ไม่สมดุลเมื่อใช้การถดถอยโลจิสติก , SVM , ต้นไม้ตัดสินใจ , การใส่ถุงและคำถามอื่นที่คล้ายกันจำนวนหนึ่งสิ่งที่ทำให้มันเป็นหัวข้อยอดนิยม! น่าเสียดายที่คำถามแต่ละข้อดูเหมือนจะเป็นแบบเฉพาะอัลกอริทึมและฉันไม่พบแนวทางทั่วไปใด ๆ ในการจัดการกับข้อมูลที่ไม่สมดุล การอ้างคำตอบอย่างใดอย่างหนึ่งโดย Marc Claesenโดยจัดการกับข้อมูลที่ไม่สมดุล (... ) ขึ้นอยู่กับวิธีการเรียนรู้เป็นอย่างมาก วิธีการทั่วไปส่วนใหญ่มีวิธีหนึ่ง (หรือหลายวิธี) ในการจัดการกับสิ่งนี้ แต่เมื่อไหร่เราควรกังวลเกี่ยวกับข้อมูลที่ไม่สมดุล? อัลกอริทึมใดที่ได้รับผลกระทบส่วนใหญ่และสามารถจัดการกับมันได้? อัลกอริทึมใดที่จะทำให้เราต้องรักษาสมดุลของข้อมูล ฉันรู้ว่าการพูดถึงอัลกอริธึมแต่ละอย่างเป็นไปไม่ได้ในเว็บไซต์ถาม - ตอบเช่นนี้ฉันค่อนข้างมองหาแนวทางทั่วไปเมื่อมันอาจมีปัญหา

52 machine-learning  classification  predictive-models  unbalanced-classes 

ฉันสงสัยว่ามันจะสร้างความแตกต่างในการตีความไม่ว่าจะเป็นเพียงขึ้นอยู่กับทั้งขึ้นอยู่กับและเป็นอิสระหรือตัวแปรอิสระเท่านั้นที่ถูกเปลี่ยนเข้าสู่ระบบ พิจารณากรณีของ log(DV) = Intercept + B1*IV + Error ฉันสามารถตีความ IV เป็นเปอร์เซ็นต์เพิ่มขึ้น แต่จะเปลี่ยนแปลงได้อย่างไรเมื่อฉันมี log(DV) = Intercept + B1*log(IV) + Error หรือเมื่อฉันมี DV = Intercept + B1*log(IV) + Error ?

46 regression  data-transformation  interpretation  regression-coefficients  logarithm  r  dataset  stata  hypothesis-testing  contingency-tables  hypothesis-testing  statistical-significance  standard-deviation  unbiased-estimator  t-distribution  r  functional-data-analysis  maximum-likelihood  bootstrap  regression  change-point  regression  sas  hypothesis-testing  bayesian  randomness  predictive-models  nonparametric  terminology  parametric  correlation  effect-size  loess  mean  pdf  quantile-function  bioinformatics  regression  terminology  r-squared  pdf  maximum  multivariate-analysis  references  data-visualization  r  pca  r  mixed-model  lme4-nlme  distributions  probability  bayesian  prior  anova  chi-squared  binomial  generalized-linear-model  anova  repeated-measures  t-test  post-hoc  clustering  variance  probability  hypothesis-testing  references  binomial  profile-likelihood  self-study  excel  data-transformation  skewness  distributions  statistical-significance  econometrics  spatial  r  regression  anova  spss  linear-model 

ฉันรู้ว่านี่เป็นRคำถามที่ค่อนข้างเฉพาะแต่ฉันอาจกำลังคิดถึงความแปรปรวนสัดส่วนที่อธิบายว่าไม่ถูกต้อง นี่ไงR2R2R^2 ฉันพยายามที่จะใช้แพคเกจR randomForestฉันมีข้อมูลการฝึกอบรมและข้อมูลการทดสอบ เมื่อฉันพอดีกับโมเดลฟอเรสต์แบบสุ่มrandomForestฟังก์ชันจะอนุญาตให้คุณป้อนข้อมูลการทดสอบใหม่เพื่อทดสอบ จากนั้นจะบอกเปอร์เซ็นต์ความแปรปรวนที่อธิบายไว้ในข้อมูลใหม่นี้ เมื่อฉันดูสิ่งนี้ฉันจะได้หมายเลขหนึ่ง เมื่อฉันใช้predict()ฟังก์ชั่นเพื่อทำนายค่าผลลัพธ์ของข้อมูลการทดสอบตามแบบจำลองที่พอดีกับข้อมูลการฝึกอบรมและฉันใช้ค่าสัมประสิทธิ์สหสัมพันธ์กำลังสองระหว่างค่าเหล่านี้กับค่าผลลัพธ์จริงสำหรับข้อมูลการทดสอบฉันได้ตัวเลขที่แตกต่างกัน ค่าเหล่านี้ไม่ตรงกัน นี่คือRรหัสบางส่วนเพื่อแสดงปัญหา # use the built in iris data data(iris) #load the randomForest library library(randomForest) # split the data into training and testing sets index <- 1:nrow(iris) trainindex <- sample(index, trunc(length(index)/2)) trainset <- iris[trainindex, ] testset <- iris[-trainindex, ] # fit a …

38 r  correlation  predictive-models  random-forest  r-squared 

TL, DR:ดูเหมือนว่าตรงกันข้ามกับคำแนะนำซ้ำ ๆ การตรวจสอบความถูกต้องแบบข้ามครั้งเดียว (LOO-CV) - นั่นคือKKK -fold CV กับKKK (จำนวนเท่า) เท่ากับยังไม่มีข้อความยังไม่มีข้อความN (จำนวนเท่า)ของการสังเกตการฝึกอบรม) - ให้ค่าประมาณของข้อผิดพลาดในการวางนัยทั่วไปซึ่งเป็นตัวแปรที่น้อยที่สุดสำหรับใด ๆKKKไม่ใช่ตัวแปรมากที่สุดโดยสมมติว่ามีความมั่นคงในรูปแบบ / อัลกอริทึมชุดข้อมูลหรือทั้งสองอย่าง ถูกต้องเนื่องจากฉันไม่เข้าใจเงื่อนไขความมั่นคงนี้จริงๆ) บางคนสามารถอธิบายได้อย่างชัดเจนว่าเงื่อนไขความมั่นคงนี้คืออะไร? มันเป็นความจริงหรือไม่ที่การถดถอยเชิงเส้นเป็นหนึ่งในอัลกอริทึม "เสถียร" ซึ่งหมายความว่าในบริบทนั้น LOO-CV เป็นทางเลือกที่ดีที่สุดของ CV อย่างเคร่งครัดเท่าที่ความลำเอียงและความแปรปรวนของความคลาดเคลื่อนของการประมาณ ภูมิปัญญาดั้งเดิมคือทางเลือกของKKKในKKK -fold CV ตามการแลกเปลี่ยนความแปรปรวนแบบอคติเช่นค่าที่ต่ำกว่าของKKK (ใกล้ถึง 2) นำไปสู่การประมาณการข้อผิดพลาดของการวางนัยทั่วไปที่มีอคติในแง่ร้ายมากขึ้น ของKKK (ใกล้ยังไม่มีข้อความยังไม่มีข้อความN ) นำไปสู่การประมาณการที่มีอคติน้อยกว่า แต่มีความแปรปรวนมากขึ้น คำอธิบายทั่วไปสำหรับปรากฏการณ์ของความแปรปรวนที่เพิ่มขึ้นด้วยKKKอาจได้รับความเด่นชัดที่สุดในองค์ประกอบของการเรียนรู้ทางสถิติ (หัวข้อ 7.10.1): ด้วย K = N ตัวประมาณค่าการตรวจสอบความถูกต้องไขว้กันนั้นมีความเป็นกลางโดยประมาณสำหรับข้อผิดพลาดการคาดการณ์ที่แท้จริง (คาดว่า) แต่อาจมีความแปรปรวนสูงเนื่องจาก N …

37 regression  machine-learning  variance  cross-validation  predictive-models 

ฉันมีคำถามง่ายๆ 2 ข้อเกี่ยวกับการถดถอยเชิงเส้น: เมื่อใดควรที่จะสร้างมาตรฐานของตัวแปรอธิบาย? เมื่อการประมาณค่าดำเนินการด้วยค่ามาตรฐานแล้วหนึ่งคนจะคาดการณ์ด้วยค่าใหม่ได้อย่างไร (ควรประเมินค่ามาตรฐานใหม่อย่างไร) การอ้างอิงบางอย่างจะเป็นประโยชน์

37 regression  predictive-models  references  standardization  predictor 

ฉันกำลังดูการนำเสนอโดยผู้เชี่ยวชาญ ML จากผู้ค้าปลีกรายใหญ่ซึ่งพวกเขาได้พัฒนาแบบจำลองเพื่อทำนายเหตุการณ์ที่เกิดขึ้นในสต็อก สมมติว่าสักครู่หนึ่งเมื่อเวลาผ่านไปโมเดลของพวกเขาจะแม่นยำมากไม่ว่าจะ "เอาชนะตนเอง" นั่นคือถ้าโมเดลทำงานได้ดีจริง ๆ แล้วพวกเขาจะสามารถคาดการณ์เหตุการณ์ที่เกิดขึ้นในสต็อกและหลีกเลี่ยงพวกเขาในที่สุดก็มาถึงจุดที่พวกเขามีเหตุการณ์สต็อกน้อยหรือไม่มีเลยเลย แต่ถ้าเป็นเช่นนั้นจะไม่มีข้อมูลทางประวัติศาสตร์เพียงพอที่จะเรียกใช้โมเดลหรือโมเดลของพวกเขาได้รับการตกรางเนื่องจากปัจจัยเชิงสาเหตุแบบเดียวกับที่ใช้เพื่อระบุเหตุการณ์หมดสต็อกจะไม่ทำเช่นนั้นอีกต่อไป อะไรคือกลยุทธ์ในการจัดการกับสถานการณ์เช่นนี้? นอกจากนี้เราสามารถคาดการณ์สถานการณ์ตรงข้ามได้ตัวอย่างเช่นระบบผู้แนะนำอาจกลายเป็น "การตอบสนองด้วยตนเอง" ด้วยการเพิ่มยอดขายของคู่สินค้าที่ได้แรงหนุนจากการส่งออกของระบบผู้แนะนำแม้ว่าทั้งสองรายการจะไม่จริง ๆ ที่เกี่ยวข้อง สำหรับฉันดูเหมือนว่าทั้งสองเป็นผลลัพธ์ของลูปข้อเสนอแนะที่เกิดขึ้นระหว่างผลลัพธ์ของตัวทำนายและการดำเนินการที่ยึดตามนั้น เราจะจัดการกับสถานการณ์เช่นนี้ได้อย่างไร?

36 machine-learning  predictive-models