คำถามติดแท็ก sampling

ความเป็นมา: ปัจจุบันองค์กรของฉันเปรียบเทียบสถิติความหลากหลายของพนักงาน (เช่น% คนที่มีความพิการผู้หญิง% ทหารผ่านศึก%) กับความพร้อมของกำลังแรงงานทั้งหมดสำหรับกลุ่มเหล่านั้นจากการสำรวจชุมชนอเมริกัน (โครงการสำรวจโดยสำนักสำรวจสำมะโนประชากรของสหรัฐ) นี่คือมาตรฐานที่ไม่ถูกต้องเนื่องจากเรามีงานที่เฉพาะเจาะจงมากซึ่งมีข้อมูลประชากรแตกต่างจากกำลังแรงงานโดยรวม พูดเช่นว่าองค์กรของฉันส่วนใหญ่เป็นวิศวกร วิศวกรรมเป็นเพียงผู้หญิงประมาณ 20% ในรัฐของฉัน หากเราเปรียบเทียบตัวเองกับเกณฑ์มาตรฐานแรงงานโดยรวมซึ่งมีลักษณะเหมือนผู้หญิง 50% ก็ส่งผลให้เกิดความตื่นตระหนกว่า“ เรามีผู้หญิงเพียง 20% นี่เป็นหายนะ! เมื่อจริง 20% คือสิ่งที่เราควรคาดหวังเพราะนั่นคือลักษณะของแรงงาน เป้าหมายของฉัน: สิ่งที่ฉันต้องการจะทำคือใช้ข้อมูลอาชีพการสำรวจชุมชนชาวอเมริกัน (ตามหมวดหมู่ความหลากหลาย) และปรับน้ำหนักใหม่ตามองค์ประกอบของงานในธุรกิจของฉัน นี่คือชุดข้อมูลตัวอย่างสำหรับคนงานสังคมและบริการชุมชน ฉันต้องการเพิ่มรหัสงานเหล่านี้ไว้ด้วยกัน (เพราะทางม้าลายของเราคือกลุ่มงานไม่ใช่รหัสงานเฉพาะ) จากนั้นฉันต้องการให้น้ำหนักเกณฑ์มาตรฐานนั้นตามจำนวนคนที่เรามีในหมวดนั้น (เช่น 3,000 Social and พนักงานบริการชุมชน) จากนั้นฉันต้องการทำเช่นเดียวกันกับกลุ่มงานอื่น ๆ ทั้งหมดเพิ่มหมายเลขเหล่านั้นเข้าด้วยกันและหารด้วยจำนวนพนักงานทั้งหมดของเรา สิ่งนี้จะทำให้ฉันมีมาตรการวัดความหลากหลายใหม่อีกครั้ง (เช่นจาก 6% คนที่มีความพิการถึง 2% คนที่มีความพิการ) คำถามของฉัน: ฉันจะปรับระยะขอบของข้อผิดพลาดให้สอดคล้องกับเกณฑ์มาตรฐานสุดท้ายได้อย่างไร ฉันไม่มีชุดข้อมูลสำมะโนดิบ (ชัดเจน) แต่คุณสามารถดูระยะขอบของข้อผิดพลาดสำหรับแต่ละหมายเลขในลิงก์ที่ฉันให้ไว้โดยการสลับฟิลด์ "ประมาณ" เป็น …

10 confidence-interval  sampling  data-transformation  diversity 

ฉันมีแบบฟอร์ม GLMM: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) เมื่อฉันใช้drop1(model, test="Chi")ฉันได้รับผลลัพธ์ที่แตกต่างกว่าถ้าผมใช้จากแพคเกจรถหรือAnova(model, type="III") summary(model)สองหลังนี้ให้คำตอบเดียวกัน จากการใช้ข้อมูลที่ประดิษฐ์ขึ้นมาฉันพบว่าทั้งสองวิธีปกติไม่แตกต่างกัน พวกเขาให้คำตอบเดียวกันสำหรับแบบจำลองเชิงเส้นที่มีความสมดุลแบบจำลองเชิงเส้นที่ไม่สมดุล (ซึ่งไม่เท่ากันในกลุ่มต่าง ๆ ) และสำหรับแบบจำลองเชิงเส้นที่สมดุลแบบทั่วไป ดังนั้นจึงปรากฏว่าเฉพาะในกรณีที่มีการรวมปัจจัยแบบสุ่มเข้าด้วยกัน ทำไมจึงมีความคลาดเคลื่อนระหว่างสองวิธีนี้? เมื่อใช้ GLMM ควรAnova()หรือdrop1()จะใช้งานอย่างไร ความแตกต่างระหว่างสองสิ่งนี้ค่อนข้างเล็กน้อยอย่างน้อยสำหรับข้อมูลของฉัน มันมีความสำคัญต่อการใช้งานหรือไม่?

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

สำหรับการกระจายเสียนกับที่ไม่รู้จักค่าเฉลี่ยและความแปรปรวนสถิติเพียงพอในมาตรฐานครอบครัวชี้แจงรูปแบบคือ2) ฉันมีการแจกแจงที่มีโดยที่ N เป็นชนิดของพารามิเตอร์การออกแบบ มีการแจกแจงที่รู้จักกันที่สอดคล้องกันสำหรับเวกเตอร์สถิติที่เพียงพอนี้หรือไม่? ฉันต้องการตัวอย่างจากการกระจายตัวนี้ดังนั้นมันสำคัญมากสำหรับฉันที่จะได้รับตัวอย่างที่แน่นอนจากการกระจายตัว ขอบคุณมาก.T( x ) = ( x , x2)T(x)=(x,x2)T(x)=(x,x^2)T(x)=(x,x2,...,x2N)T(x)=(x,x2,...,x2ยังไม่มีข้อความ)T(x)=(x,x^2,...,x^{2N})

10 normal-distribution  sampling  exponential-family 

เมื่อกำหนดค่าตัวอย่าง N แล้ว "p-th quantile ของค่าตัวอย่าง" หมายถึงอะไร

10 sampling 

ฉันกำลังทำงานในโครงการวิจัยที่เกี่ยวข้องกับการปรับให้เหมาะสมและเพิ่งมีความคิดที่จะใช้ MCMC ในการตั้งค่านี้ น่าเสียดายที่ฉันค่อนข้างใหม่สำหรับวิธีการ MCMC ดังนั้นฉันจึงมีคำถามหลายข้อ ฉันจะเริ่มต้นด้วยการอธิบายปัญหาแล้วถามคำถามของฉัน ปัญหาของเราเดือดลงไปประมาณมูลค่าที่คาดหวังของฟังก์ชั่นค่าใช้จ่ายc ( ω )c(ω)c(\omega)ที่ω = ( ω1, ω2, . . . ωชั่วโมง)ω=(ω1,ω2,...ωh)\omega = (\omega_1,\omega_2,...\omega_h)เป็นชั่วโมงhhตัวแปรสุ่ม -dimentional ที่มีความหนาแน่นฉ( ω )f(ω)f(\omega) ) ในกรณีของเราเป็นรุ่นแบบปิดของc ( ω )c(ω)c(\omega)ไม่อยู่ ซึ่งหมายความว่าเราต้องใช้วิธีการ Monte Carlo เพื่อประมาณค่าที่คาดหวัง น่าเสียดายที่การประมาณการของE[ c ( ω ) ]E[c(ω)]E[c(\omega)]ที่สร้างขึ้นโดยใช้วิธี MC หรือ QMC นั้นมีความแปรปรวนมากเกินไปที่จะเป็นประโยชน์ภายในการตั้งค่าภาคปฏิบัติ หนึ่งความคิดที่ว่าเราต้องใช้การกระจายความสำคัญการสุ่มตัวอย่างในการสร้างจุดตัวอย่างที่จะผลิตประมาณการต่ำแปรปรวนของE[ c ( ω ) ]E[c(ω)]E[c(\omega)] …

10 sampling  mcmc  matlab  expected-value 

ฉันมีการกระจายแบบไม่ต่อเนื่องโดยที่เป็นค่าคงที่ที่รู้จัก:α,βα,β\alpha,\beta p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,…p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots มีวิธีใดบ้างในการสุ่มตัวอย่างอย่างมีประสิทธิภาพจากการกระจายนี้

10 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

ฉันประหลาดใจเล็กน้อยที่เห็นโฆษณาทางจิตวิทยาสำหรับการมีส่วนร่วมในการศึกษาทดลอง แน่นอนคนที่ตอบสนองต่อโฆษณาเหล่านี้จะไม่สุ่มตัวอย่างแบบสุ่มและดังนั้นจึงเป็นประชากรที่เลือกด้วยตนเอง เนื่องจากเป็นที่รู้จักกันว่าการสุ่มเลือกแก้ปัญหาการเลือกตนเองฉันสงสัยว่าการสุ่มตัวอย่างของกลุ่มตัวอย่างที่ไม่สุ่มเปลี่ยนอะไรจริงหรือไม่ คุณคิดอย่างไร ? และเราควรทำอะไรจากการทดลองทางจิตวิทยาทั้งหมดเหล่านี้จากตัวอย่างที่เลือกมาอย่างหนัก

10 sampling  psychology  random-allocation 

มาร์คอฟเชนมอนติคาร์โลเป็นวิธีการที่อิงตามเชนมาร์คอฟที่ช่วยให้เราได้รับตัวอย่าง (ในการตั้งค่ามอนติคาร์โล) จากการแจกแจงที่ไม่ได้มาตรฐานซึ่งเราไม่สามารถวาดตัวอย่างได้โดยตรง คำถามของฉันคือเหตุผลที่ห่วงโซ่มาร์คอฟเป็น "สุดยอด" สำหรับการสุ่มตัวอย่าง Monte Carlo คำถามอื่นอาจมีวิธีอื่นเช่นโซ่มาร์คอฟที่สามารถใช้สำหรับการสุ่มตัวอย่าง Monte Carlo ได้หรือไม่? ฉันรู้ (อย่างน้อยก็จากการดูวรรณกรรม) ว่า MCMC มีรากฐานทางทฤษฎีที่ลึก (ในแง่ของเงื่อนไขเช่น (a) เป็นระยะ, ความสม่ำเสมอและรายละเอียดที่สมดุล) แต่สงสัยว่ามีรูปแบบ / วิธีการที่น่าจะเป็นสำหรับ Monte การสุ่มตัวอย่าง Carlo คล้ายกับโซ่มาร์คอฟ กรุณาแนะนำฉันถ้าฉันได้สับสนบางส่วนของคำถาม (หรือถ้ามันดูเหมือนสับสนโดยสิ้นเชิง)

10 sampling  mcmc  monte-carlo  markov-chain  stochastic-approximation 

ฉันได้พูดคุยกับใครบางคนในวันนี้เกี่ยวกับการสุ่มตัวอย่างและจดจำเรื่องราวเกี่ยวกับนักสถิติบางคนที่ได้รับการยอมรับอย่างดีแนะนำการสุ่มตัวอย่างอย่างเป็นระบบจากสมุดโทรศัพท์ในกรณีทางกฎหมายโดยเฉพาะ ฉันจำได้ว่าเรื่องราวจะเป็นเหมือนผู้พิพากษาในศาลที่พูดอะไรบางอย่างกับเขาเช่น "ฉันไม่รู้อะไรมากเกี่ยวกับสถิติ แต่ฉันรู้ว่าการสุ่มตัวอย่างทุกชื่อที่ 100 ไม่ถูกต้อง" แล้วเขาก็ต้องอธิบายให้ผู้พิพากษาทราบว่า จริง ๆ แล้วเขาแนะนำว่า มีใครรู้บ้างว่าเรื่องราวนั้นมาจากไหนหรือถ้าฉันจำได้ถูกต้อง? ฉันต้องการฟื้นฟูความทรงจำของบริบท รู้สึกเหมือนสิ่งที่ฉันอ่านในบันทึกความทรงจำของ Mosteller แต่ตรวจสอบแล้วและไม่พบที่นั่น นอกจากนี้บางคนในแผนกของเรากล่าวว่าฟังดูคุ้นเคยและคิดว่ามันอาจเป็น Cochran และบางคนจำจอร์จคอบบ์เล่าเรื่องคล้ายกัน แต่ก็ไม่ได้ช่วยในการค้นหาของฉัน

10 sampling  references  history 

สมมติว่าคุณมีชุดตัวต้านทาน R ซึ่งทั้งหมดจะถูกกระจายด้วยค่าเฉลี่ยμและความแปรปรวนσ พิจารณาส่วนของวงจรที่มีเลย์เอาต์ต่อไปนี้: (r) || (r + r) || (R + R + R) ความต้านทานเท่ากันของแต่ละส่วนคือ r, 2r และ 3r ความแปรปรวนของแต่ละส่วนก็จะσ2σ2σ^2 , 2σ22σ22σ^2 , 3σ23σ23σ^2 2 ความแตกต่างในความต้านทานของวงจรทั้งหมดคืออะไร? หลังจากการสุ่มตัวอย่างหลายล้านจุดที่เราพบว่าความแปรปรวนอยู่ที่ประมาณ.10286σ2.10286σ2.10286\sigma^2 2 เราจะมาถึงข้อสรุปนี้ได้อย่างไร แก้ไข: ค่าความต้านทานจะถือว่าได้รับการกระจายตามปกติกับบางต้านทาน R ค่าเฉลี่ยและความแปรปรวนσ2σ2σ^2 2

10 probability  sampling  variance 

นี่เป็นเพียงตัวอย่างที่ฉันเจอหลายครั้งดังนั้นฉันจึงไม่มีข้อมูลตัวอย่าง ใช้แบบจำลองการถดถอยเชิงเส้นใน R: a.lm = lm(Y ~ x1 + x2) x1เป็นตัวแปรต่อเนื่อง x2เป็นหมวดหมู่และมีสามค่าเช่น "ต่ำ", "ปานกลาง" และ "สูง" อย่างไรก็ตามเอาต์พุตที่กำหนดโดย R จะเป็นดังนี้: summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 ฉันเข้าใจว่า R แนะนำการเข้ารหัสแบบหลอกบางอย่างเกี่ยวกับปัจจัยดังกล่าว ( …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

เทคนิคทางสถิติในการสร้างชุดตัวอย่างซึ่งเป็นตัวแทนของประชากรทั้งหมด (ด้วยระดับความเชื่อมั่นที่รู้จักกัน) คืออะไร? นอกจากนี้ วิธีการตรวจสอบถ้าตัวอย่างที่ตรงกับชุดข้อมูลโดยรวม? เป็นไปได้หรือไม่หากไม่แยกชุดข้อมูลทั้งหมด (ซึ่งอาจเป็นหลายพันล้านรายการ)

10 sampling  sample-size  validation 

ตัวอย่าง: ฉันมีประโยคในรายละเอียดงาน: "วิศวกรอาวุโสของ Java ในสหราชอาณาจักร" ฉันต้องการที่จะใช้รูปแบบการเรียนรู้ที่ลึกที่จะคาดการณ์ว่ามันเป็น 2 ประเภทและEnglish IT jobsถ้าฉันใช้รูปแบบการจำแนกแบบดั้งเดิมมันสามารถทำนายได้เพียง 1 ฉลากที่มีsoftmaxฟังก์ชั่นที่ชั้นสุดท้าย ดังนั้นฉันสามารถใช้โครงข่ายประสาทเทียม 2 แบบในการทำนาย "ใช่" / "ไม่" กับทั้งสองหมวดหมู่ แต่ถ้าเรามีหมวดหมู่มากขึ้นมันก็แพงเกินไป ดังนั้นเราจึงมีรูปแบบการเรียนรู้หรือการเรียนรู้ด้วยเครื่องเพื่อคาดการณ์ 2 หมวดหมู่ขึ้นไปพร้อมกันหรือไม่ "แก้ไข": ด้วย 3 ป้ายกำกับโดยวิธีดั้งเดิมมันจะถูกเข้ารหัสโดย [1,0,0] แต่ในกรณีของฉันมันจะถูกเข้ารหัสโดย [1,1,0] หรือ [1,1,1] ตัวอย่าง: หากเรามี 3 ป้ายกำกับและประโยคอาจเหมาะกับป้ายกำกับเหล่านี้ทั้งหมด ดังนั้นถ้าผลลัพธ์จากฟังก์ชัน softmax คือ [0.45, 0.35, 0.2] เราควรแบ่งมันออกเป็น 3 label หรือ 2 label หรืออาจเป็นหนึ่ง? ปัญหาหลักเมื่อเราทำคือ: …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

แค่ต้องการตรวจสอบเหตุผลบางอย่าง หากตัวอย่างดั้งเดิมของฉันมีขนาดและฉันบูตมันแล้วกระบวนการคิดของฉันเป็นดังนี้:nnn 1n1n\frac{1}{n}เป็นโอกาสของการสังเกตใด ๆ ที่ดึงมาจากตัวอย่างดั้งเดิม เพื่อให้แน่ใจว่าการวาดต่อไปคือไม่ได้สังเกตตัวอย่างก่อนหน้านี้เรา จำกัด ขนาดของกลุ่มตัวอย่างที่จะn-1ดังนั้นเราจึงได้รูปแบบนี้:n - 1n-1n-1 1n⋅1n - 1⋅1n - 2⋯1n - ( n - 1 )=1n !.1n⋅1n-1⋅1n-2⋯1n-(n-1)=1n!. \frac{1}{n} \cdot \frac{1}{n-1} \cdot \frac{1}{n-2} \cdots \frac{1}{n-(n-1)} = \frac{1}{n!}. ถูกต้องหรือไม่ ฉันสะดุดที่สาเหตุที่ไม่สามารถแทน(1n)n(1n)n(\frac{1}{n})^n

9 sampling  bootstrap  sample-size  subsampling 

ฉันเรียนรู้เกี่ยวกับการบูตสแตรปเป็นวิธีการประมาณความแปรปรวนของสถิติตัวอย่าง ฉันมีข้อสงสัยพื้นฐานหนึ่งข้อ ข้อความจากhttp://web.stanford.edu/class/psych252/tutorials/doBootstrapPrimer.pdf : •เราควรลองสังเกตซ้ำอีกครั้ง คำแนะนำที่ดีคือขนาดตัวอย่างดั้งเดิม เราจะสุ่มตัวอย่างการสังเกตได้มากเท่าในตัวอย่างดั้งเดิมได้อย่างไร ถ้าฉันมีขนาดตัวอย่าง 100 และฉันพยายามประเมินความแปรปรวนของค่าเฉลี่ย ฉันจะขอรับตัวอย่าง bootstrap หลายขนาด 100 จากขนาดตัวอย่างทั้งหมด 100 ได้อย่างไร ตัวอย่าง bootstrap เพียง 1 ตัวเท่านั้นที่เป็นไปได้ในกรณีนี้ซึ่งจะเทียบเท่ากับตัวอย่างดั้งเดิมใช่ไหม เห็นได้ชัดว่าฉันเข้าใจอะไรบางอย่างที่ธรรมดามาก ๆ ผมเข้าใจว่าจำนวนของที่เหมาะตัวอย่างบูตอยู่เสมอไม่มีที่สิ้นสุดและเพื่อกำหนดจำนวนตัวอย่างบูตที่จำเป็นสำหรับข้อมูลของฉันฉันต้องทดสอบลู่รักษาความแม่นยำที่จำเป็นของฉันในใจ แต่ฉันสับสนจริง ๆ เกี่ยวกับสิ่งที่ควรเป็นขนาดของตัวอย่างบูตแต่ละอัน

9 sampling  bootstrap  resampling