คำถามติดแท็ก bootstrap

เมื่ออ่านเกี่ยวกับวิธีประมาณการกระจายตัวของค่าเฉลี่ยตัวอย่างฉันเจอวิธีการบูตแบบไม่มีพารามิเตอร์ เห็นได้ชัดว่าเราสามารถประมาณการกระจายตัวของโดยการกระจายของˉ X ∗ n - ˉ X nโดยที่ˉ X ∗ nหมายถึงค่าเฉลี่ยตัวอย่างของตัวอย่างบูตตัวอย่างX¯n- μX¯n−μ\bar{X}_n-\muX¯* * * *n- X¯nX¯n∗−X¯n\bar{X}_n^*-\bar{X}_nX¯* * * *nX¯n∗\bar{X}_n^* คำถามของฉันคือ: ฉันต้องการจุดศูนย์กลางหรือไม่ เพื่ออะไร? ฉันไม่สามารถประมาณโดยP ( ˉ X ∗ n ≤ x ) ได้ใช่ไหมP ( X)¯n≤ x )P(X¯n≤x)\mathbb{P}\left(\bar{X}_n \leq x\right)P ( X)¯* * * *n≤ x )P(X¯n∗≤x)\mathbb{P}\left(\bar{X}_n^* \leq x\right)

13 distributions  bootstrap  resampling  centering 

Bootstrapping ทำงานได้ดีในการเข้าถึงความไม่แน่นอนในการประมาณค่าเฉลี่ยอย่างไรก็ตามฉันจำได้ว่าการอ่าน bootstrap นั้นไม่ได้ผลดีในการประเมินความไม่แน่นอนในการประมาณแบบควอนไทล์ (โดยเฉพาะค่ามัธยฐาน) ฉันจำไม่ได้ว่าฉันอ่านตรงไหนและไม่สามารถหาอะไรได้มากมายจากการค้นหาโดย Google อย่างรวดเร็ว ความคิดเกี่ยวกับเรื่องนี้และการอ้างอิงใด ๆ จะได้รับการชื่นชมอย่างมาก

13 references  bootstrap  median 

ขอให้เราสมมติว่าฉันมีชุดข้อมูลสองชุดโดยมีการสังเกตnคู่ข้อมูลของตัวแปรอิสระxและตัวแปรตามแต่ละy ให้เราคิดต่อไปว่าฉันต้องการสร้างการกระจายตัวของความถดถอยสำหรับแต่ละชุดข้อมูลโดยการบูตการสำรวจ (โดยการแทนที่) Nครั้งและคำนวณการถดถอยy = a + bxแต่ละครั้ง. ฉันจะเปรียบเทียบการแจกแจงสองแบบเพื่อบอกว่าลาดต่างกันอย่างมีนัยสำคัญได้อย่างไร การทดสอบ U สำหรับการทดสอบความแตกต่างระหว่างค่ามัธยฐานของการแจกแจงจะขึ้นอยู่กับ N อย่างมากนั่นคือยิ่งฉันทำการย้ำอีกครั้งบ่อยครั้งเท่าไหร่ ฉันจะต้องคำนวณการทับซ้อนระหว่างการแจกแจงเพื่อกำหนดความแตกต่างที่สำคัญได้อย่างไร

13 regression  statistical-significance  bootstrap 

ฉันคิดว่าฉันเข้าใจว่าพื้นฐานของการบูตสแตรปทำงานอย่างไร แต่ฉันไม่แน่ใจว่าฉันเข้าใจว่าฉันสามารถใช้การบูตสแตรปเพื่อการเลือกรูปแบบหรือเพื่อหลีกเลี่ยงการ overfitting ได้อย่างไร ตัวอย่างเช่นสำหรับการเลือกแบบจำลองคุณจะเลือกแบบจำลองที่ให้ข้อผิดพลาดต่ำสุด (อาจแปรปรวนหรือไม่) ในตัวอย่างบูตสแตรป มีข้อความใดบ้างที่กล่าวถึงวิธีใช้การบูตสแตรปปิ้งสำหรับการเลือกรุ่นหรือการตรวจสอบความถูกต้อง? แก้ไข:ดูกระทู้นี้และคำตอบโดย @ mark999 สำหรับบริบทเพิ่มเติมหลังคำถามนี้

13 model-selection  cross-validation  bootstrap 

ฉันกำลังใช้โมเดลสมการโครงสร้าง (SEM) ใน Amos 18 ฉันกำลังมองหาผู้เข้าร่วม 100 คนสำหรับการทดสอบของฉัน (ใช้แบบหลวม ๆ ) ซึ่งถือว่าไม่น่าจะเพียงพอที่จะจัดการ SEM ที่ประสบความสำเร็จ ฉันได้รับการบอกซ้ำ ๆ ว่า SEM (พร้อมด้วย EFA, CFA) เป็นกระบวนการทางสถิติ "ตัวอย่างขนาดใหญ่" เรื่องสั้นสั้นฉันไม่ได้ทำให้ผู้เข้าร่วม 100 คน (น่าแปลกใจ!) และมีเพียง 42 หลังจากไม่รวมจุดข้อมูลที่มีปัญหาสองจุด ฉันก็ลองแบบจำลองต่อไปและด้วยความประหลาดใจของฉันมันก็ดูเหมือนจะเข้ากันได้ดีมาก! CFI> .95, RMSEA <.09, SRMR <.08 ตัวแบบไม่ง่ายจริง ๆ แล้วฉันจะบอกว่ามันค่อนข้างซับซ้อน ฉันมีตัวแปรแฝงอยู่สองตัวตัวหนึ่งมีสองตัวแปรที่สังเกตได้และอีก 5 ตัวแปรที่สังเกตได้ ฉันมีตัวแปรที่สังเกตเพิ่มเติมอีกสี่ตัวในโมเดล มีความสัมพันธ์มากมายระหว่างตัวแปรทางอ้อมและทางตรงโดยมีตัวแปรบางตัวที่อยู่ภายนอกถึงสี่คนเป็นตัวอย่าง ฉันค่อนข้างใหม่สำหรับ SEM; อย่างไรก็ตามบุคคลสองคนที่ฉันรู้ว่าคุ้นเคยกับ SEM บอกฉันว่าตราบใดที่การบ่งบอกความเหมาะสมนั้นดีผลกระทบนั้นสามารถตีความได้ …

13 modeling  sample-size  bootstrap  sem 

การทดสอบใดที่มีให้สำหรับการทดสอบสองตัวอย่างอิสระสำหรับสมมติฐานว่างที่มาจากประชากรที่มีความเบ้เท่ากัน? มีการทดสอบแบบคลาสสิก 1 ตัวอย่างว่าค่าความลาดเอียงนั้นมีค่าคงที่หรือไม่ (การทดสอบเกี่ยวข้องกับช่วงเวลาตัวอย่างที่ 6!); มีการแปลแบบตรงไปตรงมาสำหรับการทดสอบ 2 ตัวอย่างหรือไม่? มีเทคนิคที่ไม่เกี่ยวข้องกับช่วงเวลาที่สูงมากของข้อมูลหรือไม่? (ฉันคาดหวังคำตอบของรูปแบบ 'bootstrap it': เป็นเทคนิคการบูตที่ทราบกันว่าเหมาะสมสำหรับปัญหานี้หรือไม่?)

13 hypothesis-testing  distributions  bootstrap  moments  l-moments 

สิ่งนี้คล้ายกับBootstrap: การประเมินอยู่นอกช่วงความมั่นใจ ฉันมีข้อมูลบางอย่างที่แสดงถึงจำนวนของจีโนไทป์ในประชากร ฉันต้องการประเมินความหลากหลายทางพันธุกรรมโดยใช้ดัชนีของแชนนอนและสร้างช่วงความมั่นใจโดยใช้การบูตสแตรป อย่างไรก็ตามฉันสังเกตเห็นว่าการประเมินผ่านการบูตสแตรปปิ้งมีแนวโน้มที่จะมีอคติอย่างมากและส่งผลให้เกิดช่วงความมั่นใจที่อยู่นอกสถิติที่ฉันสังเกตเห็น ด้านล่างเป็นตัวอย่าง # Shannon's index H <- function(x){ x <- x/sum(x) x <- -x * log(x, exp(1)) return(sum(x, na.rm = TRUE)) } # The version for bootstrapping H.boot <- function(x, i){ H(tabulate(x[i])) } การสร้างข้อมูล set.seed(5000) X <- rmultinom(1, 100, prob = rep(1, 50))[, 1] การคำนวณ H(X) …

13 r  confidence-interval  bootstrap  bias  diversity 

ฉันกำลังทดสอบวิธีการที่เท่าเทียมกันโดยใช้การทดสอบ t ของ Welch การแจกแจงพื้นฐานอยู่ไกลจากปกติ (บิดเบือนมากกว่าตัวอย่างในการสนทนาที่เกี่ยวข้องที่นี่ ) ฉันสามารถรับข้อมูลเพิ่มเติมได้ แต่ต้องการวิธีที่มีหลักการในการพิจารณาว่าจะทำเช่นไร มีฮิวริสติกที่ดีสำหรับการประเมินว่าการแจกตัวอย่างเป็นที่ยอมรับหรือไม่? การเบี่ยงเบนใด ๆ จากภาวะปกติที่เกี่ยวข้องกับอะไรมากที่สุด มีวิธีการอื่น ๆ - เช่นอาศัยช่วงความเชื่อมั่นบูตสำหรับสถิติตัวอย่าง - ซึ่งจะทำให้รู้สึกมากขึ้น?

12 normal-distribution  t-test  bootstrap  central-limit-theorem  approximation 

คำถาม: การ บูตสแตรปจะดีกว่าการใช้แม่แรง อย่างไรก็ตามฉันสงสัยว่ามีบางกรณีที่ jackknifing เป็นตัวเลือกเดียวหรืออย่างน้อยที่เป็นไปได้สำหรับการจำแนกลักษณะความไม่แน่นอนจากการประมาณค่าพารามิเตอร์ นอกจากนี้ในสถานการณ์จริงที่ว่าวิธีการลำเอียง / คลาดเคลื่อนนั้นมีความสัมพันธ์กับการบีบรัดและความสามารถในการให้ความรู้เบื้องต้นก่อนการพัฒนา bootstrap ที่ซับซ้อนมากขึ้น? บริบทบางอย่าง: เพื่อนกำลังใช้อัลกอริทึมการเรียนรู้เครื่องดำ ( MaxEnt ) เพื่อจำแนกข้อมูลทางภูมิศาสตร์ที่เป็น "การแสดงตนเท่านั้น" หรือ "การบวกเท่านั้น" การประเมินรูปแบบทั่วไปโดยทั่วไปจะใช้ cross-validation และ ROC curves อย่างไรก็ตามเธอใช้เอาต์พุตของโมเดลเพื่อรับรายละเอียดตัวเลขเดียวของเอาต์พุตโมเดลและต้องการช่วงความมั่นใจรอบหมายเลขนั้น Jackknifing ดูเหมือนจะเป็นวิธีที่เหมาะสมในการอธิบายลักษณะของความไม่แน่นอนเกี่ยวกับค่านี้ การเริ่มการบูตไม่เกี่ยวข้องเนื่องจากจุดข้อมูลแต่ละจุดเป็นตำแหน่งที่ไม่ซ้ำกันบนแผนที่ที่ไม่สามารถสุ่มตัวอย่างได้ด้วยการแทนที่ โปรแกรมการสร้างแบบจำลองของตัวเองอาจจะสามารถให้สิ่งที่เธอต้องการในที่สุด; อย่างไรก็ตามฉันสนใจโดยทั่วไปหาก / เมื่อ jackknifing มีประโยชน์

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

ฉันสงสัยว่า bootstrap CIs (และ BCa เป็น barticular) ทำงานกับข้อมูลที่กระจายแบบปกติได้อย่างไร ดูเหมือนว่าจะมีงานจำนวนมากที่ตรวจสอบประสิทธิภาพการทำงานของพวกเขาในการแจกแจงแบบต่าง ๆ แต่ไม่พบข้อมูลใด ๆ เกี่ยวกับข้อมูลที่กระจายตามปกติ เนื่องจากดูเหมือนเป็นสิ่งที่ชัดเจนในการศึกษาก่อนฉันจึงคิดว่าเอกสารนั้นเก่าเกินไป ฉันทำแบบจำลอง Monte Carlo โดยใช้แพ็คเกจการบูต R และพบว่า bootstrap CIs สอดคล้องกับ CIs ที่แน่นอนแม้ว่าสำหรับกลุ่มตัวอย่างขนาดเล็ก (N <20) พวกเขามีแนวโน้มที่จะเสรีเล็กน้อย (CIs ที่เล็กกว่า) สำหรับตัวอย่างที่มีขนาดใหญ่พอพวกมันจะเหมือนกัน นี้ทำให้ผมสงสัยว่ามีเหตุผลที่ดีใด ๆ ที่จะไม่เสมอใช้ความร่วมมือ ด้วยความยากลำบากในการประเมินว่าการแจกแจงเป็นเรื่องปกติหรือไม่และข้อผิดพลาดมากมายที่อยู่เบื้องหลังสิ่งนี้ดูเหมือนว่ามีเหตุผลที่จะไม่ตัดสินใจและรายงาน bootstrap CIs โดยไม่คำนึงถึงการกระจาย ฉันเข้าใจแรงจูงใจที่ไม่ใช้การทดสอบที่ไม่ใช่พารามิเตอร์อย่างเป็นระบบเนื่องจากมีพลังงานน้อยกว่า แต่การจำลองของฉันบอกฉันว่านี่ไม่ใช่กรณีของ bootstrap CIs พวกมันเล็กลง คำถามที่คล้ายกันที่ทำให้ฉันเป็นบ้าคือทำไมไม่ใช้ค่ามัธยฐานเป็นมาตรวัดแนวโน้มกลางเสมอไป ผู้คนมักจะแนะนำให้ใช้มันเพื่อจำแนกลักษณะข้อมูลที่ไม่ได้กระจายแบบปกติ แต่เนื่องจากค่ามัธยฐานเป็นเช่นเดียวกับค่าเฉลี่ยสำหรับข้อมูลที่กระจายตามปกติทำไมถึงแตกต่าง? มันจะมีประโยชน์มากถ้าเราสามารถกำจัดขั้นตอนการตัดสินใจว่าการแจกแจงเป็นเรื่องปกติหรือไม่ ฉันอยากรู้มากเกี่ยวกับความคิดของคุณเกี่ยวกับปัญหาเหล การอ้างอิงจะได้รับการชื่นชมอย่างมาก ขอบคุณ! …

12 confidence-interval  bootstrap  normality-assumption  resampling 

ฉันมีชุดข้อมูลที่มีขนาดใหญ่มากและมีค่าสุ่มประมาณ 5% หายไป ตัวแปรเหล่านี้มีความสัมพันธ์ซึ่งกันและกัน ตัวอย่างชุดข้อมูล R ต่อไปนี้เป็นเพียงตัวอย่างของเล่นที่มีข้อมูลที่สัมพันธ์กันจำลอง set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep ="") rownames(xmat) <- paste("sample", 1:200, sep = "") #M variables are correlated N <- 2000000*0.05 # 5% random missing values inds …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

ฉันมีตัวอย่างที่บิดเบี้ยวสองตัวอย่างและพยายามใช้การบูตสแตรปเพื่อเปรียบเทียบค่าเฉลี่ยของพวกเขาโดยใช้สถิติที ขั้นตอนที่ถูกต้องในการทำคืออะไร? กระบวนการที่ฉันใช้ ฉันกังวลเกี่ยวกับความเหมาะสมของการใช้ข้อผิดพลาดมาตรฐานของข้อมูลต้นฉบับ / การสังเกตในขั้นตอนสุดท้ายเมื่อฉันรู้ว่านี่ไม่ใช่การกระจายแบบปกติ นี่คือขั้นตอนของฉัน: Bootstrap - สุ่มเลือกตัวอย่างพร้อมเปลี่ยน (N = 1,000) คำนวณเสื้อสถิติสำหรับแต่ละบูตเพื่อสร้างเสื้อกระจาย: T( b ) = ( X)¯¯¯¯ข1- X¯¯¯¯ข2) - ( X¯¯¯¯1- X¯¯¯¯2)σ2x b 1/ n+ σ2x b 2/ n-------------√T(b)=(X¯b1−X¯b2)−(X¯1−X¯2)σxb12/n+σxb22/n T(b) = \frac{(\overline{X}_{b1}-\overline{X}_{b2})-(\overline{X}_1-\overline{X}_2) }{\sqrt{ \sigma^2_{xb1}/n + \sigma^2_{xb2}/n }} ประมาณค่าช่วงความเชื่อมั่น t โดยรับและ1 - α / 2เปอร์เซ็นต์ของการแจกแจงแบบ tα / 2α/2\alpha/21 …

12 hypothesis-testing  t-test  bootstrap 

ฉันกังวลกับปัญหาที่ฉันต้องการบู๊ต p-value สำหรับการประมาณของจากข้อมูล imputed (MI) ที่คูณกัน แต่มันก็ไม่ชัดเจนสำหรับฉันที่จะรวมค่า p-ข้ามชุด MIθθ\theta สำหรับชุดข้อมูล MI วิธีการมาตรฐานในการเข้าถึงความแปรปรวนโดยประมาณทั้งหมดใช้กฎของรูบิน ดูที่นี่สำหรับการตรวจสอบการรวมชุดข้อมูล MI รากที่สองของความแปรปรวนทั้งหมดทำหน้าที่เป็นประมาณการข้อผิดพลาดมาตรฐานของ\อย่างไรก็ตามสำหรับบางตัวประมาณค่าความแปรปรวนทั้งหมดยังไม่ทราบว่าเป็นรูปแบบปิดหรือการกระจายตัวตัวอย่างไม่ปกติ สถิติอาจไม่ได้รับการแจกแจงแบบทีไม่ใช่แบบไม่แสดงอาการθ / s E ( θ )θθ\thetaθ / s e ( θ )θ/se(θ){\theta}/{se(\theta)} ดังนั้นในกรณีข้อมูลที่สมบูรณ์ตัวเลือกหนึ่งทางเลือกคือการบูตสถิติเพื่อค้นหาความแปรปรวนค่า p และช่วงความมั่นใจแม้ว่าการกระจาย samling ไม่ปกติและไม่ทราบรูปแบบปิด ในกรณี MI มีสองตัวเลือก: รวมกลุ่มความแปรปรวนที่เริ่มต้นผ่านชุดข้อมูล MI พูลค่า p-value หรือขอบเขตความมั่นใจในชุดข้อมูล MI ตัวเลือกแรกจะใช้กฎของรูบินอีกครั้ง อย่างไรก็ตามฉันเชื่อว่านี่เป็นปัญหาหากมีการแจกแจงตัวอย่างที่ไม่ปกติ ในสถานการณ์นี้ (หรือโดยทั่วไปในทุกสถานการณ์) ค่า p bootstrapped สามารถนำมาใช้โดยตรง …

12 confidence-interval  variance  p-value  bootstrap  multiple-imputation 

ฉันมีปัญหาในการวิเคราะห์การตัดสินใจที่ค่อนข้างซับซ้อนซึ่งเกี่ยวข้องกับการทดสอบความน่าเชื่อถือและวิธีการทางตรรกะ (สำหรับฉัน) ดูเหมือนว่าจะเกี่ยวข้องกับการใช้ MCMC เพื่อสนับสนุนการวิเคราะห์แบบเบย์ อย่างไรก็ตามมีการแนะนำว่าควรใช้วิธี bootstrapping ใครช่วยแนะนำอ้างอิง (หรือสาม) ที่อาจสนับสนุนการใช้เทคนิคอย่างใดอย่างหนึ่งมากกว่าอีก (แม้สำหรับสถานการณ์เฉพาะ)? FWIW ฉันมีข้อมูลจากหลายแหล่งที่แตกต่างกันและการสังเกตความล้มเหลวน้อย / ศูนย์ ฉันยังมีข้อมูลที่ระบบย่อยและระดับระบบ ดูเหมือนว่าจะมีการเปรียบเทียบแบบนี้ แต่ฉันไม่โชคดีที่ค้นหาผู้ต้องสงสัยตามปกติ ขอบคุณล่วงหน้าสำหรับพอยน์เตอร์ใด ๆ

12 bayesian  bootstrap 

bootstrap ในรูปแบบมาตรฐานสามารถใช้ในการคำนวณช่วงความเชื่อมั่นของสถิติโดยประมาณหากการสังเกตนั้นเป็น iid I. Visser และคณะ ใน " Confidence Intervals สำหรับพารามิเตอร์ Markov Model ที่ซ่อนอยู่ " ใช้ bootstrap แบบพารามิเตอร์เพื่อคำนวณ CIs สำหรับพารามิเตอร์ HMM อย่างไรก็ตามเมื่อเราใส่ HMM ตามลำดับการสังเกตเราได้สันนิษฐานไว้แล้วว่าการสังเกตนั้นขึ้นอยู่กับ (ในทางตรงกันข้ามกับโมเดลผสม) ฉันมีสองคำถาม: สมมติฐาน iid ทำอะไรกับ bootstrap? เราสามารถเพิกเฉยต่อข้อกำหนดของ id ใน bootstrap แบบพารามิเตอร์ได้หรือไม่? Visser และคณะ วิธีการสั้น ๆ ดังนี้: สมมติเรามีลำดับสังเกตผลมาจากการสุ่มตัวอย่างอืมกับชุดจริง แต่ไม่รู้จักของพารามิเตอร์\Y=o1,o2,...,onY=o1,o2,...,onY=o_1,o_2,...,o_nθ=θ1,θ2,...,θlθ=θ1,θ2,...,θl\theta=\theta_1,\theta_2,...,\theta_l พารามิเตอร์สามารถประมาณได้โดยใช้อัลกอริทึม EM:θ^=θ^1,θ^2,...,θ^lθ^=θ^1,θ^2,...,θ^l\hat{\theta}=\hat{\theta}_1,\hat{\theta}_2,...,\hat{\theta}_l ใช้ HMM โดยประมาณเพื่อสร้างตัวอย่าง bootstrap ขนาด :nnnY∗=o∗1,o∗2,...,o∗nY∗=o1∗,o2∗,...,on∗Y^*=o^*_1,o^*_2,...,o^*_n …

12 confidence-interval  bootstrap  hidden-markov-model