คำถามติดแท็ก bootstrap

ฉันมีคำถามเกี่ยวกับเทคนิคการบูตสแตรปที่เหมาะสมเพื่อใช้กับข้อมูลที่มีการจัดกลุ่มที่แข็งแกร่ง ฉันได้รับมอบหมายให้ประเมินรูปแบบการทำนายผลผสมแบบหลายตัวแปรบนข้อมูลการเรียกร้องค่าสินไหมทดแทนโดยการให้คะแนนแบบจำลองพื้นฐานปัจจุบันในข้อมูลการอ้างสิทธิ์ล่าสุดเพื่อพิจารณาว่าแบบจำลองทำนายว่าตอนใดของการดูแลที่มีความถี่สูงสุดของเซสชัน เปอร์เซ็นต์ไทล์ที่ 95) ความไวความจำเพาะและค่าการทำนายเชิงบวก (PPV) จะถูกนำมาใช้เพื่อประเมินประสิทธิภาพของแบบจำลอง Bootstrapping ดูเหมือนจะเป็นวิธีที่ถูกต้องในการสร้างช่วงความมั่นใจสำหรับความอ่อนไหวความเฉพาะเจาะจงและเปอร์เซ็นต์ PPV โชคไม่ดีที่ bootstrap ที่ไร้เดียงสานั้นไม่เหมาะสมเนื่องจากข้อมูลการเรียกร้องคือ 1) มีความสัมพันธ์กับผู้ให้บริการดูแล 2) จัดแบ่งเป็นตอนของการดูแลด้วยการเข้าชมบ่อยครั้งมากขึ้นในช่วงหลายเดือนก่อนหน้านี้ในตอนของการดูแล ความแตกต่างของเทคนิค bootstrap แบบเคลื่อนย้ายบล็อกจะเหมาะสมหรือไม่ หรืออาจเป็นขั้นตอน bootstrap สามขั้นตอนจะทำงาน: 1) ตัวอย่างที่มีการเปลี่ยนจากผู้ให้บริการที่แตกต่างในข้อมูลแล้ว 2) ตัวอย่างที่มีการเปลี่ยนจากตอนที่แตกต่างกันของการดูแลโดยผู้ให้บริการที่เลือกแล้ว 3) ตัวอย่างที่มีการทดแทน ตอนที่เลือก ขอบคุณมากสำหรับคำแนะนำใด ๆ !

16 bootstrap  random-effects-model  mixed-model 

การทดสอบการเปลี่ยนรูป (เรียกอีกอย่างว่าการทดสอบแบบสุ่มการทดสอบแบบสุ่มอีกครั้งหรือการทดสอบที่แน่นอน) มีประโยชน์มากและมีประโยชน์เมื่อสมมติฐานของการแจกแจงปกติที่ต้องการโดยตัวอย่างเช่นt-testไม่พบและเมื่อการเปลี่ยนแปลงของค่าโดยการจัดอันดับ การทดสอบแบบไม่มีพารามิเตอร์Mann-Whitney-U-testจะนำไปสู่การสูญเสียข้อมูลมากขึ้น อย่างไรก็ตามไม่ควรมองข้ามสมมุติฐานข้อเดียวและข้อเดียวเพียงข้อเดียวเมื่อใช้การทดสอบชนิดนี้คือข้อสมมติฐานของความสามารถแลกเปลี่ยนได้ของตัวอย่างภายใต้สมมติฐานว่าง เป็นที่น่าสังเกตว่าวิธีการแบบนี้สามารถใช้ได้เมื่อมีตัวอย่างมากกว่าสองตัวอย่างเช่นสิ่งที่นำไปใช้ในcoinแพ็คเกจ R คุณช่วยกรุณาใช้ภาษาที่เป็นรูปเป็นร่างหรือปรีชาเชิงแนวคิดในภาษาอังกฤษธรรมดาเพื่อแสดงสมมติฐานนี้ได้หรือไม่? นี่จะมีประโยชน์มากในการอธิบายปัญหาที่ถูกมองข้ามในหมู่ผู้ที่ไม่ใช่นักสถิติเช่นฉัน หมายเหตุ: จะเป็นประโยชน์อย่างมากหากพูดถึงกรณีที่การใช้การทดสอบการเปลี่ยนแปลงไม่ถือหรือไม่ถูกต้องภายใต้สมมติฐานเดียวกัน ปรับปรุง: สมมติว่าฉันมี 50 วิชาที่รวบรวมจากคลินิกท้องถิ่นในเขตของฉันโดยการสุ่ม พวกเขาถูกสุ่มให้รับยาหรือยาหลอกในอัตราส่วน 1: 1 พวกเขาทั้งหมดถูกวัดสำหรับ Paramerter 1 Par1ที่ V1 (พื้นฐาน), V2 (3 เดือนต่อมา) และ V3 (1 ปีต่อมา) วิชาทั้งหมด 50 กลุ่มสามารถแบ่งเป็น 2 กลุ่มตามคุณสมบัติ A; ค่าบวก = 20 และค่าลบ = 30 นอกจากนี้ยังสามารถจัดกลุ่มย่อยได้อีก 2 กลุ่มตามคุณลักษณะ B; B positive = …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

ฉันค่อนข้างใหม่สำหรับสถิติ แนวคิดของ bootstrapping ทำให้ฉันสับสน ฉันรู้ว่าปกติของการแจกแจงตัวอย่างจะต้องใช้การทดสอบบางอย่างเช่นการทดสอบที ในกรณีที่ข้อมูลไม่กระจายตามปกติโดยการขอ "bootstrapping" ในการทดสอบ t ใน SPSS สิ่งนี้จะหลีกเลี่ยงปัญหาที่ไม่เป็นไปตามปกติหรือไม่? ถ้าเป็นเช่นนั้นสถิติ t- ถูกรายงานในผลลัพธ์ตามการกระจายตัวตัวอย่าง bootstrapped หรือไม่ และนี่จะเป็นการทดสอบที่ดีขึ้นเมื่อเทียบกับการใช้การทดสอบแบบไม่มีพารามิเตอร์เช่น Mann-Whitney หรือ Kruskal-Wallis ในกรณีที่ฉันมีข้อมูลที่ไม่ปกติ ในสถานการณ์ที่ข้อมูลไม่ปกติและฉันใช้ bootstrap ฉันจะไม่รายงานสถิติ t: ใช่ไหม?

15 nonparametric  bootstrap 

"การตรวจสอบความถูกต้อง Bootstrap" / "การตรวจสอบความถูกต้องแบบข้ามภาพ" เป็นสิ่งใหม่สำหรับฉัน แต่ได้มีการพูดคุยกันโดยคำตอบของคำถามนี้ ฉันรวบรวมมันประกอบด้วยข้อมูล 2 ประเภท: ข้อมูลจริงและข้อมูลจำลองที่ชุดข้อมูลจำลองที่กำหนดถูกสร้างขึ้นจากข้อมูลจริงโดยการสุ่มใหม่พร้อมเปลี่ยนใหม่จนกระทั่งข้อมูลจำลองมีขนาดเท่ากับข้อมูลจริง ฉันสามารถคิดถึงวิธีการสองแบบในการใช้ชนิดข้อมูลดังกล่าว: (1) ปรับโมเดลให้เหมาะสมครั้งเดียวประเมินมันหลายครั้งในชุดข้อมูลจำลองจำนวนมาก (2) ปรับโมเดลให้เหมาะสมหลายครั้งโดยใช้ชุดข้อมูลจำลองจำนวนมากแต่ละชุดแต่ละครั้งประเมินกับข้อมูลจริง อันไหนดีกว่ากัน?

15 cross-validation  bootstrap  validation  resampling 

เมื่อใช้ bootstrapping สำหรับการประเมินแบบจำลองฉันมักคิดเสมอว่าตัวอย่างถุงนอกถูกใช้โดยตรงเป็นชุดทดสอบ อย่างไรก็ตามสิ่งนี้ดูเหมือนจะไม่เป็นกรณีสำหรับแนวทางการเรียนรู้แบบ Scikit ที่เลิก เรียนBootstrapซึ่งดูเหมือนว่าจะสร้างชุดการทดสอบจากการวาดภาพโดยการแทนที่จากชุดย่อยข้อมูลนอกถุง อะไรคือเหตุผลเชิงสถิติที่อยู่เบื้องหลังสิ่งนี้? มีสถานการณ์ที่เฉพาะเจาะจงซึ่งเทคนิคนี้ดีกว่าเพียงแค่การประเมินตัวอย่างนอกหรือในทางกลับกัน?

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging 

ฉันแค่อยากจะถามว่าหนังสือที่ดีที่สุดใน bootstrap นั้นในความคิดของคุณ โดยสิ่งนี้ฉันไม่ได้หมายถึงเฉพาะสิ่งที่นักเขียนเขียน คุณช่วยกรุณาระบุว่าหนังสือเล่มใดที่ดีที่สุดสำหรับคุณสำหรับ bootstrap ที่ครอบคลุมเกณฑ์ต่อไปนี้ พื้นฐานทางปรัชญา / ญาณวิทยาสำหรับเทคนิคที่แสดงโดเมนของการบังคับใช้จุดแข็งและจุดอ่อนสำคัญสำหรับการเลือกแบบจำลองหรือไม่ ชุดตัวอย่างง่ายๆที่แสดงการใช้งานการวางรากฐานทางปรัชญาโดยเฉพาะกับ Matlab?

14 sampling  model-selection  bootstrap  references  resampling 

สมมติว่าหนึ่งดำเนินการ bootstrap ที่ไม่ใช่พารามิเตอร์โดยการวาดตัวอย่างของขนาดnแต่ละจากต้นฉบับnBBBnnnnnnสังเกตพร้อมการแทนที่ ฉันเชื่อว่ากระบวนการนี้เทียบเท่ากับการประมาณฟังก์ชันการแจกแจงสะสมโดย cdf เชิงประจักษ์: http://en.wikipedia.org/wiki/Empirical_distribution_function จากนั้นรับตัวอย่าง bootstrap โดยจำลองการสังเกตจาก cdf BโดยประมาณnnnBBBในแถว ถ้าฉันพูดถูกสิ่งนี้จะต้องจัดการกับปัญหาเรื่องการล้นเพราะเอกสารเชิงประจักษ์มีพารามิเตอร์เกี่ยวกับ N แน่นอนว่ามันไม่แปรเปลี่ยนไปเป็นประชากร cdf แต่แล้วกลุ่มตัวอย่าง จำกัด ? เช่นถ้าฉันบอกคุณว่าฉันมีการสังเกต 100 ครั้งและฉันจะประมาณ cdf เป็นด้วยสองพารามิเตอร์คุณจะไม่ตื่นตระหนก อย่างไรก็ตามหากจำนวนพารามิเตอร์สูงถึง 100 ดูเหมือนจะไม่สมเหตุสมผลเลยN(μ,σ2)N(μ,σ2)N(\mu, \sigma^2) ในทำนองเดียวกันเมื่อมีพนักงานหลายมาตรฐานการถดถอยเชิงเส้นการกระจายของระยะข้อผิดพลาดเป็นที่คาดกันว่าเป็น ) หากมีใครตัดสินใจที่จะเปลี่ยนเป็นการบูตสต็อกส่วนที่เหลือเขาต้องรู้ว่าตอนนี้มีประมาณnN(0,σ2)N(0,σ2)N(0, \sigma^2)nnnพารามิเตอร์ใช้เพื่อจัดการกับการแจกแจงข้อผิดพลาด คุณช่วยบอกทางฉันถึงแหล่งข้อมูลบางแห่งที่จัดการปัญหานี้อย่างชัดเจนหรือบอกสาเหตุที่ไม่ใช่ปัญหาถ้าคุณคิดว่าฉันทำผิด

14 bootstrap  sample-size  sample  small-sample  finite-population 

ฉันมีปัญหาในการทำความเข้าใจวิธีการใช้การบูตการคำนวณเพื่อคำนวณช่วงการทำนายสำหรับตัวแบบการถดถอยเชิงเส้น มีใครบางคนสามารถร่างกระบวนการทีละขั้นตอนได้หรือไม่? ฉันค้นหาผ่าน google แต่ไม่มีอะไรเหมาะสมกับฉัน ฉันเข้าใจวิธีใช้การบูตสแตรปปิ้งเพื่อคำนวณช่วงความมั่นใจสำหรับพารามิเตอร์โมเดล

14 regression  bootstrap  prediction-interval 

ฉันกำลังอ่านบทเกี่ยวกับสถิติที่ใช้บ่อยจากหนังสือของเควินเมอร์ฟี่เรื่อง " การเรียนรู้ของเครื่องจักร - มุมมองที่น่าจะเป็น " ส่วนบน bootstrap อ่าน: bootstrap เป็นเทคนิค Monte Carlo แบบง่าย ๆ เพื่อประมาณการกระจายตัวตัวอย่าง สิ่งนี้มีประโยชน์อย่างยิ่งในกรณีที่ตัวประมาณเป็นฟังก์ชันที่ซับซ้อนของพารามิเตอร์จริง ความคิดนั้นง่าย ถ้าเรารู้พารามิเตอร์จริงเราสามารถสร้างจำนวนมาก (พูดS ) ชุดข้อมูลปลอมแต่ละขนาดNจากการกระจายจริงx_i ^ s \ ซิมพี (· | θ ^ *)สำหรับs = 1: S, i = 1: N จากนั้นเราสามารถคำนวณตัวประมาณของเราจากตัวอย่างแต่ละตัวอย่าง \ hat {\ theta ^ s} = f (x ^ s_ …

14 bootstrap  frequentist 

เมื่อเร็ว ๆ นี้ฉันกำลังมองหาวิธีในการสุ่มตัวอย่างอนุกรมเวลาใหม่ในแบบที่ ประมาณรักษาความสัมพันธ์อัตโนมัติของกระบวนการหน่วยความจำยาว เก็บรักษาโดเมนของการสังเกต (ตัวอย่างเช่นชุดข้อมูลจำนวนเต็มครั้งที่ resampled ยังคงเป็นชุดข้อมูลจำนวนเต็มครั้ง) อาจส่งผลกระทบต่อเครื่องชั่งบางตัวเท่านั้นหากจำเป็น ฉันคิดรูปแบบการเปลี่ยนแปลงต่อไปนี้สำหรับอนุกรมเวลาที่มีความยาว :2ยังไม่มีข้อความ2ยังไม่มีข้อความ2^N Bin อนุกรมเวลาโดยการสังเกตต่อเนื่องเป็นคู่ (มีถังขยะ) พลิกแต่ละของพวกเขา ( เช่นดัชนีจากไป) อย่างอิสระที่มีความน่าจะเป็น1/22ยังไม่มีข้อความ- 12ยังไม่มีข้อความ-12^{N-1}1:22:11 / 21/21/2 Bin อนุกรมเวลาที่ได้รับจากการสังเกตครั้งติดต่อกัน(มีถังขยะ) ย้อนกลับแต่ละของพวกเขา ( เช่นดัชนีจากไป) independelty กับความน่า1/24442ยังไม่มีข้อความ- 22ยังไม่มีข้อความ-22^{N-2}1:2:3:44:3:2:11 / 21/21/2 ทำซ้ำขั้นตอนที่มีถังขยะขนาด , , ... ,เสมอย้อนกลับถังขยะที่มีความน่าจะเป็น1/28881616162N−12N−12^{N-1}1/21/21/2 การออกแบบนี้เป็นเชิงประจักษ์ล้วนและฉันกำลังมองหางานที่จะได้รับการตีพิมพ์ในประเภทของการเปลี่ยนแปลงนี้ ฉันยังเปิดรับข้อเสนอแนะสำหรับวิธีเรียงสับเปลี่ยนหรือโครงร่างการสุ่มใหม่

14 time-series  bootstrap  resampling  permutation-test 

ฉันต้องการทราบว่ากระบวนการที่อธิบายด้านล่างนี้ถูกต้อง / ยอมรับได้และมีเหตุผลใด ๆ แนวคิด: อัลกอริธึมการเรียนรู้ภายใต้การดูแลไม่ถือว่าโครงสร้างหรือการแจกแจงเกี่ยวกับข้อมูล ในตอนท้ายของวันที่พวกเขาออกประมาณการจุด ฉันหวังว่าจะให้ปริมาณความไม่แน่นอนของการประมาณการอย่างใด ตอนนี้กระบวนการสร้างแบบจำลอง ML นั้นเป็นการสุ่มโดยเนื้อแท้ (เช่นในการสุ่มตัวอย่างสำหรับการตรวจสอบข้ามสำหรับการปรับค่าพารามิเตอร์และการสุ่มใน Stochastic GBM) ดังนั้นท่อส่งแบบจำลองจะให้ผลลัพธ์ที่แตกต่างกันสำหรับตัวทำนายเดียวกันกับเมล็ดแต่ละอัน ความคิดที่ไร้เดียงสาของฉันคือการเรียกใช้กระบวนการนี้ซ้ำแล้วซ้ำอีกเพื่อหาการกระจายของการทำนายและฉันหวังว่าฉันจะสามารถทำให้แถลงการณ์เกี่ยวกับความไม่แน่นอนของการทำนายได้ หากเป็นเรื่องสำคัญชุดข้อมูลที่ฉันทำงานด้วยจะเล็กมาก (ประมาณ 200 แถว) มันสมเหตุสมผลหรือไม่ เพื่อความกระจ่างแจ้งฉันไม่ได้ทำการบูตข้อมูลด้วยวิธีดั้งเดิม (เช่นฉันไม่ได้สุ่มตัวอย่างข้อมูลใหม่) ชุดข้อมูลเดียวกันถูกใช้ในการวนซ้ำทุกครั้งฉันแค่ใช้การสุ่มใน xval และ stochastic GBM

14 machine-learning  confidence-interval  bootstrap  supervised-learning  gbm 

ขณะนี้ฉันกำลังพยายามทำให้บางสิ่งบางอย่างเกี่ยวกับ bootstrap ของพารามิเตอร์ สิ่งต่าง ๆ ส่วนใหญ่อาจไม่สำคัญ แต่ฉันก็ยังคิดว่าฉันอาจพลาดอะไรบางอย่างไป สมมติว่าฉันต้องการรับช่วงความมั่นใจสำหรับข้อมูลโดยใช้ขั้นตอนการบูตพารามิเตอร์ ดังนั้นฉันมีตัวอย่างนี้และฉันถือว่าการกระจายตัวตามปกติ ฉันก็จะประเมินความแปรปรวนและค่าเฉลี่ยและได้รับการกระจายของฉันประมาณการซึ่งจะเห็นได้ชัดเพียง{V}) เอ็ม พีเอ็น(ม. ,วี )โวลต์^v^\hat{v}ม.^m^\hat{m}P^P^\hat{P}ยังไม่มีข้อความ( ม^, v^)N(m^,v^)N(\hat{m},\hat{v}) แทนที่จะสุ่มตัวอย่างจากการแจกแจงนั้นฉันก็สามารถคำนวณควอนไทล์เชิงวิเคราะห์และทำได้ a) ฉันสรุป: ในกรณีที่ไม่สำคัญนี้ bootstrap แบบพารามิเตอร์จะเหมือนกับการคำนวณสิ่งต่าง ๆ ในการแจกแจงแบบปกติ? ในทางทฤษฎีนี่จะเป็นกรณีสำหรับโมเดลบูตสแตรปทั้งหมดตราบใดที่ฉันสามารถจัดการการคำนวณได้ b) ฉันได้ข้อสรุป: การใช้สมมติฐานของการแจกแจงบางอย่างจะทำให้ฉันมีความแม่นยำเป็นพิเศษใน bootstrap แบบพารามิเตอร์เหนือ nonparametric one (ถ้ามันถูกต้องแน่นอน) แต่นอกเหนือจากนั้นฉันแค่ทำเพราะฉันไม่สามารถจัดการกับการคำนวณการวิเคราะห์และไม่พยายามจำลองทางออกของฉัน? c) ฉันจะใช้มันถ้าการคำนวณแบบ "ปกติ" ทำได้โดยใช้การประมาณบางอย่างเพราะนี่อาจทำให้ฉันมีความแม่นยำมากขึ้น ... ? สำหรับฉันประโยชน์ของ bootstrap (ไม่ใช่พารามิเตอร์) ดูเหมือนจะโกหกในความจริงที่ว่าฉันไม่จำเป็นต้องรับการแจกจ่ายใด ๆ สำหรับ bootstrap แบบพาราเมตริกที่หายไป - หรือมีสิ่งที่ฉันพลาดและตำแหน่ง …

14 nonparametric  bootstrap  simulation  monte-carlo  parametric 

ฉันมีเวกเตอร์ของตัวเลขที่ฉันได้อัปโหลดไว้ที่นี่ (... / code / MyData.Rdata) โดยใช้ dput ฉันต้องการรับ bca ci ดังนั้นฉันจึงเขียนรหัสนี้: my.mean <- function(dat, idx){ return (mean(dat[idx], na.rm = TRUE)) } boot.out<-boot(data=my.data, statistic = my.mean, R=1000) แต่เมื่อฉันเรียกใช้สิ่งต่อไปนี้ฉันจะได้รับสิ่งนี้: > boot.ci(boot.out) Error in bca.ci(boot.out, conf, index[1L], L = L, t = t.o, t0 = t0.o, : estimated adjustment 'a' is NA …

14 r  bootstrap 

หากสิ่งที่คุณทำคือการสุ่มตัวอย่างใหม่จากการกระจายเชิงประจักษ์ทำไมไม่เพียงแค่ศึกษาการกระจายเชิงประจักษ์? ตัวอย่างเช่นแทนที่จะศึกษาความแปรปรวนโดยการสุ่มตัวอย่างซ้ำ ๆ ทำไมไม่เพียงแค่หาค่าความแปรปรวนจากการแจกแจงเชิงประจักษ์

13 machine-learning  mathematical-statistics  sampling  bootstrap  resampling 

ถ้าใน OLS regressions สองข้อสันนิษฐานว่ามีการละเมิด (การแจกแจงแบบปกติของข้อผิดพลาด homoscedasticity) การ bootstrapping ข้อผิดพลาดมาตรฐานและช่วงความเชื่อมั่นเป็นทางเลือกที่เหมาะสมเพื่อให้ได้ผลลัพธ์ที่มีความหมายโดยคำนึงถึงความสำคัญของสัมประสิทธิ์ regressor การทดสอบอย่างมีนัยสำคัญที่มีข้อผิดพลาดมาตรฐานที่บูตสแตรปและช่วงความมั่นใจยังคง "ทำงาน" อยู่กับความแตกต่างระหว่าง ถ้าใช่จะมีช่วงความเชื่อมั่นที่เกี่ยวข้องอะไรบ้างที่สามารถใช้ในสถานการณ์นี้ (เปอร์เซ็นต์ไทล์, BC, BCA) ท้ายที่สุดถ้าการบูตสแตรปมีความเหมาะสมในสถานการณ์นี้วรรณกรรมที่เกี่ยวข้องที่จำเป็นต้องอ่านและอ้างถึงข้อสรุปนี้คืออะไร คำใบ้ใด ๆ ที่จะได้รับการชื่นชมอย่างมาก!

13 regression  bootstrap  least-squares  heteroscedasticity