การคำนวณช่วงความเชื่อมั่นผ่าน bootstrap จากการสังเกต

bootstrap ในรูปแบบมาตรฐานสามารถใช้ในการคำนวณช่วงความเชื่อมั่นของสถิติโดยประมาณหากการสังเกตนั้นเป็น iid I. Visser และคณะ ใน " Confidence Intervals สำหรับพารามิเตอร์ Markov Model ที่ซ่อนอยู่ " ใช้ bootstrap แบบพารามิเตอร์เพื่อคำนวณ CIs สำหรับพารามิเตอร์ HMM อย่างไรก็ตามเมื่อเราใส่ HMM ตามลำดับการสังเกตเราได้สันนิษฐานไว้แล้วว่าการสังเกตนั้นขึ้นอยู่กับ (ในทางตรงกันข้ามกับโมเดลผสม)

ฉันมีสองคำถาม:

1. สมมติฐาน iid ทำอะไรกับ bootstrap?
2. เราสามารถเพิกเฉยต่อข้อกำหนดของ id ใน bootstrap แบบพารามิเตอร์ได้หรือไม่?

Visser และคณะ วิธีการสั้น ๆ ดังนี้:

1. สมมติเรามีลำดับสังเกตผลมาจากการสุ่มตัวอย่างอืมกับชุดจริง แต่ไม่รู้จักของพารามิเตอร์\$Y=o_1,o_2,...,o_n$$\theta=\theta_1,\theta_2,...,\theta_l$
2. พารามิเตอร์สามารถประมาณได้โดยใช้อัลกอริทึม EM:$\hat{\theta}=\hat{\theta}_1,\hat{\theta}_2,...,\hat{\theta}_l$
3. ใช้ HMM โดยประมาณเพื่อสร้างตัวอย่าง bootstrap ขนาด :$n$$Y^*=o^*_1,o^*_2,...,o^*_n$
4. ประมาณค่าพารามิเตอร์ของ HMM ตามตัวอย่าง bootstrap:$\hat{\theta}^*=\hat{\theta}^*_1,\hat{\theta}^*_2,...,\hat{\theta}^*_l$
5. ทำซ้ำขั้นตอนที่ 3 และ 4 สำหรับครั้ง (เช่น = 1,000) ส่งผลให้การประเมิน bootstrap:$B$$B$$B$$\hat{\theta}^*(1),\hat{\theta}^*(2),...,\hat{\theta}^*(B)$
6. คำนวณ CI ของแต่ละพารามิเตอร์โดยประมาณโดยใช้การกระจายของในการประมาณค่า bootstrap$\hat{\theta}_i$$\hat{\theta}^*_i$

หมายเหตุ (ข้อค้นพบของฉัน):

1. วิธีเปอร์เซ็นไทล์ควรใช้ในการคำนวณ CIs เพื่อให้มีการครอบคลุมที่ถูกต้อง (ปกติเป็นข้อสันนิษฐานที่ไม่ดี)
2. อคติของการกระจาย bootstrap ควรได้รับการแก้ไข หมายความว่าการกระจายความหมายของควรเลื่อนไปที่$\hat{\theta}^*_i$$\hat{\theta}_i$

คำตอบสั้น ๆ : 1. มันลดความซับซ้อน (ตรงไปตรงมาฉันไม่ได้รับคำถาม) 2. ไม่คุณไม่สามารถเพิกเฉยได้เนื่องจากการขาด iid มีผลทันทีต่อความแปรปรวนของสิ่งที่คุณกำลังประเมิน

คำตอบปานกลาง:ปัญหาสำคัญของ bootstrap คือ'ขั้นตอนที่เสนอจะสร้างคุณลักษณะของข้อมูลใหม่หรือไม่' . การละเมิดสมมติฐาน iid นั้นเป็นเรื่องใหญ่: ข้อมูลของคุณขึ้นอยู่กับคุณ (เป็นไปได้มากที่สุด) ที่มีข้อมูลในข้อมูลของคุณน้อยกว่าที่คุณมีในตัวอย่าง iid ที่มีขนาดเท่ากันและถ้าคุณเรียกใช้ bootstrap ที่ไร้เดียงสา ข้อสังเกต) ข้อผิดพลาดมาตรฐานที่คุณได้รับจากมันจะเล็กเกินไป ขั้นตอนที่นำเสนอหลีกเลี่ยงปัญหาการขาดความเป็นอิสระโดยการจับ (หรืออย่างน้อยก็พยายามที่จะจับ) การพึ่งพาอาศัยในโครงสร้างแบบจำลองและพารามิเตอร์ หากสำเร็จแต่ละตัวอย่าง bootstrap จะทำซ้ำคุณลักษณะของข้อมูลตามต้องการ

คำตอบยาว:มีหลายชั้นของสมมติฐานที่เกี่ยวข้องกับ bootstrap และแม้ในกรณีที่เป็นไปได้ง่ายที่สุด (ข้อมูล iid การประมาณค่าเฉลี่ย) คุณต้องทำอย่างน้อยสามข้อ: (1) สถิติที่น่าสนใจเป็นฟังก์ชันที่ราบรื่นของข้อมูล (เป็นจริงในกรณีของค่าเฉลี่ยไม่เป็นความจริงแม้แต่ในกรณีของเปอร์เซ็นไทล์โดยสิ้นเชิงกับการประมาณค่าการจับคู่เพื่อนบ้านที่ใกล้ที่สุด) (2) การกระจายที่คุณ bootstrap คือ "ปิด" กับการกระจายประชากร (ทำงานได้ดีในกรณีของข้อมูล iid นั้นอาจไม่ทำงานในกรณีของข้อมูลที่ต้องพึ่งพาซึ่งคุณมีวิถีทางเดียว = หนึ่งการสังเกตใน กรณีของอนุกรมเวลาและคุณต้องเรียกใช้สมมติฐานเพิ่มเติมเช่นความคงที่และการผสมเพื่อยืดเวลาการสังเกตการณ์นี้ให้กลายเป็นประชากรกึ่งประชากร); (3) การสุ่มตัวอย่างการ Bootstrap ของ Monte Carlo ของคุณนั้นดีพอที่จะประมาณการ bootstrap สมบูรณ์ด้วย subsamples ที่เป็นไปได้ทั้งหมด (ความไม่ถูกต้องจากการใช้ Monte Carlo กับ Bootstrap ที่สมบูรณ์นั้นน้อยกว่าความไม่แน่นอนที่คุณพยายามจับภาพ) ในกรณีของ bootstrap แบบพารามิเตอร์คุณยังได้สมมุติว่า (4) โมเดลของคุณอธิบายคุณสมบัติทั้งหมดของข้อมูลได้อย่างสมบูรณ์แบบ

เป็นคำเตือนของสิ่งที่อาจผิดไปด้วย (4) ให้คิดถึงการถดถอยด้วยข้อผิดพลาด heteroskedastic: , Varพูด หากคุณใส่แบบจำลอง OLS และลองเปลี่ยนส่วนที่เหลือราวกับว่าเป็น iid คุณจะได้รับคำตอบที่ผิด (โดยที่คือ ค่าเฉลี่ยแทนค่าที่เหมาะสม$y=x\beta + \epsilon$$[\epsilon] = \exp[ x\gamma]$$\bar\sigma^2 (X'X)^{-1}$$\bar\sigma^2$$1/n \sum_i \exp[x_i \gamma]$$(X'X)^{-1} \sum \exp[x_i \gamma] x_i x_i' (X'X)^{-1}$) ดังนั้นหากคุณต้องการมีวิธี bootstrap แบบพาราเมตริกอย่างสมบูรณ์คุณจะต้องปรับโมเดลให้เหมาะกับ heteroskedasticity พร้อมกับโมเดลสำหรับค่าเฉลี่ย และถ้าคุณสงสัยว่ามีความสัมพันธ์แบบอนุกรมหรืออื่น ๆ คุณจะต้องปรับโมเดลให้เหมาะสม (ดูว่าการกระจาย bootstrap ที่ไม่มีพารามิเตอร์แบบไม่มีพารามิเตอร์นั้นค่อนข้างหายไปแล้วในตอนนี้เนื่องจากคุณได้แทนที่เสียงของข้อมูลด้วยเสียงสังเคราะห์ของโมเดลของคุณ)

วิธีที่คุณอธิบายทำงานได้ตามสมมติฐาน iid โดยการสร้างตัวอย่างใหม่ทั้งหมด ปัญหาที่ยิ่งใหญ่ที่สุดกับ bootstrap ข้อมูลที่ขึ้นต่อกันคือการสร้างตัวอย่างที่จะมีรูปแบบการพึ่งพาซึ่งเพียงพอที่จะใกล้เคียงกับที่อยู่ในข้อมูลดั้งเดิม ด้วยอนุกรมเวลาคุณสามารถใช้ block bootstraps ได้ ด้วยข้อมูลคลัสเตอร์คุณจะบูตกลุ่มทั้งหมด ด้วย heteroskedastic regression คุณต้องใช้ bootstraps ป่า (ซึ่งเป็นความคิดที่ดีกว่า bootstrap ของส่วนที่เหลือแม้ว่าคุณจะติดตั้งโมเดล heteroskedasticty ไว้) ในบล็อกบูตสแตรปคุณจะต้องคาดเดาการศึกษา (หรือกล่าวอีกนัยหนึ่งมีเหตุผลที่ดีที่จะเชื่อ) ว่าส่วนต่าง ๆ ของอนุกรมเวลานั้นมีความเป็นอิสระโดยประมาณดังนั้นโครงสร้างความสัมพันธ์ทั้งหมดจะถูกจับด้วย 5 หรือ 10 การสังเกตที่ก่อตัวเป็นบล็อก ดังนั้นแทนที่จะสังเกตการสุ่มตัวอย่างทีละตัวซึ่งไม่สนใจโครงสร้างความสัมพันธ์ของอนุกรมเวลาทั้งหมดคุณลองทำการสุ่มใหม่ในบล็อกโดยหวังว่าสิ่งนี้จะเคารพโครงสร้างความสัมพันธ์ รูปแบบการบูตแบบพาราเมตริกที่คุณอ้างถึงพูดว่า: "แทนที่จะเล่นซอกับข้อมูลและประกอบตุ๊กตาใหม่จากชิ้นส่วนเก่า ๆ ทำไมฉันไม่เพียงแค่ประทับตุ๊กตาบาร์บี้ที่ขึ้นรูปให้คุณแทนฉันคิดว่าฉันเป็นคนแบบไหน ของ Barbies ที่คุณชอบและฉันสัญญาว่าฉันจะทำให้คุณเป็นหนึ่งที่คุณต้องการเช่นกัน " แทนที่จะเล่นซอกับข้อมูลและรวบรวมตุ๊กตาใหม่จากชิ้นส่วนเก่าทำไมฉันไม่เพียงแค่ประทับตุ๊กตาบาร์บี้ที่ขึ้นรูปไว้ให้คุณแทน? ฉันพบว่าคุณชอบ Barbies แบบไหนและฉันสัญญาว่าฉันจะทำให้คุณเป็นคนที่คุณชอบเช่นกัน " แทนที่จะเล่นซอกับข้อมูลและรวบรวมตุ๊กตาใหม่จากชิ้นส่วนเก่าทำไมฉันไม่เพียงแค่ประทับตุ๊กตาบาร์บี้ที่ขึ้นรูปไว้ให้คุณแทน? ฉันพบว่าคุณชอบ Barbies แบบไหนและฉันสัญญาว่าฉันจะทำให้คุณเป็นคนที่คุณชอบเช่นกัน "

ในกรณีของการบูตแบบพาราเมตริกที่คุณอธิบายไว้คุณต้องมั่นใจว่าโมเดล HMM ของคุณนั้นสมบูรณ์แบบมากมิฉะนั้นบู๊ทสแตรปพาราเมตริกของคุณอาจนำไปสู่ผลลัพธ์ที่ไม่ถูกต้อง (Barbies ที่ไม่สามารถขยับแขนได้) คิดเกี่ยวกับตัวอย่างการถดถอย heteroskedastic ข้างต้น หรือคิดเกี่ยวกับการปรับโมเดล AR (1) ให้สอดคล้องกับข้อมูล AR (5): ไม่ว่าคุณจะทำอะไรกับข้อมูลที่จำลองโดยพารามิเตอร์พวกเขาจะไม่มีโครงสร้างของข้อมูลดั้งเดิมที่เคยมี

แก้ไข : ดังที่ Sadeghd ได้ชี้แจงคำถามของเขาฉันสามารถตอบคำถามนั้นได้เช่นกัน มีขั้นตอนการบู๊ตสแตรปอันหลากหลายที่มีขนาดใหญ่โตแต่ละอันระบุถึงการเล่นโวหารโดยเฉพาะในสถิติขนาดตัวอย่างการพึ่งพาหรืออะไรก็ตามที่เป็นปัญหาของบูทสแตรป ไม่มีวิธีใดที่จะกล่าวถึงการพึ่งพาเช่นกัน (ฉันเคยทำงานกับ bootstraps แบบสำรวจมีประมาณ 8 โพรซีเดอร์ที่แตกต่างกันถึงแม้ว่าบางอันส่วนใหญ่จะเป็นระเบียบวิธีมากกว่าความสนใจในทางปฏิบัติและบางอันก็ด้อยกว่าอย่างเห็นได้ชัดว่ามันใช้ได้เฉพาะในกรณีพิเศษ การสนทนาทั่วไปของปัญหาที่คุณอาจพบกับ bootstrap ให้ดูที่Canty, Davison, Hinkley และ Ventura (2006) การวินิจฉัยและการแก้ไข Bootstrap วารสารของแคนาดาสถิติ 34 (1), 5-27