การประมาณ bootstrap ของอคตินั้นถูกต้องเมื่อใด

31

มันมักจะอ้างว่า bootstrapping สามารถให้ค่าประมาณของอคติในตัวประมาณ

ถ้าเป็นค่าประมาณสำหรับสถิติและเป็น bootstrap replicas (ที่มี ) ดังนั้นประมาณการ bootstrap ของ bias คือ ซึ่งดูง่ายและทรงพลังอย่างมากจนถึงจุดที่ไม่มั่นคง $\hat t$ $\tilde t_i$ $i\in\{1,\cdots,N\}$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - \hat{t}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation}$

ฉันไม่เข้าใจเลยว่าเรื่องนี้เป็นไปได้อย่างไรหากไม่มีตัวประมาณค่าทางสถิติที่เป็นกลาง ตัวอย่างเช่นถ้าตัวประมาณของฉันคืนค่าคงที่ที่เป็นอิสระจากการสังเกตค่าประมาณของความเอนเอียงข้างต้นนั้นไม่ถูกต้องอย่างชัดเจน

แม้ว่าตัวอย่างนี้เป็นพยาธิวิทยา แต่ฉันไม่สามารถเห็นสิ่งที่เป็นข้อสันนิษฐานที่สมเหตุสมผลเกี่ยวกับตัวประมาณและการแจกแจงที่จะรับประกันได้ว่าการประมาณ bootstrap นั้นสมเหตุสมผล

ฉันพยายามอ่านการอ้างอิงอย่างเป็นทางการ แต่ฉันไม่ใช่นักสถิติหรือนักคณิตศาสตร์ดังนั้นจึงไม่มีอะไรชัดเจน

ทุกคนสามารถให้ข้อมูลสรุประดับสูงว่าการคาดการณ์สามารถใช้งานได้เมื่อใด หากคุณรู้ว่ามีการอ้างอิงที่ดีในเรื่องที่จะดี

แก้ไข:

ความนุ่มนวลของตัวประมาณค่ามักถูกอ้างถึงเป็นข้อกำหนดสำหรับ bootstrap ในการทำงาน เป็นไปได้ไหมที่เราจะต้องมีการแปลงกลับบางส่วนในท้องถิ่น? แผนที่คงที่ไม่ชัดเจนว่า

bootstrap bias

— bootstrapped
แหล่งที่มา

2

ตัวประมาณค่าคงที่เป็นตัวประมาณค่าแบบเป็นกลางของค่าคงที่นั้นดังนั้นจึงเป็นธรรมชาติที่ตัวประมาณการบูตของอคตินั้นมีค่าเป็นศูนย์

— ซีอาน

4

ปัญหาที่คุณอธิบายเป็นปัญหาของการตีความไม่ใช่ความถูกต้องอย่างใดอย่างหนึ่ง การประมาณค่า bootstrap สำหรับตัวประมาณค่าคงที่ของคุณไม่ถูกต้อง แต่ในความเป็นจริงแล้วมันสมบูรณ์แบบ

ประมาณการบูตของการมีอคติอยู่ระหว่างประมาณการและพารามิเตอร์ที่คือบางส่วนกระจายไม่รู้จักและตัวอย่างจากFฟังก์ชันเป็นสิ่งที่คุณสามารถทำได้ในหลักการคำนวณว่าคุณมีประชากรอยู่ในมือ บางครั้งที่เราใช้ plug-in ประมาณการของโดยใช้การกระจายเชิงประจักษ์ในสถานที่ของFนี่น่าจะเป็นสิ่งที่คุณอธิบายข้างต้น ในทุกกรณีการประมาณ bootstrap ของ bias คือ ที่ $\hat\theta = s(x)$ $\theta = t(F),$ $F$ $x$ $F$ $t(F)$ $s(x) = t(\hat F),$ $t(F)$ $\hat F$ $F$

{b i a s}_{\hat{F}} = E_{\hat{F}} [s (x^{*})] - t (\hat{F}),

$\mathrm{bias}_{\hat F} = E_{\hat F}[s(x^*)] - t(\hat F),$

x^{*}

$x^*$ มีตัวอย่างจากบูตx

x

$x$

คงเป็น plug-in ที่ประมาณการอย่างต่อเนื่องเช่นเดียวกับที่สมบูรณ์แบบ: $c$ ประชากรและตัวอย่าง , การกระจายเชิงประจักษ์ซึ่งใกล้เคียงกับFหากคุณสามารถประเมิน , คุณจะได้รับคเมื่อคุณคำนวณ plug-in ประมาณการคุณยังได้รับคไม่มีอคติอย่างที่คุณคาดหวัง $\sim F$ $\sim \hat F$ $F$ $t(F) = c$ $c$ $t(\hat F) = c$ $c$

กรณีที่เป็นที่รู้จักกันดีว่ามีความลำเอียงในการประมาณค่า plug-inอยู่ในการประมาณค่าความแปรปรวนดังนั้นการแก้ไขของ Bessel ด้านล่างฉันแสดงให้เห็นถึงนี้ การประมาณค่า bootstrap bias นั้นไม่เลวร้ายเกินไป: $t(\hat F)$

library(plyr)

n <- 20
data <- rnorm(n, 0, 1)

variance <- sum((data - mean(data))^2)/n

boots <- raply(1000, {
  data_b <- sample(data, n, replace=T)
  sum((data_b - mean(data_b))^2)/n
})

# estimated bias
mean(boots) - variance 
#> [1] -0.06504726

# true bias:
((n-1)/n)*1 -1
#> [1] -0.05

เราสามารถใช้แทนค่าเฉลี่ยประชากรและ , สถานการณ์ที่ในกรณีส่วนใหญ่ควรมีอคติที่ชัดเจน: $t(F)$ $s(x) = c$

library(plyr)

mu <- 3
a_constant <- 1

n <- 20
data <- rnorm(n, mu, 1)

boots <- raply(1000, {
  # not necessary as we will ignore the data, but let's do it on principle
  data_b <- sample(data, n, replace=T)

  a_constant
})

# estimated bias
mean(boots) - mean(data) 
#> [1] -1.964877

# true bias is clearly -2

อีกครั้งการประมาณการ bootstrap ก็ไม่ได้แย่เกินไป

— นาร์
แหล่งที่มา

ฉันได้เพิ่มคำตอบนี้เพราะคำตอบอื่น ๆ ดูเหมือนจะยอมรับว่าเป็นปัญหาที่ bootstrap ประมาณค่าไบอัสเป็น 0 เมื่อเป็นค่าคงที่ ฉันไม่เชื่อว่ามันเป็น

t

$t$

— einar

ฉันชอบคำตอบและตัวอย่างของคุณ แต่ฉันไม่คิดว่าคำนิยามของคุณถูกต้อง "การประมาณ bootstrap ของ bias เป็นการประมาณค่าความเอนเอียงระหว่างฟังก์ชันตัวอย่างของคุณกับฟังก์ชันเดียวกันที่ประเมินในประชากร" ในขณะที่สิ่งที่คุณเขียนมีการกำหนดไว้อย่างดีหากนี่เป็นคำนิยามคุณจะไม่สามารถใช้ bootstrap เพื่อประมาณค่าอคติของเช่นความแปรปรวนตัวอย่างเป็นตัวประมาณค่าความแปรปรวนประชากร

— DavidR

@DavidR คุณถูกต้องขอบคุณสำหรับการแสดงความคิดเห็น ฉันได้อัพเดตคำตอบแล้ว

— einar

ฉันชอบบทความนี้มาก! คำถามเดียวของฉันเกี่ยวกับ "ประมาณการ bootstrap ของอคติ" ฉันคิดว่าสิ่งที่คุณเขียนคืออคติที่แท้จริงของตัวประมาณ (แต่สำหรับการกระจายเชิงประจักษ์มากกว่าการแจกแจงที่แท้จริง) เนื่องจากคุณคาดหวังจากตัวอย่างบูตสแตรป ฉันคิดว่าตัวประมาณ bootstrap จะเป็นผลรวมที่แน่นอนเหนือตัวอย่าง bootstrap B หรือไม่?

— DavidR

1

@DavidR ฉันดีใจที่คุณทำ! สิ่งที่ฉันรายงานคือเทคนิคการประมาณ bootstrap ของความลำเอียง (เพราะคุณใช้แทนและ bootstrap ความคาดหวังของแทนที่ความคาดหวังของมันเหนือ ) แต่ในแอปพลิเคชันที่ใช้งานได้จริงส่วนใหญ่นั้นเป็นสิ่งที่ดื้อดึงและเราประมาณมันโดย Monte Carlo ตามที่คุณพูด

t (\hat{F})

$t(\hat F)$

θ

$\theta$

s ()

$s()$

F

$F$

E_{\hat{F}} [s (x^{*})]

$E_{\hat F}[s(x^*)]$

— einar

3

คุณทำผิดพลาดครั้งหนึ่งและอาจเป็นเหตุผลที่ทำให้เกิดความสับสน คุณพูด:

ถ้าตัวประมาณของฉันคืนค่าคงที่ที่เป็นอิสระจากการสังเกตการประมาณค่าความเอนเอียงข้างต้นนั้นไม่ถูกต้องชัดเจน

Bootstrap ไม่ได้เกี่ยวกับว่าวิธีการของคุณจะลำเอียงมากแค่ไหน แต่ผลลัพธ์ของคุณที่ได้จากฟังก์ชั่นบางอย่างนั้นเป็นอย่างไรเพราะข้อมูลของคุณนั้นมีอคติ

หากคุณเลือกวิธีการทางสถิติที่เหมาะสมสำหรับการวิเคราะห์ข้อมูลของคุณและการตั้งสมมติฐานทั้งหมดของวิธีการนี้จะได้พบและคุณไม่คณิตศาสตร์ของคุณอย่างถูกต้องแล้ววิธีการทางสถิติของคุณควรจะให้คุณ "ดีที่สุด" ประมาณการไปได้ว่าสามารถรับได้โดยใช้ข้อมูลของคุณ

แนวคิดของ bootstrap คือการสุ่มตัวอย่างจากข้อมูลของคุณในแบบเดียวกับที่คุณสุ่มตัวอย่างกรณีของคุณจากประชากรดังนั้นมันจึงเป็นการจำลองแบบการสุ่มตัวอย่างของคุณ สิ่งนี้จะช่วยให้คุณได้รับการกระจายโดยประมาณ (ใช้คำ Efrons) ของมูลค่าของคุณและเพื่อประเมินความลำเอียงของคุณโดยประมาณ

อย่างไรก็ตามสิ่งที่ฉันโต้เถียงคือตัวอย่างของคุณทำให้เข้าใจผิดและดังนั้นจึงไม่ใช่ตัวอย่างที่ดีที่สุดสำหรับการพูดถึง bootstrap เนื่องจากมีความเข้าใจผิดทั้งสองด้านให้ฉันอัปเดตคำตอบของฉันและเขียนอย่างเป็นทางการเพื่ออธิบายประเด็นของฉัน

อคติสำหรับกำลังประเมินมูลค่าที่แท้จริงถูกกำหนดเป็น: $\hat{\theta}$ $\theta$

bias ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\text{bias}(\hat{\theta}_n) = \mathbb{E}_\theta(\hat{\theta}_n) - \theta$

ที่อยู่:

{\hat{θ}}_{n} = g (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}_n = g(x_1,x_2,...,x_n)$

โดยที่คือตัวประมาณ $g(\cdot)$

ดังที่ Larry Wasserman บันทึกไว้ในหนังสือของเขา"All the Statistics" :

ข้อกำหนดที่สมเหตุสมผลสำหรับตัวประมาณค่าคือมันควรรวมเข้ากับค่าพารามิเตอร์จริงเมื่อเรารวบรวมข้อมูลมากขึ้นเรื่อย ๆ ข้อกำหนดนี้เป็นปริมาณโดยคำจำกัดความต่อไปนี้:
6.7 นิยาม จุดประมาณการของพารามิเตอร์เป็นที่สอดคล้องกันถ้า\ $\hat{\theta}_n$ $\theta$ $\hat{\theta}_n \overset{P}{\rightarrow} \theta$

ประมาณการคงเป็นฟังก์ชั่นอย่างต่อเนื่องของ :ไม่ได้ตอบสนองความต้องการนี้เพราะมันจะมีความเป็นอิสระของข้อมูลและตัวเลขการเติบโตของการสังเกตจะไม่ทำให้มันเข้าใกล้มูลค่าที่แท้จริง (ยกเว้นกรณีที่โชคบริสุทธิ์หรือมี แข็งมากเบื้องต้นสมมติฐานในมันคือการที่ ) $x$ $g(X) = \lambda$ $\theta$ $\lambda$ $\lambda = \theta$

ประมาณการคงไม่ได้ตอบสนองความต้องการขั้นพื้นฐานสำหรับการเป็นประมาณการที่เหมาะสมและด้วยเหตุนี้มันเป็นไปไม่ได้ที่จะประเมินมันอคติเพราะไม่เข้าใกล้แม้จะมี\ เป็นไปไม่ได้ที่จะทำกับ bootstrap และวิธีอื่น ๆ ดังนั้นจึงไม่มีปัญหากับ bootstrap $\hat{\theta}_n$ $\theta$ $n \rightarrow \infty$

— ทิม
แหล่งที่มา

5

ฉันเกรงว่าคำตอบนี้ดูเหมือนว่าจะทำให้เกิดความสับสน ตัวประมาณค่าคงที่คือตัวประมาณตามคำจำกัดความส่วนใหญ่ - และในบางกรณีมันอาจเป็นตัวประมาณที่ยอมรับได้ คำถามของคุณ จำกัด การสุ่มตัวอย่างอคติด้วยอคติการประเมินซึ่งจะทำให้ผู้อ่านเกือบทั้งหมดสับสน ย่อหน้าของคุณเกี่ยวกับ "การประเมินที่ดีที่สุดที่เป็นไปได้" นั้นดี แต่มันก็เป็นคำถามที่สำคัญเกี่ยวกับวิธีการวัด "ที่ดีที่สุด" ความลำเอียงเป็นเพียงองค์ประกอบเดียวของสิ่งนั้น (ถ้าเลย)

— whuber

ในขณะที่ฉันมีคุณสมบัติไม่เพียงพอที่จะตอบ OP แต่ฉันกลัวว่า Whuber จะมีประเด็น นอกจากนี้การเรียกประชากรหมายถึงตัวประมาณ? เกี่ยวข้องกับประโยคสุดท้ายฉันคิดว่า boostrap ให้ค่าประมาณอคติของตัวประมาณภายใต้การวิเคราะห์ไม่ใช่วิธีการสุ่มตัวอย่าง

— mugen

ฉันเข้าใจว่าการบูตสแตรปไม่สามารถตรวจพบข้อผิดพลาดที่เป็นระบบได้ แต่อย่างน้อยก็มีข้อ จำกัด ในการตรวจจับอคติทางสถิติ ฉันคิดว่าประเด็นของคุณเกี่ยวกับความละเอียดอ่อนในการแยกแยะระหว่างทั้งสอง แต่นั่นก็ยังไม่ชัดเจนสำหรับฉัน ดูเหมือนว่าคุณกำลังพูดถึงแนวคิดเรื่องอคติที่ฉันไม่เคยได้ยิน - ไม่ใช่ตัวประมาณ แต่เป็นข้อมูล คำจำกัดความที่เป็นทางการของแนวคิดเรื่องอคตินี้คืออะไร?

— Bootstrapped

3

มีความเข้าใจผิดอย่างแน่นอน: ทิมคุณไม่ได้ใช้ "ตัวประมาณ" หรือ "อคติ" ในลักษณะที่เป็นแบบแผนสำหรับบริบทที่สร้างขึ้นในคำถามนี้ในขณะที่ Bootstrapped คือ นอกจากนี้คุณไม่ถูกต้องที่ bootstrap สามารถตรวจพบข้อผิดพลาดที่เป็นระบบและไม่ถูกต้องในการเทียบกับ "bias" ในบริบทของการประเมิน ยังมีข้อผิดพลาดต่าง ๆ ในคำตอบอีกด้วย ยกตัวอย่างเช่นอคติของประมาณการคงที่ (เท่ากับการพูดเพื่อ ) ของพารามิเตอร์คือโดยความหมาย \โปรดปรึกษาอ้างอิง

λ

$\lambda$

θ

$\theta$

λ - θ

$\lambda-\theta$

— whuber

8

เป็นเรื่องที่น่าสนใจที่คุณนำเสนอประเด็นเรื่องความสอดคล้องในการแก้ไขของคุณ คุณอาจพบว่ามันน่าขบขัน - และอาจเป็นเพียงความคิดเล็กน้อยที่จะพิจารณาตัวประมาณที่เท่ากับให้ไว้และเป็นตัวประมาณความเป็นไปได้สูงสุด แม้ว่าสิ่งนี้จะสอดคล้องกัน แต่มันก็มีปัญหาจากปัญหาที่ระบุโดย OP เนื่องจากเธรดนี้เกี่ยวข้องกับการระบุลักษณะเงื่อนไขที่จะทำให้มั่นใจได้ว่า "การประมาณ bootstrap มีเหตุผล" ดูเหมือนว่าจะมาจากตัวอย่างนี้ว่า แนวคิดที่เกี่ยวข้อง

\hat{θ}

$\hat\theta$

0

$0$

n < 10^{100}

$n\lt 10^{100}$

— whuber

3

ฉันคิดว่าสูตรของคุณผิด สุดท้ายควรมีดาวมากกว่าหมวก: $t$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - t^{*}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i- t^* \end{equation}$

คุณต้องการใช้สถิติจริงที่ประเมินจากการกระจายเชิงประจักษ์ (ซึ่งมักเป็นเรื่องง่ายเนื่องจากตัวอย่างดั้งเดิมเป็นชุด จำกัด ) แทนที่จะเป็นค่าประมาณ ในบางกรณีสิ่งเหล่านี้อาจเหมือนกัน (ตัวอย่างเช่นค่าเฉลี่ยเชิงประจักษ์เท่ากับค่าเฉลี่ยตัวอย่าง) แต่ค่าเหล่านี้จะไม่เป็นแบบทั่วไป คุณให้กรณีหนึ่งที่มีความแตกต่างกัน แต่ตัวอย่างทางพยาธิวิทยาที่น้อยกว่าคือตัวประมาณค่ากลางที่ไม่เอนเอียงสำหรับความแปรปรวนซึ่งไม่เหมือนกับความแปรปรวนประชากรเมื่อนำไปใช้กับการกระจายแบบ จำกัด

ถ้าสถิติไม่ให้ความรู้สึกในการกระจายเชิงประจักษ์ (ตัวอย่างเช่นถ้ามันจะถือว่าการกระจายอย่างต่อเนื่อง) แล้วคุณไม่ควรใช้ความร่วมมือวานิลลา คุณสามารถแทนที่การกระจายเชิงประจักษ์ด้วยการประมาณความหนาแน่นของเคอร์เนล (bootstrap ที่ราบรื่น) หรือถ้าคุณรู้ว่าการกระจายดั้งเดิมอยู่ในบางตระกูลคุณสามารถแทนที่การกระจายเชิงประจักษ์ด้วยการประมาณค่าที่น่าจะเป็นมากที่สุดจากตระกูลนั้น $t$

TL / DR: วิธีบู๊ตสแตรปไม่มีเวทย์ ในการรับค่าประมาณอคติอย่างเป็นกลางคุณจะต้องสามารถคำนวณพารามิเตอร์ที่น่าสนใจจากการกระจายแบบ จำกัด

— Evan Wright
แหล่งที่มา

1

ฉันไม่แน่ใจเกี่ยวกับความหมายของสัญลักษณ์ของคุณ ตามบันทึกการบรรยายเหล่านี้โดยPete Hall (UC Davis) บันทึกการบรรยายเหล่านี้โดยCosma Shalizi (CMU) และหน้าของหนังสือ Efron และ Tibshirani นี้ดูเหมือนจะบ่งบอกว่าสิ่งที่ฉันไม่ผิดไม่ใช่แค่ทั่วไป (เช่นฉัน กำลังใช้ตัวประมาณค่าปลั๊กอินที่นี่ แต่ไม่จำเป็น)

— Bootstrapped

Efron และ Tibshirani ให้สูตรเดียวกันกับฉันด้วยสัญกรณ์ที่แตกต่างกัน พีทฮอลล์ดูเหมือนจะทำให้สันนิษฐานได้ว่า : ในหน้า 11 เขาแทนที่ (ซึ่งเป็นสิ่งที่ฉันเรียกว่ากับโดยไม่มีความคิดเห็น Cosma Shalizi อภิปรายเรื่อง pivots ในส่วนที่ 2.2 ดูเหมือนว่าโดยปริยายสมมติว่าคือมูลค่าที่แท้จริงของในการแจกแจงเชิงประจักษ์ ( ) ฉันคิดว่าความสับสนทั้งหมดของคุณนั้นเกิดจากความเลอะเทอะในบันทึกการบรรยายเหล่านี้

t^{*} = \hat{t}

$t^* = \hat t$

θ (F_{1})

$\theta(F_1)$

t^{*}

$t^*$

\hat{θ}

$\hat \theta$

\hat{t}

$\hat t$

t

$t$

t^{*}

$t^*$

— Evan Wright

t^{*} = \hat{t}

$t^*=\hat t$

1

t^{*}

$t^*$

N \to \infty

$N \to \infty$

t^{*}

$t^*$

t^{*}

$t^*$

{\tilde{t}}_{i}

$\tilde t_i$

t^{*}

$t^*$

0

ฉันคิดว่ามันมีประโยชน์ที่จะคิดเกี่ยวกับกระบวนการ bootstrap ในแง่ของ functionals ของการแจกแจงที่พวกเขาทำงาน - ฉันให้ตัวอย่างในคำตอบนี้สำหรับคำถาม bootstrap ที่แตกต่างกัน

ค่าประมาณที่คุณให้คือค่าประมาณ ไม่มีใครบอกว่าจะไม่ประสบปัญหาที่อาจมีการประมาณการทางสถิติ มันจะให้ค่าประมาณอคติที่ไม่เป็นศูนย์สำหรับค่าเฉลี่ยตัวอย่างเช่นที่เราทุกคนรู้ว่าไม่มีอคติเริ่มต้นด้วย ปัญหาอย่างหนึ่งของการประมาณค่าไบแอสนี้คือมันมีความทุกข์ทรมานจากความแปรปรวนของการสุ่มตัวอย่างเมื่อบูทสแตรปถูกใช้เป็น Monte Carlo มากกว่าการแจงนับที่สมบูรณ์ของชุดย่อยที่เป็นไปได้ทั้งหมด (และไม่มีใครที่

$B$ $B$

— StasK
แหล่งที่มา

7

ฉันคิดว่าคำถามดั้งเดิมของ Bootstrapped นั้นเป็นมุมฉากกับปัญหาความแปรปรวนของ Monte Carlo แม้ว่าเราจะใช้จำนวนของการทำสำเนาบูทสแตรปถึงอินฟินิตี้สูตรในคำถามจะให้ค่าประมาณศูนย์สำหรับอคติของตัวประมาณค่าคงที่และจะให้ค่าประมาณที่ไม่ใช่ศูนย์สำหรับค่าอคติของการประมาณค่าความแปรปรวนแบบเป็นกลาง

— Evan Wright