กฎ. 632+ ในการบูตสแตรปคืออะไร

ที่นี่ @gung อ้างอิงถึงกฎ. 632+ การค้นหาโดย Google อย่างรวดเร็วไม่ได้ให้คำตอบที่เข้าใจง่ายว่ากฎนี้หมายถึงอะไรและใช้เพื่อจุดประสงค์ใด มีคนช่วยอธิบายกฎ. 632+ หน่อยได้ไหม

ฉันจะไปที่ตัวประมาณ 0.632 แต่มันจะเป็นการพัฒนาที่ค่อนข้างยาว:

สมมติว่าเราต้องการทำนายด้วยโดยใช้ฟังก์ชันซึ่งอาจขึ้นอยู่กับพารามิเตอร์บางอย่างที่ประเมินโดยใช้ข้อมูลเช่น$Y$$X$$f$$f$$(\mathbf{Y}, \mathbf{X})$$f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

การประมาณค่าผิดพลาดโดยการคาดการณ์คือโดยที่คือฟังก์ชันการสูญเสีย มักเรียกว่าข้อผิดพลาดในการฝึกอบรม Efron และคณะ เรียกมันว่าอัตราข้อผิดพลาดที่ชัดเจนหรืออัตราการประกาศใหม่ มันไม่ดีมากเพราะเราจะใช้ข้อมูลของเราเพื่อให้พอดีกับFส่งผลให้ถูกทำให้ลำเอียงลง คุณต้องการที่จะทราบวิธีที่ดีรูปแบบของคุณไม่ในการทำนายค่าใหม่L(xi,yi)f¯err

$$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ $L$$(x_i,y_i)$$f$$\overline{err}$$f$

บ่อยครั้งที่เราใช้การตรวจสอบความถูกต้องไขว้เป็นวิธีง่ายๆในการประเมินข้อผิดพลาดการคาดการณ์ตัวอย่างพิเศษที่คาดหวัง

$$Err = \text{E}\left[ L(Y, f(X))\right]$$

วิธีที่นิยมทำเช่นนี้คือทำการตรวจสอบข้าม -fold แบ่งข้อมูลของคุณออกเป็นกลุ่ม (เช่น 10) สำหรับแต่ละกลุ่มพอดีกับรูปแบบของคุณที่เหลือกลุ่มและทดสอบบน TH กลุ่ม ข้อผิดพลาดการคาดการณ์ตัวอย่างเพิ่มเติมที่ผ่านการตรวจสอบแล้วของเรานั้นเป็นเพียงค่าเฉลี่ยโดยที่เป็นฟังก์ชั่นดัชนีบางอย่างที่ระบุพาร์ติชันที่การสังเกตได้รับการจัดสรรและเป็นค่าที่คาดการณ์ของโดยใช้ข้อมูลที่ไม่ได้อยู่ในชุด thK k K - 1 $K$$K$$k$$K-1$$k$

$$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$$ $\kappa$$i$$f_{-\kappa(i)}(x_i)$$x_i$$\kappa(i)$

ประมาณนี้จะอยู่ที่ประมาณเป็นกลางสำหรับข้อผิดพลาดการทำนายเป็นจริงเมื่อและมีความแปรปรวนขนาดใหญ่และมีมากขึ้นการคำนวณราคาแพงสำหรับขนาดใหญ่Kดังนั้นอีกครั้งที่เราเห็นอคติ - ความแปรปรวนการค้าที่เล่น$K=N$$K$

แทนที่จะใช้การตรวจสอบความถูกต้องข้ามเราสามารถใช้ bootstrap เพื่อประเมินข้อผิดพลาดการทำนายตัวอย่างแบบพิเศษ Bootstrap resampling สามารถใช้ในการประเมินการกระจายตัวตัวอย่างของสถิติใด ๆ หากข้อมูลการฝึกอบรมของเราคือจากนั้นเราสามารถนึกถึงการเก็บตัวอย่าง (พร้อมการแทนที่) จากชุดนี้โดยที่แต่ละชุดเป็นตัวอย่างตัวอย่าง ตอนนี้เราสามารถใช้ตัวอย่างบูตสแตรปของเราเพื่อประเมินข้อผิดพลาดในการทำนายตัวอย่างแบบพิเศษ:โดยที่คือค่าที่ทำนายไว้ที่จากแบบจำลองที่พอดีกับ$\mathbf{X} = (x_1,\ldots,x_N)$$B$$\mathbf{Z}_1,\ldots,\mathbf{Z}_B$$\mathbf{Z}_i$$N$

$$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$$ $f_b(x_i)$$x_i$$b$ th ชุดข้อมูล bootstrap น่าเสียดายที่นี่ไม่ใช่ตัวประมาณที่ดีโดยเฉพาะเนื่องจากตัวอย่าง bootstrap ที่ใช้ในการผลิตอาจมีอยู่ ตัวประมาณการ bootstrap แบบปล่อยครั้งเดียวให้การปรับปรุงโดยการเลียนแบบการตรวจสอบความถูกต้องข้ามและถูกกำหนดเป็น:โดยที่เป็นชุดของดัชนีสำหรับตัวอย่าง bootstrap ที่ ไม่มีการสังเกตและคือจำนวนตัวอย่างดังกล่าว $f_b(x_i)$$x_i$ $$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$$ $C^{-i}$$i$$|C^{-i}|$$Err_{boot(1)}$แก้ปัญหาการ overfitting แต่ยังคงลำเอียง (อันนี้เป็นลำเอียงขึ้นไป) อคติเกิดจากการสังเกตที่ไม่ชัดเจนในตัวอย่างบูตสแตรปซึ่งเป็นผลมาจากการสุ่มตัวอย่างด้วยการแทนที่ จำนวนการสังเกตที่แตกต่างกันโดยเฉลี่ยในแต่ละตัวอย่างประมาณ (ดูคำตอบนี้สำหรับคำอธิบายว่าทำไมทำไมตัวอย่าง bootstrap โดยเฉลี่ยแต่ละอันมีประมาณสองในสามของการสังเกต? ) เพื่อแก้ปัญหาอคติ Efron และ Tibshirani เสนอตัวประมาณ 0.632: โดยที่$0.632N$ $$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$$ $$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ เป็นข้อผิดพลาดในการคาดคะเนการคาดการณ์ที่ไร้เดียงสามักเรียกว่าข้อผิดพลาดในการฝึกอบรม แนวคิดคือการเฉลี่ยค่าประมาณลำเอียงที่ลดลงและค่าประมาณที่เอนเอียงขึ้น

อย่างไรก็ตามถ้าเรามีฟังก์ชั่นการคาดคะเนที่สูงเกินไป (เช่น ) ดังนั้นแม้แต่ตัวประมาณ. 632 ก็จะเอนเอียงลง เครื่องมือประมาณการ. 632+ ได้รับการออกแบบมาให้มีการประนีประนอมระหว่างและน้อย พร้อม โดยที่คืออัตราข้อผิดพลาดที่ไม่มีข้อมูลประมาณโดยการประเมินรูปแบบการทำนายของชุดค่าผสมที่เป็นไปได้ทั้งหมด เป้าหมายและพยากรณ์x_i$\overline{err}=0$$\overline{err}$$Err_{boot(1)}$

$$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$$ $$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$$ $\gamma$$y_i$$x_i$

$$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$$ (x_j))

นี่วัดอัตราการ overfitting สัมพัทธ์ หากไม่มีการ overfitting (R = 0 เมื่อ ) นี่จะเท่ากับ. 632$R$$Err_{boot(1)} = \overline{err}$

คุณจะพบข้อมูลเพิ่มเติมในส่วนที่ 3 นี้¹กระดาษ แต่เพื่อสรุปถ้าคุณเรียกตัวอย่างของตัวเลขจากวาดแบบสุ่มและมีการแทนที่มีค่าเฉลี่ยประมาณองค์ประกอบที่ไม่ซ้ำกัน$S$$n$$\{1:n\}$$S$$(1-e^{-1})\,n \approx 0.63212056\, n$

เหตุผลมีดังนี้ เราเติมโดยการสุ่มตัวอย่างครั้ง (แบบสุ่มและด้วยการเปลี่ยน) จาก\} พิจารณาโดยเฉพาะอย่างยิ่งดัชนี\} $S=\{s_1,\ldots,s_n\}$$i=1,\ldots,n$$\{1:n\}$$m\in\{1:n\}$

แล้ว:

$$P(s_i=m)=1/n$$

และ

$$P(s_i\neq m)=1-1/n$$

และนี่คือความจริง (สังหรณ์ใจเนื่องจากเราสุ่มตัวอย่างด้วยการแทนที่ความน่าจะเป็นไม่ได้ขึ้นอยู่กับ )$\forall 1\leq i \leq n$$i$

ดังนั้น

$$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$$

นอกจากนี้คุณยังสามารถจำลองเล็ก ๆ น้อย ๆ นี้เพื่อตรวจสอบคุณภาพของการประมาณค่า (ซึ่งขึ้นอยู่กับ ):$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley Efron และ Robert Tibshirani (1997) การปรับปรุงการตรวจสอบข้าม: วิธีการบูต . 632+ วารสารของสมาคมอเมริกันสถิติฉบับ 92, หมายเลข 438, pp. 548--560

จากประสบการณ์ของฉันโดยพื้นฐานจากการจำลองสถานการณ์ bootstrap รุ่น 0.632 และ 0.632+ นั้นมีความจำเป็นเท่านั้นเนื่องจากปัญหาร้ายแรงที่เกิดจากการใช้กฎการให้คะแนนความแม่นยำที่ไม่เหมาะสมกล่าวคือสัดส่วน "จำแนก" อย่างถูกต้อง เมื่อคุณใช้กฎการให้คะแนนที่เหมาะสม (เช่นคะแนน deviance-based หรือ Brier) หรือกึ่งกึ่งกลาง (เช่น -index = AUROC) มาตรฐาน bootstrap การมองโลกในแง่ดีของ Efron-Gong ก็ใช้ได้ดี$c$

คำตอบเหล่านั้นมีประโยชน์มาก ฉันหาวิธีสาธิตด้วยคณิตศาสตร์ไม่ได้ดังนั้นฉันจึงเขียนโค้ด Python ที่ใช้งานได้ดี:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)