ในทฤษฎีการเรียนรู้ทางสถิติไม่มีปัญหาเรื่องการกำหนดค่าส่วนเกินในชุดทดสอบหรือไม่?

ลองพิจารณาปัญหาเกี่ยวกับการจำแนกชุดข้อมูล MNIST

ตามหน้าเว็บ MNIST ของ Yann LeCun , 'Ciresan et al.' ได้รับอัตราความผิดพลาด 0.23% สำหรับชุดทดสอบ MNIST โดยใช้ Convolutional Neural Network

การฝึกอบรมชุดแสดงว่า MNIST Let 's เป็น , MNIST ชุดทดสอบเป็นสมมติฐานสุดท้ายที่พวกเขาได้ใช้เป็นและอัตราความผิดพลาดของพวกเขาใน MNIST ทดสอบตั้งค่าการใช้เป็น 0.0023 $D_{train}$ $D_{test}$ $D_{train}$ $h_{1}$ $h_{1}$ $E_{test}(h_{1}) = 0.0023$

ในมุมมองของพวกเขาเนื่องจากถูกสุ่มตัวอย่างชุดทดสอบจากพื้นที่อินพุตโดยไม่คำนึงถึงพวกเขาสามารถยืนยันได้ว่าประสิทธิภาพข้อผิดพลาดนอกตัวอย่างของสมมติฐานสุดท้ายของพวกเขามีขอบเขตดังนี้ จากความไม่เท่าเทียมของ Hoeffding $D_{test}$ $h_{1}$ $E_{out}(h_{1})$ ที่.

P [| E_{o u t} (h_{1}) - E_{t e s t} (h_{1}) | < ϵ |] \geq 1 - 2 e^{2 ϵ^{2} N_{t e s t}}

$P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}}$

N_{t e s t} = | D_{t e s t} |

$N_{test}=|D_{test}|$

อีกนัยหนึ่งความน่าจะเป็นอย่างน้อย , $1-\delta$

E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}$

ลองพิจารณามุมมองอื่น สมมติว่าบางคนต้องการจัดประเภทการทดสอบ MNIST เป็นอย่างดี ดังนั้นเขาจึงดูที่หน้าเว็บ MNIST ของ Yann LeCun เป็นครั้งแรกและพบว่าคนอื่น ๆ ได้ผลลัพธ์ตามที่ได้รับจากโมเดลที่แตกต่างกัน 8 แบบ

ผลการจำแนกประเภท MNIST

$g$

$g$ $D_{test}$ $H_{trained}=\{h_1, h_2, .. ,h_8\}$

$E_{test}(g)$

P [| E_{o u t} (g) - E_{i n} (g) | < ϵ] \geq 1 - 2 | H_{t r a i n e d} | e^{2 ϵ^{2} N_{t e s t}}

$P[|E_{out}(g)-E_{in}(g)|<\epsilon] \geq 1 - 2|H_{trained}|e^{2\epsilon^{2}N_{test}}$

$1-\delta$

E_{o u t} (g) \leq E_{t e s t} (g) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}

$E_{out}(g) \leq E_{test}(g) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

ผลลัพธ์นี้แสดงให้เห็นว่าอาจมีการ overfitting ในชุดทดสอบหากเราเลือกแบบจำลองมีประสิทธิภาพดีที่สุดในหลายรุ่น

$h_{1}$ $E_{test}(h_{1}) = 0.0023$ $h_{1}$ $D_{test}$ $h_{1}$

E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

P [E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}\;] \geq 1-\delta$

P [E_{o u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r a i n e d} |}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}\;] \geq 1-\delta$

Howerver เป็นที่ชัดเจนว่าความไม่เท่าเทียมกันทั้งสองนี้เข้ากันไม่ได้

ฉันทำผิดตรงไหน อันไหนถูกและอันไหนผิด?

หากหลังผิดวิธีที่ถูกต้องในการนำ VC มาใช้กับข้อ จำกัด แน่นอนในกรณีนี้คืออะไร?

— asqdf
แหล่งที่มา

$g=h_1$ $g$ $h_1$

$g$ $H_{trained} = \{ h_1, h_2,..., h_8 \}$ $D_{test}$

$g$ $D_{test}$ $D^*_{test}$ $g(D^*_{test}) = h_1$ $g(D_{test})$ $H_{trained}$ $h_1$ $H_{trained}$

สำหรับคำถามอื่น ๆ :

หากหลังผิดวิธีที่ถูกต้องในการนำ VC มาใช้กับข้อ จำกัด แน่นอนในกรณีนี้คืออะไร?

อย่าเพิ่งเปลี่ยน $g$ $h_1$ $g$ $h_1$

— TầnhTrần
แหล่งที่มา