ความแปรปรวนของฟังก์ชั่น * * ใน * หมายถึงการเรียนรู้เชิงสถิติ * หมายถึงอะไร

บนหน้า 34 ของการเรียนรู้สถิติเบื้องต้น : $\newcommand{\Var}{{\rm Var}}$

แม้ว่าหลักฐานทางคณิตศาสตร์จะอยู่นอกเหนือขอบเขตของหนังสือเล่มนี้ก็เป็นไปได้ที่จะแสดงให้เห็นว่าการทดสอบที่คาดหวัง MSE สำหรับค่าที่กำหนด$x_0$สามารถแบ่งย่อยเป็นผลรวมของสามปริมาณพื้นฐาน: ความแปรปรวนของ$\hat{f}(x_0)$ที่ยกกำลังสองอคติของ$\hat{f}(x_0)$และความแปรปรวนของข้อตกลงข้อผิดพลาด\$\varepsilon$นั่นคือ,

$$E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$$

[... ] ความแปรปรวนหมายถึงจำนวนที่$\hat{f}$จะเปลี่ยนแปลงหากเราประเมินโดยใช้ชุดข้อมูลการฝึกอบรมอื่น

คำถาม:เนื่องจาก$\Var\big(\hat{f}(x_0)\big)$ดูเหมือนจะแสดงถึงความแปรปรวนของฟังก์ชั่นสิ่งนี้หมายความว่าอย่างเป็นทางการ?

นั่นคือฉันคุ้นเคยกับแนวคิดของความแปรปรวนของตัวแปรสุ่ม$X$แต่สิ่งที่เกี่ยวกับความแปรปรวนของชุดฟังก์ชัน นี่อาจเป็นความแปรปรวนของตัวแปรสุ่มอีกค่าที่มีรูปแบบของฟังก์ชันหรือไม่

การโต้ตอบกับ @whuber ของคุณถูกต้อง

อัลกอริทึมการเรียนรู้สามารถมองได้ว่าเป็นฟังก์ชั่นระดับสูงกว่าการฝึกอบรมการทำแผนที่กำหนดให้ฟังก์ชั่น$\mathcal{A}$

โดยที่เป็นพื้นที่ของชุดฝึกอบรมที่เป็นไปได้ นี้อาจจะเป็นขนบิตแนวคิด แต่โดยทั่วไปแต่ละผลการฝึกอบรมชุดแต่ละหลังการใช้ขั้นตอนวิธีการฝึกอบรมรูปแบบในฟังก์ชั่น speicificซึ่งสามารถนำมาใช้เพื่อทำให้การคาดการณ์ที่กำหนดจุดข้อมูลx$\mathcal{T}$$f$$x$

หากเรามองว่าพื้นที่ของชุดการฝึกอบรมเป็นพื้นที่น่าจะเป็นเพื่อให้มีการแจกจ่ายชุดข้อมูลการฝึกอบรมที่เป็นไปได้บางส่วนแล้วอัลกอริทึมการฝึกอบรมแบบจำลองจะกลายเป็นฟังก์ชันตัวแปรสุ่มที่มีค่าและเราสามารถคิดถึงแนวคิดทางสถิติ โดยเฉพาะอย่างยิ่งหากเราแก้ไขจุดข้อมูลเฉพาะเราจะได้รับตัวแปรสุ่มที่มีค่าเป็นตัวเลข$x_0$

คือครั้งแรกของการฝึกอบรมขั้นตอนวิธีการในแล้วประเมินรูปแบบที่เกิดที่x_0นี่เป็นเพียงแค่ตัวแปรแบบเก่า แต่สร้างแบบสุ่มอย่างชาญฉลาดในพื้นที่ความน่าจะเป็นดังนั้นเราจึงสามารถพูดคุยเกี่ยวกับความแปรปรวน นี่คือความแปรปรวนในสูตรของคุณจาก ISL$T$$x_0$

การตีความภาพโดยใช้ kfolds ซ้ำ

เพื่อให้การตีความด้วยภาพ / การหยั่งรู้ถึงคำตอบของ @Matthew Drury ให้พิจารณาตัวอย่างของเล่นดังต่อไปนี้

• ข้อมูลถูกสร้างจากเส้นโค้งไซน์ที่มีเสียงดัง: "True noise"$f(x) \ +$
• ข้อมูลถูกแบ่งระหว่างตัวอย่างการฝึกอบรมและการทดสอบ (75% - 25%)
• โมเดลเชิงเส้น (พหุนาม) ติดตั้งกับข้อมูลการฝึกอบรม:$\hat f(x)$
• กระบวนการนี้ซ้ำแล้วซ้ำอีกหลายครั้งโดยใช้ข้อมูลเดียวกัน(เช่นการแยกการฝึกอบรม - การทดสอบแบบสุ่มโดยใช้ Sklearm kfold ซ้ำ)
• สิ่งนี้สร้างแบบจำลองที่แตกต่างกันมากมายซึ่งเราคำนวณค่าเฉลี่ยและความแปรปรวนในแต่ละจุดเช่นเดียวกับทุกจุด$x=x_i$

ดูกราฟด้านล่างสำหรับรูปแบบพหุนามระดับ 2 และระดับ 6 ตั้งแต่แรกพบว่าพหุนามสูงกว่า (สีแดง) มีความแปรปรวนมากขึ้น

การพิสูจน์ว่ากราฟสีแดงมีความแปรปรวนมากขึ้น - ทดลอง

ให้และสอดคล้องกับกราฟสีเขียวและสีแดงตามลำดับและเป็นตัวอย่างหนึ่งของกราฟในสีเขียวอ่อนและสีแดงอ่อน ให้เป็นจำนวนคะแนนตามแกนและเป็นจำนวนกราฟ (เช่นจำนวนของการจำลอง) ที่นี่เรามีและ$\hat f_g$$\hat f_r$$\hat f^{(i)}$$n$$x$$m$$n = 400$$m = 200$

ฉันเห็นสามสถานการณ์หลัก

1. ความแปรปรวนของค่าที่คาดการณ์ ณจุดหนึ่งที่เฉพาะเจาะจง นั้นยิ่งใหญ่กว่านั่นคือ$x = x_0$$Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
2. ความแปรปรวนในสูงกว่าสำหรับทุกจุดในช่วง $(1)$ $\{ x_1,...,x_{400} \}$$(0,1)$
3. ความแปรปรวนสูงกว่าโดยเฉลี่ย (เช่นอาจมีขนาดเล็กลงสำหรับบางจุด)

ในกรณีของตัวอย่างของเล่นนี้ทั้งสามสถานการณ์ถือเป็นจริงในช่วงซึ่งแสดงให้เห็นถึงการโต้แย้งว่าคำสั่งพหุนามแบบพอดี (สีแดง) มีความแปรปรวนสูงกว่าพหุนามลำดับล่าง (สีเขียว)$(0,1)$

บทสรุปที่สิ้นสุดลงแล้ว

สิ่งที่ควรจะถกเถียงกันเมื่อทั้งสามสถานการณ์ข้างต้นไม่ได้ถือไว้ทั้งหมด ตัวอย่างเช่นจะเกิดอะไรขึ้นถ้าความแปรปรวนของการทำนายสีแดงสูงกว่าโดยเฉลี่ย แต่ไม่ใช่สำหรับทุกจุด

รายละเอียดของฉลาก

พิจารณาคะแนน$x_0 = 0.5$

• แถบข้อผิดพลาดคือช่วงระหว่าง min ถึง max ของ$\hat f(x_0)$
• ความแปรปรวนคำนวณได้ที่$x_0$
• Trueคือเส้นสีน้ำเงินประ$f(x)$