Overfitting / Underfitting ด้วยขนาดชุดข้อมูล

ในกราฟด้านล่าง

• แกน x => ขนาดชุดข้อมูล
• แกน y => คะแนนการตรวจสอบไขว้

• เส้นสีแดงใช้สำหรับข้อมูลการฝึกอบรม

• สายสีเขียวสำหรับการทดสอบข้อมูล

ในบทช่วยสอนที่ฉันอ้างถึงผู้เขียนบอกว่าจุดที่เส้นสีแดงและเส้นสีเขียวทับกันหมายถึง

การรวบรวมข้อมูลมากขึ้นนั้นไม่น่าจะเพิ่มประสิทธิภาพการวางนัยทั่วไปและเราอยู่ในภูมิภาคที่เรามีแนวโน้มที่จะทำให้ข้อมูลไม่เหมาะสม ดังนั้นจึงเหมาะสมที่จะลองใช้โมเดลที่มีความจุมากขึ้น

ฉันไม่สามารถเข้าใจความหมายของวลีที่ชัดเจนและมันเกิดขึ้นได้อย่างไร

ขอบคุณสำหรับความช่วยเหลือใด ๆ

ดังนั้นการ underfitting หมายความว่าคุณยังมีความสามารถในการปรับปรุงการเรียนรู้ของคุณในขณะที่ underfitting หมายความว่าคุณได้ใช้ความสามารถมากกว่าที่จำเป็นสำหรับการเรียนรู้

พื้นที่สีเขียวเป็นที่ที่ข้อผิดพลาดในการทดสอบเพิ่มขึ้นนั่นคือคุณควรให้ความจุอย่างต่อเนื่อง (จุดข้อมูลหรือความซับซ้อนของแบบจำลอง) เพื่อให้ได้ผลลัพธ์ที่ดีขึ้น เส้นสีเขียวมากขึ้นไปเรื่อย ๆ มันจะราบเรียบมากขึ้นนั่นคือคุณมาถึงจุดที่ความจุที่ให้ไว้ (ซึ่งคือข้อมูล) เพียงพอและดีกว่าที่จะลองใช้ความจุประเภทอื่นซึ่งเป็นความซับซ้อนของแบบจำลอง

ถ้ามันไม่ปรับปรุงคะแนนการทดสอบของคุณหรือลดลงนั่นหมายความว่าการรวมกันของความซับซ้อนของข้อมูลเป็นวิธีที่ดีที่สุดและคุณสามารถหยุดการฝึกอบรมได้

ในขณะที่ Kasra Manshaei ให้คำตอบทั่วไปที่ดี (+1) ฉันต้องการยกตัวอย่างที่เข้าใจง่าย

คิดว่าเป็นปัญหาที่ง่ายมาก: การติดตั้งฟังก์ชั่น{R} ในการทำเช่นนั้นคุณนำโมเดลจากคลาสพหุนาม เพื่อประโยชน์ในการโต้แย้งสมมติว่าคุณใช้พหุนามของระดับ 0 ความจุของแบบจำลองนี้มี จำกัด มากเนื่องจากมันพอดีกับค่าคงที่เท่านั้น โดยทั่วไปจะคาดเดาค่าเฉลี่ย (ขึ้นอยู่กับฟังก์ชันข้อผิดพลาดแน่นอน แต่ทำให้ง่าย) คุณจะได้ค่าประมาณที่ค่อนข้างดีว่าพารามิเตอร์ที่ดีที่สุดสำหรับรุ่นนี้คืออะไร ข้อผิดพลาดในการทดสอบและการฝึกอบรมของคุณจะเกือบจะเหมือนกันไม่ว่าคุณจะเพิ่มตัวอย่างจำนวนเท่าใด ปัญหาไม่ได้อยู่ที่ว่าคุณไม่ได้มีข้อมูลเพียงพอปัญหาคือว่ารูปแบบของคุณไม่เพียงพอที่มีประสิทธิภาพ: คุณunderfit$f:[0, 1] \rightarrow \mathbb{R}$

ลองไปอีกทาง: สมมติว่าคุณมีจุดข้อมูล 1,000 จุด รู้คณิตศาสตร์นิดหน่อยคุณเลือกพหุนามองศา 999 ตอนนี้คุณสามารถใส่ข้อมูลการฝึกได้อย่างลงตัว อย่างไรก็ตามข้อมูลของคุณอาจพอดีกับข้อมูลมากเกินไป ตัวอย่างเช่นดู (จากบล็อกของฉัน )

ในกรณีนี้คุณมีรุ่นอื่นที่พอดีกับข้อมูลอย่างสมบูรณ์ เห็นได้ชัดว่ารุ่นสีน้ำเงินดูเหมือนจะผิดธรรมชาติระหว่างดาต้าพอยน์ ตัวแบบเองอาจไม่สามารถดักจับการกระจายได้เป็นอย่างดีดังนั้นการ จำกัด รูปแบบให้เป็นสิ่งที่ง่ายกว่าอาจช่วยได้จริง นี้สามารถเป็นตัวอย่างของoverfitting

ในกรณีของคุณคุณมีช่องว่างเล็ก ๆ (หรือไม่มี) ระหว่างรถไฟและเส้นโค้งทดสอบที่ระบุว่าโมเดลมีอคติ / underfit สูงการแก้ปัญหา: จำเป็นต้องเลือกแบบจำลองที่ซับซ้อนมากขึ้น - เพื่อประโยชน์ในการสำเร็จให้เพิ่มกรณีตรงข้ามเมื่อช่องว่างระหว่างรถไฟและเส้นโค้งการทดสอบมีขนาดใหญ่มากซึ่งบ่งชี้ว่ามีความแปรปรวน / การ overfitting สูงการแก้ไข: a) เพิ่มขนาดชุดข้อมูลต่อไป b) เลือกรูปแบบที่ซับซ้อนน้อยกว่า c) ทำการปรับสภาพ

คุณสามารถทำสิ่งใด ๆ / ทั้งหมดต่อไปนี้:

1) เปลี่ยนฟีเจอร์ที่คุณป้อนเข้าสู่โมเดล

2) เลือกรุ่นอื่นเพื่อทำงานกับ

3) โหลดข้อมูลเพิ่มเติมลงในโมเดล (อาจไม่ใช่ตัวเลือกสำหรับคุณ แต่โดยปกติจะเป็นตัวเลือก)