ฉันสร้างเส้นโค้งการเรียนรู้นี้และฉันต้องการที่จะรู้ว่ารุ่น SVM ของฉันมีปัญหาเรื่องอคติหรือความแปรปรวนหรือไม่? ฉันจะสรุปได้อย่างไรจากกราฟนี้
คำตอบ:
อันดับแรกเราควรเน้นที่ด้านขวาของพล็อตที่มีข้อมูลเพียงพอสำหรับการประเมิน
หากสองเส้นโค้งเป็น "ใกล้กัน" และทั้งสองมีคะแนนต่ำ แบบจำลองประสบปัญหาภายใต้ข้อต่อ (High Bias)
หากเส้นโค้งการฝึกอบรมมีคะแนนดีกว่ามาก แต่เส้นโค้งการทดสอบมีคะแนนต่ำกว่านั่นคือจะมีช่องว่างขนาดใหญ่ระหว่างสองเส้นโค้ง จากนั้นตัวแบบจะประสบปัญหาการสวมใส่เกิน (ความแปรปรวนสูง)
จากเนื้อเรื่องมันยากที่จะบอกว่าตัวแบบนั้นดีหรือไม่ เป็นไปได้ว่าคุณมี "ปัญหาง่าย" จริง ๆ แบบจำลองที่ดีสามารถบรรลุ 90% ในทางกลับกันเป็นไปได้ที่คุณจะมี "ปัญหาที่ยากมาก" ที่สิ่งที่ดีที่สุดที่เราสามารถทำได้คือบรรลุถึง 70% (โปรดทราบว่าคุณอาจไม่คาดหวังว่าคุณจะมีรูปแบบที่สมบูรณ์แบบบอกว่าคะแนนคือ 1 เท่าไหร่ที่คุณจะประสบความสำเร็จขึ้นอยู่กับว่าเสียงรบกวนในข้อมูลของคุณมากแค่ไหนสมมติว่าข้อมูลของคุณมีจุดข้อมูลจำนวนมาก ไม่ว่าคุณจะทำอะไรคุณไม่สามารถทำคะแนนได้ 1 คะแนน)
ปัญหาอีกประการหนึ่งในตัวอย่างของคุณคือตัวอย่าง 350 ตัวอย่างมีขนาดเล็กเกินไปในแอปพลิเคชันโลกแห่งความจริง
เพื่อความเข้าใจที่ดีขึ้นคุณสามารถทำการทดลองเพื่อรับประสบการณ์ภายใต้การปรับตัวที่เหมาะสมและสังเกตสิ่งที่จะเกิดขึ้นในช่วงการเรียนรู้
เลือกข้อมูลที่ซับซ้อนมากที่บอกว่าข้อมูล MNIST และพอดีกับโมเดลที่เรียบง่ายพูดโมเดลเชิงเส้นด้วยคุณลักษณะเดียว
เลือกข้อมูลอย่างง่ายพูดข้อมูลไอริสพอดีกับโมเดลความซับซ้อนพูด SVM
นอกจากนี้ฉันจะยกตัวอย่างสองตัวอย่างที่เกี่ยวข้องกับข้อต่อข้อต่อและข้อต่อ โปรดทราบว่านี่ไม่ใช่การเรียนรู้ของเส้นโค้ง แต่ประสิทธิภาพการทำงานที่เกี่ยวข้องกับจำนวนของการวนซ้ำในรูปแบบการไล่ระดับสีไล่ระดับที่การทำซ้ำมากขึ้นจะมีโอกาสมากขึ้นของการกระชับ แกน x แสดงจำนวนการวนซ้ำและแกน y แสดงประสิทธิภาพซึ่งเป็นพื้นที่เชิงลบภายใต้ ROC (ยิ่งต่ำยิ่งดี)
แผนย่อยด้านซ้ายไม่ได้รับผลกระทบจากการติดตั้งอุปกรณ์เกิน (ยังไม่ได้รับการติดตั้งเนื่องจากประสิทธิภาพการทำงานที่ดีพอสมควร) แต่หนึ่งที่เหมาะสมจะได้รับความเดือดร้อนจากการติดตั้งที่เหมาะสมเมื่อจำนวนการทำซ้ำมีขนาดใหญ่
