โมเดลที่ติดตั้งเกินความจำเป็นไร้ประโยชน์หรือไม่?

สมมติว่าแบบจำลองมีความแม่นยำ 100% สำหรับข้อมูลการฝึกอบรม แต่ความแม่นยำ 70% สำหรับข้อมูลการทดสอบ อาร์กิวเมนต์ต่อไปนี้เป็นจริงเกี่ยวกับโมเดลนี้หรือไม่?

เห็นได้ชัดว่านี่เป็นรุ่นที่ติดตั้งมากเกินไป ความแม่นยำในการทดสอบสามารถปรับปรุงได้โดยการลดการ overfitting แต่รุ่นนี้ยังคงเป็นรุ่นที่มีประโยชน์เนื่องจากมีความแม่นยำที่ยอมรับได้สำหรับข้อมูลการทดสอบ

ฉันคิดว่าข้อโต้แย้งนั้นถูกต้อง หาก 70% เป็นที่ยอมรับในแอปพลิเคชันเฉพาะรุ่นนั้นก็มีประโยชน์แม้ว่าจะติดตั้งมากเกินไป (โดยทั่วไปไม่ว่าจะติดตั้งมากเกินไปหรือไม่ก็ตาม)

ในขณะที่การทำ overfitting ให้สมดุลกับความกังวลนั้นจะเป็นการมองโลกในแง่ดี (มองหาทางออกที่ดีที่สุด) การมีประสิทธิภาพที่น่าพอใจนั้นเกี่ยวกับความพอเพียง (แบบจำลองมีประสิทธิภาพเพียงพอสำหรับงานหรือไม่) แบบจำลองสามารถดีพอโดยไม่เหมาะสม

แก้ไข:หลังจากความคิดเห็นโดย Firebug และ Matthew Drury ภายใต้ OP ฉันจะเพิ่มที่จะตัดสินว่ารูปแบบ overfitted โดยไม่ทราบประสิทธิภาพการตรวจสอบอาจเป็นปัญหาได้ Firebug แนะนำการเปรียบเทียบการตรวจสอบกับประสิทธิภาพการทดสอบเพื่อวัดปริมาณการล้น อย่างไรก็ตามเมื่อแบบจำลองนั้นให้ความแม่นยำ 100% ในชุดการฝึกอบรมโดยไม่ส่งความแม่นยำ 100% ในชุดการทดสอบมันเป็นตัวบ่งชี้ถึงการมีน้ำหนักเกินที่เป็นไปได้ (โดยเฉพาะในกรณีของการถดถอย แต่ไม่จำเป็นต้องจำแนก)

ในโครงการที่ผ่านมาของฉันด้วยการตรวจจับการฉ้อโกงบัตรเครดิตเราต้องการที่จะใส่ข้อมูล / ฮาร์ดโค้ดเพื่อจำกรณีการทุจริต (หมายเหตุการ overfitting ชั้นหนึ่งไม่ได้เป็นปัญหาทั่วไป overfitting OP พูดคุยเกี่ยวกับ.) ระบบดังกล่าวมีผลบวกปลอมค่อนข้างต่ำและตอบสนองความต้องการของเรา

ดังนั้นฉันจะบอกว่าแบบจำลองที่ติดตั้งเกินไปจะมีประโยชน์ในบางกรณี

อาจจะ: ระวัง เมื่อคุณพูดว่าความแม่นยำ 70% (แต่คุณวัดได้) นั้นดีพอสำหรับคุณรู้สึกว่าคุณคิดว่าข้อผิดพลาดนั้นมีการกระจายแบบสุ่มหรือสม่ำเสมอ

แต่หนึ่งในวิธีการมองที่เกินกำลังคือว่ามันเกิดขึ้นเมื่อเทคนิคแบบจำลองอนุญาตให้ (และกระบวนการฝึกอบรมสนับสนุน) ให้ความสนใจมากเกินไปกับนิสัยใจคอในชุดการฝึกอบรม หัวเรื่องในประชากรทั่วไปที่แบ่งปันนิสัยใจคอเหล่านี้อาจมีผลลัพธ์ที่ไม่สมดุลอย่างมาก

ดังนั้นบางทีคุณอาจจะมีรูปแบบที่บอกว่าสุนัขสีแดงทุกตัวเป็นมะเร็ง - เพราะการเล่นโวหารโดยเฉพาะในข้อมูลการฝึกอบรมของคุณ หรือคนที่แต่งงานแล้วที่มีอายุระหว่าง 24 ถึง 26 ปีเกือบจะรับประกันว่าจะมีการเรียกร้องค่าสินไหมทดแทนจากการฉ้อโกง ความแม่นยำ 70% ของคุณออกจากห้องจำนวนมากเพื่อให้กระเป๋าของตัวแบบผิด 100% เนื่องจากโมเดลของคุณมีความพอดี

(การไม่ฟิตเกินไปไม่ใช่การรับประกันว่าคุณจะไม่มีการคาดการณ์ผิด ๆ ในความเป็นจริงแบบจำลองแบบไม่พอดีจะมีการคาดการณ์ที่ไม่ดี .)

ไม่มันมีประโยชน์ แต่ขึ้นอยู่กับวัตถุประสงค์ของคุณ มีหลายสิ่งที่ต้องนึกถึง:

1. $F_\beta$$\beta \gg 1$

2. ลักษณนามดังกล่าวจะเป็นประโยชน์จริงๆในวงดนตรี เราสามารถมีลักษณนามหนึ่งตัวที่มีน้ำหนักปกติหนึ่งตัวที่มีน้ำหนักเกิน TPR อันหนึ่งที่มีน้ำหนักเกิน FNR จากนั้นแม้การลงคะแนนแบบกฎง่ายๆสามครั้งหรือค่าเฉลี่ยจะให้ AUC ดีกว่าตัวแยกประเภทที่ดีที่สุดเพียงตัวเดียว หากแต่ละโมเดลใช้พารามิเตอร์ไฮเปอร์พารามิเตอร์ที่แตกต่างกัน (หรือชุดฝึกอบรมย่อยหรือสถาปัตยกรรมโมเดล) ที่ซื้อชุดภูมิคุ้มกันบางส่วนจากการ overfitting

3. ในทำนองเดียวกันสำหรับการป้องกันสแปมการต่อต้านการฉ้อโกงหรือการให้คะแนนเครดิตแบบเรียลไทม์คุณสามารถใช้ลำดับชั้นของตัวแยกประเภท ระดับ 1 ลักษณนามควรประเมินได้อย่างรวดเร็วจริงๆ (MS) และก็ตกลงที่จะมี FPR สูง ; ความผิดพลาดใด ๆ ที่พวกเขาทำจะถูกจับได้โดยตัวแยกประเภทที่แม่นยำกว่ามีคุณสมบัติครบถ้วนช้ากว่าหรือเป็นผู้ตรวจสอบที่เป็นมนุษย์ในที่สุด ตัวอย่างที่เห็นได้ชัด: ป้องกันหัวข้อข่าวปลอมจากการครอบครองบัญชี Twitter เช่น "การโจมตีด้วยระเบิดของทำเนียบขาวสังหารสามครั้ง" ในปี 2013 ที่มีผลกระทบต่อการซื้อขาย $ พันล้านภายใน ms ของการโพสต์ มันก็โอเคสำหรับลักษณนามระดับ 1 ที่จะตั้งค่าสถานะว่าเป็นผลบวกต่อสแปม ลองใช้เวลาสักครู่เพื่อ (โดยอัตโนมัติ) กำหนดความจริง / เท็จของรายงานข่าวที่น่าตื่นเต้น แต่ไม่ได้ตรวจสอบ

ฉันไม่ได้ปฏิเสธว่าโมเดลที่มีการติดตั้งมากเกินไปยังคงมีประโยชน์ แต่โปรดจำไว้ว่า 70% นี้อาจเป็นข้อมูลที่ทำให้เข้าใจผิด สิ่งที่คุณต้องการเพื่อที่จะตัดสินว่ารูปแบบจะเป็นประโยชน์หรือไม่เป็นข้อผิดพลาดออกจากตัวอย่าง , ไม่ได้เป็นข้อผิดพลาดการทดสอบ (ข้อผิดพลาดออกจากกลุ่มตัวอย่างที่ไม่เป็นที่รู้จักเพื่อให้เรามีที่จะประเมินโดยใช้ชุดทดสอบตาบอด ) และ 70% นั้นแทบจะไม่เป็นสิ่งที่ดี

เพื่อให้แน่ใจว่าเราอยู่ในหน้าเดียวกันของคำศัพท์หลังจากความคิดเห็นของ @RichardHardy ให้กำหนดข้อผิดพลาดการทดสอบเป็นข้อผิดพลาดที่ได้รับเมื่อใช้แบบจำลองในชุดทดสอบคนตาบอด และข้อผิดพลาดนอกตัวอย่างคือข้อผิดพลาดเมื่อใช้แบบจำลองกับประชากรทั้งหมด

การประมาณข้อผิดพลาดนอกตัวอย่างขึ้นอยู่กับสองสิ่ง: ตัวแบบและข้อมูล

• โมเดล "ดีที่สุด" ให้ความแม่นยำ (ทดสอบ) ที่แทบจะขึ้นอยู่กับข้อมูลในกรณีนี้มันจะเป็นการประมาณที่ดี "โดยไม่คำนึงถึงข้อมูล" ข้อผิดพลาดในการทำนายจะคงที่

• แต่ความแม่นยำของโมเดลที่ติดตั้งมากนั้นขึ้นอยู่กับข้อมูลเป็นอย่างมาก (ดังที่คุณกล่าวถึง 100% ในชุดฝึกอบรมและ 70% สำหรับชุดฝึกอบรมอื่น) ดังนั้นอาจเกิดขึ้นเมื่อใช้กับชุดข้อมูลอื่นความถูกต้องอาจต่ำกว่า 70% (หรือสูงกว่า) และเราอาจมีความประหลาดใจที่ไม่ดี กล่าวอีกนัยหนึ่งคือ 70% กำลังบอกคุณว่าคุณเชื่ออย่างไร แต่ไม่เป็นเช่นนั้น