คำถามเกี่ยวกับการแลกเปลี่ยนความแปรปรวนแบบอคติและวิธีการเพิ่มประสิทธิภาพ

ดังนั้นฉันจึงสงสัยว่าวิธีหนึ่งสามารถเพิ่มประสิทธิภาพโมเดลที่ดีที่สุดที่พวกเขากำลังพยายามสร้างเมื่อเผชิญหน้ากับปัญหาที่นำเสนอโดยอคติสูงหรือความแปรปรวนสูง ตอนนี้แน่นอนคุณสามารถเล่นกับพารามิเตอร์การทำให้เป็นปกติเพื่อไปสู่จุดจบที่น่าพอใจ แต่ฉันสงสัยว่ามันเป็นไปได้ที่จะทำสิ่งนี้โดยไม่ต้องพึ่งพาการทำให้เป็นมาตรฐาน

หาก b เป็นตัวประมาณค่าความเอนเอียงของโมเดลและ v ของความแปรปรวนของมันจะไม่มีเหตุผลที่จะพยายามลด b * v หรือไม่

มีหลายวิธีในการลดอคติและความแปรปรวนได้แม้จะเป็นที่นิยมว่ากันว่ามันไม่ได้เป็นการลดทอนเสมอไป

เหตุผลหลักสองประการสำหรับความเอนเอียงสูงคือความสามารถของแบบจำลองไม่เพียงพอและการทำunderfittingเนื่องจากขั้นตอนการฝึกอบรมไม่สมบูรณ์ ตัวอย่างเช่นหากคุณมีปัญหาที่ซับซ้อนมากในการแก้ปัญหา (เช่นการจดจำภาพ) และคุณใช้แบบจำลองที่มีความจุต่ำ (เช่นการถดถอยเชิงเส้น) โมเดลนี้จะมีอคติสูงเนื่องจากโมเดลไม่สามารถเข้าใจความซับซ้อนของ ปัญหา.

เหตุผลหลักสำหรับความแปรปรวนสูงคือoverfittingในชุดฝึกอบรม

ที่ถูกกล่าวว่ามีวิธีการลดทั้งอคติและความแปรปรวนในรูปแบบ ML ตัวอย่างเช่นวิธีที่ง่ายที่สุดในการบรรลุเป้าหมายนี้คือการได้รับข้อมูลมากขึ้น (ในบางกรณีอาจช่วยให้ข้อมูลสังเคราะห์ได้)

สิ่งที่เรามักจะทำในทางปฏิบัติคือ:

• อันดับแรกเราเพิ่มความสามารถของแบบจำลองเพื่อลดความแปรปรวนของชุดการฝึกอบรมให้มากที่สุด กล่าวอีกนัยหนึ่งเราต้องการสร้างแบบจำลองให้พอดี (แม้จะสูญเสีย 0 ในชุดฝึกอบรม) ทำเช่นนี้เพราะเราต้องการให้แน่ใจว่าแบบจำลองมีความสามารถในการทำความเข้าใจข้อมูลอย่างเพียงพอ

• จากนั้นเราก็พยายามที่จะลดอคติ สิ่งนี้ทำได้ผ่านการทำให้เป็นมาตรฐาน ( การหยุดก่อนกำหนด , การลงโทษปกติ , การออกกลางคันฯลฯ )