เมื่อเป็นรุ่น Underfitted?

ลอจิกมักจะระบุว่าโดยการสร้างโมเดลความสามารถในการสรุปทั่วไปนั้นเพิ่มขึ้น ที่กล่าวว่าอย่างชัดเจนในบางจุดที่อยู่ภายใต้แบบจำลองทำให้แบบจำลองแย่ลงโดยไม่คำนึงถึงความซับซ้อนของข้อมูล

คุณจะรู้ได้อย่างไรว่าแบบจำลองของคุณมีสมดุลที่ถูกต้องและไม่รองรับข้อมูลที่โมเดลต้องการ?

หมายเหตุ:นี่คือการติดตามคำถามของฉัน " ทำไม Overfitting Bad "

ชุดรูปแบบเมื่อมันง่ายเกินไปเกี่ยวกับข้อมูลที่พยายามจำลอง

วิธีหนึ่งในการตรวจสอบสถานการณ์ดังกล่าวคือการใช้วิธีการอคติ -ซึ่งสามารถแสดงดังนี้:

โมเดลของคุณจะได้รับการสนับสนุนเมื่อคุณมีอคติสูง

หากต้องการทราบว่าคุณมีอคติสูงเกินไปหรือมีความแปรปรวนสูงเกินไปคุณจะเห็นปรากฏการณ์ในแง่ของการฝึกอบรมและข้อผิดพลาดในการทดสอบ:

High bias: เส้นโค้งการเรียนรู้นี้แสดงข้อผิดพลาดสูงทั้งในชุดการฝึกอบรมและชุดทดสอบดังนั้นอัลกอริทึมจึงมีปัญหาจากการมีอคติสูง:

ความแปรปรวนสูง: เส้นโค้งการเรียนรู้นี้แสดงช่องว่างขนาดใหญ่ระหว่างการฝึกอบรมและข้อผิดพลาดของชุดการทดสอบดังนั้นอัลกอริทึมจึงทุกข์ทรมานจากความแปรปรวนสูง

หากอัลกอริทึมที่ทุกข์ทรมานจากความแปรปรวนสูง:

• ข้อมูลเพิ่มเติมอาจจะช่วยได้
• มิฉะนั้นลดความซับซ้อนของโมเดล

หากอัลกอริทึมที่ทุกข์ทรมานจากอคติสูง:

• เพิ่มความซับซ้อนของแบบจำลอง

ฉันแนะนำให้ดูหลักสูตรการเรียนรู้ของเครื่อง Coursera ในหัวข้อ "10: คำแนะนำในการใช้การเรียนรู้ของเครื่อง" ซึ่งฉันได้ทำกราฟด้านบน

เพื่อตอบคำถามของคุณเป็นสิ่งสำคัญที่จะต้องเข้าใจกรอบอ้างอิงที่คุณกำลังมองหาหากคุณกำลังมองหาสิ่งที่คุณกำลังพยายามที่จะบรรลุในการปรับแบบจำลองตามหลักปรัชญาให้ตรวจสอบรูเบนส์ตอบเขาทำงานได้ดีในการอธิบายบริบทนั้น

อย่างไรก็ตามในทางปฏิบัติคำถามของคุณเกือบทั้งหมดถูกกำหนดโดยวัตถุประสงค์ทางธุรกิจ

เพื่อยกตัวอย่างที่เป็นรูปธรรมสมมติว่าคุณเป็นเจ้าหน้าที่สินเชื่อคุณออกเงินให้กู้ยืมที่$ 3,000 และเมื่อมีคนจ่ายเงินให้คุณกลับมาที่50 ดอลลาร์โดยปกติคุณกำลังพยายามสร้างแบบจำลองที่ทำนายว่าคนจะเริ่มต้นกับพวกเขาอย่างไร เงินกู้ ให้ง่ายและบอกว่าผลลัพธ์เป็นทั้งการชำระเงินเต็มจำนวนหรือค่าเริ่มต้น

จากมุมมองทางธุรกิจคุณสามารถสรุปประสิทธิภาพของแบบจำลองด้วยเมทริกซ์ฉุกเฉิน:

เมื่อแบบจำลองทำนายว่ามีใครบางคนกำลังจะเริ่มต้นพวกเขาจะทำอย่างไร ในการพิจารณาข้อเสียของการใช้เกินขนาดและความเหมาะสมฉันพบว่ามีประโยชน์ที่จะคิดว่ามันเป็นปัญหาการปรับให้เหมาะสมเพราะในแต่ละส่วนของการทำนายโองการประสิทธิภาพของโมเดลจริงแต่ละข้อมีต้นทุนหรือกำไรที่จะทำ:

ในตัวอย่างนี้การคาดการณ์ค่าเริ่มต้นที่เป็นค่าเริ่มต้นหมายถึงการหลีกเลี่ยงความเสี่ยงใด ๆ และการคาดการณ์ที่ไม่ใช่ค่าเริ่มต้นซึ่งไม่ได้เริ่มต้นจะทำให้$ 50 ต่อสินเชื่อที่ออก ในกรณีที่สิ่งต่าง ๆ เกิดขึ้นเมื่อคุณคิดผิดถ้าคุณผิดนัดเมื่อคุณทำนายว่าไม่ใช่คนผิดคุณจะสูญเสียเงินต้นทั้งหมดและถ้าคุณคาดการณ์ผิดนัดเมื่อลูกค้าจริง ๆ แล้วคุณจะไม่พลาดโอกาส 50 ดอลลาร์ ตัวเลขที่นี่ไม่สำคัญเพียงวิธีการ

ด้วยกรอบการทำงานนี้เราสามารถเริ่มเข้าใจความยากลำบากที่เกี่ยวข้องกับการใช้เกินและเหมาะสม

การปรับตัวให้เหมาะสมในกรณีนี้หมายความว่าแบบจำลองของคุณทำงานได้ดีกว่าในการพัฒนา / ทดสอบข้อมูลจากนั้นจะใช้งานจริงในการผลิต หรือจะกล่าวอีกนัยหนึ่งแบบจำลองการผลิตของคุณจะมีประสิทธิภาพต่ำกว่าที่คุณเห็นในการพัฒนาความเชื่อมั่นที่ผิด ๆ นี้อาจทำให้คุณรับสินเชื่อที่มีความเสี่ยงมากขึ้นจากนั้นคุณก็จะปล่อยให้คุณเสี่ยงและสูญเสียเงินมาก

ในทางตรงกันข้ามการปรับให้เหมาะสมในบริบทนี้จะทำให้คุณมีแบบจำลองที่ทำงานได้ไม่ดีในการจับคู่ความเป็นจริง ในขณะที่ผลลัพธ์ของสิ่งนี้สามารถคาดเดาไม่ได้อย่างดุเดือด (คำตรงกันข้ามที่คุณต้องการอธิบายแบบจำลองการทำนายของคุณ) โดยทั่วไปสิ่งที่เกิดขึ้นคือมาตรฐานมีความเข้มงวดมากขึ้นเพื่อชดเชยสิ่งนี้นำไปสู่ลูกค้าโดยรวมน้อยลง

ภายใต้การสวมใส่ได้รับความเดือดร้อนของความยากลำบากตรงข้ามที่เหมาะสมกว่าซึ่งอยู่ภายใต้การติดตั้งช่วยให้คุณมีความมั่นใจลดลง อย่างร้ายกาจการขาดการคาดเดายังคงนำคุณไปสู่ความเสี่ยงที่ไม่คาดคิดซึ่งทั้งหมดนี้เป็นข่าวร้าย

จากประสบการณ์ของฉันวิธีที่ดีที่สุดในการหลีกเลี่ยงสถานการณ์ทั้งสองนี้คือการตรวจสอบแบบจำลองของคุณกับข้อมูลที่อยู่นอกขอบเขตของข้อมูลการฝึกอบรมของคุณอย่างสมบูรณ์ดังนั้นคุณจึงมั่นใจได้ว่าคุณมีตัวอย่างที่เป็นตัวแทนของสิ่งที่คุณจะเห็น '

นอกจากนี้ยังเป็นแนวปฏิบัติที่ดีในการตรวจสอบแบบจำลองของคุณเป็นระยะเพื่อพิจารณาว่าแบบจำลองของคุณลดระดับลงอย่างรวดเร็วเพียงใดและหากยังคงบรรลุวัตถุประสงค์ของคุณ

แบบจำลองของคุณอยู่ในระดับที่เหมาะสมเมื่อคาดการณ์ได้ทั้งข้อมูลการพัฒนาและการผลิต

แบบจำลองเป็นเพียงนามธรรมของสิ่งที่เห็นในชีวิตจริง พวกเขาได้รับการออกแบบเพื่อให้เป็นนามธรรมของระบบจริงในการสังเกตในขณะที่เก็บข้อมูลเพียงพอที่จะสนับสนุนการวิเคราะห์ที่ต้องการ

หากแบบจำลองมีความเหมาะสมมากเกินไปจะต้องคำนึงถึงรายละเอียดมากเกินไปเกี่ยวกับสิ่งที่กำลังถูกสังเกตและการเปลี่ยนแปลงเล็กน้อยบนวัตถุดังกล่าวอาจทำให้ตัวแบบเสียความแม่นยำ ในทางกลับกันถ้าแบบจำลองมีขนาดเล็กกว่านั้นมันประเมินค่าคุณลักษณะบางอย่างที่การเปลี่ยนแปลงสำคัญบนวัตถุอาจถูกละเว้น

โปรดทราบว่า underfit อาจถูกมองว่าเป็นoverfitขึ้นอยู่กับชุดข้อมูล หากอินพุตของคุณสามารถจัดประเภทได้อย่างถูกต้อง 99% ด้วยแอ็ตทริบิวต์เดียวคุณจะปรับโมเดลให้พอดีกับข้อมูลโดยทำให้การย่อให้เป็นลักษณะเดียวง่ายขึ้น และในกรณีนี้คุณจะรวม 1% ของฐานลงในคลาส 99% มากเกินไป - หรือระบุรุ่นมากจนสามารถมองเห็นชั้นเดียวได้

วิธีที่สมเหตุสมผลในการกล่าวว่าแบบจำลองนั้นไม่เกินหรือไม่เหมาะสมคือการดำเนินการตรวจสอบข้าม คุณแบ่งชุดข้อมูลของคุณออกเป็นkส่วนและพูดว่าเลือกหนึ่งในนั้นเพื่อทำการวิเคราะห์ของคุณในขณะที่ใช้ชิ้นส่วนk - 1อื่น ๆ ในการฝึกอบรมรูปแบบของคุณ เมื่อพิจารณาว่าการป้อนข้อมูลนั้นไม่ได้ลำเอียงคุณควรมีความแปรปรวนของข้อมูลในการฝึกอบรมและประเมินผลเท่าที่คุณมีในขณะที่ใช้โมเดลในการประมวลผลในชีวิตจริง

โดยทั่วไปวิธีการหนึ่งที่ใช้กันทั่วไปคือการเพิ่มความซับซ้อนของแบบจำลองทำให้ง่ายขึ้นและส่วนใหญ่อาจเป็นจุดเริ่มต้นในตอนแรกและการเพิ่มความซับซ้อนของแบบจำลองจนกระทั่งสัญญาณแรกของการมีน้ำหนักเกินเป็นพยานโดยใช้เทคนิค resampling เช่น cross validation, bootstrap เป็นต้น

คุณเพิ่มความซับซ้อนด้วยการเพิ่มพารามิเตอร์ (จำนวนเซลล์ประสาทที่ซ่อนอยู่สำหรับเครือข่ายประสาทเทียมจำนวนต้นไม้ในป่าสุ่ม) หรือโดยการผ่อนคลายกฎเกณฑ์ (มักเรียกว่าแลมบ์ดาหรือ C สำหรับเครื่องเวกเตอร์สนับสนุน) ในแบบจำลองของคุณ

CAPM (รูปแบบการกำหนดราคาสินทรัพย์ทุน) ในด้านการเงินเป็นตัวอย่างคลาสสิกของแบบจำลอง underfit มันถูกสร้างขึ้นบนทฤษฎีที่สวยงามว่า "นักลงทุนจ่ายเฉพาะความเสี่ยงที่พวกเขาไม่สามารถกระจายออกไป" ดังนั้นผลตอบแทนที่คาดหวังส่วนเกินจะเท่ากับความสัมพันธ์กับผลตอบแทนของตลาด

ในฐานะสูตร [0] Ra = Rf + B (Rm - Rf) โดยที่ Ra คือผลตอบแทนที่คาดหวังของสินทรัพย์ Rf คืออัตราความเสี่ยงอิสระ Rm คืออัตราผลตอบแทนในตลาดและเบต้ามีความสัมพันธ์กับส่วนของผู้ถือหุ้น (Rm - Rf)

นี่เป็นสิ่งที่สวยงามสง่างามและผิด นักลงทุนต้องการหุ้นที่มีขนาดเล็กและมูลค่าสูงกว่า (กำหนดโดยการทำกำไรในตลาดหรือหุ้นปันผล)

Fama และ French [1] นำเสนอการอัปเดตให้กับโมเดลซึ่งเพิ่ม Betas เพิ่มเติมสำหรับขนาดและความคุ้มค่า

แล้วคุณจะรู้ได้อย่างไรในแง่ทั่วไป? เมื่อการคาดคะเนของคุณผิดและตัวแปรอื่นที่มีคำอธิบายเชิงตรรกะจะเพิ่มคุณภาพการทำนาย ง่ายต่อการเข้าใจว่าทำไมบางคนอาจคิดว่าหุ้นขนาดเล็กมีความเสี่ยงเป็นอิสระจากความเสี่ยงที่ไม่กระจาย มันเป็นเรื่องที่ดีได้รับการสนับสนุนจากข้อมูล

[0] http://www.investopedia.com/terms/c/capm.asp [1] http://en.wikipedia.org/wiki/Fama%E2%80%93French_three-factor_model