จากมุมมองทางวิศวกรรมแล้วข้อเสียของโมเดลที่เที่ยงตรงเกินไปคืออะไร

ฉันสงสัยว่าจากมุมมองทางวิศวกรรมด้วยเหตุผลใดที่ความแม่นยำในการสร้างแบบจำลองมากเกินไปจะเป็นอันตราย?

จากมุมมองทางวิทยาศาสตร์ดูเหมือนว่าเกือบจะเป็นประโยชน์เสมอนอกเหนือจากเมื่อคุณต้องการใช้เวลาในการคำนวณน้อยลง

ดังนั้นจากมุมมองทางวิศวกรรมนอกเหนือจากเวลา (หรือกำลังประมวลผล) ทำไมคุณควรหลีกเลี่ยงสิ่งนั้น

ระวังของoverfitting แบบจำลองที่ถูกต้องมากขึ้นของข้อมูลที่รวบรวมจากระบบอาจไม่ใช่ตัวทำนายที่ดีกว่าของพฤติกรรมในอนาคตของระบบ

ภาพด้านบนแสดงข้อมูลสองรุ่น

เส้นตรงค่อนข้างแม่นยำในข้อมูลการฝึกอบรม (คะแนนในกราฟ) และ (ใครคาดหวัง) มันจะค่อนข้างแม่นยำในข้อมูลการทดสอบ (ซึ่งคะแนนน่าจะเป็นสำหรับ x <5 และ x> -5 )

ในทางตรงกันข้ามพหุนามนั้นมีความถูกต้อง 100% สำหรับข้อมูลการฝึกอบรม แต่ (ยกเว้นว่าคุณมีเหตุผลใด ๆ ที่เชื่อว่าพหุนามระดับ 9 มีเหตุผลสำหรับเหตุผลทางกายภาพ) คุณจะถือว่านี่เป็นตัวทำนายที่แย่มากสำหรับ x> 5 และ x <-5

โมเดลเชิงเส้นคือ 'แม่นยำน้อยกว่า' ขึ้นอยู่กับการเปรียบเทียบข้อผิดพลาดใด ๆ กับข้อมูลที่เรารวบรวม แต่มันเป็นเรื่องทั่วไปมากขึ้น

นอกจากนี้วิศวกรต้องกังวลน้อยลงเกี่ยวกับแบบจำลองของพวกเขาและเพิ่มเติมเกี่ยวกับสิ่งที่ผู้คนจะทำกับแบบจำลอง

ถ้าฉันบอกคุณว่าเราจะไปเดินเล่นในวันที่อากาศร้อนและคาดว่าจะใช้เวลา 426 นาที คุณมีแนวโน้มที่จะนำน้ำน้อยกว่าถ้าฉันบอกคุณว่าการเดินจะนาน 7 ชั่วโมงและยิ่งน้อยกว่าถ้าฉันบอกว่าการเดินจะใช้เวลา 4-8 ชั่วโมง นี่เป็นเพราะคุณกำลังตอบสนองต่อระดับความเชื่อมั่นโดยนัยของฉันในการคาดการณ์ของฉันมากกว่าจุดกึ่งกลางของเวลาที่ฉันระบุ

หากคุณให้แบบจำลองที่ถูกต้องแก่ผู้คนผู้คนจะลดความผิดพลาดลง สิ่งนี้นำไปสู่ความเสี่ยงที่ใหญ่กว่า

ถ้าฉันรู้ว่าการเดินจะใช้เวลา 4-8 ชั่วโมงใน 95% ของคดีโดยมีความไม่แน่นอนเกี่ยวกับการนำทางและความเร็วในการเดิน การรู้ความเร็วการเดินของเราอย่างสมบูรณ์แบบจะลดความไม่แน่นอนของตัวเลข 4-8 แต่จะไม่ส่งผลกระทบอย่างมีนัยสำคัญต่อ 'โอกาสที่เราจะใช้เวลานานจนน้ำกลายเป็นปัญหา' เพราะมันถูกขับเคลื่อนโดยการนำทางที่ไม่แน่นอนเกือบทั้งหมด ความเร็วในการเดินที่ไม่แน่นอน

ข้อเสียที่ชัดเจนที่สุดคือต้นทุนโครงการวิศวกรรมทั้งหมดมีงบประมาณที่ จำกัด และใช้เงินมากกว่าที่คุณต้องการชัดเจนว่าเป็นเรื่องไม่ดีไม่ต้องพูดถึงเสียเวลา

นอกจากนี้ยังอาจมีปัญหาที่ลึกซึ้งยิ่งขึ้น สิ่งต่าง ๆ เช่นการวิเคราะห์ FE นั้นเป็นการประมาณและบางครั้งการเพิ่มรายละเอียดที่ไม่จำเป็นสามารถแนะนำสิ่งประดิษฐ์และทำให้ยากขึ้นในการแก้ไขปัญหาแบบจำลอง ตัวอย่างเช่นคุณสามารถรับความไม่ต่อเนื่องซึ่งส่งผลให้เกิดความเครียด

นอกจากนี้ยังมีข้อควรพิจารณาว่าแม้ว่าคุณจะมีพลังในการประมวลผลเพื่อจัดการกับซัพพลายเออร์ข้อมูลขนาดใหญ่และลูกค้าอาจไม่สะดวกและในหลายกรณีการถ่ายโอนไฟล์ขนาดใหญ่ยังคงเป็นปัญหาคอขวด

ในทำนองเดียวกันถ้าคุณมีพารามิเตอร์มากกว่าที่คุณต้องการคุณอาจสร้างงานพิเศษในการจัดการและแก้ไขไฟล์

อีกครั้งแม้ว่าคุณจะมีเวลาและทรัพยากรมากมายตอนนี้อาจเป็นไปได้ว่ามีบางคนที่อยู่ไกลจากบรรทัดจำเป็นต้องใช้โมเดลนั้นโดยไม่หรูหราเหมือนกันโดยเฉพาะอย่างยิ่งถ้ามันกลายเป็นส่วนหนึ่งของผลิตภัณฑ์ที่คุณขายให้กับลูกค้า

มีสาเหตุบางประการ

จากมุมมองทางปฏิบัติอย่างหมดจดมันเป็นเพราะข้อ จำกัด ด้านเวลา เวลาที่จำเป็นในการแก้ไขแบบจำลองเพิ่มขึ้นไกลเร็วกว่าระดับความแม่นยำและระดับใดก็ตามที่นำมาใช้เป็นเรื่องส่วนตัว

$\pm5$$15\%$

ด้วยเหตุนี้จึงไม่มีประเด็นที่จะแม่นยำเกินไป แต่แน่นอนมันอาจเป็นประโยชน์ต่อการไม่แม้แต่จะพยายามแม่นยำเกินไป สาเหตุของเรื่องนี้ส่วนใหญ่เป็นจิตวิทยาอย่างไรก็ตาม ส่วนใหญ่คุณไม่ต้องการให้แบบจำลองของคุณแม่นยำเกินไปและคุณไม่ต้องการให้ผลลัพธ์ของคุณมีทศนิยมเจ็ดตำแหน่งเพราะคุณไม่ต้องการทำให้เกิดความมั่นใจผิดพลาด

สมองมนุษย์มีการเดินสายที่จะคิดว่า 1.2393532697 นั้นมีค่าที่ถูกต้องมากกว่า 1.2 แต่นั่นไม่ใช่กรณี เนื่องจากความไม่แน่นอนในโลกแห่งความเป็นจริงแบบจำลองของคุณอาจไม่สามารถนำมาพิจารณาได้ (โดยเฉพาะอย่างยิ่งข้อ จำกัด ด้านฮาร์ดแวร์ในปัจจุบัน) 1.2 เกือบจะแน่นอนเช่นเดียวกับผลลัพธ์ที่เป็น 1.2393532697 ดังนั้นอย่าหลอกตัวเองหรือใครก็ตามที่เห็นแบบจำลองของคุณ เพียงแค่เอาท์พุท 1.2 ซึ่งบ่งชี้อย่างชัดเจนว่าคุณไม่รู้จริง ๆ ว่าเกิดอะไรขึ้นหลังจากตัวเลขสองตัวนั้น

แบบจำลองที่แม่นยำที่สุดอาจต้องใช้ข้อมูลอินพุตที่ห้ามได้ มันอาจเป็นไปได้ที่จะสร้างแบบจำลองที่ยอดเยี่ยมของระบบสภาพอากาศตัวอย่างเช่นโดยการป้อนตำแหน่งและความเร็วของทุกโมเลกุลก๊าซในชั้นบรรยากาศ ในทางปฏิบัติแบบจำลองดังกล่าวจะไม่มีประโยชน์เนื่องจากไม่มีวิธีที่เป็นจริงในการสร้างอินพุตที่เหมาะสม รุ่นที่มีความแม่นยำน้อยกว่าซึ่งต้องการเพียงข้อมูลอินพุตที่ จำกัด จะเป็นที่นิยมในกรณีนี้

"แม่นยำเกินไป" ไม่ใช่คำพูดเดียว จริงๆแล้วมันสามารถสร้างภาพลวงตาของความซื่อสัตย์ซึ่งทำให้คุณคิดว่ามันคุ้มค่าที่จะสูบฉีดเงินเข้าสู่สถานการณ์จำลอง สิ่งนี้สำคัญมากเมื่อคุณนำเสนอข้อมูลจากแบบจำลองความคลาดเคลื่อนผสมซึ่งบางส่วนมีรายละเอียดมากและส่วนอื่น ๆ หยาบมาก

ตัวอย่างชีวิตจริงที่ฉันเกี่ยวข้องกับการสุ่มตัวอย่างระดับความสูงเหนือภูมิประเทศ ทีมตัดสินใจที่จะสุ่มตัวอย่างภูมิประเทศใน 1024 ชิ้นเพื่อเพิ่มความน่าเชื่อถือ ลูกค้าของเราต้องการคำตอบ ReallyGood (tm)

ตอนนี้ฉันรู้สึกรำคาญกับรันไทม์ที่ทำให้เกิดอัลกอริธึมนี้โดยเฉพาะและฉันต้องการที่จะเข้าใจว่าฉันต้องจ่ายค่าความจงรักภักดีเท่าไหร่ ฉันไม่เห็นข้อมูลภูมิประเทศใด ๆ ดังนั้นฉันจึงถามพวกเขาว่าพวกเขาโหลดอย่างไร คำตอบคือ "โอ้เราไม่มีภูมิประเทศมันแค่แบน"

มันฟังดูเหมือนว่าฉันมีโมเดลความเที่ยงตรงสูงที่น่าประทับใจซึ่งสุ่มตัวอย่าง 1024 คะแนน สิ่งที่ฉันมีก็คือรูปแบบความเที่ยงตรงต่ำซึ่งไม่ได้ดีไปกว่าการสุ่มตัวอย่าง 1 จุด 1024 ครั้ง แต่วิ่งได้ทั้งตันช้ากว่าและสวมหน้ากากเป็นแบบจำลองความเที่ยงตรงสูงกว่า!

ในโลกวิศวกรรมจริงผู้นำไม่ได้มีโอกาสเรียนรู้สถาปัตยกรรมทั้งหมดของแบบจำลองเสมอไป ในความเป็นจริงฉันจะบอกว่าพวกเขาไม่เคยมีเวลา ความเป็นผู้นำของเรากำลังตัดสินใจปิดสมมติฐานว่าเรามีโมเดล 1024 จุดที่ยอดเยี่ยม ไม่มีใครผิดพลาดเกิดขึ้นเมื่อคุณปรับความเที่ยงตรงสูงเกินไปในส่วนหนึ่งของแบบจำลองและมีความเที่ยงตรงต่ำในอีกด้านหนึ่ง มันเป็นธรรมชาติของสัตว์ร้ายที่มีความจงรักภักดีผสม

ในความเป็นจริงมีข้อมูลที่เรามีและมีข้อมูลที่เราไม่ได้มี เกือบทุกครั้งปริมาณข้อมูลที่เราไม่ได้มีมากเกินกว่าที่เราจะคาดหวังจากการรวบรวมด้วยเหตุผลเชิงปฏิบัติหรือเชิงเศรษฐกิจ

ด้วยการพยายามที่จะปรับข้อมูลให้เข้ากับตัวอย่างไม่กี่ตัวอย่างเราจึงมีความเสี่ยงที่จะทำให้แบบจำลองของเราทำการประเมินที่แย่มากในพื้นที่ที่เราไม่มีเงื่อนงำอย่างซื่อสัตย์ (เนื่องจากขาดข้อมูล) จากนั้นแบบจำลองของเราจะให้ความรู้สึกผิดกับความปลอดภัย

ดังนั้นจากมุมมองทางวิศวกรรมนอกเหนือจากเวลา (หรือพลังในการคำนวณ) ทำไมคุณควรหลีกเลี่ยงสิ่งนั้น

มาจากมุมมองทางวิศวกรรมเครื่องกลเหตุผลที่สำคัญที่สุดคือคุณจะต้องทุ่มเทความพยายามเพิ่มเติมหากมันให้ผลลัพธ์ที่แตกต่างอย่างมีนัยสำคัญ

หากระดับความแม่นยำในแบบจำลองของคุณเป็นลำดับความสำคัญสูงกว่าระดับความแม่นยำของคุณคุณจะสามารถส่งมอบในการดำเนินการออกแบบของคุณคุณเสียความพยายามของคุณ หากระดับความแม่นยำที่อธิบายไว้ในแบบจำลองของคุณสูงกว่าที่ต้องการซึ่งมีผลกระทบต่อลูกค้า คุณกำลังเสียเงิน ตัวอย่างเช่นหากคุณกำลังระบุความแม่นยำสูงกว่าการออกแบบที่ต้องใช้จริง (เช่น +/- .00001 มม. ในความยาวของท่อระบายอากาศ) คุณกำลังเสียเงินให้กับลูกค้าของคุณเพราะช่องระบายอากาศ 350 มม. ไปสู่บรรยากาศนั้น สู่ชั้นบรรยากาศ แต่อย่างหลังมีราคาแพงกว่าอย่างมากในการผลิต

ในมหาวิทยาลัยเราทุกคนเรียนรู้ที่จะสร้างแบบจำลองโลกทางกายภาพโดยใช้ฟิสิกส์ของนิวตันแม้ว่ามันจะเป็นที่ยอมรับกันดีว่าฟิสิกส์หลังยุคนิวตันนั้นนำเสนอรูปแบบพฤติกรรมทางกายภาพที่แม่นยำยิ่งขึ้น ทั้งๆที่สิ่งนี้ฉันรู้ว่าไม่มีโปรแกรมวิศวกรรมเครื่องกลที่โดยค่าเริ่มต้น eschews รุ่นของนิวตันที่ไม่ถูกต้องมากเกินไป หากเราใช้แบบจำลองที่แม่นยำยิ่งขึ้นและหาคำตอบที่ใกล้เคียงกับความจริงทางทฤษฎีมากขึ้น 0.1% ซึ่งจะไม่ส่งผลกระทบต่อการออกแบบขั้นสุดท้ายของเราในกรณีส่วนใหญ่ ถ้าความเครียดผลผลิตของเราแตกต่างกัน 0.1% ที่ให้ความแตกต่างที่ไม่มีนัยสำคัญในส่วนของเราที่ต้องการซึ่งทำให้เราเลือกขนาดของลำแสง I-beam ที่แน่นอนโดยใช้วิธีใดวิธีหนึ่ง ในกรณีนี้ค่าใช้จ่ายของความพยายามเพิ่มเติมไม่ส่งผลประโยชน์เพิ่มเติม

ขณะนี้มีสถานการณ์ที่จำเป็นต้องมีความแม่นยำในการสร้างการออกแบบที่ใช้การได้ตัวอย่างเช่นการสร้างแบบจำลองของดาวเทียมบางตัวที่ต้องใช้ฟิสิกส์เชิงความสัมพันธ์ ในสถานการณ์เหล่านี้เราจำเป็นต้องค้นหาแบบจำลองที่ให้ระดับความแม่นยำที่ต้องการและเราจำเป็นต้องออกแบบให้กับแบบจำลอง หากเราจำเป็นต้องคำนวณขนาดเป็น +/- 0.0001% มันเป็นการสูญเสียความพยายามอย่างสิ้นเชิงถ้าส่วนมิติของเราเป็น +/- 0.1% ในโลกแห่งความเป็นจริงการใช้งานส่วนต่าง ๆ ของระดับความถูกต้องเป็นเรื่องธรรมดามากกว่าในอดีต

ค่าใช้จ่าย: ค่าใช้จ่ายของเวลาหรือค่าใช้จ่ายในการคำนวณพลังงานและค่าใช้จ่ายของความถูกต้อง - ถ้าตัวแปรอื่น ๆ มีความอดทน 5% เช่นทำไมคำนวณผลลัพธ์ถึง 1% ...

ในการป้อนคำตอบก่อนหน้านี้และค่าใช้จ่ายถูกกล่าวถึง หากคุณต้องการความแม่นยำเช่น ในการปรับพารามิเตอร์การผลิตให้เหมาะสมคุณอาจต้องการการวัดมากขึ้นและอันดับแรกคุณต้องวิเคราะห์ว่าคุณสามารถลดต้นทุนได้มากแค่ไหนเมื่อเทียบกับจำนวนชั่วโมงการทำงานที่เพิ่มขึ้นเพื่อเพิ่มความรวดเร็วในการวัดหรือค่าใช้จ่ายของระบบอัตโนมัติ ตัวอย่างที่สองถ้าคุณได้รับค่าเริ่มต้นที่แม่นยำมากซึ่งคุณใช้เวลาและทรัพยากรอื่น ๆ ในการรับคุณมีอุปกรณ์ที่เพียงพอสำหรับการควบคุมคุณภาพการวัดทางอุตสาหกรรม ฯลฯ หรือแม้กระทั่งเทคโนโลยี หากผลลัพธ์ของคุณอยู่ในไร้สาระกว่าเวลาที่ใช้

คุณจะต้องใช้ภาพถ่ายจากดาวเทียมที่ความละเอียดเซนติเมตรเพื่อระบุป่าไม้ตามสีหรือไม่? ไม่แน่ใจ ฉันจะเป็นอันตรายตามที่คุณต้องตัดสินใจเกี่ยวกับแพทช์ที่ไม่ใช่สีเขียว 10 ตารางเซนติเมตร เช่นเดียวกับการสร้างแบบจำลอง: ความละเอียดรายละเอียดควรพอดีกับความละเอียดของคุณสมบัติเป้าหมายของคุณ ถ้าไม่คุณจะเสียเวลาลดขนาด

คำตอบที่แท้จริงส่วนใหญ่จะไม่รวมอยู่ในข้อ จำกัด ของคุณซึ่งไม่ควรพิจารณาถึงพลังในการคำนวณและเวลาในการคำนวณ แบบจำลองที่ใช้เวลาหลายชั่วโมงหรือหลายวันในการประเมินไม่อนุญาตให้ทำซ้ำการออกแบบอย่างรวดเร็วและจะทำให้ช้าลงในระดับมนุษย์เพิ่มค่าใช้จ่ายและอาจนำไปสู่ผลลัพธ์ที่ด้อยกว่า รูปแบบการลดความซับซ้อนอย่างชาญฉลาดโดยไม่สูญเสียความแม่นยำมากเกินไปอาจเป็นวิธีการที่มีประโยชน์มากจากนั้นแบบจำลองเดรัจฉานสามารถใช้ในการตรวจสอบการทำซ้ำขั้นสุดท้าย

อาจเป็นไปได้ว่าโมเดลที่ซับซ้อนมากเกินไปอาจปกปิดข้อผิดพลาดพื้นฐานในโมเดลหรืองานที่จำเป็นในการรวบรวมข้อมูลเพื่อใช้โมเดลในทางปฏิบัติเพื่อให้ได้ประโยชน์สูงสุด ตัวอย่างเช่นหากคุณจำเป็นต้องรู้ถึงลักษณะของวัสดุที่มีความแม่นยำมากกว่าผู้ผลิตสามารถควบคุมได้คุณสามารถยอมรับแถบข้อผิดพลาดหรือไปและทดสอบวัสดุแต่ละชุดเพื่อปรับแต่งแบบจำลอง