วิธีการวงดนตรีมีประสิทธิภาพดีกว่าองค์ประกอบทั้งหมดของพวกเขาได้อย่างไร

ฉันสับสนเล็กน้อยเกี่ยวกับการเรียนรู้ทั้งมวล โดยสรุปมันรันโมเดล k และรับค่าเฉลี่ยของโมเดล k เหล่านี้ จะรับประกันได้อย่างไรว่าค่าเฉลี่ยของโมเดล k จะดีกว่ารุ่นใด ๆ ด้วยตัวเอง? ฉันเข้าใจว่าอคติ "กระจาย" หรือ "เฉลี่ย" อย่างไรก็ตามจะเกิดอะไรขึ้นถ้ามีสองรุ่นในชุด (เช่น k = 2) และหนึ่งในนั้นแย่กว่าอีกรุ่นหนึ่ง - ชุดนั้นจะไม่แย่กว่ารุ่นที่ดีกว่าหรือไม่

มันไม่ได้รับประกัน อย่างที่คุณพูดวงดนตรีอาจจะแย่กว่ารุ่นแต่ละแบบ ตัวอย่างเช่นการใช้ค่าเฉลี่ยของโมเดลจริงและโมเดลที่ไม่ดีจะให้โมเดลที่ไม่ดีพอสมควร

ค่าเฉลี่ยของโมเดลจะเป็นเพียงการปรับปรุงหากรุ่น (ค่อนข้าง) เป็นอิสระจากกัน ตัวอย่างเช่นในการบรรจุแต่ละโมเดลสร้างขึ้นจากชุดย่อยของข้อมูลดังนั้นความเป็นอิสระบางอย่างจึงถูกสร้างขึ้นหรือโมเดลสามารถสร้างขึ้นได้โดยใช้คุณลักษณะที่แตกต่างกันรวมกันแล้วรวมเข้าด้วยค่าเฉลี่ย$k$

นอกจากนี้การหาแบบจำลองเฉลี่ยยังใช้งานได้ดีเมื่อแต่ละรุ่นมีความแปรปรวนสูง นั่นเป็นเหตุผลที่ป่าสุ่มสร้างขึ้นโดยใช้ต้นไม้ใหญ่มาก ในทางกลับกันการหาค่าเฉลี่ยของโมเดลการถดถอยเชิงเส้นยังคงให้โมเดลเชิงเส้นซึ่งไม่น่าจะดีไปกว่าโมเดลที่คุณเริ่มด้วย (ลองใช้!)

วิธีการรวมกลุ่มอื่น ๆ เช่นการเพิ่มและการผสมทำงานโดยการเอาท์พุทจากแต่ละรุ่นพร้อมกับข้อมูลการฝึกอบรมเป็นอินพุตให้กับแบบจำลองที่ใหญ่กว่า ในกรณีนี้ไม่น่าแปลกใจที่พวกเขามักจะทำงานได้ดีกว่าแบบจำลองแต่ละรุ่นเนื่องจากในความเป็นจริงมีความซับซ้อนมากขึ้นและพวกเขายังคงใช้ข้อมูลการฝึกอบรม

ในตัวอย่างของคุณชุดรูปแบบสองแบบของคุณอาจแย่กว่ารุ่นเดียว แต่ตัวอย่างของคุณเป็นสิ่งประดิษฐ์โดยทั่วไปเราสร้างมากกว่าสองในวงของเรา

ไม่มีการรับประกันแน่นอนชุดรูปแบบการดำเนินการที่ดีกว่ารูปแบบของแต่ละบุคคล แต่ถ้าคุณสร้างหลายคนและลักษณนามของแต่ละบุคคลเป็นที่อ่อนแอ ประสิทธิภาพโดยรวมของคุณควรดีกว่าแบบจำลองแต่ละแบบ

ในการเรียนรู้ของเครื่องการฝึกอบรมหลายรูปแบบโดยทั่วไปจะมีประสิทธิภาพสูงกว่าการฝึกแบบเดียว นั่นเป็นเพราะคุณมีพารามิเตอร์ในการปรับแต่งเพิ่มเติม

ฉันแค่อยากจะโยนสิ่งที่ไม่ค่อยมีใครพูดถึงในบริบทนี้และมันควรจะให้อาหารแก่คุณ

วงดนตรียังทำงานร่วมกับมนุษย์!

มีการตั้งข้อสังเกตว่าค่าเฉลี่ยการคาดการณ์ของมนุษย์ให้การคาดการณ์ที่ดีกว่าการทำนายส่วนบุคคลใด ๆ สิ่งนี้เรียกได้ว่าเป็นภูมิปัญญาของฝูงชน

ตอนนี้คุณสามารถยืนยันว่าเป็นเพราะบางคนมีข้อมูลที่แตกต่างกันดังนั้นคุณจึงมีค่าเฉลี่ยข้อมูล แต่ไม่เป็นความจริงแม้แต่กับงานเช่นคาดเดาจำนวนถั่วในขวด

มีหนังสือและการทดลองมากมายที่เขียนเกี่ยวกับเรื่องนี้และปรากฏการณ์ยังคงเป็นปริศนาต่อนักวิจัย

สิ่งนี้ถูกกล่าวว่าตามที่ @Flounderer ชี้ให้เห็นว่ากำไรที่แท้จริงนั้นมาจากแบบจำลองที่ไม่เสถียรเช่นต้นไม้การตัดสินใจซึ่งการสังเกตแต่ละครั้งจะมีผลกระทบต่อขอบเขตการตัดสินใจ คนที่มีเสถียรภาพมากขึ้นเช่น SVM ไม่ได้รับมากเพราะการ resampling มักจะไม่ส่งผลกระทบต่อเวกเตอร์สนับสนุนมากนัก

จริงๆแล้วมันเป็นไปได้ที่รุ่นเดียวจะดีกว่าวงดนตรี

แม้ว่าจะไม่มีคะแนนในข้อมูลของคุณที่แบบจำลองของคุณประเมินค่าสูงเกินไปและบางส่วนประเมินค่าต่ำไป (ในกรณีนี้คุณอาจหวังว่าข้อผิดพลาดเฉลี่ยจะถูกทำให้ไร้ผล) ฟังก์ชันการสูญเสียที่ได้รับความนิยมมากที่สุด การเบี่ยงเบนใหญ่ครั้งเดียวมากกว่าการเบี่ยงเบนปานกลางจำนวนหนึ่ง หากแบบจำลองที่คุณใช้หาค่าเฉลี่ยแตกต่างกันบ้างคุณอาจหวังว่าความแปรปรวนจะกลายเป็น "น้อยลง" เนื่องจากค่าเฉลี่ยที่เบี่ยงเบนไป บางทีมันอาจจะเป็นอธิบายกับว่า

ใช่มันอาจเป็นไปได้ แต่แนวคิดสำหรับการตระการตาคือการฝึกอบรมแบบจำลองที่ง่ายกว่าเพื่อหลีกเลี่ยงการปรับให้เหมาะสมในขณะที่เก็บข้อมูลลักษณะต่าง ๆ ของข้อมูลจากวงดนตรีที่แตกต่างกัน แน่นอนว่าไม่มีการรับประกันว่าโมเดลวงดนตรีจะมีประสิทธิภาพสูงกว่าแบบจำลองเดียวในขณะที่ฝึกฝนด้วยข้อมูลการฝึกอบรมเดียวกัน สามารถเพิ่มประสิทธิภาพได้ดีกว่าด้วยการรวมโมเดลทั้งมวลและเพิ่มประสิทธิภาพ (เช่น AdaBoost) โดยการส่งเสริมให้คุณฝึกโมเดลแต่ละรุ่นต่อไปโดยกำหนดน้ำหนักของแต่ละจุดข้อมูลและอัปเดตตามข้อผิดพลาด ดังนั้นคิดว่ามันเป็นอัลกอริธึมการประสานงานแบบโคตรมันช่วยให้เกิดข้อผิดพลาดในการฝึกอบรมที่จะลงไปกับการวนซ้ำแต่ละครั้งในขณะที่ยังคงความซับซ้อนของแบบจำลองค่าเฉลี่ยคงที่ โดยรวมแล้วสิ่งนี้จะส่งผลกระทบต่อประสิทธิภาพ มีมากมาย