การแข่งขัน Kaggle เพิ่งชนะโดยบังเอิญหรือไม่?

การแข่งขัน Kaggle กำหนดอันดับสุดท้ายตามชุดการทดสอบที่จัดขึ้น

ชุดการทดสอบที่จัดขึ้นค้างไว้เป็นตัวอย่าง; มันอาจไม่ได้เป็นตัวแทนของประชากรที่ถูกจำลอง เนื่องจากการส่งแต่ละครั้งเป็นเหมือนสมมติฐานอัลกอริทึมที่ชนะการแข่งขันอาจมีเพียงแค่โอกาสโดยรวมเท่านั้นที่จบลงด้วยการจับคู่ชุดทดสอบที่ดีกว่าชุดทดสอบอื่น ๆ กล่าวอีกนัยหนึ่งหากเลือกชุดทดสอบที่แตกต่างกันและการแข่งขันซ้ำการจัดอันดับจะยังคงเหมือนเดิมหรือไม่

สำหรับ บริษัท ที่ให้การสนับสนุนสิ่งนี้ไม่สำคัญเลย (อาจส่ง 20 อันดับแรกจะปรับปรุงพื้นฐานของพวกเขา) ถึงแม้ว่าแดกดันพวกเขาอาจจบลงด้วยการใช้รูปแบบอันดับแรกที่เลวร้ายยิ่งกว่าห้าอันดับแรก แต่สำหรับผู้เข้าร่วมการแข่งขันดูเหมือนว่า Kaggle เป็นเกมแห่งโอกาสในท้ายที่สุดโชคไม่จำเป็นต้องสะดุดในการแก้ปัญหาที่ถูกต้องมันจำเป็นต้องสะดุดกับชุดทดสอบที่ตรงกับชุดทดสอบ!

เป็นไปได้หรือไม่ที่จะเปลี่ยนการแข่งขันเพื่อให้ทีมชั้นนำทั้งหมดที่ไม่สามารถชนะได้อย่างมีนัยสำคัญ? หรือในกลุ่มนี้แบบจำลองที่มีราคาต่ำสุดหรือราคาถูกที่สุดสามารถชนะได้หรือไม่

ใช่เหตุผลของคุณถูกต้อง หากเลือกชุดทดสอบอื่นและการแข่งขันซ้ำการจัดอันดับจะเปลี่ยนไปแน่นอน ลองพิจารณาตัวอย่างต่อไปนี้ รายการทั้งหมดในการแข่งขัน Kaggle ด้วยฉลากไบนารีเพียงแค่คาดเดาแบบสุ่ม (และพูดอย่างอิสระ) เพื่อทำนายผลลัพธ์ของพวกเขา โดยบังเอิญคนใดคนหนึ่งจะเห็นด้วยกับการค้างชำระมากกว่าคนอื่น ๆ แม้ว่าจะไม่มีการคาดการณ์เกิดขึ้น

ในขณะที่สิ่งนี้ถูกประดิษฐ์ขึ้นเล็กน้อยเราสามารถเห็นความแปรปรวนในแต่ละโมเดลของการส่งผลงานซึ่งหมายความว่าการใช้รายการดังกล่าวจำนวนมากย่อมเป็นสิ่งที่เหมาะสมกับเสียงของชุดที่จัดไว้ สิ่งนี้บอกเราว่า (ขึ้นอยู่กับความแปรปรวนของแต่ละโมเดล) โมเดลบน -N อาจจะทำให้เหมือนกัน นี่คือสวนของเส้นทางการฟอร์กยกเว้น "นักวิจัย" นั้นไม่เหมือนกัน (แต่นั่นไม่สำคัญ)

เป็นไปได้ไหมที่จะเปลี่ยนการแข่งขันเพื่อให้ทุกทีมที่ไม่สามารถแยกความแตกต่างทางสถิติจากประสิทธิภาพสูงสุดในการชนะเซตทดสอบ

จริง

• วิธีการหนึ่ง (ใช้การไม่ได้ตามที่เป็น) จะอธิบายความแปรปรวนของแบบจำลองที่กำหนดในแต่ละรายการอย่างชัดเจนซึ่งจะให้ CI แก่เราเกี่ยวกับประสิทธิภาพการทำงานของพวกเขา
• อีกวิธีหนึ่งซึ่งอาจต้องใช้การคำนวณจำนวนมากคือการบูต CI ในประสิทธิภาพของการรอสายโดยการเปิดเผยการฝึกอบรมและการทดสอบ API ให้กับทุกรุ่น

การแข่งขันประเภทอื่นใน Kaggle ไม่มีองค์ประกอบโอกาส ตัวอย่างเช่นStolen's Stolenหนึ่งอันนี้

มันเป็นปัญหาการปรับให้เหมาะสมแบบแยกส่วนและยังไม่มีบอร์ดผู้นำส่วนตัว สิ่งที่คุณเห็นในกระดานผู้นำสาธารณะคือผลลัพธ์สุดท้าย

เมื่อเปรียบเทียบกับการเรียนรู้แบบมีผู้สอนที่เริ่มต้นได้ง่ายสำหรับคนจำนวนมากการแข่งขันประเภทนี้ยิ่งยากในธรรมชาติมากขึ้น