ประสิทธิภาพการทำนายขึ้นอยู่กับความเชี่ยวชาญของนักวิเคราะห์ข้อมูลมากกว่าวิธี?

ฉันเจอข่าวลือว่าการศึกษาบางส่วนแสดงให้เห็นว่าประสิทธิภาพของแบบจำลองการทำนายขึ้นอยู่กับความเชี่ยวชาญของนักวิเคราะห์ข้อมูลด้วยวิธีที่เลือกมากกว่าวิธีการเลือก
กล่าวอีกนัยหนึ่งข้อกล่าวอ้างว่ามันสำคัญกว่าที่นักวิเคราะห์ข้อมูลจะคุ้นเคยกับวิธีที่เลือกมากกว่าวิธีที่ "เหมาะสม" วิธีที่ดูเหมือนจะเป็นปัญหาจากมุมมองเชิงทฤษฎีมากกว่า

สิ่งนี้ถูกกล่าวถึงในบริบทของเคมีบำบัดซึ่งโดยทั่วไปแล้วจะเกี่ยวข้องกับปัญหาของตัวแปรหลายอย่าง (100s - 1000s), collinearity หลายอันและแน่นอนว่ามีตัวอย่างน้อยเกินไป การทำนายอาจเป็นการจำแนกหรือการถดถอย

ประสบการณ์ส่วนตัวของฉันแสดงให้เห็นว่าสิ่งนี้เป็นไปได้แต่มีการพูดถึงการศึกษา (ฉันถามคนที่พูดถึงเรื่องนั้นทางอีเมลหลังจากการค้นหาที่รวดเร็ว แต่ไม่สำเร็จ แต่ไม่เคยได้รับคำตอบใด ๆ ) อย่างไรก็ตามด้วยการค้นหาที่ละเอียดยิ่งขึ้นฉันก็ไม่สามารถติดตามบทความใด ๆ ได้

มีใครตระหนักถึงการค้นพบดังกล่าวหรือไม่ ถ้าไม่ใช่ประสบการณ์ส่วนตัวของ Big Guys ที่นี่พูดว่าอะไร?

อันที่จริงฉันเคยได้ยินข่าวลือว่าเครื่องเรียนรู้ที่ดีมักจะดีกว่าผู้เชี่ยวชาญเพราะความโน้มเอียงของมนุษย์คือการลดความแปรปรวนที่ค่าใช้จ่ายของอคติ (oversmooth) ซึ่งนำไปสู่ประสิทธิภาพการทำนายที่ต่ำในชุดข้อมูลใหม่ เครื่องสอบเทียบเพื่อลด MSE และทำให้มีแนวโน้มที่จะทำดีกว่าในแง่ของการทำนายในชุดข้อมูลใหม่