การเพิ่มประสิทธิภาพ: รากของความชั่วร้ายทั้งหมดในสถิติหรือไม่

ฉันเคยได้ยินนิพจน์ต่อไปนี้มาก่อน:

"การเพิ่มประสิทธิภาพเป็นรากฐานของความชั่วร้ายทั้งหมดในสถิติ"

ตัวอย่างเช่นคำตอบที่ดีที่สุดในหัวข้อนี้ทำให้คำสั่งนั้นอ้างอิงถึงอันตรายของการปรับให้เหมาะสมเกินไปในระหว่างการเลือกแบบจำลอง

คำถามแรกของฉันคือต่อไปนี้: คำพูดนี้เป็นของใครโดยเฉพาะ? (เช่นในเอกสารสถิติ)

จากสิ่งที่ฉันเข้าใจข้อความดังกล่าวหมายถึงความเสี่ยงของการมีน้ำหนักเกิน ภูมิปัญญาดั้งเดิมจะบอกว่าการตรวจสอบข้ามที่เหมาะสมได้ต่อสู้กับปัญหานี้อยู่แล้ว แต่ดูเหมือนว่าปัญหานี้จะมีมากกว่านั้น

นักสถิติและผู้ปฏิบัติงาน ML ควรระมัดระวังในการเพิ่มประสิทธิภาพโมเดลของพวกเขาแม้ในขณะที่ปฏิบัติตามโปรโตคอลการตรวจสอบข้ามที่เข้มงวด (เช่น 100 ซ้อน CV 10 เท่า) ถ้าเป็นเช่นนั้นเราจะรู้ได้อย่างไรว่าเมื่อไรที่จะหยุดการค้นหานางแบบ "ดีที่สุด"?

การอ้างถึงการถอดความจากคำพูดของโดนัลด์นูทซึ่งเขามีตัวเองมาจาก Hoare สามแยกจากหน้าด้านบน:

การเพิ่มประสิทธิภาพก่อนวัยอันควรเป็นรากของความชั่วร้ายทั้งหมด

การเพิ่มประสิทธิภาพก่อนวัยอันควรเป็นรากของความชั่วร้ายทั้งหมด

Knuth อ้างถึงสิ่งนี้ว่า "Hoare's Dictum" 15 ปีต่อมา ...

ฉันไม่รู้ว่าฉันเห็นด้วยกับการถอดความสถิติ * มีความอุดมสมบูรณ์ของความชั่วร้าย 'ในสถิติที่ไม่เกี่ยวข้องกับการเพิ่มประสิทธิภาพ

นักสถิติและผู้ปฏิบัติงาน ML ควรระวังการปรับโมเดลให้เหมาะสมที่สุดเสมอแม้ในขณะที่ปฏิบัติตามโปรโตคอลการตรวจสอบข้ามที่เข้มงวด (เช่น 100 CV ซ้อนกัน 10 เท่า) หากเป็นเช่นนั้นเราจะทราบได้อย่างไรว่าเมื่อใดที่จะหยุดค้นหารุ่น "ดีที่สุด"

ฉันคิดว่าสิ่งสำคัญคือการเข้าใจอย่างเต็มที่ (หรือเต็มที่เท่าที่จะทำได้) คุณสมบัติของกระบวนการที่คุณทำ

$\,^\text{* I won't presume to comment on Knuth's use of it, since there's little I could}$ $\quad ^\text{say that he couldn't rightly claim to understand ten times as well as I do.}$

สองสามวิธีที่คุณสามารถวิเคราะห์คำพูด (ในสถิติ) โดยสมมติว่าการเพิ่มประสิทธิภาพหมายถึงการเลือกรูปแบบ (ขับเคลื่อนด้วยข้อมูล):

• หากคุณใส่ใจกับการคาดการณ์คุณอาจจะดีกว่าด้วยการหาค่าเฉลี่ยของโมเดลแทนที่จะเลือกรุ่นเดียว
• หากคุณเลือกรูปแบบในชุดเดียวกันกับที่ใช้เพื่อให้พอดีกับรูปแบบก็จะสร้างความหายนะปกติเครื่องมืออนุมาน / วิธีการที่ถือว่าคุณได้เลือกรูปแบบเบื้องต้น (สมมติว่าคุณทำการถดถอยแบบขั้นตอนการเลือกขนาดของรูปแบบโดยการตรวจสอบข้ามสำหรับการวิเคราะห์เป็นประจำค่า p หรือ CIs ปกติสำหรับรูปแบบที่เลือกจะไม่ถูกต้องฉันแน่ใจว่ามีปัญหาที่สอดคล้องกันสำหรับการวิเคราะห์แบบเบย์ เลือก.)
• หากชุดข้อมูลของคุณมีขนาดใหญ่พอเมื่อเทียบกับตระกูลของโมเดลที่คุณพิจารณาการให้ข้อมูลมากเกินไปอาจไม่ใช่ปัญหาและการเลือกรุ่นอาจไม่จำเป็น (สมมติว่าคุณกำลังจะพอดีกับการถดถอยเชิงเส้นโดยใช้ชุดข้อมูลที่มีตัวแปรน้อยและมากหลายข้อสังเกต. ตัวแปรปลอมใด ๆ ควรจะได้รับค่าสัมประสิทธิ์ประมาณใกล้เคียงกับ 0 อยู่แล้วดังนั้นบางทีคุณอาจไม่จำเป็นต้องได้รำคาญเลือกรุ่นที่มีขนาดเล็ก.)
• หากชุดข้อมูลของคุณมีขนาดเล็กพอคุณอาจมีข้อมูลไม่เพียงพอที่จะพอดีกับโมเดล "จริง" หรือ "ดีที่สุด" สำหรับปัญหา การเลือกรุ่นทำได้ดีในกรณีนั้นหมายความว่าอย่างไร (กลับสู่การถดถอยเชิงเส้น: คุณควรมุ่งมั่นที่จะเลือกรูปแบบที่ "จริง" กับตัวแปรที่เหมาะสมแม้ว่าคุณจะไม่ได้มีข้อมูลเพียงพอที่จะวัดพวกเขาทั้งหมดอย่างเพียงพอหากคุณเพียงแค่เลือกรูปแบบที่ใหญ่ที่สุดที่คุณจะมีข้อมูลเพียงพอ ?)
• ในที่สุดแม้ว่าจะชัดเจนว่าคุณสามารถทำได้และควรเลือกรูปแบบการตรวจสอบข้ามไม่ใช่ยาครอบจักรวาล มันมีหลายสายพันธุ์และแม้กระทั่งพารามิเตอร์การปรับแต่งของตัวเอง (จำนวนเท่าหรือรถไฟ: อัตราส่วนทดสอบ) ซึ่งส่งผลกระทบต่อคุณสมบัติของมัน ดังนั้นอย่าไว้ใจคนตาบอด