นี่เป็นวิธีการถดถอยที่ล้ำสมัยหรือไม่?

33

ฉันได้ติดตามการแข่งขัน Kaggle มาเป็นเวลานานและฉันได้ตระหนักว่ากลยุทธ์การชนะจำนวนมากเกี่ยวข้องกับการใช้ "threes ใหญ่" อย่างน้อยหนึ่งอย่าง: การใส่ถุงการส่งเสริมและการซ้อน

สำหรับการถดถอยแทนที่จะมุ่งเน้นไปที่การสร้างแบบจำลองการถดถอยที่ดีที่สุดที่เป็นไปได้การสร้างแบบจำลองการถดถอยหลายแบบเช่นการถดถอยเชิงเส้นแบบทั่วไป (ทั่วไป) การสุ่มป่า KNN NN และ SVM และการผสมผสานผลลัพธ์เป็นวิธีที่สมเหตุสมผล - ดำเนินการแต่ละวิธีเป็นจำนวนมากครั้ง

แน่นอนความเข้าใจที่มั่นคงของแต่ละวิธีคือกุญแจสำคัญและเรื่องราวที่ใช้งานง่ายสามารถบอกได้ตามแบบจำลองการถดถอยเชิงเส้น แต่ฉันสงสัยว่านี่เป็นวิธีการที่ทันสมัยเพื่อให้ได้ผลลัพธ์ที่ดีที่สุดหรือไม่

— Maxareo
แหล่งที่มา

ในบางกรณี Neural Network ได้กำหนดวิธีการถดถอยแบบ "คลาสสิค" ไว้อย่างดี สำหรับกันตัวอย่างในเท่าไหร่ไม่ให้ฝนตกครั้งที่สอง แต่มันเป็นกล่องดำอย่างแน่นอน

— YCR

@YCR ฉันเห็นด้วยว่าเป็นกล่องดำ ในขณะที่ทำงานฉันสร้างแบบจำลองการเรียนรู้ของเครื่องที่ยอดเยี่ยมและพยายามอธิบายให้นักธุรกิจหรือคนที่ไม่คุ้นเคยกับรูปแบบการสนทนามักจะจบลงด้วยการเป็นเช่นนี้: ฉันสร้างแบบจำลองการเรียนรู้ของเครื่องจักรที่ยอดเยี่ยม ฉันไม่สามารถเล่าเรื่องที่น่าสนใจให้คุณได้

— Maxareo

41

มันเป็นที่รู้จักกันดีอย่างน้อยจากปลายปี 1960' ว่าถ้าคุณใช้การคาดการณ์หลาย^†และค่าเฉลี่ยของพวกเขาแล้วการคาดการณ์โดยรวมส่งผลให้ในหลายกรณีจะมีประสิทธิภาพสูงกว่าการคาดการณ์ของแต่ละบุคคล การบรรจุถุงการส่งเสริมและการจัดเรียงทั้งหมดขึ้นอยู่กับแนวคิดนี้ ใช่ถ้าเป้าหมายของคุณคือการทำนายอย่างหมดจดในกรณีส่วนใหญ่นี่เป็นวิธีที่ดีที่สุดที่คุณสามารถทำได้ สิ่งที่เป็นปัญหาเกี่ยวกับวิธีนี้คือมันเป็นวิธีการแบบกล่องดำที่ส่งคืนผลลัพธ์ แต่ไม่ได้ช่วยให้คุณเข้าใจและตีความมัน เห็นได้ชัดว่ามันมีความเข้มข้นของการคำนวณมากกว่าวิธีอื่น ๆ เนื่องจากคุณต้องคำนวณการคาดการณ์เพียงเล็กน้อยแทนที่จะเป็นวิธีการเดียว

_{†ปัญหานี้เกี่ยวกับการคาดการณ์ทั่วไป แต่มักจะอธิบายไว้ในวรรณกรรมการพยากรณ์}

เคลอร์ RL และ Makridakis, S. (1983) การรวมกันของการพยากรณ์ JR Statis Soc A. 146 (2), 150-157

Makridakis, S. และ Winkler, RL (1983) ค่าเฉลี่ยของการพยากรณ์: ผลลัพธ์เชิงประจักษ์ วิทยาการจัดการ, 29 (9) 987-996

Clemen, RT (1989) การรวมการคาดการณ์: บทวิจารณ์และคำอธิบายประกอบบรรณานุกรม วารสารการพยากรณ์ระหว่างประเทศ, 5, 559-583

เบตส์, JM และ Granger, CW (1969) การรวมกันของการคาดการณ์ หรือ 451-468

Makridakis, S. และ Hibon, M. (2000) การแข่งขัน M3: ผลลัพธ์ข้อสรุปและความหมาย สมุดรายวันระหว่างประเทศของการพยากรณ์, 16 (4), 451-476

เรด, ดีเจ (1968) รวมการประมาณสามของผลิตภัณฑ์มวลรวมในประเทศ Economica, 431-444

Makridakis, S. , Spiliotis, E. และ Assimakopoulos, V. (2018) การแข่งขัน M4: ผลการค้นหาข้อสรุปและหนทางข้างหน้า วารสารการพยากรณ์ระหว่างประเทศ

— ทิม
แหล่งที่มา

1

ดูเหมือนว่าลิงก์ในเชิงอรรถที่ไม่ทำงานนั้นเหมาะกับฉันหรือไม่

— Silverfish

@Silverfish ขอบคุณแก้ไขแล้ว ลิงค์มีความสำคัญเล็กน้อย แต่ก็ยังถ้ามันไม่ทำงานก็ไม่ได้ผล

— ทิม

0

Arthur (1994)มีการทดลองสั้น ๆ / ความคิดที่เป็นที่รู้จักกันดีในวรรณคดีที่ซับซ้อน

ข้อสรุปประการหนึ่งคือตัวแทนไม่สามารถเลือกแบบจำลองการทำนายที่ดีกว่า (แม้ว่าพวกเขาจะมี "ป่า" ของสิ่งเหล่านี้) ภายใต้เงื่อนไขที่ไม่สมดุล ตัวอย่างเช่นหากคำถามถูกนำไปใช้กับประสิทธิภาพของตลาดหุ้นการตั้งค่าของ Arthur (1994) อาจมีผลบังคับใช้

— Glenn Magerman
แหล่งที่มา