การถดถอยเชิงเส้นล้าสมัยหรือไม่ [ปิด]

ขณะนี้ฉันอยู่ในชั้นเรียนการถดถอยเชิงเส้น แต่ฉันไม่สามารถสั่นคลอนความรู้สึกว่าสิ่งที่ฉันกำลังเรียนรู้ไม่เกี่ยวข้องในสถิติที่ทันสมัยหรือการเรียนรู้ของเครื่อง เหตุใดจึงใช้เวลามากกับการอนุมานในการถดถอยเชิงเส้นแบบง่าย ๆ หรือหลายครั้งเมื่อชุดข้อมูลที่น่าสนใจมากมายในสมัยนี้ละเมิดข้อสันนิษฐานที่ไม่สมจริงหลายประการของการถดถอยเชิงเส้น ทำไมไม่สอนการอนุมานเกี่ยวกับเครื่องมือที่ทันสมัยและยืดหยุ่นกว่าเช่นการถดถอยโดยใช้เครื่องเวกเตอร์สนับสนุนหรือกระบวนการ Gaussian แม้ว่าจะซับซ้อนกว่าการหาไฮเปอร์เพลนในอวกาศ แต่สิ่งนี้จะไม่ให้ภูมิหลังที่ดีกว่าสำหรับการจัดการปัญหาวันสมัยใหม่หรือไม่?

มันเป็นความจริงที่สมมติฐานของการถดถอยเชิงเส้นไม่เหมือนจริง อย่างไรก็ตามนี่เป็นความจริงของแบบจำลองทางสถิติทั้งหมด "ทุกรุ่นผิด แต่บางรุ่นก็มีประโยชน์"

ฉันคิดว่าคุณอยู่ภายใต้การแสดงผลที่ไม่มีเหตุผลที่จะใช้การถดถอยเชิงเส้นเมื่อคุณสามารถใช้แบบจำลองที่ซับซ้อนมากขึ้น สิ่งนี้ไม่เป็นความจริงเพราะโดยทั่วไปแล้วโมเดลที่ซับซ้อนกว่านั้นมีความเสี่ยงที่จะเกิดการ overfitting มากขึ้นและพวกเขาใช้ทรัพยากรการคำนวณมากขึ้นซึ่งมีความสำคัญหากเช่นคุณกำลังพยายามทำสถิติบนโปรเซสเซอร์ที่ฝังตัวหรือเว็บเซิร์ฟเวอร์ โมเดลที่เรียบง่ายนั้นง่ายต่อการเข้าใจและตีความ; ในทางตรงกันข้ามโมเดลการเรียนรู้ด้วยเครื่องที่ซับซ้อนเช่นเครือข่ายประสาทมีแนวโน้มที่จะจบลงด้วยกล่องดำไม่มากก็น้อย

แม้ว่าสักวันการถดถอยเชิงเส้นจะไม่มีประโยชน์อีกต่อไปในทางปฏิบัติ (ซึ่งดูเหมือนไม่น่าเป็นไปได้อย่างมากในอนาคตอันใกล้) มันจะยังคงมีความสำคัญทางทฤษฎีเนื่องจากแบบจำลองที่ซับซ้อนมากขึ้นมีแนวโน้มที่จะสร้างการถดถอยเชิงเส้น ตัวอย่างเช่นในการทำความเข้าใจการถดถอยโลจิสติกส์แบบผสมเอฟเฟ็กต์ปกติคุณต้องเข้าใจการถดถอยเชิงเส้นเก่าแบบธรรมดาก่อน

นี่ไม่ได้เป็นการบอกว่าแบบจำลองที่ซับซ้อนใหม่และใหม่กว่านั้นไม่มีประโยชน์หรือสำคัญ หลายคนมี แต่โมเดลที่เรียบง่ายกว่านั้นจะมีการใช้กันอย่างแพร่หลายและมีความสำคัญมากกว่าและชัดเจนกว่าหากคุณจะนำเสนอโมเดลที่หลากหลาย มีการวิเคราะห์ข้อมูลที่ไม่ดีจำนวนมากที่ดำเนินการในวันนี้โดยผู้ที่เรียกตัวเองว่า "นักวิทยาศาสตร์ข้อมูล" หรือบางอย่าง แต่ไม่รู้จักสิ่งที่เป็นรากฐานเช่นช่วงความมั่นใจจริงๆ อย่าเป็นสถิติ!

การถดถอยเชิงเส้นโดยทั่วไปจะไม่ล้าสมัย ยังมีคนที่ทำงานวิจัยเกี่ยวกับวิธีการที่เกี่ยวข้องกับ LASSO และวิธีที่พวกเขาเกี่ยวข้องกับการทดสอบหลายรายการ - คุณสามารถ google Emmanuel Candes และ Malgorzata Bogdan

หากคุณกำลังถามเกี่ยวกับอัลกอริทึมของ OLS โดยเฉพาะคำตอบว่าทำไมพวกเขาถึงสอนวิธีนี้ก็คือวิธีการนั้นง่ายมากจนมีวิธีแก้ปัญหาแบบปิด นอกจากนี้มันง่ายกว่าการถดถอยแบบสันหรือรุ่นที่มี lasso / elasticnet คุณสามารถสร้างสัญชาตญาณ / บทพิสูจน์ของคุณเกี่ยวกับวิธีแก้ปัญหาการถดถอยเชิงเส้นอย่างง่ายจากนั้นเสริมโมเดลด้วยข้อ จำกัด เพิ่มเติม

ฉันไม่คิดว่าการถดถอยนั้นเก่าไปแล้วมันอาจถูกมองว่าเป็นเรื่องเล็กน้อยสำหรับปัญหาบางอย่างที่นักวิทยาศาสตร์ด้านข้อมูลกำลังเผชิญอยู่ในขณะนี้ แต่ยังคงเป็น ABC ของการวิเคราะห์ทางสถิติ คุณจะเข้าใจได้อย่างไรว่า SVM ทำงานอย่างถูกต้องหากคุณไม่รู้ว่ารุ่นที่ง่ายที่สุดทำงานอย่างไร การใช้เครื่องมือง่ายๆนี้จะสอนวิธีดูข้อมูลก่อนที่จะกระโดดเข้าสู่โมเดลที่ซับซ้อนอย่างบ้าคลั่งและเข้าใจอย่างลึกซึ้งว่าเครื่องมือใดที่สามารถใช้ในการวิเคราะห์ต่อไปและไม่สามารถทำได้ เมื่อมีการสนทนากับอาจารย์และเพื่อนร่วมงานของฉันเธอบอกฉันว่านักเรียนของเธอมีความสามารถในการใช้แบบจำลองที่ซับซ้อน แต่พวกเขาไม่สามารถเข้าใจได้ว่าการใช้ประโยชน์คืออะไรหรืออ่าน qq-plot ง่ายๆเพื่อทำความเข้าใจกับสิ่งที่ผิด บ่อยครั้งในรูปแบบที่ง่ายและอ่านง่ายที่สุดคือความสวยงาม

คำตอบสั้น ๆ คือไม่มี ตัวอย่างเช่นหากคุณลองใช้โมเดลเชิงเส้นด้วยข้อมูล MNIST คุณจะยังคงได้รับความแม่นยำประมาณ 90%!

คำตอบที่ยาวจะเป็น "ขึ้นอยู่กับโดเมน" แต่ตัวแบบเชิงเส้นใช้กันอย่างแพร่หลาย

• ในบางสาขาพูดว่าการศึกษาทางการแพทย์มันแพงมากที่จะได้รับหนึ่งจุดข้อมูล และงานวิเคราะห์ยังคงคล้ายกับเมื่อหลายปีก่อน: การถดถอยเชิงเส้นยังคงมีบทบาทสำคัญมาก

• ในการเรียนรู้ของเครื่องมอร์เดนพูดการจัดประเภทข้อความแบบจำลองเชิงเส้นยังคงมีความสำคัญมากแม้ว่าจะมีรูปแบบที่นักเล่นอื่น ๆ นี่เป็นเพราะตัวแบบเชิงเส้นนั้น "เสถียร" มากมันจะมีน้อยกว่าที่จะพอดีกับข้อมูล

ในที่สุดโมเดลเชิงเส้นเป็นหน่วยการสร้างจริงสำหรับโมเดลส่วนใหญ่อื่น ๆ การเรียนรู้อย่างดีจะเป็นประโยชน์ต่อคุณในอนาคต

ในแง่การปฏิบัติการถดถอยเชิงเส้นมีประโยชน์แม้ว่าคุณจะใช้โมเดลที่ซับซ้อนมากขึ้นสำหรับงานของคุณ กุญแจสำคัญคือการถดถอยเชิงเส้นนั้นง่ายต่อการเข้าใจและใช้งานง่ายเพื่อเข้าใจแนวคิดว่าเกิดอะไรขึ้นในโมเดลที่ซับซ้อนมากขึ้น

ฉันสามารถเสนอตัวอย่างแอปพลิเคชันที่ใช้งานได้จริงจากงานจริงของฉันในฐานะนักวิเคราะห์ทางสถิติ หากคุณพบว่าตัวเองอยู่ในป่าที่ไม่มีผู้ดูแลพร้อมกับชุดข้อมูลขนาดใหญ่และหัวหน้าของคุณขอให้คุณทำการวิเคราะห์เกี่ยวกับมันคุณจะเริ่มต้นที่ไหน ถ้าคุณไม่คุ้นเคยกับชุดข้อมูลและไม่มีความคิดที่ดีว่าคุณลักษณะต่าง ๆ นั้นเกี่ยวข้องกับกันและกันอย่างไรโมเดลที่ซับซ้อนอย่างที่คุณแนะนำคือสถานที่ที่ไม่ดีในการเริ่มตรวจสอบ

จุดเริ่มต้นที่ดีที่สุดคือการถดถอยเชิงเส้นแบบง่าย ๆ ทำการวิเคราะห์การถดถอยดูที่ค่าสัมประสิทธิ์และกราฟส่วนที่เหลือ เมื่อคุณเริ่มเห็นว่าเกิดอะไรขึ้นกับข้อมูลจากนั้นคุณสามารถตัดสินใจบางอย่างเกี่ยวกับวิธีการขั้นสูงที่คุณจะพยายามใช้

ฉันยืนยันว่าถ้าคุณเพิ่งเสียบข้อมูลของคุณลงในกล่องดำแบบขั้นสูงอย่าง sklearn.svm (ถ้าคุณเป็น Python) คุณจะมีความมั่นใจต่ำมากว่าผลลัพธ์ของคุณจะมีความหมาย