โดยทั่วไปแล้วการอนุมานทำได้ยากกว่าการคาดการณ์หรือไม่

คำถามของฉันมาจากข้อเท็จจริงต่อไปนี้ ฉันได้อ่านโพสต์บล็อกการบรรยายรวมถึงหนังสือเกี่ยวกับการเรียนรู้ของเครื่อง ความประทับใจของฉันคือผู้ปฏิบัติงานการเรียนรู้ด้วยเครื่องดูเหมือนจะไม่สนใจสิ่งต่าง ๆ ที่นักสถิติ / นักเศรษฐศาสตร์สนใจ โดยเฉพาะผู้ปฏิบัติงานการเรียนรู้ด้วยเครื่องเน้นความแม่นยำในการทำนายมากกว่าการอนุมาน

ตัวอย่างหนึ่งเกิดขึ้นเมื่อฉันเรียนรู้การใช้งานเครื่องจักรของ Andrew Ng บน Coursera เมื่อเขาพูดถึง Simple Linear Model เขาไม่ได้พูดถึงคุณสมบัติ BLUE ของตัวประมาณค่าหรือวิธีการที่ heteroskedasticity เขามุ่งเน้นไปที่การนำทางลาดลงและแนวคิดของการตรวจสอบข้าม / เส้นโค้ง ROC หัวข้อเหล่านี้ไม่ได้กล่าวถึงในชั้นเรียนเศรษฐมิติ / สถิติของฉัน

อีกตัวอย่างหนึ่งเกิดขึ้นเมื่อฉันเข้าร่วมการแข่งขัน Kaggle ฉันอ่านรหัสและความคิดของคนอื่น ส่วนใหญ่ของผู้เข้าร่วมเพียงแค่โยนทุกอย่างลงใน SVM / random forest / XGBoost

ยังมีอีกตัวอย่างหนึ่งที่เกี่ยวกับการเลือกแบบจำลองตามลำดับ เทคนิคนี้ใช้กันอย่างแพร่หลายอย่างน้อยออนไลน์และ Kaggle หนังสือเรียนรู้ด้วยเครื่องจักรคลาสสิกจำนวนมากยังครอบคลุมเช่นการเรียนรู้สถิติเบื้องต้น อย่างไรก็ตามตามคำตอบนี้ (ซึ่งค่อนข้างน่าเชื่อถือ) การเลือกรุ่นแบบขั้นตอนต้องเผชิญกับปัญหาจำนวนมากโดยเฉพาะอย่างยิ่งเมื่อมันลงมาที่ "การค้นพบรูปแบบที่แท้จริง" ดูเหมือนว่ามีความเป็นไปได้เพียงสองอย่างเท่านั้น: ผู้เรียนรู้การเรียนรู้ด้วยเครื่องทั้งสองไม่รู้จักปัญหาแบบขั้นตอนหรือพวกเขาทำ แต่พวกเขาไม่สนใจ

ดังนั้นนี่คือคำถามของฉัน:

1. เป็นเรื่องจริงหรือเปล่าที่ผู้ฝึกการเรียนรู้ด้วยเครื่องจักรเน้นการทำนายและไม่สนใจสิ่งต่าง ๆ มากมายที่นักสถิติ / นักเศรษฐศาสตร์สนใจ
2. ถ้ามันเป็นเรื่องจริงแล้วอะไรคือเหตุผลที่อยู่เบื้องหลัง เป็นเพราะการอนุมานนั้นยากกว่าในบางแง่มุม?
3. มีเนื้อหามากมายเกี่ยวกับการเรียนรู้ของเครื่อง (หรือการทำนาย) ทางออนไลน์ หากฉันสนใจที่จะเรียนรู้เกี่ยวกับการอนุมานอย่างไรก็ตามมีแหล่งข้อมูลออนไลน์อะไรบ้างที่ฉันสามารถให้คำปรึกษาได้

อัปเดต : ฉันเพิ่งรู้ว่าคำว่า "การอนุมาน" อาจหมายถึงสิ่งต่างๆมากมาย สิ่งที่ฉันหมายถึงโดย "อนุมาน" หมายถึงคำถามเช่น

1. ไม่สาเหตุหรือที่เกิด ? หรือโดยทั่วไปความสัมพันธ์เชิงสาเหตุระหว่างคืออะไร?Y Y X X 1 , X 2 , ⋯ , X $X$$Y$$Y$$X$$X_1,X_2,\cdots,X_n$

2. เนื่องจาก "แบบจำลองทั้งหมดผิด" แบบจำลองของเรามาจากแบบจำลองจริงอย่างไร

3. เมื่อได้รับข้อมูลตัวอย่างเราจะพูดอะไรเกี่ยวกับประชากรและเรามั่นใจว่าจะพูดเช่นนั้นได้อย่างไร

เนื่องจากความรู้ทางสถิติที่ จำกัด มากของฉันฉันไม่แน่ใจด้วยซ้ำว่าคำถามเหล่านั้นตกอยู่ในขอบเขตของสถิติหรือไม่ แต่คำถามเหล่านี้เป็นประเภทของคำถามที่ผู้เรียนรู้เกี่ยวกับเครื่องจักรดูเหมือนจะไม่สนใจ บางทีนักสถิติอาจไม่สนใจเลย ฉันไม่รู้

ก่อนอื่นฉันจะมีมุมมองที่แตกต่างกันสำหรับการเรียนรู้ของเครื่อง สิ่งที่คุณพูดถึงการบรรยาย Coursera ของ Andrew Ng และการแข่งขัน Kaggle นั้นไม่ใช่การเรียนรู้ของเครื่อง 100% แต่มีบางสาขาที่มุ่งเน้นการใช้งานจริง การวิจัยการเรียนรู้ของเครื่องจริงควรเป็นงานที่สร้างแบบจำลองการส่งเสริมฟอเรสต์ / SVM / การไล่ระดับสีแบบสุ่มซึ่งใกล้เคียงกับสถิติ / คณิตศาสตร์ค่อนข้างมาก

ฉันเห็นด้วยว่าผู้ปฏิบัติงานการเรียนรู้ด้วยเครื่องมุ่งเน้นไปที่ความแม่นยำมากกว่านักสถิติ / นักเศรษฐศาสตร์ มีเหตุผลที่ผู้คนสนใจที่จะได้รับความแม่นยำที่ดีกว่าแทนที่จะเป็น "การอนุมานเกี่ยวกับการแจกแจงที่แท้จริง" เหตุผลสำคัญคือวิธีที่เรารวบรวมข้อมูลและใช้ข้อมูลที่มีการเปลี่ยนแปลงในช่วงทศวรรษที่ผ่านมา

สถิติถูกสร้างมาเป็นร้อยปี แต่ในอดีตไม่มีใครคิดว่าคุณมีข้อมูลนับพันล้านสำหรับการฝึกอบรมและข้อมูลอื่น ๆ อีกหลายพันล้านสำหรับการทดสอบ (ตัวอย่างเช่นจำนวนภาพบนอินเทอร์เน็ต) ดังนั้นด้วยข้อมูลที่ค่อนข้างน้อยจึงจำเป็นต้องมีสมมติฐานจากความรู้ในโดเมนเพื่อใช้ในการทำงาน หรือคุณสามารถคิดที่จะ "ทำให้เป็นปกติ" โมเดล เมื่อสมมติฐานถูกสร้างขึ้นแล้วมีปัญหาการอนุมานเกี่ยวกับการกระจาย "ที่แท้จริง"

อย่างไรก็ตามหากเราพิจารณาอย่างรอบคอบเราสามารถตรวจสอบให้แน่ใจว่าสมมติฐานเหล่านี้เป็นจริงและการอนุมานนั้นถูกต้องหรือไม่ ฉันต้องการอ้างอิง George Box:

ทุกรุ่นผิด แต่บางรุ่นก็มีประโยชน์

ทีนี้เราลองมาคิดเกี่ยวกับวิธีการปฏิบัติเพื่อเน้นความแม่นยำมากกว่าข้อสันนิษฐาน / การอนุมาน มันเป็นวิธีการที่ดีเมื่อเรามีข้อมูลจำนวนมาก

สมมติว่าเรากำลังสร้างแบบจำลองสำหรับภาพทั้งหมดมีใบหน้ามนุษย์ในระดับพิกเซล อย่างแรกมันยากมากที่จะเสนอสมมติฐานเกี่ยวกับระดับพิกเซลสำหรับภาพหลายพันล้านภาพ: ไม่มีใครมีความรู้เกี่ยวกับโดเมนนั้น ประการที่สองเราสามารถคิดหาวิธีที่เป็นไปได้ทั้งหมดเพื่อให้พอดีกับข้อมูลและเนื่องจากข้อมูลมีขนาดใหญ่รูปแบบทั้งหมดที่เรามีอาจไม่เพียงพอ (เกือบเป็นไปไม่ได้ที่จะพอดี)

นี่คือเหตุผลว่าทำไม "การเรียนรู้ลึก / เครือข่ายประสาท" ก็ได้รับความนิยมอีกครั้ง ภายใต้เงื่อนไขของข้อมูลขนาดใหญ่เราสามารถเลือกหนึ่งโมเดลที่ซับซ้อนและเหมาะสมที่สุดเท่าที่เราจะทำได้และเราอาจยังตกลงเพราะทรัพยากรการคำนวณของเรามี จำกัด เมื่อเทียบกับข้อมูลจริงทั้งหมดในคำ

ท้ายที่สุดถ้าโมเดลที่เราสร้างนั้นดีในชุดข้อมูลการทดสอบขนาดใหญ่แล้วมันก็เป็นสิ่งที่ดีและมีค่าแม้ว่าเราอาจจะไม่ทราบว่ามีการขีดเส้นใต้หรือการแจกแจงที่แท้จริง

ฉันต้องการชี้ให้เห็นคำว่า "การอนุมาน" มีความหมายต่างกันในชุมชนต่าง ๆ

• ในชุมชนสถิติมันมักจะหมายถึงการรับข้อมูลของการแจกแจงที่แท้จริงในลักษณะที่เป็นพารามิเตอร์หรือไม่ใช่พารามิเตอร์
• ในชุมชนการเรียนรู้ของเครื่องมันมักจะหมายถึงการคำนวณความน่าจะเป็นบางอย่างจากการแจกแจงที่กำหนด ดูตัวอย่างการสอนแบบกราฟิกของ Murphy
• ในการเรียนรู้ของเครื่องจักรผู้คนใช้คำว่า "การเรียนรู้" เพื่อเป็นตัวแทน "การรับพารามิเตอร์ของการแจกแจงที่แท้จริง" ซึ่งคล้ายกับ "การอนุมาน" ในชุมชนสถิติ

ดังนั้นคุณจะเห็นได้ว่ามีผู้คนจำนวนมากในการเรียนรู้ของเครื่องกำลังทำ "การอนุมาน"

นอกจากนี้คุณอาจคิดถึงคนในแวดวงวิชาการที่ต้องการ "สร้างแบรนด์งานของพวกเขาใหม่และขายต่อ": การหาคำศัพท์ใหม่อาจมีประโยชน์ในการแสดงความแปลกใหม่ของการวิจัย ในความเป็นจริงมีการทับซ้อนกันระหว่างปัญญาประดิษฐ์การขุดข้อมูลและการเรียนรู้ของเครื่อง และเกี่ยวข้องอย่างใกล้ชิดกับสถิติและการออกแบบอัลกอริทึม อีกครั้งไม่มีขอบเขตที่ชัดเจนสำหรับการ "อนุมาน" หรือไม่