กลเม็ดและเคล็ดลับในการเริ่มต้นกับการสร้างแบบจำลองทางสถิติ?

ฉันทำงานด้านการขุดข้อมูลและมีสถิติการศึกษาน้อยมาก เมื่อเร็ว ๆ นี้ฉันได้อ่านงานจำนวนมากที่มุ่งเน้นกระบวนทัศน์แบบเบย์สำหรับการเรียนรู้และการขุดซึ่งฉันพบว่าน่าสนใจมาก

คำถามของฉันคือ (ในหลายส่วน) เนื่องจากปัญหามีกรอบทั่วไปที่เป็นไปได้หรือไม่ที่จะสร้างแบบจำลองทางสถิติ สิ่งแรกที่คุณทำเมื่อได้รับชุดข้อมูลที่คุณต้องการสร้างแบบจำลองกระบวนการพื้นฐานคืออะไร? มีหนังสือ / แบบฝึกหัดที่ดีที่อธิบายกระบวนการนี้หรือเป็นเรื่องของประสบการณ์หรือไม่? การอนุมานอยู่ในระดับแนวหน้าของความคิดของคุณเมื่อสร้างแบบจำลองของคุณหรือคุณต้องการที่จะอธิบายข้อมูลก่อนที่คุณจะกังวลเกี่ยวกับวิธีการใช้ในการคำนวณ?

ความเข้าใจใด ๆ จะได้รับการชื่นชมอย่างมาก! ขอบคุณ

ในสถิติเช่นเดียวกับใน Data Mining คุณเริ่มต้นด้วยข้อมูลและเป้าหมาย ในสถิติมีการมุ่งเน้นที่การอนุมานจำนวนมากนั่นคือการตอบคำถามระดับประชากรโดยใช้ตัวอย่าง ในการทำเหมืองข้อมูลโดยปกติจะเน้นการทำนาย: คุณสร้างแบบจำลองจากตัวอย่างของคุณ (ข้อมูลการฝึกอบรม) เพื่อทำนายข้อมูลการทดสอบ

กระบวนการในสถิติคือ:

1. สำรวจข้อมูลโดยใช้ข้อมูลสรุปและกราฟขึ้นอยู่กับว่าสถิติขับเคลื่อนด้วยข้อมูลอย่างไรบางคนจะเปิดกว้างมากขึ้นมองข้อมูลจากทุกมุมมองขณะที่คนอื่น ๆ (โดยเฉพาะนักวิทยาศาสตร์สังคม) จะดูข้อมูลผ่านเลนส์ของ คำถามที่น่าสนใจ (เช่นพล็อตโดยเฉพาะตัวแปรที่น่าสนใจและไม่ใช่เรื่องอื่น)

   1. เลือกตระกูลโมเดลทางสถิติที่เหมาะสม (เช่นการถดถอยเชิงเส้นสำหรับ Y ต่อเนื่อง, การถดถอยโลจิสติกสำหรับไบนารี Y หรือ Poisson สำหรับข้อมูลนับ) และทำการเลือกแบบจำลอง

   2. ประเมินรุ่นสุดท้าย

   3. ข้อสมมติฐานการทดสอบแบบจำลองเพื่อให้แน่ใจว่าตรงตามความสมเหตุสมผล (แตกต่างจากการทดสอบเพื่อความแม่นยำในการทำนายข้อมูลในการขุดข้อมูล)

   4. ใช้โมเดลสำหรับการอนุมาน - นี่คือขั้นตอนหลักที่แตกต่างจากการทำเหมืองข้อมูล คำว่า "p-value" มาถึงที่นี่ ...

ลองดูที่ตำราสถิติพื้นฐานและคุณจะพบบทเกี่ยวกับการวิเคราะห์ข้อมูลเชิงสำรวจตามด้วยการแจกแจงบางส่วน (ซึ่งจะช่วยเลือกแบบจำลองการประมาณที่เหมาะสม) จากนั้นจึงอนุมาน (ช่วงความเชื่อมั่นและการทดสอบสมมติฐาน) และแบบจำลองการถดถอย

ฉันอธิบายให้คุณกระบวนการทางสถิติคลาสสิก อย่างไรก็ตามฉันมีปัญหามากมายกับมัน การมุ่งเน้นที่การอนุมานนั้นมีอิทธิพลเหนือทุ่งนาอย่างสมบูรณ์ในขณะที่การคาดการณ์ (ซึ่งมีความสำคัญและมีประโยชน์มาก) ก็เกือบจะถูกมองข้ามไป ยิ่งกว่านั้นถ้าคุณดูว่านักสังคมศาสตร์ใช้สถิติในการอนุมานคุณจะพบว่าพวกเขาใช้มันแตกต่างกันมาก! คุณสามารถตรวจสอบเพิ่มเติมเกี่ยวกับเรื่องนี้ได้ที่นี่

เท่าที่หนังสืออ่าน "องค์ประกอบของการเรียนรู้ทางสถิติ" โดย Hastie, Tibshirani และ Friedman นั้นดีมาก

หนังสือเต็มรูปแบบที่มีอยู่ในเว็บไซต์ของผู้เขียน ; คุณอาจต้องการดูว่าเหมาะสมกับความต้องการของคุณหรือไม่

ในฐานะที่เป็น (On-line) ลำดับที่ผมจะขอแนะนำให้ดูที่แอนดรูมัวร์สไลด์การสอนเกี่ยวกับสถิติการทำเหมืองข้อมูล

มีหนังสือหลายเล่มเกี่ยวกับการขุดข้อมูลและการเรียนรู้ของเครื่อง อาจเป็นจุดเริ่มต้นที่ดีคือหลักการของการทำเหมืองข้อมูลโดย Hand et al. และIntroduction to Machine Learningโดย Alpaydin

ที่ดีที่สุดของหนังสือคชกรรมเบื้องต้นผมได้พบคือการวิเคราะห์ข้อมูล - คชกรรมกวดวิชา มันค่อนข้างใช้งานได้จริง