แนวปฏิบัติที่ดีสำหรับการวิเคราะห์ทางสถิติในสภาพแวดล้อมทางธุรกิจ

(ในขณะที่ฉันรู้ว่านี่ไม่ได้เกี่ยวกับสถิติอย่างเคร่งครัด แต่เป็นเรื่องเกี่ยวกับการเผยแพร่สถิติในสภาพแวดล้อมทางธุรกิจดังนั้นฉันจึงสันนิษฐานว่ามันยังอยู่ในช่วงหัวข้อของ CV)

พื้นหลังเล็กน้อย:

สภาพแวดล้อมทางธุรกิจของเรา (และฉันสงสัยว่าสภาพแวดล้อมอื่น ๆ ) มีฟังก์ชันสนับสนุนที่เชี่ยวชาญในการวิเคราะห์และวิจัยทางสถิติ เราทำงานอย่างใกล้ชิดกับระบบธุรกิจอัจฉริยะและได้รับมอบหมายจากหน่วยงานอื่น ๆ ในการผลิตชิ้นงาน ผลก็คือข้อมูลการวิเคราะห์และข้อสรุปไม่ได้เป็นของเรา: เรารวบรวมข้อมูลทำการวิเคราะห์และทำการสรุปเพื่อให้กรรมาธิการใช้ในงานของพวกเขา

สิ่งที่ฉันต้องการจะทำ:

ขณะนี้เราใช้วิธีการแบบไม่รู้จบ บุคคลจากฟังก์ชั่นการสนับสนุนจะได้รับมอบหมายเมื่องานได้รับมอบหมายข้อมูลจะถูกรวบรวม (หรือแยกออกหากมีอยู่โดย Business Intelligence) การวิเคราะห์และข้อสรุปสุดท้ายจะถูกส่งไปยังผู้บัญชาการ สิ่งนี้ได้รับการพิสูจน์อย่างอิสระบนพื้นฐานที่ว่ามันไม่ใช่หน้าที่ของผู้บัญชาการในการอ่านการวิเคราะห์ มันเป็นหน้าที่ของเราในฐานะฟังก์ชั่นการสนับสนุนเพื่อให้แน่ใจว่าเราได้ทำการวิเคราะห์ที่ถูกต้องสำหรับคำถาม / หัวข้อที่ผู้บัญชาการต้องการสำรวจ

ฉันต้องการเรียกใช้โครงสร้างเพิ่มเติมเล็กน้อยเกี่ยวกับวิธีการที่จะทำให้

ก) การวิเคราะห์คุณภาพที่สูงขึ้นของเรา

b) ให้การป้องกันเมื่อการวิเคราะห์ของเราอาจนำไปสู่การตัดสินใจที่ไม่ดี; และทำให้

c) การวิเคราะห์ของเราโปร่งใสยิ่งขึ้นดังนั้นเราจึงไม่ถูกมองว่าเป็น 'กล่องดำ' ที่ใช้ข้อมูลและแยกผลลัพธ์ออกมา

ความคิดเริ่มต้นของฉันคือ:

1. จัดทำเอกสารทางเทคนิคกับงานทุกชิ้นที่แสดงให้เห็นถึงแนวทางการดำเนินการข้อสันนิษฐานปัญหาที่พบความไม่แน่นอนที่มีอยู่เป็นต้นในขณะที่ทุกคนไม่จำเป็นต้องอ่านมันควรจะใช้เป็นเครื่องมือในการอธิบาย ผู้บัญชาการผลของการใช้ข้อสรุปที่ดึงออกมา นี่เป็นการถ่ายโอนความเสี่ยงบางส่วนไปยังที่ที่ควรรู้สึกว่าควรเป็น: กับผู้บัญชาการ

2. จำกัด การวิเคราะห์ทั้งหมดไปยังแพคเกจเช่น Stata, SPSS หรือ R และจำเป็นต้องมีชุดโค้ดที่สมบูรณ์เพื่อสร้างพร้อมกับเอกสารทางเทคนิค เราทุกคนมีนิสัยการใช้ Microsoft Excel สำหรับการวิเคราะห์บางประเภท (นิสัยที่ไม่ดีมากกว่าสิ่งใด) อย่างไรก็ตาม Excel ไม่ส่งเสริมการทำซ้ำการวิเคราะห์ได้ง่าย สิ่งนี้จะช่วยปกป้องฟังก์ชั่นการสนับสนุนเมื่อมีการสอบถามการวิเคราะห์ของเราสร้างความโปร่งใสในแนวทางของเรา แต่ยังทำให้บทบาทของ (3) ง่ายขึ้นมาก:

3. มอบหมายให้ผู้ตรวจสอบงานทุกชิ้นที่ต้อง 'ลงนาม' งานก่อนที่จะถูกส่งไปยังผู้บัญชาการ โดยการลงลายมือชื่อเป็นการกระจายความสมบูรณ์ของการวิเคราะห์ใน 2 คนและส่งเสริมให้พวกเขาทำงานร่วมกัน (2 หัวดีกว่า 1) สิ่งนี้ควรปรับปรุงคุณภาพการวิเคราะห์และให้การป้องกันที่เหมาะสม

มีแง่มุมอื่น ๆ ของแนวปฏิบัติที่ดีที่สามารถนำไปใช้ในสภาพแวดล้อมทางธุรกิจประเภทนี้ได้หรือไม่?

คำแนะนำของฉันในสองคำ ( TL; โหมด DR ): การวิจัยที่ทำซ้ำได้

สำหรับรายละเอียดเพิ่มเติมส่วนใหญ่ไม่ต้องทำซ้ำตัวเองให้ฉันแนะนำคุณเกี่ยวกับคำตอบที่เกี่ยวข้องที่อื่นใน StackExchange คำตอบเหล่านี้แสดงถึงความคิดของฉัน (และประสบการณ์) ในหัวข้อ:

• การล้างข้อมูล: /datascience//a/722/2452
• การวิจัยที่ทำซ้ำได้: /datascience//a/759/2452
• รายงานกับแดชบอร์ด: /datascience//a/907/2452
• เวิร์กโฟลว์การวิเคราะห์ข้อมูลและ EDA: /datascience//a/1006/2452
• ข้อมูลขนาดใหญ่และ R: /datascience//a/780/2452

หมายเหตุสุดท้าย (ขออภัยถ้าคุณเห็นชัดเจน): ไม่ว่าประเภทของสภาพแวดล้อมทางธุรกิจของคุณ (ซึ่งไม่ชัดเจนโดยวิธี) ฉันขอแนะนำให้เริ่มต้นจากด้านธุรกิจของสิ่งต่าง ๆ และสร้างสถาปัตยกรรมการวิเคราะห์ข้อมูลซึ่ง (เป็น ทั้งหมดที่เกี่ยวข้องกับไอที) ควรสอดคล้องกับสถาปัตยกรรมธุรกิจรวมถึงกระบวนการธุรกิจหน่วยองค์กรวัฒนธรรมและผู้คน ฉันหวังว่านี่จะเป็นประโยชน์

UPDATE:ในเรื่องที่เกี่ยวกับการสร้างใหม่หรือการปรับปรุงที่มีอยู่สถาปัตยกรรมการวิเคราะห์ข้อมูล (ยังเรียกว่าเป็นสถาปัตยกรรมข้อมูลในสถาปัตยกรรมองค์กรคำศัพท์) ผมคิดว่าทั้งสองชุดของสไลด์การนำเสนออาจจะมีประโยชน์เช่นกัน: นี้และนี้

ในการสร้างแบบจำลองธนาคารจะต้องสอดคล้องกับแนวทางการบริหารความเสี่ยงรูปแบบเช่นOCC 2011-12 ฉันคิดว่ามันเป็นเอกสารที่น่าสนใจแม้ว่าคุณจะไม่ได้อยู่ในธนาคาร

MathWorks มีบทความเกี่ยวกับมาตรฐานการสร้างแบบจำลองนี้

ตั้งแต่การสร้างแบบจำลองเกี่ยวข้องกับการเขียนซอฟแวร์ในรูปแบบหนึ่งหรือผมใช้องค์ประกอบของอีกวิธีการพัฒนาซอฟแวร์โดยเฉพาะอย่างยิ่งเมื่อมันมาถึงการทดสอบและการทดสอบหน่วย ฉันยังใช้เครื่องมือจัดการการกำหนดค่าซอฟต์แวร์เช่น SVN มีจำนวนมากเป็นเรื่องที่ทีมงานการสร้างแบบจำลองสามารถเรียนรู้จากการเขียนโปรแกรมในแง่ของการจัดการโครงการซอฟต์แวร์ที่ซับซ้อนเช่นระบบติดตามปัญหาและCMS

หนึ่งในสิ่งที่สำคัญที่สุดคือวิธีการและกระบวนการวงจรการพัฒนาแบบจำลอง สร้างแนวทางในการพัฒนาแบบจำลองและทดสอบรายการเครื่องมือมาตรฐานและการทดสอบเป็นต้นตัวอย่างเช่นเลือกการทดสอบที่ดีแบบหนึ่งหรือสองแบบและใช้งานได้ทุกที่

สร้างเทมเพลตของทุกสิ่ง: การสร้างแบบจำลองสคริปต์เอกสารสีขาวงานนำเสนอและอื่น ๆ ตัวอย่างเช่นฉันมีเทมเพลตใน LaTeX สำหรับเอกสารทั้งหมดดังนั้นเอกสารทางเทคนิคของเราจึงดูคล้ายกันมากและทุกคนรู้ว่าจะหาข้อมูลที่ไหน เรามีส่วนมาตรฐานเช่นสถิติเชิงพรรณนาและคอลัมน์มาตรฐานในนั้นเช่น kurtosis วันที่สังเกตครั้งแรกและครั้งสุดท้ายเป็นต้น

มีวารสารแล็บ นี่คือสิ่งหนึ่งที่ผู้คนในวงการวิทยาศาสตร์ควรเรียนรู้ในระดับปริญญาเอกเพื่อเก็บบันทึกการวิจัยความคิดและการตัดสินใจโดยเฉพาะอย่างยิ่ง เมื่อคุณตัดสินใจใช้ ARIMA แทน GARCH ให้บันทึกไว้ในสมุดบันทึกแล็บและอธิบายว่าทำไมคุณถึงตัดสินใจ ผู้คนบนท้องถนนมักจะลืมเหตุผลเบื้องหลังการตัดสินใจดังนั้นสิ่งสำคัญคือการบันทึก น่าเสียดายที่คนในแวดวงสังคมศาสตร์ไม่มีนิสัยในการเก็บวารสารห้องปฏิบัติการ แต่เป็นปัญหา

การฝึกฝนที่ดีอีกด้านหนึ่งคือการมีวินัยในระยะเริ่มต้นของการว่าจ้าง สิ่งนี้อาจรวมถึงสิ่งพื้นฐานเช่นเห็นด้วยในการเขียนสิ่งที่ผู้บัญชาการต้องการ (เพื่อหลีกเลี่ยงความเข้าใจผิดและข้อพิพาทที่ตามมา) และชี้แจงว่าใครในธุรกิจที่มีอำนาจในการว่าจ้างงาน (ขั้นตอนแรกสู่ เพียงแค่ดื่มด่ำกับทุกคนที่มีความคิดที่สดใส)

วินัยในการว่าจ้างควรส่งเสริมการเจรจาที่สร้างสรรค์ก่อนที่จะตกลงในงานที่จะดำเนินการ การว่าจ้างนั้นอาจมีความคิดที่คลุมเครือเกี่ยวกับสิ่งที่พวกเขาต้องการ แต่มีปัญหาในการกำหนดอย่างแม่นยำหรือถ้าพวกเขาเสนอสูตรที่แม่นยำมันอาจจะไม่ใช่สิ่งที่เกี่ยวข้องกับความต้องการทางธุรกิจมากที่สุด (ตัวอย่างเช่นพวกเขาอาจขอตรวจสอบ เหตุผลของการลดลงของยอดขายระยะสั้นเมื่อสิ่งที่พวกเขาสนใจจริงๆคือปัจจัยระยะยาวที่ผลักดันยอดขาย) นักสถิติและนักวิจัยอาจเก่งในการตั้งคำถามหรือแผนการทำงานที่แม่นยำ แต่ไม่สามารถระบุสิ่งที่จะเป็นประโยชน์ต่อธุรกิจได้ มีฉันขอแนะนำขนานกับแนวปฏิบัติที่ดีในการวิจัยเชิงวิชาการซึ่งทำให้ความแตกต่างระหว่างคำถามการวิจัยการระบุหัวข้อที่น่าสนใจและสมมติฐานการวิจัยในวงกว้างและมีจุดมุ่งหมายในหัวข้อดังกล่าวซึ่งมีความเฉพาะเพียงพอที่จะนำไปสู่การศึกษาวิจัยที่กำหนดชัดเจน ดังนั้นจึงอาจเป็นประโยชน์ในการคิดของคณะกรรมาธิการว่าสร้างคำถามการวิจัยที่เทียบเท่าและนักสถิติและนักวิจัยในการช่วยพวกเขาในการระบุโปรแกรมการทำงานที่เฉพาะเจาะจงมากขึ้นที่เกี่ยวข้องกับคำถามเหล่านั้น

ฉันคิดว่าคุณได้รับคำตอบในคำถามแล้ว - "โครงสร้างที่ดี" เป็นกุญแจสำคัญ

ฉันเป็นวิศวกรและทำงานในบทบาทที่เน้นแอปพลิเคชันที่คล้ายกันซึ่งคุณได้รับการแนะนำให้รู้จักกับปัญหาเพื่อให้ความช่วยเหลือในการวิเคราะห์และปรับปรุงผลลัพธ์ แต่อยู่ในการให้คำปรึกษาแทนที่จะเป็นบทบาทผู้ดำเนินการ

แนวทางที่ดีที่สุดที่ฉันได้เห็นคือแนวทางที่ไม่ได้กำหนดมาก่อนหรือหลวมเกินไปเพื่อให้แน่ใจว่ามีหลักฐานที่ถูกต้องว่างานนั้นทำด้วยความขยัน - ซึ่งเป็นสิ่งที่ฉันคิดว่าคุณเป็น

Six Sigma (ซึ่งเป็นคำที่สกปรกในบางสถานที่ที่ฉันเคยทำงาน) และวิธีการอื่น ๆ ให้กรอบสำหรับการเข้าใกล้การแก้ปัญหาและการฝังโซลูชัน เพราะพวกเขาอยู่บนพื้นฐานของกรอบพวกเขาสามารถตรวจสอบได้ กุญแจสำคัญคือเพื่อให้แน่ใจว่าทุกคนได้รับการฝึกฝนในวิธีการและมีแม่แบบที่ดีที่ตรวจสอบได้

ตัวอย่างเช่นคุณอาจต้องการโซลูชันที่เป็นมาตรฐานซึ่งไม่ได้กำหนดโดยโปรแกรมที่ใช้ แต่คุณสามารถตรวจสอบขั้นตอนการวิเคราะห์ที่ใช้ในภายหลังหรือไม่และมั่นใจว่างานนั้นเสร็จเป็นมาตรฐาน การจัดเตรียมเหตุการณ์สำคัญ - เช่นจุดตรวจสอบที่คุณสามารถตรวจสอบได้จะง่ายกว่าการพยายามตรวจสอบเมื่อสิ้นสุดโครงการ

กลับไปที่ Six Sigma วิธีการบางอย่างอาจเป็นการตรวจสอบในขั้นตอนการกำหนดหลังจากการวัดและวิเคราะห์และในที่สุดก็ถึงเวลาที่ตกลงกัน (หลังจากปรับปรุงและควบคุม)

Six Sigma ไม่ดีที่สุดในทุกสถานการณ์ แต่ฉันสามารถแนะนำให้เป็นจุดเริ่มต้นที่มีศักยภาพ