ฉันชอบคำถามนี้เพราะการเมืองที่มีอยู่ในทุกองค์กร ในมุมมองของฉันและในระดับที่สำคัญความคาดหวังเกี่ยวกับประสิทธิภาพของแบบจำลองเป็นหน้าที่ของวัฒนธรรมองค์กรและระดับที่องค์กรมี "ความรู้ทางเทคนิค" วิธีหนึ่งที่จะทำให้ชัดเจนว่าฉันหมายถึงอะไรคือการพิจารณาความแตกต่างระหว่างเอนทิตี 4 "ดาต้าวิทยาศาสตร์" - Google, FB, Amazon และ Yahoo - เทียบกับ 4 เอเจนซี่ใหญ่ที่ถือครอง - WPP, Omnicon, Interbrand และ Publicis Google และอื่น ๆ มีความรู้ด้านเทคนิคเป็นอย่างมาก ในขณะที่หน่วยงานต่าง ๆ มีแนวโน้มที่จะพึ่งพาเทคโนโลยีความหวาดกลัว หลักฐานสำหรับสิ่งนี้คืออะไร? ก่อนอื่นกลุ่มความรู้ทางเทคนิคนั้นก่อตั้งขึ้นหรือดำเนินการโดยวิศวกรนักวิทยาศาสตร์คอมพิวเตอร์ผู้ที่มีความรู้ทางด้านเทคโนโลยีและผู้ที่มีพื้นฐานด้านเทคโนโลยีที่แข็งแกร่ง ใครเป็นผู้ดำเนินการ บริษัท ที่ไม่รู้หนังสือด้านเทคโนโลยี นักการตลาดที่เพิ่มความโดดเด่นด้วยทักษะการสื่อสารที่นุ่มนวลและทักษะผู้คน และไม่เพียงแค่นั้นการทำงานในร้านค้าเหล่านี้บางแห่งในนิวยอร์คฉันสามารถเป็นพยานได้ว่าองค์กรเหล่านี้มีระบบลงโทษและ / หรือผลักดันประเภทที่มีความรู้ทางด้านเทคนิคอย่างเป็นระบบว่าไม่เหมาะสมกับวัฒนธรรม ถัดไปให้พิจารณามูลค่าตลาดรวม (หุ้น) กลุ่มความรู้ด้านเทคโนโลยีเพิ่มขึ้นประมาณ 800 พันล้านดอลลาร์ในขณะที่กลุ่มผู้ไม่รู้หนังสือเทคโนโลยีจำนวน 80 พันล้านดอลลาร์ หน่วยงานที่มีความรู้ทางด้านเทคโนโลยีนั้นใหญ่กว่าตัวอื่น ๆ ในตลาดถึง 10 เท่า นี่เป็นคำแถลงที่ชัดเจนเกี่ยวกับความคาดหวังของตลาดและไม่สูงสำหรับผู้ไม่รู้หนังสือ ดังนั้นโดยการคาดการณ์คุณมีความหวังแบบไหนที่จะท้าทายความคาดหวัง "ความแม่นยำในการทำนาย" ของ bozos เช่นนี้ เมื่อทำงานในร้านค้าเหล่านี้บางแห่งในนิวยอร์คฉันสามารถยืนยันได้ว่าองค์กรเหล่านี้มีระบบลงโทษและ / หรือผลักดันประเภทความรู้ทางเทคนิคอย่างสูงซึ่งไม่เหมาะกับวัฒนธรรม ถัดไปให้พิจารณามูลค่าตลาดรวม (หุ้น) กลุ่มความรู้ด้านเทคโนโลยีเพิ่มขึ้นประมาณ 800 พันล้านดอลลาร์ในขณะที่กลุ่มผู้ไม่รู้หนังสือเทคโนโลยีจำนวน 80 พันล้านดอลลาร์ บริษัท ที่มีความรู้ทางด้านเทคโนโลยีนั้นใหญ่กว่า บริษัท อื่น ๆ ถึง 10 เท่าในตลาด นี่เป็นคำแถลงที่ชัดเจนเกี่ยวกับความคาดหวังของตลาดและไม่สูงสำหรับผู้ไม่รู้หนังสือ ดังนั้นโดยการคาดการณ์คุณมีความหวังแบบไหนที่จะท้าทายความคาดหวัง "ความแม่นยำในการทำนาย" ของ bozos เช่นนี้ เมื่อทำงานในร้านค้าเหล่านี้บางแห่งในนิวยอร์คฉันสามารถยืนยันได้ว่าองค์กรเหล่านี้มีระบบลงโทษและ / หรือผลักดันประเภทความรู้ทางเทคนิคอย่างสูงซึ่งไม่เหมาะกับวัฒนธรรม ถัดไปให้พิจารณามูลค่าตลาดรวม (หุ้น) กลุ่มความรู้ด้านเทคโนโลยีเพิ่มขึ้นประมาณ 800 พันล้านดอลลาร์ในขณะที่กลุ่มผู้ไม่รู้หนังสือเทคโนโลยีจำนวน 80 พันล้านดอลลาร์ บริษัท ที่มีความรู้ทางด้านเทคโนโลยีนั้นใหญ่กว่า บริษัท อื่น ๆ ถึง 10 เท่าในตลาด นี่เป็นคำแถลงที่ชัดเจนเกี่ยวกับความคาดหวังของตลาดและไม่สูงสำหรับผู้ไม่รู้หนังสือ ดังนั้นโดยการคาดการณ์คุณมีความหวังแบบไหนที่จะท้าทายความคาดหวัง "ความแม่นยำในการทำนาย" ของ bozos เช่นนี้ พิจารณามูลค่าตลาดรวม (หุ้น) ของพวกเขากลุ่มความรู้ด้านเทคโนโลยีเพิ่มขึ้นประมาณ 800 พันล้านดอลลาร์ในขณะที่กลุ่มที่ไม่รู้หนังสือเทคโนโลยีมีจำนวน 80 พันล้านดอลลาร์ หน่วยงานที่มีความรู้ทางด้านเทคโนโลยีนั้นใหญ่กว่าตัวอื่น ๆ ในตลาดถึง 10 เท่า นี่เป็นคำแถลงที่ชัดเจนเกี่ยวกับความคาดหวังของตลาดและไม่สูงสำหรับผู้ไม่รู้หนังสือ ดังนั้นโดยการคาดการณ์คุณมีความหวังแบบไหนที่จะท้าทายความคาดหวัง "ความแม่นยำในการทำนาย" ของ bozos เช่นนี้ พิจารณามูลค่าตลาดรวม (หุ้น) ของพวกเขากลุ่มความรู้ด้านเทคโนโลยีเพิ่มขึ้นประมาณ 800 พันล้านดอลลาร์ในขณะที่กลุ่มที่ไม่รู้หนังสือเทคโนโลยีมีจำนวน 80 พันล้านดอลลาร์ หน่วยงานที่มีความรู้ทางด้านเทคโนโลยีนั้นใหญ่กว่าตัวอื่น ๆ ในตลาดถึง 10 เท่า นี่เป็นคำแถลงที่ชัดเจนเกี่ยวกับความคาดหวังของตลาดและไม่สูงสำหรับผู้ไม่รู้หนังสือ ดังนั้นโดยการคาดการณ์คุณมีความหวังแบบไหนที่จะท้าทายความคาดหวัง "ความแม่นยำในการทำนาย" ของ bozos เช่นนี้
ดังนั้นหากการฝ่าวงล้อมทางวัฒนธรรมและขึ้นอยู่กับว่าคุณอยู่ที่ไหนคุณควรมีความคาดหวังที่สมจริง แน่นอนว่า "ผู้ไม่รู้หนังสือด้านเทคโนโลยี" ที่แตกต่างกันจะมีผู้จัดการที่รู้ว่าพวกเขากำลังทำอะไร แต่ส่วนใหญ่แล้วสิ่งเหล่านี้จะถูกครอบงำโดยความงี่เง่าของตัวหารร่วมที่ต่ำที่สุดในทักษะด้านเทคโนโลยีเช่นคนที่มีเทคนิคดีที่สุด กึ่งอันตราย (และอันตราย) หรือโดยทั่วไปจำนวนมากโดยสิ้นเชิง แต่ก็ไม่รู้ ในกรณีที่ฉันทำงานให้กับคนที่ต้องการคำเช่น "ความสัมพันธ์" ขัดจากดาดฟ้า c-suite นี่เป็นกรณีที่รุนแรง: หลังจากทั้งหมดเลขานุการทุกคนรู้ว่า "ความสัมพันธ์" คืออะไร
สิ่งนี้ทำให้เกิดปัญหาว่าบุคคลหนึ่งเกี่ยวข้องกับคนไร้เดียงสาและผู้ไร้เดียงสาได้อย่างไรเมื่อพวกเขาถามคำถามโง่ ๆ อย่าง "ทำไมคุณไม่ได้รับความแม่นยำในการทำนาย 99%" การตอบสนองที่ดีอย่างหนึ่งคือการตอบคำถามเช่น "ทำไมคุณคิดว่า PA ที่สูงเกินจริงนั้นเป็นไปได้ด้วยซ้ำ" อีกคนอาจจะเป็น "เพราะถ้าฉันได้รับ 99% PA จริง ๆ ฉันคงคิดว่าฉันทำอะไรผิดไป" ซึ่งมีแนวโน้มสูงที่จะเป็นจริงแม้จะมี 90% PA
มีคำถามพื้นฐานเพิ่มเติมเกี่ยวกับการยืนยันใน PA ว่าเป็นเกณฑ์เพียงอย่างเดียวสำหรับค่าของแบบจำลอง Leo Breiman ปลายปีทิ้งรอยเท้าไว้มากมายในชุมชนการสร้างแบบจำลองทางสถิติและการพยากรณ์ซึ่ง PA เป็นหนึ่งเดียว ความกังวลหลักของเขาที่มีต่อ PA คือการกล่าวถึงการวิพากษ์วิจารณ์จำนวนมากที่เกิดขึ้นในยุค 90 เกี่ยวกับความไม่แน่นอนและความผิดพลาดที่เกิดขึ้นจากการใช้งาน CART ต้นเดียว วิธีแก้ปัญหาของเขาคือการกระตุ้น“ ป่าสุ่ม” เป็นวิธีการประมาณและชั่วคราวที่จะเพิ่มความแม่นยำและลดความไม่แน่นอนโดยการกำจัดโครงสร้างต้นไม้ เขาเปรียบเทียบ MSE ที่ต่ำกว่าจาก ~ 1,000 ซ้ำ RF“ มินิโมเดล” กับข้อผิดพลาดจากแบบจำลองการถดถอยโลจิสติกเดียว ปัญหาเดียวก็คือเขาไม่เคยใส่ใจที่จะพูดถึงแอปเปิ้ลที่จ้องมองเพื่อเปรียบเทียบส้ม:
รางวัล Netflix ในปี 2008 มอบรางวัลเป็นเงินจำนวนมากแก่นักสถิติหรือทีมใด ๆ ที่สามารถปรับปรุงตาม MSE ของระบบผู้แนะนำ ในขณะนี้ Netflix ใช้จ่าย $ 150 ล้านต่อปีในระบบนี้เชื่อว่าค่าใช้จ่ายนั้นมากกว่าการกู้คืนจากความภักดีของลูกค้าและการซื้อภาพยนตร์ที่ไม่เคยถูกเลือกมาก่อน ผู้ชนะในที่สุดใช้ชุดรวมที่ซับซ้อนของโมเดลที่แตกต่างกัน 107 แบบ
อย่างไรก็ตามเมื่อ Netflix ได้เรียนรู้ปัญหาที่แท้จริงคือจากมุมมองด้านต้นทุนเต็มรูปแบบการปรับปรุงข้อผิดพลาดที่เกิดขึ้นจริงในโมเดลปัจจุบันของพวกเขานั้นลดลงเพียง 5% 0.005 จากการจัดอันดับ 5 คะแนน ไม่ต้องพูดถึงว่าค่าใช้จ่ายด้านไอทีในเวลาการยกของหนักและการบำรุงรักษาชุดที่ชนะเลิศของรุ่น 107 กว่าโมฆะกำไรใด ๆ จากการลดข้อผิดพลาด ด้วยเหตุนี้ Netflix จึงยกเลิกการติดตาม MSE ในที่สุดและไม่มีรางวัล Netflix อีกแล้ว
และนี่คือประเด็น: การลดข้อผิดพลาดในการคาดการณ์ให้น้อยที่สุดสามารถเป็น gamed หรือ p-hacked ได้ง่ายและมีแนวโน้มที่จะเกิดการทุจริตของนักวิเคราะห์ (เช่นการหาทางออกที่เชิดชูทักษะการสร้างแบบจำลองของนักวิเคราะห์ นอกจากนี้ยังเป็นโซลูชันทางสถิติและเป้าหมายที่ตั้งไว้อย่างสมบูรณ์ในสภาพเศรษฐกิจและธุรกิจ ตัวชี้วัดให้การพิจารณาเพียงเล็กน้อยหรือไม่มีการพิจารณาค่าใช้จ่ายเสริม, หลักประกัน - ผลการดำเนินงานจริงมากที่ประเมินจาก A ถึง Z ซึ่งควรเป็นส่วนสำคัญของกระบวนการตัดสินใจที่เต็มไปด้วยการแลกเปลี่ยน
นี่เป็นหนึ่งในปัญหาที่ฝังตัวอยู่ในองค์กรและยากมากที่จะเปลี่ยนแปลง กล่าวอีกนัยหนึ่งฉันรู้อย่างเต็มที่ว่าฉันกำลังเอียงกังหันลมด้วยคำพูดจาโผงผางเกี่ยวกับการใช้คำว่า PA