ปล่อยค่าผิดปกติตาม“ 2.5 เท่า RMSE”

ในKahneman และ Deaton (2010)ผู้แต่งเขียนสิ่งต่อไปนี้:$^\dagger$

การถดถอยนี้อธิบายถึง 37% ของความแปรปรวนพร้อมกับรูทข้อผิดพลาดกำลังสองเฉลี่ย (RMSE) เท่ากับ 0.67852 ในการกำจัดค่าผิดปกติและรายงานรายได้ที่ไม่น่าเชื่อถือเราได้ลดการสังเกตซึ่งค่าสัมบูรณ์ของความแตกต่างระหว่างรายได้จากบันทึกและการคาดการณ์เกิน 2.5 เท่าของ RMSE

นี่คือการปฏิบัติทั่วไปหรือไม่ สัญชาตญาณที่อยู่เบื้องหลังการทำเช่นนั้นคืออะไร? ดูเหมือนจะค่อนข้างแปลกที่จะกำหนดค่าผิดปกติโดยยึดตามแบบจำลองซึ่งอาจไม่ได้ระบุอย่างชัดเจนตั้งแต่แรก การกำหนดค่าผิดปกติไม่ควรอยู่บนพื้นฐานทางทฤษฎีสำหรับสิ่งที่มีค่าที่น่าเชื่อถือมากกว่าแบบจำลองของคุณทำนายค่าจริงได้ดีเพียงใด

$\dagger$ : Daniel Kahneman, Angus Deaton (2010): รายได้สูงช่วยปรับปรุงการประเมินชีวิต แต่ไม่ใช่ความเป็นอยู่ที่ดีทางอารมณ์ _{^{การดำเนินการของ National Academy of Sciences ก.ย. 2010, 107 (38) 16489-16493; DOI: 10.1073 / pnas.1011492107}}

เหตุผลในการทิ้งข้อมูลนี้มีการระบุไว้ในคำกล่าวอ้างถึง: เพื่อ "กำจัดค่าผิดปกติและรายงานรายได้ที่ไม่น่าเชื่อถือ" ความจริงที่ว่าพวกเขาอ้างถึงสิ่งเหล่านี้ทั้งสองร่วมกันหมายความว่าพวกเขายอมรับว่าอย่างน้อยบางส่วนของค่าผิดปกติของพวกเขาไม่ได้เป็นค่าที่ไม่น่าเชื่อและในกรณีใด ๆ พวกเขาไม่ให้เหตุผลว่าทำไมค่าที่มี "รายได้ค่านิยม โดยการทำเช่นนี้พวกเขาจะลบจุดข้อมูลอย่างมีประสิทธิภาพเนื่องจากส่วนที่เหลือสูงกว่าที่คาดไว้ในตัวแบบการถดถอย ดังที่ฉันได้กล่าวไว้ในคำตอบอื่นที่นี่นี่เท่ากับความต้องการความเป็นจริงเพื่อให้สอดคล้องกับสมมติฐานของคุณและไม่สนใจบางส่วนของความเป็นจริงที่ไม่สอดคล้องกับสมมติฐานเหล่านั้น

ไม่ว่าจะเป็นการปฏิบัติทั่วไปหรือไม่ก็ตามมันเป็นการปฏิบัติที่แย่มาก. มันเกิดขึ้นเพราะจุดข้อมูลที่อยู่ห่างไกลนั้นยากที่จะจัดการและนักวิเคราะห์ไม่เต็มใจที่จะสร้างแบบจำลองอย่างถูกต้อง (เช่นโดยใช้แบบจำลองที่ช่วยให้ความสามารถสูงขึ้นในแง่ของข้อผิดพลาด) ดังนั้นพวกเขาจึงลบส่วนของความเป็นจริง สอดคล้องกับความสามารถในการสร้างแบบจำลองทางสถิติ การปฏิบัตินี้ไม่เป็นที่พึงพอใจทางสถิติและนำไปสู่การอ้างถึงความแปรปรวนประมาทและความผิดปกติในระบบที่มีการประมาท ผู้เขียนรายงานนี้รายงานว่าพวกเขาลดลง 3.22% ของข้อมูลเนื่องจากการลบค่าผิดปกติเหล่านี้ (หน้า 16490) เนื่องจากจุดข้อมูลเหล่านี้ส่วนใหญ่จะเป็นรายได้ที่สูงมากทำให้เกิดข้อสงสัยอย่างมากเกี่ยวกับความสามารถในการสรุปที่แข็งแกร่งเกี่ยวกับผลกระทบของรายได้สูง (ซึ่งเป็นเป้าหมายของกระดาษของพวกเขา)