Bootstrapping - ฉันต้องลบค่าผิดปกติก่อนหรือไม่

เราได้ทำการทดสอบแยกคุณลักษณะของผลิตภัณฑ์ใหม่และต้องการวัดว่าการเพิ่มขึ้นของรายได้นั้นสำคัญหรือไม่ โดยทั่วไปการสังเกตของเราจะไม่ได้รับการเผยแพร่อย่างแน่นอน (ผู้ใช้ส่วนใหญ่ของเราไม่ใช้จ่ายและภายในที่ทำนั้นจะมีการบิดเบือนอย่างมากต่อผู้ใช้รายย่อยจำนวนมากและผู้ใช้รายใหญ่สองสามราย)

เราได้ตัดสินใจใช้ bootstrapping เพื่อเปรียบเทียบวิธีการเพื่อให้ได้ข้อมูลที่ไม่ได้รับการเผยแพร่ตามปกติ (คำถามด้านข้าง: นี่เป็นการใช้ bootstrapping ที่ถูกกฎหมายหรือไม่)

คำถามของฉันคือฉันจำเป็นต้องตัดค่าชุดข้อมูล (เช่นผู้ใช้จ่ายจำนวนน้อยมาก) ก่อนที่จะเรียกใช้ bootstrapping หรือไม่นั้นสำคัญหรือไม่?

ก่อนที่จะกล่าวถึงสิ่งนี้เป็นสิ่งสำคัญที่จะต้องยอมรับว่าการทุจริตต่อหน้าที่ทางสถิติของ "การลบค่าผิดปกติ" ได้ถูกประกาศใช้อย่างผิด ๆ ในการสอนเชิงสถิติ ตามธรรมเนียมแล้วค่าผิดปกติหมายถึงการใช้ประโยชน์สูงและการสังเกตที่มีอิทธิพลสูง หนึ่งสามารถและควรระบุการสังเกตดังกล่าวในการวิเคราะห์ข้อมูล แต่เงื่อนไขเหล่านั้นเพียงอย่างเดียวไม่รับประกันว่าการลบการสังเกตเหล่านั้น "ค่าผิดจริง" คือการใช้ประโยชน์จากการสังเกตการณ์ที่มีอิทธิพลสูง / สูงซึ่งไม่สอดคล้องกับการจำลองแบบของการออกแบบการทดลอง การสังเกตเช่นนี้ต้องการความรู้เฉพาะด้านของประชากรและวิทยาศาสตร์ที่อยู่เบื้องหลัง "กลไกการสร้างข้อมูล" สิ่งสำคัญที่สุดคือคุณควรจะสามารถระบุaprioriผู้ที่มีโอกาสเป็นโรคได้

สำหรับแง่มุมของการบูตสแตรปของสิ่งต่าง ๆ บู๊ทสแตรปนั้นมีวัตถุประสงค์เพื่อจำลองอิสระจากการสุ่มประชากรซ้ำ หากคุณ prespecify เกณฑ์การยกเว้นในการวางแผนการวิเคราะห์ของคุณ, คุณยังควรจะปล่อยให้ค่าการยกเว้นในการจัดจำหน่ายอ้างอิงบูตสุ่มตัวอย่าง นี่เป็นเพราะคุณจะบัญชีสำหรับการสูญเสียพลังงานเนื่องจากการใช้การยกเว้นหลังจากสุ่มตัวอย่างข้อมูลของคุณ อย่างไรก็ตามหากไม่มีเกณฑ์การยกเว้นที่กำหนดไว้ล่วงหน้าและค่าผิดปกติจะถูกลบออกโดยใช้การตัดสินหลังการตัดสินใจเนื่องจากการชุมนุมอย่างเห็นได้ชัดการลบค่าเหล่านี้จะทำให้เกิดข้อผิดพลาดเดียวกันในการอนุมานที่เกิดจากการลบค่าผิดปกติ

พิจารณาการศึกษาเกี่ยวกับความมั่งคั่งและความสุขในกลุ่มตัวอย่างแบบง่าย ๆ ที่ไม่มีการควบคุมจำนวน 100 คน ถ้าเราทำตามคำพูด "1% ของประชากรถือ 90% ของความมั่งคั่งของโลก" ตามตัวอักษรแล้วเราจะสังเกตโดยเฉลี่ยหนึ่งค่าที่มีอิทธิพลสูงมาก สมมติว่ายิ่งกว่านั้นจะทำให้คุณภาพชีวิตขั้นพื้นฐานไม่มีความสุขที่เกินจากรายได้ที่มากขึ้น (แนวโน้มเชิงเส้นที่ไม่คงที่) ดังนั้นบุคคลนี้จึงมีความสามารถในการก่อหนี้สูง

ค่าสัมประสิทธิ์การถดถอยกำลังสองน้อยที่สุดสอดคล้องกับข้อมูลที่ไม่บริสุทธิ์ประเมินค่าประชากรโดยเฉลี่ยแนวโน้มการสั่งซื้อครั้งแรกในข้อมูลเหล่านี้ มันถูกลดทอนอย่างมากโดยบุคคลที่ 1 ของเราในตัวอย่างที่มีความสุขสอดคล้องกับผู้ที่อยู่ใกล้ระดับรายได้เฉลี่ย หากเราลบบุคคลนี้ความชันการถดถอยกำลังสองน้อยที่สุดจะใหญ่กว่ามาก แต่ความแปรปรวนของการถดถอยจะลดลงดังนั้นการอนุมานเกี่ยวกับการเชื่อมโยงจึงมีค่าใกล้เคียงกัน ความยากลำบากในการทำเช่นนี้คือฉันไม่ได้กำหนดเงื่อนไขเบื้องต้นสำหรับบุคคลที่จะได้รับการยกเว้น หากนักวิจัยอีกคนทำซ้ำการออกแบบการศึกษานี้พวกเขาจะสุ่มตัวอย่างค่าเฉลี่ยของรายได้สูงหนึ่งรายบุคคลที่มีความสุขในระดับปานกลางและได้รับผลลัพธ์ที่ไม่สอดคล้องกับผลลัพธ์ "ตัด" ของฉัน

หากเราaprioriสนใจในสมาคมความสุขที่มีรายได้ปานกลางเราควรคาดการณ์ล่วงหน้าว่าเราจะทำได้เช่น "เปรียบเทียบบุคคลที่มีรายได้น้อยกว่า $ 100,000 ต่อปีของรายได้ครัวเรือน" ดังนั้นการลบค่าผิดปกติทำให้เราประเมินความสัมพันธ์ที่เราไม่สามารถอธิบายได้ดังนั้นค่า p จึงไม่มีความหมาย

ในทางกลับกันอุปกรณ์การแพทย์ที่คาดการผิดและการสำรวจด้วยตนเองที่รายงานด้วยตนเองจะสามารถลบออกได้ ยิ่งสามารถอธิบายเกณฑ์การยกเว้นได้อย่างแม่นยำมากขึ้นก่อนการวิเคราะห์ที่เกิดขึ้นจริงผลลัพธ์ที่ถูกต้องและสอดคล้องกันมากขึ้นซึ่งการวิเคราะห์ดังกล่าวจะสร้างขึ้น

การมองสิ่งนี้เป็นปัญหาที่ผิดเพี้ยนดูเหมือนว่าผิดสำหรับฉัน หาก "<10% ของผู้ใช้จ่ายเลย" คุณต้องสร้างแบบจำลองด้านนั้น การถดถอยของ Tobit หรือ Heckman จะเป็นไปได้สองทาง