หลักสูตรความผิดพลาดในการประมาณค่าเฉลี่ยที่มีประสิทธิภาพ

ฉันมีการประมาณ (ประมาณ 1,000 รายการ) และพวกเขาทั้งหมดควรจะประมาณความยืดหยุ่นในระยะยาว น้อยกว่าครึ่งหนึ่งของจำนวนนี้ประมาณโดยใช้วิธี A และที่เหลือใช้วิธี B บางแห่งที่ฉันอ่านบางสิ่งบางอย่างเช่น "ฉันคิดว่าวิธี B ประมาณการบางสิ่งที่แตกต่างจากวิธี A มากขึ้นเนื่องจากการประมาณการสูงกว่ามาก (50-60%) " ความรู้เกี่ยวกับสถิติที่แข็งแกร่งของฉันนั้นอยู่ถัดจากอะไรเลยดังนั้นฉันจึงคำนวณค่าเฉลี่ยตัวอย่างและค่ามัธยฐานของตัวอย่างทั้งสอง ... และฉันเห็นความแตกต่างทันที วิธี A มีความเข้มข้นมากความแตกต่างระหว่างค่ามัธยฐานและค่าเฉลี่ยน้อยมาก แต่ตัวอย่างวิธี B แตกต่างกันอย่างมาก

ฉันได้ข้อสรุปว่าค่าผิดปกติและการวัดผิดพลาดทำให้ตัวอย่างวิธี B ดังนั้นฉันโยนค่าประมาณ 50 ค่า (ประมาณ 15%) ที่ไม่สอดคล้องกับทฤษฎี ... และทันใดนั้นค่าเฉลี่ยของทั้งสองตัวอย่าง (รวมถึง CI) มีความคล้ายคลึงกันมาก . ความหนาแน่นของแปลงก็เช่นกัน

(ในการค้นหาการกำจัดค่าผิดปกติฉันดูช่วงของตัวอย่าง A และลบจุดตัวอย่างทั้งหมดใน B ที่อยู่นอกมัน) ฉันอยากให้คุณบอกฉันว่าฉันสามารถหาข้อมูลเบื้องต้นเกี่ยวกับการประมาณค่าที่แข็งแกร่งของวิธีการที่จะ อนุญาตให้ฉันตัดสินสถานการณ์นี้อย่างจริงจังมากขึ้น และจะมีการอ้างอิงบางอย่าง ฉันไม่ต้องการความเข้าใจอย่างลึกซึ้งในเทคนิคต่าง ๆ แต่อ่านผ่านการสำรวจที่ครอบคลุมเกี่ยวกับวิธีการประเมินที่มีประสิทธิภาพ

ฉันทดสอบ t สำหรับนัยสำคัญของความแตกต่างเฉลี่ยหลังจากลบค่าผิดปกติและค่า p คือ 0.0559 (t ประมาณ 1.9) สำหรับตัวอย่างเต็มรูปแบบสถิติ t มีค่าประมาณ 4.5 แต่นั่นไม่ใช่จุดจริงวิธีการอาจแตกต่างกันเล็กน้อย แต่ไม่ควรแตกต่างกัน 50-60% ตามที่ระบุไว้ข้างต้น และฉันไม่คิดว่าพวกเขาทำ

คุณกำลังมองหาทฤษฎีหรือสิ่งที่ใช้งานได้จริง?

หากคุณกำลังมองหาหนังสือนี่คือบางส่วนที่ฉันเห็นว่ามีประโยชน์:

• FR Hampel, EM Ronchetti, PJRousseeuw, WA Stahel, สถิติที่แข็งแกร่ง: วิธีการขึ้นอยู่กับฟังก์ชั่นเรืองแสง, John Wiley & Sons, 1986

• PJ Huber, สถิติที่แข็งแกร่ง , John Wiley & Sons, 1981

• PJ รูสซียูน. เลอรอย, การถดถอยที่แข็งแกร่งและการตรวจหาค่าผิดปกติ , John Wiley & Sons, 1987

• RG Staudte, SJ Sheather, การประมาณค่าและการทดสอบที่ทนทาน , John Wiley & Sons, 1990

หากคุณกำลังมองหาวิธีการปฏิบัตินี่คือวิธีการที่มีประสิทธิภาพเพียงไม่กี่วิธีในการประมาณค่าเฉลี่ย ("ตัวประมาณค่าตำแหน่ง" คือฉันเดาศัพท์ที่มีหลักการมากกว่า):

• ค่ามัธยฐานนั้นง่ายรู้จักกันดีและทรงพลัง มันมีความทนทานที่ดีเยี่ยมต่อค่าผิดปกติ "ราคา" ของความแข็งแกร่งประมาณ 25%

• ค่าเฉลี่ยที่ประมาณ 5% เป็นอีกวิธีที่เป็นไปได้ ที่นี่คุณจะละทิ้งค่าสูงสุด 5% และต่ำสุด 5% จากนั้นนำค่าเฉลี่ย (ค่าเฉลี่ย) ของผลลัพธ์ สิ่งนี้มีความแข็งแกร่งน้อยกว่าค่าผิดปกติ: ตราบใดที่จุดข้อมูลของคุณเสียหายไม่เกิน 5% ก็ถือว่าดี แต่ถ้ามากกว่า 5% เกิดความเสียหายก็จะเปลี่ยนไปอย่างน่ากลัว (ไม่ลดลงอย่างสง่างาม) "ราคา" ของความแข็งแกร่งน้อยกว่าค่ามัธยฐานแม้ว่าฉันจะไม่รู้ว่ามันคืออะไร

• $\{(x_i+x_j)/2 : 1 \le i \le j \le n\}$$n(n+1)/2$$x_1,\dots,x_n$เป็นข้อสังเกต สิ่งนี้มีความทนทานที่ดีมาก: สามารถจัดการกับความเสียหายได้มากถึงประมาณ 29% ของจุดข้อมูลโดยไม่ล้มลงอย่างสิ้นเชิง และ "ราคา" ของความแข็งแกร่งต่ำ: ประมาณ 5% มันเป็นทางเลือกที่เป็นไปได้สำหรับค่ามัธยฐาน

• ค่าเฉลี่ยระหว่างควอไทล์เป็นตัวประมาณอื่นที่บางครั้งใช้ มันคำนวณค่าเฉลี่ยของควอไทล์ที่หนึ่งและสามและทำให้ง่ายต่อการคำนวณ มีความทนทานที่ดีมาก: สามารถทนต่อความเสียหายได้ถึง 25% ของจุดข้อมูล อย่างไรก็ตาม "ราคา" ของความแข็งแกร่งนั้นไม่สำคัญ: ประมาณ 25% เป็นผลให้ดูเหมือนว่าจะด้อยกว่าค่ามัธยฐาน

• มีมาตรการอื่น ๆ อีกมากมายที่เสนอมา แต่มาตรการด้านบนดูสมเหตุสมผล

ในระยะสั้นฉันจะแนะนำมัธยฐานหรืออาจเป็นตัวประมาณค่า Hodges-Lehmann

PS โอ้ฉันควรอธิบายสิ่งที่ฉันหมายถึงโดย "ราคา" ของความแข็งแกร่ง เครื่องมือประมาณการที่มีประสิทธิภาพได้รับการออกแบบมาเพื่อให้ทำงานได้อย่างดีแม้ว่าจุดข้อมูลบางจุดของคุณจะเสียหายหรือผิดปกติ แต่ถ้าคุณใช้ตัวประมาณที่มีประสิทธิภาพกับชุดข้อมูลที่ไม่มีค่าผิดและไม่มีความเสียหาย ในอุดมคติแล้วเราต้องการให้ตัวประมาณที่มีประสิทธิภาพนั้นมีประสิทธิภาพในการใช้ข้อมูลให้มากที่สุด ที่นี่เราสามารถวัดประสิทธิภาพด้วยข้อผิดพลาดมาตรฐาน (โดยสังเขปจำนวนข้อผิดพลาดทั่วไปในการประมาณที่สร้างโดยตัวประมาณ) เป็นที่ทราบกันว่าหากการสังเกตของคุณมาจากการแจกแจงแบบเกาส์เซียน (iid) และถ้าคุณรู้ว่าคุณไม่ต้องการความแข็งแกร่งค่าเฉลี่ยนั้นดีที่สุด: มันมีข้อผิดพลาดในการประมาณค่าที่น้อยที่สุด "ราคา" ของความแข็งแกร่งเหนือ เป็นข้อผิดพลาดมาตรฐานเพิ่มขึ้นเท่าใดถ้าเราใช้ตัวประมาณที่มีประสิทธิภาพกับสถานการณ์นี้ ราคาของความทนทาน 25% สำหรับค่ามัธยฐานหมายความว่าขนาดของข้อผิดพลาดในการประมาณค่าแบบทั่วไปกับค่ามัธยฐานจะมีขนาดใหญ่กว่าขนาดของข้อผิดพลาดในการประมาณค่าทั่วไปประมาณ 25% โดยมีค่าเฉลี่ย เห็นได้ชัดว่า "ราคา" ที่ต่ำกว่านั้นจะดีกว่า

ถ้าคุณชอบบางสิ่งที่สั้นและย่อยง่ายคุณสามารถดูบทความต่อไปนี้จากวรรณกรรมจิตวิทยา:

Erceg-Hurn, DM, & Mirosevich, VM (2008) วิธีการทางสถิติที่ทันสมัย: วิธีที่ง่ายที่สุดในการเพิ่มความแม่นยำและพลังของการวิจัยของคุณ นักจิตวิทยาอเมริกัน , 63 (7), 591–601 ดอย: 10.1037 / 0003-066X.63.7.591

พวกเขาส่วนใหญ่พึ่งพาหนังสือโดย Rand R Wilcox (ซึ่งยอมรับกันว่ายังไม่ทางคณิตศาสตร์มากเกินไป):

Wilcox, RR (2001) ความรู้พื้นฐานของวิธีการทางสถิติสมัยใหม่: ปรับปรุงกำลังและความแม่นยำอย่างมาก นิวยอร์ก; เบอร์ลิน: สปริงเกอร์
Wilcox, RR (2003) การประยุกต์ใช้เทคนิคทางสถิติร่วมสมัย อัมสเตอร์ดัม; บอสตัน: นักวิชาการสื่อมวลชน
Wilcox, RR (2005) ความรู้เบื้องต้นเกี่ยวกับการประมาณการและการทดสอบสมมติฐานที่มีประสิทธิภาพ สื่อวิชาการ

หนังสือเล่มหนึ่งที่รวมทฤษฎีเข้ากับการฝึกฝนเป็นอย่างดีคือวิธีการทางสถิติที่ทนทานกับ RโดยJurečkováและ Picek ฉันยังชอบสถิติที่แข็งแกร่งโดย Maronna et al ทั้งสองอย่างนี้อาจมีคณิตศาสตร์มากกว่าที่คุณสนใจ สำหรับบทแนะนำเพิ่มเติมที่มุ่งเน้นไปที่ R BelVenTutorial PDFนี้อาจช่วยได้