ทำไมสถิติที่ไม่ทนทาน (และทนทาน) จึงถูกแทนที่ด้วยเทคนิคแบบดั้งเดิม?

เมื่อแก้ปัญหาทางธุรกิจโดยใช้ข้อมูลเป็นเรื่องธรรมดาที่มีสมมติฐานอย่างน้อยหนึ่งข้อที่ว่าสถิติแบบดั้งเดิมไม่ถูกต้อง ส่วนใหญ่ไม่มีใครมารบกวนการตรวจสอบสมมติฐานเหล่านั้นเพื่อให้คุณไม่เคยรู้จริง

ตัวอย่างเช่นเมตริกเว็บทั่วไปจำนวนมากจึงเป็น "แบบหางยาว" (สัมพันธ์กับการแจกแจงแบบปกติ) คือตอนนี้มีการบันทึกไว้เป็นอย่างดีเพื่อให้เราได้รับอนุญาต อีกตัวอย่างหนึ่งชุมชนออนไลน์ - แม้ในชุมชนที่มีสมาชิกนับพันก็มีเอกสารครบถ้วนว่าส่วนแบ่งที่ใหญ่ที่สุดของการมีส่วนร่วมในการมีส่วนร่วมในชุมชนเหล่านี้ส่วนใหญ่เป็นของกลุ่มผู้มีอิทธิพลน้อย (เช่นไม่กี่เดือนที่ผ่านมาหลังจากที่ SO API ให้บริการในรุ่นเบต้าสมาชิกStackOverflowเผยแพร่การวิเคราะห์สั้น ๆ จากข้อมูลที่เขาเก็บรวบรวมผ่านทาง API ข้อสรุปของเขา - น้อยกว่าร้อยละหนึ่งของบัญชีสมาชิก SO ส่วนใหญ่ กิจกรรมบน SO (สมมุติว่าถามคำถามและตอบคำถาม) อีก 1-2% คิดเป็นสัดส่วนที่เหลือและสมาชิกส่วนใหญ่ที่ไม่ทำอะไรเลย)

การแจกแจงของการเรียงลำดับนั้น - บ่อยครั้งมากกว่ากฎแทนที่จะเป็นข้อยกเว้น - มักถูกสร้างแบบจำลองที่ดีที่สุดด้วยฟังก์ชันความหนาแน่นของกฎกำลังไฟฟ้า สำหรับการแจกแจงแบบนี้แม้แต่ทฤษฎีบทขีด จำกัด กลางก็เป็นปัญหาที่จะนำมาใช้

ดังนั้นเมื่อมีประชากรจำนวนมากเช่นนี้เป็นที่สนใจของนักวิเคราะห์และเนื่องจากรูปแบบคลาสสิกนั้นมีประสิทธิภาพในการแสดงข้อมูลเหล่านี้ได้ไม่ดีนักและเนื่องจากวิธีการที่แข็งแกร่งและทนทานได้เกิดขึ้นมาระยะหนึ่งแล้ว (อย่างน้อย 20 ปี) พวกเขาไม่ได้ใช้บ่อยขึ้นหรือไม่ (ฉันยังสงสัยว่าทำไมฉันไม่ใช้บ่อยขึ้น แต่นั่นไม่ใช่คำถามสำหรับCrossValidated )

ใช่ฉันรู้ว่ามีบทตำราที่อุทิศให้กับสถิติที่มีประสิทธิภาพและฉันรู้ว่ามี (ไม่กี่) R แพ็คเกจ ( robustbaseเป็นสิ่งที่ฉันคุ้นเคยและใช้) เป็นต้น

และด้วยข้อได้เปรียบที่เห็นได้ชัดของเทคนิคเหล่านี้พวกเขามักจะเป็นเครื่องมือที่ดีกว่าสำหรับงานอย่างชัดเจน - ทำไมพวกเขาถึงไม่ใช้บ่อยกว่านี้อีก ? เราไม่ควรคาดหวังว่าจะเห็นสถิติที่แข็งแกร่ง (และทนทาน) ที่ใช้บ่อยกว่า (อาจสันนิษฐานได้) เทียบกับ analogs แบบคลาสสิก

คำอธิบายที่เป็นสาระสำคัญ (เช่นเทคนิค) ที่ฉันเคยได้ยินคือเทคนิคที่แข็งแกร่ง (เช่นกันสำหรับวิธีการดื้อยา) ขาดพลังงาน / ความไวของเทคนิคแบบดั้งเดิม ฉันไม่รู้ว่านี่เป็นเรื่องจริงในบางกรณีหรือไม่ แต่ฉันรู้ว่ามันไม่จริงในหลายกรณี

คำสุดท้ายของการจอง: ใช่ฉันรู้ว่าคำถามนี้ไม่มีคำตอบที่ถูกต้องที่พิสูจน์ได้ มีคำถามน้อยมากในเว็บไซต์นี้ ยิ่งไปกว่านั้นคำถามนี้เป็นคำถามที่แท้จริง มันไม่ใช่ข้ออ้างที่จะพัฒนามุมมอง - ฉันไม่มีมุมมองที่นี่เพียงคำถามที่ฉันหวังสำหรับคำตอบที่ชาญฉลาด

นักวิจัยต้องการค่า p น้อยและคุณสามารถรับค่า p น้อยลงหากคุณใช้วิธีการที่ทำให้สมมติฐานการกระจายที่แข็งแกร่งยิ่งขึ้น กล่าวอีกนัยหนึ่งวิธีการไม่ทนทานช่วยให้คุณเผยแพร่เอกสารเพิ่มเติม แน่นอนว่าเอกสารเหล่านี้อาจเป็นผลบวกที่ผิดพลาด แต่สิ่งพิมพ์เป็นสิ่งพิมพ์ นั่นเป็นคำอธิบายเหยียดหยาม แต่บางครั้งก็ใช้ได้

ดังนั้น 'โมเดลคลาสสิก' (ไม่ว่าพวกเขาจะเป็นอะไรฉันถือว่าคุณหมายถึงบางสิ่งบางอย่างเช่นแบบจำลองที่เรียบง่ายที่สอนในตำราเรียนและการประเมินโดย ML) จึงล้มเหลวในบางชุดข้อมูลโลกแห่งความจริง

หากโมเดลล้มเหลวมีสองวิธีพื้นฐานในการแก้ไข:

1. ทำให้สมมติฐานน้อยลง (โมเดลน้อยกว่า)
2. สร้างสมมติฐานเพิ่มเติม (โมเดลเพิ่มเติม)

สถิติที่มีประสิทธิภาพความน่าจะเป็นเสมือนและแนวทาง GEE ใช้แนวทางแรกโดยการเปลี่ยนกลยุทธ์การประเมินเป็นแบบที่ไม่ได้มีรูปแบบสำหรับทุกจุดข้อมูล (ที่มีประสิทธิภาพ) หรือไม่จำเป็นต้องแสดงลักษณะทั้งหมดของข้อมูล (QL และ GEE)

ทางเลือกคือพยายามสร้างแบบจำลองที่จำลองแหล่งที่มาของจุดข้อมูลที่ปนเปื้อนอย่างชัดเจนหรือด้านของรูปแบบดั้งเดิมที่ดูเหมือนจะเป็นเท็จในขณะที่ยังคงวิธีการประมาณไว้เหมือนเดิม

บางคนชอบอดีต (โดยเฉพาะอย่างยิ่งมันได้รับความนิยมในด้านเศรษฐศาสตร์) และบางคนชอบแบบหลัง ๆ (โดยเฉพาะอย่างยิ่งเป็นที่นิยมในหมู่ชาวเบย์ที่มักจะมีความสุขมากขึ้นกับแบบจำลองที่ซับซ้อนมากขึ้นโดยเฉพาะอย่างยิ่ง การอนุมานต่อไป)

สมมติฐานการกระจายแบบหางเท่ ๆ เช่นการใช้ทวินามลบมากกว่าปัวซองหรือทีมากกว่าปกติเป็นของกลยุทธ์ที่สอง 'สถิติที่แข็งแกร่ง' เป็นกลยุทธ์แรก

ในฐานะที่เป็นเรื่องจริงการหาตัวประมาณค่าสำหรับกลยุทธ์แรกสำหรับปัญหาที่ซับซ้อนสมจริงดูเหมือนว่าจะค่อนข้างยาก ไม่ใช่ว่าเป็นเหตุผลที่ไม่ทำเช่นนั้น แต่อาจเป็นคำอธิบายว่าทำไมมันถึงไม่ทำบ่อยนัก

ฉันขอแนะนำว่ามันเป็นความล่าช้าในการสอน คนส่วนใหญ่เรียนรู้สถิติที่วิทยาลัยหรือมหาวิทยาลัย หากสถิติไม่ใช่ระดับแรกของคุณและแทนระดับคณิตศาสตร์หรือวิทยาศาสตร์คอมพิวเตอร์แทนคุณอาจครอบคลุมเฉพาะโมดูลสถิติพื้นฐาน:

1. ความน่าจะเป็น
2. การทดสอบสมมติฐาน
3. การถอยหลัง

ซึ่งหมายความว่าเมื่อประสบกับปัญหาคุณลองและใช้สิ่งที่คุณรู้เพื่อแก้ปัญหา

• ข้อมูลไม่ปกติ - จดบันทึก
• ข้อมูลมีค่าผิดปกติที่น่ารำคาญ - ลบออก

นอกจากว่าคุณจะสะดุดสิ่งอื่นยากที่จะทำสิ่งที่ดีกว่า การใช้ Google เป็นเรื่องยากจริงๆถ้าคุณไม่รู้ว่ามันถูกเรียกว่าอะไร!

ฉันคิดว่าด้วยเทคนิคทั้งหมดจะใช้เวลาสักครู่ก่อนที่เทคนิคที่ใหม่กว่าจะกรองลง ใช้เวลานานแค่ไหนในการทดสอบสมมติฐานมาตรฐานเพื่อเป็นส่วนหนึ่งของหลักสูตรสถิติมาตรฐาน?

BTW ที่มีระดับสถิติจะยังคงมีความล่าช้าในการสอน - เพียงสั้น ๆ !

ทุกคนที่ได้รับการฝึกฝนในการวิเคราะห์ข้อมูลทางสถิติในระดับที่เหมาะสมจะใช้แนวคิดของสถิติที่มีประสิทธิภาพเป็นประจำ นักวิจัยส่วนใหญ่รู้เพียงพอที่จะมองหาค่าผิดปกติที่ร้ายแรงและข้อผิดพลาดในการบันทึกข้อมูล นโยบายในการลบจุดข้อมูลผู้ต้องสงสัยกลับเข้ามาในศตวรรษที่ 19 ด้วย Lord Rayleigh, GG Stokes และผู้อื่นในยุคนั้น หากคำถามคือ:

เหตุใดนักวิจัยจึงไม่ใช้วิธีการที่ทันสมัยกว่านี้ในการคำนวณตำแหน่งมาตราส่วนการถดถอย ฯลฯ โดยประมาณ

จากนั้นคำตอบดังกล่าวข้างต้น - วิธีการส่วนใหญ่ได้รับการพัฒนาในช่วง 25 ปีที่ผ่านมากล่าวว่า 1985 - 2010 ความล่าช้าในการเรียนรู้ปัจจัยวิธีการใหม่ในเช่นเดียวกับความเฉื่อยประกอบโดย 'ตำนาน' ที่ไม่มีอะไรผิดปกติ สุ่มสี่สุ่มห้าโดยใช้วิธีการคลาสสิก John Tukey แสดงความคิดเห็นว่าวิธีการที่ทนทาน / ทนทานที่คุณใช้นั้นไม่สำคัญสิ่งที่สำคัญคือคุณต้องใช้ เหมาะอย่างยิ่งที่จะใช้ทั้งวิธีแบบดั้งเดิมและแบบทนทาน / กันแรงเป็นประจำและกังวลเฉพาะเมื่อมีความแตกต่างมากพอที่จะสำคัญ แต่เมื่อพวกเขาแตกต่างกันคุณควรคิดอย่างหนัก

ถ้าเป็นเช่นนั้นคำถามคือ:

ทำไมนักวิจัยไม่หยุดและถามคำถามเกี่ยวกับข้อมูลของพวกเขาแทนที่จะใช้การประมาณที่ไม่เสถียรอย่างสุ่มสี่สุ่มห้า

จากนั้นคำตอบก็คือการฝึกอบรม มีนักวิจัยจำนวนมากเกินไปที่ไม่เคยได้รับการฝึกอบรมด้านสถิติอย่างถูกต้องสรุปโดยความเชื่อมั่นทั่วไปต่อค่า p ในฐานะที่เป็นทั้งหมดและสิ้นสุดทั้งหมดของ 'นัยสำคัญทางสถิติ'

@Kwak: การประเมินของ Huber จากปี 1970 นั้นแข็งแกร่งในแง่ของความคลาสสิค: พวกมันต่อต้านค่าผิดปกติ และตัวประมาณค่าการลดความน่าจะเป็นวันที่ดีก่อนปี 1980: การศึกษาความแข็งแกร่งของพรินซ์ตัน (ในปี 1971) รวมถึงการประมาณตำแหน่ง bisquare ซึ่งเป็นการประมาณที่ลดลง

สถิติเป็นเครื่องมือสำหรับนักวิจัยที่ไม่มีสถิติและพวกเขาไม่สนใจ

ฉันเคยพยายามช่วยบทความเกี่ยวกับการแพทย์อดีตภรรยาของฉันกำลังเขียนร่วม ฉันเขียนหลาย ๆ หน้าที่อธิบายข้อมูลสิ่งที่แนะนำว่าทำไมการสังเกตบางอย่างได้ถูกแยกออกจากการศึกษา ... และนักวิจัยหลักหมอโยนมันออกไปและขอให้ใครสักคนคำนวณค่า p ซึ่งเป็นสิ่งที่เธอ (และเกี่ยวกับทุกคนที่จะอ่านบทความ) ใส่ใจ

ฉันให้คำตอบในสองทิศทาง:

1. สิ่งที่แข็งแกร่งไม่จำเป็นต้องระบุว่าแข็งแกร่ง หากคุณเชื่อว่ามีความแข็งแกร่งต่อทุกสิ่งอยู่แล้วคุณก็ไร้เดียงสา
2. วิธีการทางสถิติที่ทำให้เกิดปัญหาของความแข็งแกร่ง appart บางครั้งไม่ได้ปรับให้เข้ากับโลกแห่งความจริง แต่มักจะมีคุณค่ามากขึ้น (เป็นแนวคิด) กว่าอัลกอริทึมที่ดูเหมือนครัว

developpment

ครั้งแรกฉันคิดว่ามีวิธีการที่ดีในสถิติ (คุณจะพบพวกเขาในแพ็คเกจ R ไม่จำเป็นต้องมีการกล่าวถึงที่แข็งแกร่ง) ซึ่งเป็นธรรมชาติที่แข็งแกร่งและทดสอบกับข้อมูลจริงและความจริงที่ว่าคุณไม่พบอัลกอริทึมด้วย "แข็งแกร่ง "พูดถึงบางแห่งไม่ได้หมายความว่ามันไม่แข็งแกร่ง อย่างไรก็ตามถ้าคุณคิดว่าการมีความแข็งแกร่งหมายถึงความเป็นสากลคุณจะไม่พบขั้นตอนที่แข็งแกร่ง (ไม่มีอาหารกลางวันฟรี) คุณต้องมีความรู้ / ความเชี่ยวชาญเกี่ยวกับข้อมูลที่คุณวิเคราะห์เพื่อใช้เครื่องมือดัดแปลงหรือสร้างแบบจำลองที่ดัดแปลง

ในทางกลับกันบางวิธีในสถิติไม่แข็งแกร่งเพราะพวกเขาจะทุ่มเทให้กับรูปแบบเดียวชนิดเดียว ฉันคิดว่ามันเป็นการดีที่จะได้ทำงานในห้องทดลองเพื่อทำความเข้าใจกับสิ่งต่าง ๆ นอกจากนี้ยังเป็นการดีที่จะรักษาปัญหาแยกเพื่อเข้าใจว่าปัญหาของเราคืออะไร ... นี่คือวิธีการทำงานของนักคณิตศาสตร์ ตัวอย่างของแบบจำลอง Gaussian elocant: ถูกวิพากษ์วิจารณ์อย่างมากเนื่องจากข้อสมมติ Gaussian นั้นไม่เคยสำเร็จ แต่ได้นำความคิด 75% มาใช้ในเชิงสถิติในปัจจุบัน คุณคิดว่าทั้งหมดนี้เกี่ยวกับการเขียนกระดาษเพื่อทำตามกฎการเผยแพร่หรือการตาย (ซึ่งฉันไม่ชอบฉันเห็นด้วย)?

ในฐานะที่เป็นคนที่ได้เรียนรู้สถิติเล็กน้อยสำหรับการวิจัยของฉันเองฉันจะเดาว่าเหตุผลนั้นเป็นน้ำท่วมทุ่งและเฉื่อย

ฉันสังเกตเห็นในสาขาของตัวเองว่าลำดับของหัวข้อที่สอนสะท้อนถึงประวัติศาสตร์ของสาขานั้น ความคิดเหล่านั้นที่มาก่อนได้รับการสอนก่อนและอื่น ๆ สำหรับผู้ที่เรียนรู้วิธีการใช้คร่าวๆเท่านั้นซึ่งหมายความว่าพวกเขาจะได้เรียนรู้สถิติแบบคลาสสิกก่อนและอาจเป็นครั้งสุดท้าย จากนั้นแม้ว่าพวกเขาจะเรียนรู้เพิ่มเติมสิ่งคลาสสิกที่ติดกับพวกเขาดีขึ้นเนื่องจากผลกระทบลำดับ

นอกจากนี้ทุกคนรู้ว่า t-test สองตัวอย่างคืออะไร น้อยกว่าทุกคนรู้ว่าการทดสอบผลรวมของ Mann-Whitney หรือ Wilcoxon Rank คืออะไร ซึ่งหมายความว่าฉันต้องออกแรงเพียงเล็กน้อยในการอธิบายว่าการทดสอบที่แข็งแกร่งของฉันคืออะไรเมื่อเทียบกับการไม่ต้องออกแรงใด ๆ กับการทดสอบแบบดั้งเดิม เงื่อนไขดังกล่าวจะส่งผลให้คนจำนวนน้อยลงใช้วิธีการที่แข็งแกร่งกว่าที่ควร

Wooldridge "เศรษฐมิติเบื้องต้น - วิธีการที่ทันสมัย" 2E p.261

หากข้อผิดพลาดมาตรฐานที่เข้มงวดของ Heteroskedasticity นั้นถูกต้องมากกว่าข้อผิดพลาดมาตรฐาน OLS ทั่วไปทำไมเรารบกวนเราถึงข้อผิดพลาดมาตรฐานตามปกติเลย? และโดยปกติแล้วการแจกแจงแบบกรอสจากนั้นสถิติ t ปกติจะมีการแจกแจงแบบทีแน่นอนโดยไม่คำนึงถึงขนาดตัวอย่าง ข้อผิดพลาดมาตรฐานที่มีประสิทธิภาพและสถิติที่มีประสิทธิภาพจะได้รับการพิสูจน์เท่านั้นเมื่อขนาดตัวอย่างมีขนาดใหญ่ ด้วยขนาดตัวอย่างขนาดเล็กสถิติ t ที่มีประสิทธิภาพสามารถมีการแจกแจงที่ไม่ใกล้เคียงกับการแจกแจง t และนั่นอาจทำให้การอนุมานของเราหลุดลอยไป ในขนาดตัวอย่างที่มีขนาดใหญ่เราสามารถสร้างกรณีสำหรับการรายงานข้อผิดพลาดมาตรฐานที่มีประสิทธิภาพของ Heteroskedasticity ในแอพพลิเคชั่นแบบตัดขวางเสมอ

แม้ว่าพวกเขาจะไม่ได้เกิดร่วมกัน แต่ฉันคิดว่าความนิยมที่เพิ่มขึ้นของสถิติแบบเบย์เป็นส่วนหนึ่งของมัน สถิติแบบเบย์สามารถบรรลุเป้าหมายเดียวกันได้มากมายผ่านทางนักบวชและแบบจำลองเฉลี่ยและมีแนวโน้มที่จะแข็งแกร่งขึ้นในทางปฏิบัติ

ฉันไม่ใช่นักสถิติประสบการณ์ของฉันในสถิติค่อนข้าง จำกัด ฉันใช้สถิติที่มีประสิทธิภาพในการประเมินวิสัยทัศน์คอมพิวเตอร์ / การสร้างแบบจำลอง 3 มิติ / ประมาณใหม่ นี่คือปัญหาของฉันจากมุมมองของผู้ใช้:

อันดับแรกสถิติที่มีประสิทธิภาพใช้จำนวนมากในด้านวิศวกรรมและวิทยาศาสตร์โดยไม่เรียกว่า "สถิติที่มีประสิทธิภาพ" ผู้คนจำนวนมากใช้มันอย่างสังหรณ์ใจมาถึงมันในกระบวนการของการปรับวิธีการเฉพาะสำหรับปัญหาโลกแห่งความจริง ยกตัวอย่างเช่นทำซ้ำ reweighted squares น้อยที่สุดและ trimmed หมายถึง / trimed square ที่ใช้กันโดยทั่วไปซึ่งผู้ใช้ไม่ทราบว่าพวกเขาใช้สถิติที่มีประสิทธิภาพ - พวกเขาเพียงแค่ทำให้วิธีการนี้สามารถใช้ได้จริงสำหรับข้อมูลจริง

ประการที่สองทั้งสถิติ "เชิงสัญจร" และสถิติที่น่าเชื่อถือที่ใส่ใจใช้ในทางปฏิบัติเสมอในกรณีที่ผลลัพธ์สามารถตรวจสอบได้หรือมีตัวชี้วัดข้อผิดพลาดที่มองเห็นได้ชัดเจน หากผลลัพธ์ที่ได้จากการแจกแจงแบบปกตินั้นไม่ถูกต้องหรือไม่ถูกต้องผู้คนก็เริ่มทำการแก้ไขด้วยน้ำหนักการตัดการสุ่มตัวอย่างอ่านกระดาษและจบลงด้วยการประมาณค่าที่แข็งแกร่งไม่ว่าพวกเขาจะรู้ระยะหรือไม่ก็ตาม ในทางกลับกันถ้าผลลัพธ์สุดท้ายของการวิจัยมีเพียงแค่กราฟิคและไดอะแกรมและไม่มีความรู้สึกไวต่อการตรวจสอบผลลัพธ์หรือถ้าสถิติปกติให้ผลดีพอ - คนก็ไม่ต้องกังวล

และสุดท้ายเกี่ยวกับประโยชน์ของสถิติที่มีประสิทธิภาพในฐานะทฤษฎี - ในขณะที่ทฤษฎีเองก็น่าสนใจมาก แต่ก็ไม่ได้ให้ประโยชน์เชิงปฏิบัติใด ๆ ตัวประมาณค่าที่มีประสิทธิภาพส่วนใหญ่นั้นค่อนข้างไม่สำคัญและใช้งานง่ายผู้คนมักจะคิดค้นสิ่งเหล่านี้ใหม่โดยไม่มีความรู้ทางสถิติ ทฤษฎี, เช่นการประมาณค่าจุดแยก, asymptotics, ความลึกของข้อมูล, ความหลากหลายของ heteroskedacity ช่วยให้เข้าใจข้อมูลได้ลึกขึ้น แต่ในกรณีส่วนใหญ่มันไม่จำเป็นเลย ข้อยกเว้นอย่างหนึ่งที่สำคัญคือจุดตัดของสถิติที่มีประสิทธิภาพและการตรวจจับแรงกดซึ่งสร้างวิธีการปฏิบัติใหม่ ๆ เช่น "cross-and-bouquet"

ความรู้ของฉันเกี่ยวกับตัวประมาณที่มีประสิทธิภาพนั้นเกี่ยวข้องกับข้อผิดพลาดมาตรฐานที่แข็งแกร่งสำหรับพารามิเตอร์การถดถอยเท่านั้นดังนั้นความคิดเห็นของฉันจะเกี่ยวข้องกับสิ่งเหล่านั้นเท่านั้น ฉันขอแนะนำให้ผู้คนอ่านบทความนี้

ใน "Huber Sandwich Estimator" และ "ข้อผิดพลาดมาตรฐานที่แข็งแกร่ง" โดย: Freedman, A. David นักสถิติชาวอเมริกัน, Vol. 60, ลำดับที่ 4 (พฤศจิกายน 2549), หน้า 299-302 ดอย: 10.1198 / 000313006X152207 ( เวอร์ชั่น PDF )

โดยเฉพาะอย่างยิ่งสิ่งที่ฉันกังวลเกี่ยวกับวิธีการเหล่านี้ไม่ใช่ว่าพวกเขาผิด แต่พวกเขาก็หันเหความสนใจจากปัญหาที่ใหญ่กว่า ดังนั้นฉันจึงเห็นด้วยกับคำตอบของ Robin Girard และพูดถึงเขาว่า "ไม่มีอาหารกลางวันฟรี"

แคลคูลัสและความน่าจะเป็นที่ต้องการสำหรับสถิติที่แข็งแกร่งนั้นยากกว่าปกติดังนั้น (a) มีทฤษฎีน้อยกว่าและ (b) ยากที่จะเข้าใจ

ฉันประหลาดใจที่เห็นว่าทฤษฎีบทเกาส์ - มาร์กอฟไม่ได้กล่าวถึงในรายการคำตอบที่ยาวขนาดนี้ afaics:

ในแบบจำลองเชิงเส้นที่มีข้อผิดพลาดแบบทรงกลม (ซึ่งรวมถึงข้อสมมติที่ไม่มีค่าผิดพลาด, ผ่านความแปรปรวนข้อผิดพลาดอัน จำกัด ), OLS มีประสิทธิภาพในชั้นเรียนของตัวประมาณแบบไม่เอนเอียงเป็นเส้นตรง - มี (จำกัด เพื่อให้แน่ใจ) ภายใต้เงื่อนไข " คุณทำไม่ได้ดีไปกว่า OLS "

ฉันไม่ได้โต้แย้งว่าสิ่งนี้ควรแสดงให้เห็นถึงการใช้ OLS เกือบตลอดเวลา แต่แน่นอนว่ามีส่วนทำให้เกิดเหตุผล (โดยเฉพาะอย่างยิ่งเนื่องจากเป็นข้ออ้างที่ดีที่จะมุ่งเน้นไปที่ OLS มากในการสอน)

ฉันเดาว่าสถิติที่มีประสิทธิภาพนั้นไม่เคยเพียงพอนั่นก็คือสถิติที่แข็งแกร่งเหล่านี้จะข้ามข้อมูลบางส่วนเกี่ยวกับการแจกแจง และฉันสงสัยว่ามันไม่ได้เป็นสิ่งที่ดีเสมอไป ในคำอื่น ๆ มีการแลกเปลี่ยนระหว่างความแข็งแกร่งและการสูญเสียข้อมูล

เช่นค่ามัธยฐานนั้นแข็งแกร่งเพราะ (ต่างจากค่าเฉลี่ย) มันใช้ข้อมูลเพียงครึ่งเดียวขององค์ประกอบ (ในกรณีที่ไม่ต่อเนื่อง):