ทำไมเราถึงสนใจข้อผิดพลาดการกระจายแบบปกติ (และ homoskedasticity) มากในการถดถอยเชิงเส้นเมื่อเราไม่ต้องทำ

ฉันคิดว่าฉันหงุดหงิดทุกครั้งที่ได้ยินคนพูดว่าการไม่ปฏิบัติตามกฎเกณฑ์ของผู้ตกค้างและ / หรือ heteroskedasticity ละเมิดสมมติฐานของ OLS ในการประมาณค่าพารามิเตอร์ในแบบจำลอง OLS ไม่จำเป็นต้องใช้สมมติฐานเหล่านี้ในทฤษฎีบท Gauss-Markov ฉันเห็นว่าสิ่งนี้สำคัญในการทดสอบสมมติฐานสำหรับแบบจำลอง OLS เนื่องจากการสมมติว่าสิ่งเหล่านี้ทำให้เรามีสูตรที่เป็นระเบียบสำหรับการทดสอบ t-test การทดสอบ F และสถิติทั่วไปของ Wald

แต่มันก็ไม่ยากเกินไปที่จะทำการทดสอบสมมติฐานโดยที่ไม่มีพวกเขา หากเราลดลงเพียง homoskedasticity เราสามารถคำนวณข้อผิดพลาดมาตรฐานที่แข็งแกร่งและข้อผิดพลาดมาตรฐานคลัสเตอร์ได้อย่างง่ายดาย หากเราทิ้งกฎเกณฑ์โดยสิ้นเชิงเราสามารถใช้การบูตสแตรปปิ้งและกำหนดพารามิเตอร์แบบอื่นสำหรับข้อผิดพลาดอัตราส่วนความน่าจะเป็นและการทดสอบตัวคูณแบบลากรองจ์

มันเป็นเพียงความอัปยศที่เราสอนด้วยวิธีนี้เพราะฉันเห็นคนจำนวนมากที่ต้องดิ้นรนกับข้อสันนิษฐานที่พวกเขาไม่ต้องพบเจอในตอนแรก

ทำไมเราถึงเน้นสมมติฐานเหล่านี้อย่างมากเมื่อเรามีความสามารถในการใช้เทคนิคที่แข็งแกร่งกว่าได้อย่างง่ายดาย? ฉันขาดสิ่งสำคัญไปหรือเปล่า

ในเศรษฐมิติเราจะบอกว่าไม่ใช่กฎเกณฑ์ละเมิดเงื่อนไขของแบบจำลองการถดถอยเชิงเส้นปกติแบบคลาสสิกในขณะที่ heteroskedasticity ละเมิดทั้งสมมติฐานของ CNLR และแบบจำลองการถดถอยเชิงเส้นแบบคลาสสิก

แต่คนที่พูดว่า "... ฝ่าฝืน OLS" ก็เป็นธรรมเช่นกัน: ชื่อสามัญน้อยที่สุด - สแควร์สมาจากเกาส์โดยตรงและส่วนใหญ่หมายถึงข้อผิดพลาดปกติ ในคำอื่น ๆ "OLS" ไม่ใช่คำย่อสำหรับการประมาณกำลังสองน้อยที่สุด (ซึ่งเป็นหลักการและวิธีการทั่วไปที่มากกว่า) แต่เป็น CNLR

ตกลงนี่คือประวัติคำศัพท์และความหมาย ฉันเข้าใจประเด็นหลักของคำถามของ OP ดังนี้: "ทำไมเราควรเน้นอุดมคติถ้าเราพบวิธีแก้ปัญหาสำหรับกรณีที่ไม่มีอยู่?" (เนื่องจากสมมติฐาน CNLR นั้นเหมาะสมที่สุดในแง่ที่ว่าพวกเขามีคุณสมบัติตัวประมาณค่าสี่เหลี่ยมจัตุรัสที่ยอดเยี่ยม "แบบไม่ต้องวาง" และไม่จำเป็นต้องหันไปใช้ผลลัพธ์แบบซีมโทติคโปรดจำไว้ด้วยว่า OLS เป็นโอกาสสูงสุดเมื่อข้อผิดพลาดเป็นเรื่องปกติ )

ในฐานะที่เป็นที่เหมาะจะเป็นสถานที่ที่ดีที่จะเริ่มต้นการเรียนการสอน นี่คือสิ่งที่เราเคยทำในการสอนชนิดของเรื่องใด ๆ : "ง่าย" สถานการณ์สถานการณ์ "อุดมคติ" ฟรีซับซ้อนจริงจะพบในชีวิตจริงและการวิจัยจริงและที่ไม่มีการแก้ปัญหาที่ชัดเจนอยู่

และนี่คือสิ่งที่ฉันพบปัญหาเกี่ยวกับโพสต์ของ OP: เขาเขียนเกี่ยวกับข้อผิดพลาดมาตรฐานที่แข็งแกร่งและ bootstrap ราวกับว่าพวกเขาเป็น "ทางเลือกที่เหนือกว่า" หรือโซลูชั่นที่เข้าใจผิดได้ถึงการขาดสมมติฐานดังกล่าวภายใต้การสนทนา

".. สมมติฐานที่ผู้คนไม่ต้องพบ"

ทำไม? เพราะมีวิธีการบางอย่างในการจัดการกับสถานการณ์วิธีการที่มีความถูกต้องแน่นอน แต่ก็ยังห่างไกลจากอุดมคติ ข้อผิดพลาดมาตรฐานบูตและ heteroskedasticity แข็งแกร่งไม่ได้การแก้ปัญหาถ้าพวกเขาแน่นอนเขาพวกเขาจะได้กลายเป็นกระบวนทัศน์ที่โดดเด่นส่ง CLR และ CNLR หนังสือประวัติศาสตร์ แต่พวกเขาไม่ใช่

ดังนั้นเราจึงเริ่มจากชุดของสมมติฐานที่รับประกันคุณสมบัติตัวประมาณที่เราถือว่ามีความสำคัญ (เป็นการอภิปรายอีกครั้งว่าคุณสมบัติที่กำหนดเป็นที่ต้องการนั้นเป็นสิ่งที่ควรจะเป็นจริง) เพื่อให้เราเห็นได้ว่ามีการละเมิดใด ๆ ผลที่ตามมาซึ่งไม่สามารถชดเชยได้อย่างสมบูรณ์ผ่านวิธีการที่เราพบเพื่อจัดการกับการขาดสมมติฐานเหล่านี้ มันจะเป็นอันตรายจริง ๆ พูดทางวิทยาศาสตร์เพื่อถ่ายทอดความรู้สึกว่า "เราสามารถ bootstrap วิธีการของเราไปสู่ความจริงของเรื่อง" - เพราะเพียงแค่เราไม่สามารถ

ดังนั้นพวกเขายังคงแก้ปัญหาไม่สมบูรณ์ไม่ใช่ทางเลือกและ / หรือวิธีที่เหนือกว่าแน่นอนในการทำสิ่งต่าง ๆ ดังนั้นเราต้องสอนสถานการณ์ที่ปราศจากปัญหาก่อนจากนั้นชี้ไปที่ปัญหาที่อาจเกิดขึ้นจากนั้นจึงหารือเกี่ยวกับแนวทางแก้ไขที่เป็นไปได้ มิฉะนั้นเราจะยกระดับการแก้ปัญหาเหล่านี้ไปสู่สถานะที่พวกเขาไม่มี

ถ้าเรามีเวลาในชั้นเรียนที่เรานำเสนอแบบจำลองการถดถอยเพื่อหารือเกี่ยวกับการบูตสแตรปและเทคนิคอื่น ๆ ที่คุณพูดถึง (รวมถึงข้อสมมุติข้อผิดพลาด ฯลฯ ) จากนั้นฉันจะเห็นด้วยกับคุณว่าไม่จำเป็นต้องพูดถึงเรื่องปกติ และสมมติฐานที่เป็นเนื้อเดียวกัน แต่ในความจริงแล้วเมื่อมีการแนะนำการถดถอยครั้งแรกเราไม่มีเวลาพูดถึงสิ่งอื่น ๆ ทั้งหมดดังนั้นเราควรให้นักเรียนอนุรักษ์และตรวจสอบสิ่งที่อาจไม่จำเป็นและปรึกษานักสถิติ (หรือรับสถิติอื่น ๆ ) คลาสหรือ 2 หรือ 3, ... ) เมื่อไม่มีการสันนิษฐาน

หากคุณบอกนักเรียนว่าสมมติฐานเหล่านั้นไม่สำคัญยกเว้นเมื่อ ... ดังนั้นส่วนใหญ่จะจดจำเพียงแค่ส่วนที่ไม่สำคัญเท่านั้นและไม่สำคัญเมื่อส่วนต่างๆ

หากเรามีกรณีที่มีความแปรปรวนไม่เท่ากันใช่เรายังสามารถใส่เส้นกำลังสองน้อยที่สุดได้ แต่มันยังคงเป็นเส้นที่ดีที่สุด? หรือจะเป็นการดีกว่าถ้าคุณปรึกษาผู้ที่มีประสบการณ์ / ฝึกอบรมมากขึ้นเกี่ยวกับวิธีการจัดสายให้เหมาะสมในกรณีนั้น แม้ว่าเราจะมีความสุขกับสายกำลังสองน้อยที่สุดเราไม่ควรยอมรับว่าการคาดการณ์จะมีคุณสมบัติแตกต่างกันสำหรับค่าที่แตกต่างกันของผู้ทำนาย ดังนั้นการตรวจสอบความแปรปรวนที่ไม่เท่ากันจึงเป็นสิ่งที่ดีสำหรับการตีความในภายหลังแม้ว่าเราไม่ต้องการสำหรับการทดสอบ / ช่วงเวลา / ฯลฯ ที่เรากำลังใช้

1) ไม่ค่อยมีคนอยากจะประเมินเท่านั้น โดยปกติการอนุมาน - CIs, PIs, การทดสอบ - เป็นจุดมุ่งหมายหรืออย่างน้อยก็ส่วนหนึ่งของมัน (แม้ว่าบางครั้งมันจะค่อนข้างไม่เป็นทางการ)

2) สิ่งต่าง ๆ เช่นทฤษฎีบทเกาส์มาร์คอฟไม่จำเป็นต้องช่วยมากนัก - ถ้าการกระจายอยู่ห่างจากปกติมากพอตัวประมาณแบบเชิงเส้นไม่ได้ใช้ประโยชน์มากนัก ไม่มีจุดในการรับ BLUE หากไม่มีตัวประมาณเชิงเส้นดีมาก

3) สิ่งต่าง ๆ เช่นตัวประมาณแซนวิชเกี่ยวข้องกับพารามิเตอร์ปริยายจำนวนมาก มันอาจยังโอเคถ้าคุณมีข้อมูลจำนวนมาก แต่หลาย ๆ คนไม่ได้

4) ช่วงเวลาการทำนายขึ้นอยู่กับรูปร่างของการแจกแจงแบบมีเงื่อนไขรวมถึงมีการจัดการที่ดีเกี่ยวกับความแปรปรวนของการสังเกตคุณไม่สามารถส่งสัญญาณรายละเอียดออกไปได้อย่างง่ายดายด้วย PI

5) สิ่งต่าง ๆ เช่น bootstrapping มักจะมีประโยชน์สำหรับตัวอย่างที่มีขนาดใหญ่มาก บางครั้งพวกเขาต้องดิ้นรนในกลุ่มตัวอย่างขนาดเล็กและแม้แต่ในกลุ่มตัวอย่างที่มีขนาดปานกลางเรามักพบว่าคุณสมบัติการครอบคลุมที่แท้จริงนั้นไม่เหมือนโฆษณา

ซึ่งก็คือการพูด - บางสิ่งที่คนประเภทยาครอบจักรวาลต้องการให้พวกเขาเป็น ทุกสิ่งเหล่านี้มีที่ของพวกเขาและแน่นอนว่ามีหลายกรณีที่ไม่จำเป็นต้องมีกฎเกณฑ์ปกติและการประเมินและการอนุมาน (การทดสอบและ CIs) สามารถทำได้อย่างสมเหตุสมผลโดยไม่จำเป็นต้องมีภาวะปกติ

สิ่งหนึ่งที่มักจะถูกลืมคือสมมติฐานอื่น ๆ ที่สามารถทำได้แทน บ่อยครั้งที่ผู้คนรู้มากพอเกี่ยวกับสถานการณ์ที่จะทำให้การคาดเดาพารามิเตอร์ที่เหมาะสม (เช่นบอกว่า ... การตอบสนองแบบมีเงื่อนไขจะมีแนวโน้มที่จะเอียงไปทางขวากับ SD ซึ่งมีสัดส่วนค่อนข้างมากกับค่าเฉลี่ยอาจทำให้เราพิจารณาว่า บ่อยครั้งสิ่งนี้อาจเกี่ยวข้องกับทั้ง heteroskedasticity และ non-normality ในครั้งเดียว

เครื่องมือที่มีประโยชน์มากคือการจำลองโดยที่เราสามารถตรวจสอบคุณสมบัติของเครื่องมือของเราในสถานการณ์เช่นเดียวกับที่ปรากฏว่าข้อมูลของเราอาจเกิดขึ้นจากและใช้งานในความรู้ที่ปลอบโยนว่ามีคุณสมบัติที่ดีในกรณีเหล่านั้น ( หรือบางครั้งเห็นว่ามันใช้งานไม่ได้ดีอย่างที่เราหวัง)