OLS เป็นสีฟ้า แต่ถ้าฉันไม่สนใจเรื่องความเป็นกลางและความเป็นเส้นตรงล่ะ?


14

ทฤษฎีบทเกาส์ - มาร์คอฟบอกเราว่าตัวประมาณ OLS เป็นตัวประมาณค่าแบบไม่เอนเอียงเชิงเส้นที่ดีที่สุดสำหรับตัวแบบการถดถอยเชิงเส้น

แต่สมมติว่าฉันไม่สนใจเรื่องความเป็นเส้นตรงและความเป็นกลาง จากนั้นมีการประมาณค่าอื่น ๆ (แบบไม่เชิงเส้น / ลำเอียง) สำหรับตัวแบบการถดถอยเชิงเส้นซึ่งมีประสิทธิภาพมากที่สุดภายใต้สมมติฐาน Gauss-Markov หรือสมมติฐานทั่วไปอื่น ๆ

แน่นอนว่ามีหนึ่งผลลัพธ์มาตรฐาน: OLS เป็นตัวประมาณค่าที่ดีที่สุดหากนอกเหนือไปจากสมมติฐาน Gauss-Markov เรายังสันนิษฐานว่าข้อผิดพลาดนั้นมักจะกระจายออกไป สำหรับการแจกแจงข้อผิดพลาดเฉพาะอื่น ๆ ฉันสามารถคำนวณตัวประมาณโอกาสสูงสุดที่สอดคล้องกันได้

แต่ฉันสงสัยว่ามีตัวประมาณซึ่งดีกว่า OLS ในบางสถานการณ์ที่ค่อนข้างทั่วไปหรือไม่?

คำตอบ:


18

การประมาณที่ไม่เอนเอียงเป็นเรื่องปกติในหลักสูตรสถิติเบื้องต้นเนื่องจากมี: 1) คลาสสิก 2) ง่ายต่อการวิเคราะห์ทางคณิตศาสตร์ ขอบเขตล่างของ Cramer-Rao เป็นหนึ่งในเครื่องมือหลักสำหรับ 2) อยู่ห่างจากประมาณการที่ไม่มีอคติมีการปรับปรุงที่เป็นไปได้ การแลกเปลี่ยนความแปรปรวนแบบอคติเป็นแนวคิดสำคัญในสถิติเพื่อทำความเข้าใจว่าการประเมินแบบลำเอียงนั้นดีกว่าการประมาณการแบบไม่ลำเอียงได้อย่างไร

น่าเสียดายที่การประมาณค่าแบบเอนเอียงนั้นยากต่อการวิเคราะห์ ในการถดถอยการวิจัยส่วนใหญ่ในช่วง 40 ปีที่ผ่านมานั้นเกี่ยวกับการประเมินความลำเอียง สิ่งนี้เริ่มต้นด้วยการถดถอยของสัน (Hoerl and Kennard, 1970) ดูFrank and Friedman (1996)และBurr and Fry (2005)สำหรับการตรวจสอบและข้อมูลเชิงลึก

การแลกเปลี่ยนอคติแปรปรวนกลายเป็นสิ่งสำคัญในมิติที่สูงซึ่งจำนวนของตัวแปรมีขนาดใหญ่ Charles Stein ทำให้ทุกคนประหลาดใจเมื่อเขาพิสูจน์ว่าใน Normal หมายถึงปัญหาค่าเฉลี่ยตัวอย่างจะไม่สามารถยอมรับได้อีกต่อไปถ้า (ดู Stein, 1956) เครื่องประเมิน James-Stein (James and Stein 1961) เป็นตัวอย่างแรกของเครื่องประมาณค่าที่ใช้ควบคุมค่าเฉลี่ยตัวอย่าง อย่างไรก็ตามมันก็ไม่อาจยอมรับได้p3

ส่วนที่สำคัญของปัญหาความแปรปรวนอคติคือการพิจารณาว่าควรทำการปิดอคติอย่างไร ไม่มีเดียว“ดีที่สุด” ประมาณการคือ Sparsity เป็นส่วนสำคัญของการวิจัยในทศวรรษที่ผ่านมา ดูHesterberg และคณะ (2008)สำหรับการตรวจสอบบางส่วน

ส่วนใหญ่ประมาณที่อ้างถึงข้างต้นเป็นที่ไม่ใช่เชิงเส้นในYการถดถอยของสันเขานั้นไม่ใช่แบบเชิงเส้นเมื่อข้อมูลถูกใช้เพื่อกำหนดพารามิเตอร์ของสันเขาY


1
@chl ที่สอง ภาพรวมที่ดี
mpiktas

1
หนึ่งในตัวประมาณค่าที่ฉันโปรดปราน: จุดเดียวที่เลือกโดยพลการของพื้นที่พารามิเตอร์ซึ่งไม่ใช่ค่าที่เป็นไปไม่ได้ :)
ความ

9

ฉันไม่รู้ว่าคุณพอใจกับการประมาณค่าแบบเบย์หรือไม่? ถ้าใช่แล้วขึ้นอยู่กับฟังก์ชั่นการสูญเสียที่คุณสามารถได้รับการประมาณการ Bayes ที่แตกต่างกัน ทฤษฎีบทของแบล็กเวลล์ระบุว่าการประมาณค่าของเบย์จะไม่มีความเอนเอียง ข้อโต้แย้งเชิงทฤษฎีการตัดสินใจระบุว่ากฎที่ยอมรับได้ ((หรือกฎอื่น ๆ ที่เทียบกัน) มีค่าพารามิเตอร์ที่ความเสี่ยงของกฎปัจจุบันน้อยกว่ากฎที่ใช้ การเปรียบเทียบ)) เป็นกฎเบย์ (ทั่วไป)

ตัวประมาณการ James-Stein เป็นตัวประมาณประเภทอื่น (ซึ่งสามารถหาได้จากวิธี Bayesian asymptotically) ซึ่งดีกว่า OLS ในหลาย ๆ กรณี

OLS สามารถยอมรับได้ในหลาย ๆ สถานการณ์และ James-Stein Estimator เป็นตัวอย่าง (เรียกอีกอย่างว่าสไตน์ขัดแย้ง)


ขอบคุณสำหรับคำแนะนำ จะต้องกดไลบรารี่เพื่อให้เข้าใจหมด
Jyotirmoy Bhattacharya

1
@suncoolsu นั่นไม่ใช่คำจำกัดความทั่วไปของการยอมรับ สิ่งที่คุณให้นั้นแข็งแกร่งขึ้นมาก ตัวประมาณค่าที่ยอมรับได้คือสิ่งที่ไม่ได้ถูกควบคุมอย่างสม่ำเสมอนั่นคือสำหรับกฎอื่น ๆ ที่ถูกเปรียบเทียบจะมีค่าของพารามิเตอร์ที่ความเสี่ยงของกฎปัจจุบันน้อยกว่ากฎที่ใช้ มันกำลังถูกเปรียบเทียบ ตรงกันข้ามการยอมรับประมาณการเป็นหนึ่งที่ (อ่อน) ครอบงำโดยบางประมาณการอื่น ๆ สำหรับทุกค่าของพารามิเตอร์และถูกครอบงำอย่างเคร่งครัดสำหรับอย่างน้อยหนึ่งค่าโดยประมาณเดียวกันกับที่
พระคาร์ดินัล

@cardinal Yup คุณพูดถูก ฉันจะแก้ไขให้ถูกต้อง
suncoolsu

@cardinal การใช้คณิตศาสตร์นั้นง่ายกว่าการทำให้เป็นภาษาอังกฤษง่ายขึ้น แต่นั่นเป็นเพียงฉัน ขอบคุณสำหรับการแก้ไข @cardinal
suncoolsu

1
@suncoolsu asymptotic unbiasedness นั้นแตกต่างจากสามัญสำนึกของ "unbiased" มาก การประมาณการที่สมเหตุสมผลใด ๆ ควรไม่เอนเอียง อีกหนึ่งหมายเหตุ: คำแถลงเกี่ยวกับเครื่องมือประมาณค่าที่ยอมรับไม่ควรเป็นวิธีอื่น นั่นคือตัวประมาณค่าที่ยอมรับได้คือ Bayes ทั่วไป
vqv

4

มีบทความวิจารณ์ที่ดีโดยKay และ Eldarเกี่ยวกับการประเมินแบบเอนเอียงเพื่อจุดประสงค์ในการค้นหาตัวประมาณค่าที่มีความคลาดเคลื่อนกำลังสองต่ำสุดหมายถึง

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.