OLS มีประสิทธิภาพแบบ Asymptotically ภายใต้ Heteroscedasticity หรือไม่

ฉันรู้ว่า OLS นั้นไม่เอนเอียง แต่ไม่มีประสิทธิภาพภายใต้ heteroscedasticity ในการตั้งค่าการถดถอยเชิงเส้น

ในวิกิพีเดีย

http://en.wikipedia.org/wiki/Minimum_mean_square_error

ตัวประมาณ MMSE นั้นไม่เอนเอียงและไม่มีส่วนร่วมและกระจายไปสู่การแจกแจงแบบปกติ: โดยที่ I (x) เป็นข้อมูลชาวประมงของ x ดังนั้นตัวประมาณ MMSE จึงมีประสิทธิภาพแบบไม่แสดงอาการ $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSE อ้างว่ามีประสิทธิภาพแบบไม่แสดงอาการ ฉันสับสนเล็กน้อยที่นี่

นี่หมายความว่า OLS ไม่ได้มีประสิทธิภาพในตัวอย่าง จำกัด แต่มีประสิทธิภาพแบบไม่เชิงเส้นภายใต้ heteroscedasticity

คำติชมของคำตอบปัจจุบัน: จนถึงขณะนี้คำตอบที่เสนอไม่ได้อยู่ที่การกระจายการ จำกัด

ขอบคุณล่วงหน้า

least-squares heteroscedasticity efficiency

— Cagdas Ozgenc
แหล่งที่มา

นั่นเป็นบทความวิกิพีเดียที่ค่อนข้างยาว นอกจากนี้สิ่งเหล่านี้อาจมีการเปลี่ยนแปลงคุณจะคิดว่าการอ้างถึงข้อความทำให้เกิดความสับสนหรือไม่?

— hejseb

ข้อมูลชาวประมงได้มาจากฟังก์ชั่นความน่าจะเป็น ดังนั้นจึงเป็นการบอกเป็นนัยว่าโอกาสถูกระบุไว้อย่างถูกต้อง นั่นคือคำสั่งที่คุณอ้างถึงหากมีความต่างกันแบบใดก็ตามการถดถอยนั้นจะถูกถ่วงน้ำหนักในแบบที่ระบุความแตกต่างอย่างถูกต้อง ดูen.wikipedia.org/wiki/Least_squares#Weighted_least_squares ในทางปฏิบัติบ่อยครั้งที่เราไม่รู้จักรูปแบบของความแตกต่างทางเพศดังนั้นบางครั้งเราจึงยอมรับความไร้ประสิทธิภาพมากกว่าที่จะใช้โอกาสในการให้น้ำหนักการถดถอยโดยพลาดการระบุแผนการถ่วงน้ำหนัก

— Zachary Blumenfeld

@ZacharyBlumenfeld ไม่มีข้อสันนิษฐานเกี่ยวกับการแจกแจง x ในบทความ เราลงเอยด้วยข้อมูลฟิชเชอร์ได้อย่างไร

— Cagdas Ozgenc

ดูen.wikipedia.org/wiki/Fisher_information บทความนี้มีความหมายว่าการแจกแจงแบบและเมื่อใช้ความคาดหวังในส่วนคำจำกัดความ โปรดทราบว่าความเป็นเนื้อเดียวกันไม่เคยมีมาก่อน ในบริบทของ OLS homoscedacticity สันนิษฐาน ,เมทริกซ์เอกลักษณ์ Heteroscedacticity อนุญาตให้ ,ใด ๆ ในแนวทแยงมุมกึ่งบวกแน่นอน ใช้จะส่งผลให้ข้อมูลฟิชเชอร์ที่แตกต่างกันเกินกว่าจะใช้ซิกฉัน

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

— Zachary Blumenfeld

ฉันจะเห็นหลักฐานของความจริงข้อนี้ได้ว่า "MMSE มาบรรจบกับการกระจายตัวแบบปกติ"

— Hajir

คำตอบ:

บทความไม่เคยคิดว่า homoskadasticity ในคำจำกัดความ ที่จะนำมันในบริบทของบทความ homoskedasticity จะบอกว่า อยู่ที่ไหนเป็นตัวตนของเมทริกซ์และเป็น จำนวนสเกลาร์บวก Heteroscadasticity ช่วยให้

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

diaganol ใด ๆ ที่เป็นบวกแน่นอน บทความนี้นิยามเมทริกซ์ความแปรปรวนร่วมโดยทั่วไปที่สุดเท่าที่จะเป็นไปได้ขณะที่วินาทีที่สองเป็นศูนย์กลางของการแจกแจงหลายตัวแปรโดยนัย เราจะต้องรู้ว่าการกระจายหลายตัวแปรของที่จะได้รับการประมาณการที่มีประสิทธิภาพและสอดคล้อง asymptotically ของx สิ่งนี้จะมาจากฟังก์ชั่นความน่าจะเป็น (ซึ่งเป็นส่วนประกอบที่จำเป็นของคนหลัง) ตัวอย่างเช่นสมมติว่า (เช่นจากนั้นฟังก์ชันความน่าจะเป็นโดยนัยคือ โดยที่เป็นไฟล์ PDF แบบหลายตัวแปรปกติ $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

ฟิชเชอร์ข้อมูลเมทริกซ์อาจถูกเขียนเป็น ดู en.wikipedia.org/wiki/Fisher_information มากขึ้น มันมาจากที่นี่ว่าเราสามารถได้รับมา ดังกล่าวข้างต้นคือการใช้ฟังก์ชั่นการสูญเสียกำลังสอง แต่ไม่ได้สมมติ homoscedasticity

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

ในบริบทของ OLS ที่เราถดถอยบนเราถือว่า โอกาสในการใช้งานโดยนัยคือ ซึ่งอาจถูกเขียนใหม่อย่างสะดวกสบายเป็น the pdf แบบ univariate ข้อมูลการประมงคือ $y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

ถ้า homoskedasticity ไม่ตรงตามข้อมูลฟิชเชอร์ที่ระบุไว้จะพลาด (แต่ฟังก์ชันการคาดการณ์ตามเงื่อนไขยังคงถูกต้อง) ดังนั้นการประมาณการของจะสอดคล้องกัน แต่ไม่มีประสิทธิภาพ เราสามารถเขียนความเป็นไปได้ที่จะบัญชีสำหรับ heteroskacticity และการถดถอยมีประสิทธิภาพนั่นคือเราสามารถเขียน นี่เทียบเท่ากับรูปแบบทั่วไปของ Least Squares บางรูปแบบ เช่นถ่วงน้ำหนักอย่างน้อยกำลังสอง อย่างไรก็ตามสิ่งนี้จะ $\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ เปลี่ยนเมทริกซ์ข้อมูลฟิชเชอร์ ในทางปฏิบัติเรามักจะไม่รู้จักรูปแบบของความแตกต่างทางเพศดังนั้นบางครั้งเราชอบยอมรับความไร้ประสิทธิภาพมากกว่าที่จะให้โอกาสเกิดการถดถอยโดยพลาดการระบุแผนการถ่วงน้ำหนัก ในกรณีดังกล่าวแปรปรวน asymptotic ของคือไม่ตามที่ระบุไว้ข้างต้น

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

— Zachary Blumenfeld
แหล่งที่มา

ขอบคุณตลอดเวลาที่คุณใช้ไป อย่างไรก็ตามฉันคิดว่ารายการ wiki เป็นอึทั้งหมด MMSE จะไม่ให้ประสิทธิภาพและไม่มีการระบุว่าตัวอย่างมีน้ำหนักเหมาะสม ยิ่งกว่านั้นแม้ว่าเราจะสมมติว่าตัวอย่างนั้นมีน้ำหนัก แต่ก็ยังไม่ใช่เครื่องมือที่มีประสิทธิภาพเว้นแต่จะมีการแจกแจงแบบเกาส์ซึ่งไม่ได้ระบุไว้

— Cagdas Ozgenc

@CagdasOzgenc ฉันไม่เห็นด้วยอย่างเคารพ บทความนี้เป็นประโยคในแบบเบย์ทั่วไปซึ่งอาจรวมถึงการถดถอย แต่ยังมีรูปแบบอื่น ๆ อีกมากมาย (ดูเหมือนจะมุ่งไปที่ตัวกรองคาลมานมากขึ้น) ความน่าจะเป็นตัวประมาณที่มีประสิทธิภาพมากที่สุดเมื่อเป็นที่รู้จักนี่เป็นคุณสมบัติพื้นฐานของความน่าจะเป็น สิ่งที่คำพูดของคุณนำไปใช้อย่างเคร่งครัดกับชุดย่อยของโมเดลการถดถอย (แม้ว่าจะอยู่ในโมเดลที่ใช้กันอย่างแพร่หลายที่สุด) ซึ่งจะถือว่าความเป็นปกติเมื่อได้รับเงื่อนไขการสั่งซื้อครั้งแรก

— Zachary Blumenfeld

คุณพูดด้วยตัวเอง น่าเสียดายที่บทความไม่ได้เกี่ยวกับตัวประมาณความน่าจะเป็น นี่คือเครื่องมือประมาณการค่าเฉลี่ยขั้นต่ำซึ่งมีประสิทธิภาพเมื่อเงื่อนไขบางประการพอใจ

— Cagdas Ozgenc

เอาล่ะฉันตกลงที่จะไม่เห็นด้วย :) บางทีอาจมีความขัดแย้งกับคำจำกัดความของ MMSE ระหว่างวิธีที่ใช้ในการถดถอยบ่อยที่สุดและวิธีนำไปใช้ที่นี่ในการตั้งค่าแบบเบย์เพิ่มเติม บางทีพวกเขาควรประดิษฐ์ชื่อใหม่สำหรับมัน อย่างไรก็ตามความเป็นไปได้ (หรือการประมาณค่าแบบไม่มีพารามิเตอร์อื่น ๆ ) ถูกนำมาใช้เมื่อได้รับความคาดหวังอย่างอิสระจากทุก ๆ โดยเฉพาะอย่างยิ่งในการตั้งค่าแบบเบย์ (มิฉะนั้นเราจะประเมินมันอย่างไร) หลังจาก Googling ฉันพบผลลัพธ์ที่คล้ายกันจำนวนมากกับวิกิพีเดีย อย่างไรก็ตามฉันยอมรับว่าคำศัพท์ถูกใช้งานในทางที่ผิด

— Zachary Blumenfeld

ไม่ได้ OLS ไม่มีประสิทธิภาพภายใต้ความหลากหลายทางเพศ ประสิทธิภาพของตัวประมาณนั้นจะได้รับหากตัวประมาณนั้นมีความแปรปรวนน้อยที่สุดในตัวประมาณค่าอื่น ๆ ที่เป็นไปได้ แถลงการณ์เกี่ยวกับประสิทธิภาพใน OLS ถูกสร้างขึ้นโดยไม่คำนึงถึงการ จำกัด การกระจายของตัวประมาณ

— random_guy
แหล่งที่มา