ความโน้มเอียงของ MLE ลดลงเร็วกว่าความแปรปรวนอย่างไร

ให้เป็นค่าประมาณโอกาสสูงสุดของพารามิเตอร์จริงของบางรุ่น ขณะที่จำนวนของจุดข้อมูลเพิ่มขึ้นข้อผิดพลาดมักจะลดลงเป็นn) การใช้ความไม่เท่าเทียมกันของสามเหลี่ยมและคุณสมบัติของการคาดหวังเป็นไปได้ที่จะแสดงให้เห็นว่าอัตราความผิดพลาดนี้หมายความว่าทั้ง "อคติ" และ "เบี่ยงเบน" ลดลงที่เดียวกัน $\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ $O(1/\sqrt n)$ $\lVert \mathbb E\hat\theta - \theta^*\rVert$ $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ $O(1/\sqrt{n})$ ประเมินค่า. แน่นอนว่ามันเป็นไปได้สำหรับรุ่นที่มีอคติที่หดตัวในอัตราที่เร็วขึ้น หลายรุ่น (เช่นการถดถอยกำลังสองน้อยสุด) ไม่มีอคติ

ฉันสนใจในรูปแบบที่มีอคติที่หดตัวเร็วกว่า $O(1/\sqrt n)$ แต่ข้อผิดพลาดที่ไม่หดตัวนี้ในอัตราที่เร็วเพราะส่วนเบี่ยงเบนยังคงหดตัวเป็น $O(1/\sqrt n)$ n) โดยเฉพาะอย่างยิ่งผมอยากจะรู้ว่าเงื่อนไขที่เพียงพอสำหรับการมีอคติแบบจำลองจะหดตัวลงในอัตรา $O(1/n)$ n)

— Mike Izbicki
แหล่งที่มา

ไม่ ? หรือ?

‖ \hat{θ} - θ^{*} ‖ = (\hat{θ} - θ^{*})^{2}

$\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$

— Alecos Papadopoulos

ฉันถูกถามโดยเฉพาะเกี่ยวกับบรรทัดฐาน L2 ใช่ แต่ฉันก็สนใจมาตรฐานอื่น ๆ ด้วยถ้ามันทำให้คำถามตอบง่ายขึ้น

— Mike Izbicki

(\hat{θ} - θ^{*})^{2}

$(\hat \theta -\theta^*)^2$ เป็นn)

O_{p} (1 / n)

$O_p(1/n)$

— Alecos Papadopoulos

ขออภัยฉันอ่านความคิดเห็นของคุณผิด สำหรับกฎเกณฑ์ L2 ในมิติและการบรรจบกันที่อัตรา . ผมเห็นว่าถ้าเรายืดมันแล้วมันจะมาบรรจบกันเป็นn)

d

$d$

‖ a - b ‖ = \sqrt{\sum_{i = 1}^{d} (a_{i} - b_{i})^{2}}

$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$

O (1 / \sqrt{n})

$O(1/\sqrt n)$

O (1 / n)

$O(1/n)$

— Mike Izbicki

คุณเคยเห็นกระดาษถดถอยของสันเขา (Hoerl & Kennard 1970) ไหม? ฉันเชื่อว่ามันให้เงื่อนไขในเมทริกซ์การออกแบบ + การลงโทษที่คาดว่าจะเป็นจริง

— dcl

คำตอบ:

โดยทั่วไปแล้วคุณต้องการรุ่นที่ MLE ไม่ปกติแบบไม่แสดงอาการ แต่แปลงเป็นการกระจายอื่น ๆ (และทำได้ในอัตราที่เร็วขึ้น) สิ่งนี้มักจะเกิดขึ้นเมื่อพารามิเตอร์ภายใต้การประมาณอยู่ที่ขอบเขตของพื้นที่พารามิเตอร์ หมายความว่า MLE จะเข้าหาพารามิเตอร์ "จากด้านใดด้านหนึ่งเท่านั้น" ดังนั้นจึง "ปรับปรุงความเร็วในการลู่เข้า" เนื่องจากมันไม่ "เบี่ยงเบนความสนใจ" โดยการ "ย้อนกลับ" รอบพารามิเตอร์

ตัวอย่างมาตรฐานคือ MLE สำหรับในตัวอย่าง iid ของเครื่องแบบ rv ของ MLE MLE ที่นี่เป็นสถิติลำดับสูงสุด $\theta$ $U(0,\theta)$

{\hat{θ}}_{n} = u_{(n)}

$\hat \theta_n = u_{(n)}$

การกระจายตัวอย่างอัน จำกัด ของมันคือ

F_{{\hat{θ}}_{n}} = \frac{({\hat{θ}}_{n})^{n}}{θ^{n}}, f_{\hat{θ}} = n \frac{({\hat{θ}}_{n})^{n - 1}}{θ^{n}}

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E ({\hat{θ}}_{n}) = \frac{n}{n + 1} θ ⟹ B (\hat{θ}) = - \frac{1}{n + 1} θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

ดังนั้นn) แต่อัตราที่เพิ่มขึ้นเดียวกันจะยังคงสำหรับความแปรปรวน $B(\hat \theta_n) = O(1/n)$

เราสามารถตรวจสอบได้ว่าเพื่อให้ได้การแจกแจงที่ จำกัด เราต้องดูตัวแปร , (เช่นเราต้องขยายด้วย ) $n(\theta - \hat \theta_n)$ $n$

P [n (θ - {\hat{θ}}_{n}) \leq z] = 1 - P [{\hat{θ}}_{n} \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - \frac{1}{θ^{n}} \cdot {(θ + \frac{- z}{n})}^{n} = 1 - \frac{θ^{n}}{θ^{n}} \cdot {(1 + \frac{- z / θ}{n})}^{n}

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e^{- z / θ}

$\to 1- e^{-z/\theta}$

ซึ่งเป็น CDF ของการแจกแจงเอ็กซ์โปเนนเชียล

ฉันหวังว่านี่จะให้ทิศทาง

— Alecos Papadopoulos
แหล่งที่มา

นี่กำลังใกล้เข้ามา แต่ฉันสนใจเป็นพิเศษในสถานการณ์ที่ความเอนเอียงลดลงเร็วกว่าความแปรปรวน

— Mike Izbicki

@MikeIzbicki อืม ... การบรรจบกันของอคติขึ้นอยู่กับช่วงเวลาแรกของการแจกแจงและความแปรปรวน (รากที่สองของ) ยังเป็น "ลำดับที่หนึ่ง" ฉันไม่แน่ใจว่าสิ่งนี้เป็นไปได้ที่จะเกิดขึ้นเพราะดูเหมือนว่ามันจะหมายความว่าช่วงเวลาของการกระจาย จำกัด "เกิดขึ้น" ที่อัตราการบรรจบกันที่ไม่เข้ากัน ... ฉันจะคิดถึงมัน

— Alecos Papadopoulos

การติดตามความคิดเห็นในคำตอบอื่นของฉัน (และดูอีกครั้งที่ชื่อคำถามของ OP!) นี่เป็นการสำรวจเชิงทฤษฎีที่ไม่เข้มงวดมากของปัญหา

เราต้องการตรวจสอบว่า Biasอาจมีอัตราการคอนเวอร์เจนซ์ที่แตกต่างจากรากที่สองของความแปรปรวนหรือไม่ $B(\hat \theta_n) = E(\hat \theta_n) - \theta$

B ({\hat{θ}}_{n}) = O (1 / n^{δ}), \sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

เรามี

B ({\hat{θ}}_{n}) = O (1 / n^{δ}) ⟹ lim n^{δ} E ({\hat{θ}}_{n}) < K ⟹ lim n^{2 δ} [E ({\hat{θ}}_{n})]^{2} < K^{'}

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

\begin{matrix} (1) & ⟹ [E ({\hat{θ}}_{n})]^{2} = O (1 / n^{2 δ}) \end{matrix}

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

ในขณะที่

\sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}) ⟹ lim n^{γ} \sqrt{E ({\hat{θ}}_{n}^{2}) - [E ({\hat{θ}}_{n})]^{2}} < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim \sqrt{n^{2 γ} E ({\hat{θ}}_{n}^{2}) - n^{2 γ} [E ({\hat{θ}}_{n})]^{2}} < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

\begin{matrix} (2) & ⟹ lim n^{2 γ} E ({\hat{θ}}_{n}^{2}) - lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} < M^{'} \end{matrix}

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

เราเห็นว่าอาจเกิดขึ้นได้หาก $(2)$

A)ส่วนประกอบทั้งสองเป็น ซึ่งในกรณีนี้เราสามารถมีเพียง\ $O(1/n^{2\gamma})$ $\gamma = \delta$

B)แต่มันก็อาจจะช่วยได้ถ้า

\begin{matrix} (3) & lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} \to 0 ⟹ [E ({\hat{θ}}_{n})]^{2} = o (1 / n^{2 γ}) \end{matrix}

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

เพื่อให้เข้ากันได้กับเราต้องมี $(3)$ $(1)$

\begin{matrix} (4) & n^{2 γ} < n^{2 δ} ⟹ δ > γ \end{matrix}

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

ดังนั้นดูเหมือนว่าโดยหลักการแล้วมันเป็นไปได้ที่จะให้ไบแอสมาบรรจบกันในอัตราที่เร็วกว่าสแควร์รูทของความแปรปรวน แต่เราไม่สามารถหาสแควร์รูทของการแปรปรวนมาบรรจบกันในอัตราที่เร็วกว่าอคติ

— Alecos Papadopoulos
แหล่งที่มา

คุณจะกระทบยอดสิ่งนี้กับการดำรงอยู่ของตัวประมาณแบบไม่เอนเอียงเหมือนกำลังสองน้อยสุดธรรมดาได้อย่างไร? ในกรณีที่แต่n)

B (\hat{θ}) = 0

$B(\hat\theta)=0$

\sqrt{V a r (\hat{θ})} = O (1 / \sqrt{n})

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$

— Mike Izbicki

@MikeIzbicki เป็นแนวคิดของการบรรจบกัน / ใหญ่ -O ใช้ในกรณีนี้หรือไม่? เพราะที่นี่ไม่ใช่ "ทุกอย่าง" ที่จะเริ่มต้นด้วย

B (\hat{θ})

$B(\hat \theta)$

O ()

$O()$

— Alecos Papadopoulos

ในกรณีนี้ดังนั้น0)

E \hat{θ} = θ^{*}

$\mathbb E\hat\theta=\theta^*$

B (\hat{θ}) = ‖ E \hat{θ} - θ^{*} ‖ = 0 = O (1) = O (1 / n^{0})

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$

— Mike Izbicki

@MikeIzbicki แต่ยังหรือหรืออื่น ๆ ที่คุณต้องการจด แล้วอัตราการบรรจบกันที่นี่เป็นเท่าไหร่?

B (\hat{θ}) = O (n)

$B(\hat \theta) = O(n)$

B (\hat{θ}) = O (1 / \sqrt{n})

$B(\hat \theta) =O(1/\sqrt{n})$

— Alecos Papadopoulos

@MikeIzbicki ฉันได้แก้ไขคำตอบของฉันเพื่อแสดงว่าเป็นไปได้ในหลักการที่จะให้อคติมาบรรจบกันได้เร็วขึ้นแม้ว่าฉันจะยังคงคิดว่าตัวอย่าง "zero-bias" เป็นปัญหา

— Alecos Papadopoulos