MLE ของ

สมมติว่ามี pdf $(X,Y)$

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

ความหนาแน่นของตัวอย่างดึงมาจากประชากรนี้จึงเป็น $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$

\begin{aligned} g_{θ} (x, y) & = \prod_{i = 1}^{n} f_{θ} (x_{i}, y_{i}) \\ = \exp [- \sum_{i = 1}^{n} (\frac{x_{i}}{θ} + θ y_{i})] 1_{x_{1}, \dots, x_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{x}}{θ} - θ n \bar{y}] 1_{x_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

ตัวประมาณโอกาสสูงสุดของสามารถได้รับเป็น $\theta$

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

ฉันต้องการทราบว่าการ จำกัด การกระจายของ MLE นี้เป็นปกติหรือไม่

เป็นที่ชัดเจนว่าเป็นสถิติที่เพียงพอสำหรับตามกลุ่มตัวอย่างคือY) $\theta$ $(\overline X,\overline Y)$

ตอนนี้ฉันจะได้กล่าวว่า MLE เป็นอาการปกติโดยไม่ต้องสงสัยถ้ามันเป็นสมาชิกของตระกูลเลขชี้กำลังหนึ่งพารามิเตอร์แบบปกติ ฉันไม่คิดว่าเป็นเช่นนั้นส่วนหนึ่งเป็นเพราะเรามีสถิติเพียงพอสองมิติสำหรับพารามิเตอร์หนึ่งมิติ (เช่นในการแจกแจง ) $N(\theta,\theta^2)$

การใช้ความจริงที่ว่าและเป็นตัวแปรเอกซ์โปเนนเชียลที่เป็นอิสระฉันสามารถแสดงให้เห็นว่าการกระจายที่แน่นอนของเป็นเช่นนั้น $X$ $Y$ $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, where F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

ฉันไม่สามารถดำเนินการต่อเพื่อค้นหาการ จำกัด การกระจายจากที่นี่

ฉันสามารถโต้เถียงโดย WLLN ที่และดังนั้น . $\overline X\stackrel{P}\longrightarrow\theta$ $\overline Y\stackrel{P}\longrightarrow 1/\theta$ $\hat\theta\stackrel{P}\longrightarrow\theta$

นี้จะบอกฉันว่าลู่ในการกระจายไปยัง\แต่นี้ไม่ได้มาเป็นแปลกใจตั้งแต่เป็น 'ดี' ประมาณการของ\และผลลัพธ์นี้ไม่แข็งแรงพอที่จะสรุปได้ว่ามีอะไรบางอย่างเช่น asymptotically ปกติหรือไม่ ฉันไม่สามารถหาข้อโต้แย้งที่สมเหตุสมผลโดยใช้ CLT ได้ $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$

ดังนั้นคำถามยังคงอยู่ว่าการกระจายตัวของผู้ปกครองที่นี่ตรงตามเงื่อนไขปกติหรือไม่สำหรับการ จำกัด การกระจายของ MLE ให้เป็นปกติ

— StubbornAtom
แหล่งที่มา

สังเกตุว่ามันใกล้เคียงกับปกติมาก คุณอาจพบว่าการตั้งค่าเป็นง่ายขึ้น(เป็นเพียงตัวประกอบสเกล) แล้วพิจารณาว่าการกระจายของสแควร์รูทของอัตราส่วนของค่าเฉลี่ยตัวอย่างหมายถึงตัวแปรสุ่มแบบเอ็กซ์โพเนนเชียล iid เป็นแบบปกติ การใช้วิธีเดลต้าสิ่งนี้สอดคล้องกับการกระจายตัวของอัตราส่วนของค่าเฉลี่ยตัวอย่างของตัวแปรสุ่มแบบเอกซ์โพเนนเชียลของ iid ซึ่งเป็นแบบปกติเชิงเส้นกำกับ และนั่นก็สอดคล้องกับการกระจายตัวของอัตราส่วนของตัวแปรสุ่ม iid แกมมาสองตัวที่เป็นปกติแบบไม่แสดงอาการเมื่อพารามิเตอร์รูปร่างเพิ่มขึ้น

θ

$\theta$

1

$1$

— เฮนรี่

ความเป็นเชิงบรรทัดฐานของ MLEs นั้นไม่เกี่ยวอะไรกับตระกูลเอ็กซ์โปเนนเชียล อย่างสังหรณ์ใจเพื่อให้ความมั่นใจเชิงบรรทัดฐานของ asymptotic คุณต้องทำให้แน่ใจว่าไม่มีโอกาสที่วิธีแก้ปัญหาจะอยู่ใกล้กับขอบเขตของพื้นที่พารามิเตอร์

— whuber

@whuber เท่าที่ฉันรู้ไฟล์ PDF ที่เป็นสมาชิกของตระกูล exponential แบบบัญญัติซึ่งมักจะมี MLEs ที่เป็นแบบปกติเชิงเส้นกำกับ (ไม่ใช่ว่าเป็นเพราะครอบครัว exp) นั่นคือการเชื่อมต่อที่ฉันพยายามชี้ให้เห็น

— StubbornAtom

ขวา: แต่การเชื่อมต่อเป็นวิธีเดียว ผลลัพธ์เชิง asymptotic สำหรับ MLE นั้นกว้างกว่ามากและดังนั้นฉันจึงพยายามแนะนำว่าการมองไปในทิศทางทั่วไปแทนที่จะมุ่งเน้นไปที่คุณสมบัติของตระกูลเอกซ์โปเนนเชียลอาจเป็นการสอบถามที่มีประโยชน์มากกว่า

— whuber

หลักฐานการใช้ CLT หลายตัวแปรและวิธีเดลต้ายังเป็นไปได้ที่จะทำที่นี่

— StubbornAtom

หลักฐานโดยตรงสำหรับภาวะปกติเชิงซีมโทติค:

โอกาสในการบันทึกที่นี่คือ

L = - \frac{n \bar{x}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

อนุพันธ์อันดับหนึ่งและสองคือ

\frac{\partial L}{\partial θ} = \frac{n \bar{x}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{x}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

MLEน่าพอใจ $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

ใช้การขยายค่าเฉลี่ยรอบค่าที่แท้จริงเรามี $\theta_0$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

สำหรับบางในระหว่างและ\เรามีการจัดการใหม่ $\tilde \theta_n$ $\hat \theta_n$ $\theta_0$

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

แต่ในกรณีพารามิเตอร์เดียวของเราการผกผันเป็นเพียงส่วนกลับดังนั้นการแทรกการแสดงออกเฉพาะของอนุพันธ์

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{x}} (\frac{n \bar{x}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \sqrt{n} \cdot (\bar{x} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

ความแปรปรวนของผลรวมคือ

Var (\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

จัดการการแสดงออกที่เราสามารถเขียนโดยใช้สำหรับผลรวมขององค์ประกอบ iid $S_n$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

มากกว่าที่เรามีที่ ดังนั้น 0 ดังนั้นเราจึงมีเนื้อหาของ CLT แบบคลาสสิกและเราสามารถตรวจสอบได้ว่าสภาพของ Lindeberg นั้นน่าพึงพอใจ มันติดตามว่า $E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

เนื่องจากความสอดคล้องของตัวประมาณเราจึงมี

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

และโดยทฤษฎีของ Slutsky เราก็มาถึง

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

ดี ข้อมูลสองเท่าครึ่งของความแปรปรวน (เทียบกับกรณีที่เราจะประมาณตามตัวอย่างจากตัวแปรสุ่มเดียว) $\theta_0$

PS:ความจริงที่ว่าในนิพจน์ข้างต้นปรากฏในตัวส่วนชี้ไปที่ความคิดเห็นของ @ whuber ที่ความเป็นมาตรฐานเชิงเส้นกำกับของ MLE ต้องการพารามิเตอร์ที่ไม่รู้จักอยู่ห่างจากขอบเขตของพื้นที่พารามิเตอร์ (ในกรณีของเราห่างจากศูนย์) $\theta_0$

— Alecos Papadopoulos
แหล่งที่มา

ขออภัยสำหรับการตอบกลับปลาย. ตลอดเวลาที่ฉันไตร่ตรองว่านี่เป็นครอบครัวเอ็กซ์โพเนนเชียลแบบโค้งหรือไม่ดังนั้น MLE อาจทำงานแตกต่างกัน

— StubbornAtom

@StubbornAtom Asymptotic ภาวะปกติจะหายไปอย่างแน่นอนเมื่อพารามิเตอร์ภายใต้การประเมินอยู่ในขอบเขตของพารามิเตอร์

— Alecos Papadopoulos