เกี่ยวกับการมีอยู่ของ UMVUE และทางเลือกของตัวประมาณของในประชากร

Letเป็นตัวอย่างที่สุ่มมาจากประชากรที่R $(X_1,X_2,\cdots,X_n)$ $\mathcal N(\theta,\theta^2)$ $\theta\in\mathbb R$

ฉันกำลังมองหา UMVUE ของ\ $\theta$

ข้อต่อความหนาแน่นของคือ $(X_1,X_2,\cdots,X_n)$

\begin{aligned} f_{θ} (x_{1}, x_{2}, \dots, x_{n}) & = \prod_{i = 1}^{n} \frac{1}{θ \sqrt{2 π}} \exp [- \frac{1}{2 θ^{2}} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [- \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [\frac{1}{θ} \sum_{i = 1}^{n} x_{i} - \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} x_{i}^{2} - \frac{n}{2}] \\ = g (θ, T (x)) h (x) \forall (x_{1}, \dots, x_{n}) \in R^{n}, \forall θ \in R \end{aligned}

$\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align}$

ที่และ 1 $g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]$ $h(\mathbf x)=1$

ที่นี่ขึ้นอยู่กับและถึงและเป็นอิสระจาก\ดังนั้นโดยทฤษฎีบทตัวประกอบฟิชเชอร์ - เนย์แมนสถิติสองมิติก็เพียงพอแล้วสำหรับ\ $g$ $\theta$ $x_1,\cdots,x_n$ $T(\mathbf x)=\left(\sum_{i=1}^nx_i,\sum_{i=1}^nx_i^2\right)$ $h$ $\theta$ $T(\mathbf X)=\left(\sum_{i=1}^nX_i,\sum_{i=1}^nX_i^2\right)$ $\theta$

อย่างไรก็ตามไม่ได้เป็นสถิติที่สมบูรณ์ นี่เป็นเพราะ $T$

E_{θ} [2 {(\sum_{i = 1}^{n} X_{i})}^{2} - (n + 1) \sum_{i = 1}^{n} X_{i}^{2}] = 2 n (1 + n) θ^{2} - (n + 1) 2 n θ^{2} = 0 \forall θ

$E_{\theta}\left[2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2\right]=2n(1+n)\theta^2-(n+1)2n\theta^2=0\qquad\forall\,\theta$

และฟังก์ชั่นไม่ใช่ศูนย์เหมือนกัน $g^*(T(\mathbf X))=2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2$

แต่ฉันรู้ว่าเป็นสถิติที่น้อยที่สุด $T$

ฉันไม่แน่ใจ แต่ฉันคิดว่าสถิติที่สมบูรณ์อาจไม่มีอยู่สำหรับตระกูลเลขชี้กำลังแบบโค้งนี้ แล้วฉันจะรับ UMVUE ได้อย่างไร? หากสถิติที่สมบูรณ์ไม่มีอยู่ตัวประมาณที่ไม่มีอคติ (เช่นในกรณีนี้) ซึ่งเป็นฟังก์ชันของสถิติที่เพียงพอเพียงเล็กน้อยคือ UMVUE หรือไม่ (หัวข้อที่เกี่ยวข้อง: เงื่อนไขที่จำเป็นสำหรับตัวประมาณที่ไม่มีอคติให้เป็น UMVUE คืออะไร ) $\bar X$

เกิดอะไรขึ้นถ้าผมคิดว่าดีที่สุดเชิงเส้นประมาณการที่เป็นกลาง (สีฟ้า) ของ ? BLUE สามารถเป็น UMVUE ได้หรือไม่ $\theta$

สมมติว่าฉันพิจารณาตัวประมาณค่าเชิงเส้นตรงของโดยที่และ 2 เนื่องจากเราไม่ทราบว่าEความคิดของฉันคือการลดเพื่อให้จะเป็นสีฟ้าของ\หากว่าจะแล้ว UMVUE ของ ? $T^*(\mathbf X)=a\bar X+(1-a)cS$ $\theta$ $c(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}$ $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ $E_{\theta}(cS)=\theta$ $\text{Var}(T^*)$ $T^*$ $\theta$ $T^*$ $\theta$

ผมได้นำเป็นกลาง estimator เชิงเส้นขึ้นอยู่กับและเป็นนอกจากนี้ยังมีเพียงพอสำหรับ\ $\bar X$ $S$ $(\bar X,S^2)$ $\theta$

แก้ไข:

มีการทำงานมากมายในการประมาณในครอบครัวทั่วไปซึ่งเป็นที่รู้จักต่อไปนี้เป็นข้อมูลอ้างอิงที่เกี่ยวข้องมากที่สุด: $\theta$ $\mathcal N(\theta,a\theta^2)$ $a>0$

ฉันพบข้ออ้างอิงแรกในการฝึกหัดนี้จากการอนุมานทางสถิติโดย Casella / Berger:

คำถามของฉันไม่ได้เกี่ยวกับแบบฝึกหัดนี้

บันทึกย่อสุดท้าย (การตัดทอน $\theta$ บท) บอกว่าUMVUE ofไม่มีอยู่เนื่องจากสถิติที่น้อยที่สุดยังไม่สมบูรณ์ ฉันอยากจะรู้ว่าอะไรทำให้เราสามารถสรุปได้ว่า UMVUE ไม่มีอยู่จริงเพราะไม่สามารถหาสถิติที่เพียงพอได้? มีผลลัพธ์ที่เกี่ยวข้องเกี่ยวกับเรื่องนี้หรือไม่? ฉันเห็นการมีอยู่ของ UMVUE แม้ว่าจะไม่มีสถิติเพียงพอที่สมบูรณ์ในเธรดที่เชื่อมโยง

ทีนี้สมมติว่าไม่มีความแปรปรวนขั้นต่ำที่เหมือนกันอย่างสม่ำเสมอและไม่มีค่าประมาณสิ่งที่ควรเป็นเกณฑ์ต่อไปของเราในการเลือกตัวประมาณค่าที่ดีที่สุด เรามองหา MSE ขั้นต่ำความแปรปรวนขั้นต่ำหรือ MLE หรือไม่ หรือตัวเลือกของเกณฑ์ขึ้นอยู่กับจุดประสงค์ของการประเมินของเรา

ตัวอย่างเช่นสมมติว่าผมมีความเป็นกลาง estimatorและอีกประมาณลำเอียงของ\สมมติว่า MSE ของ (ซึ่งเป็นความแปรปรวนของมัน) มีมากขึ้นกว่าที่T_2เนื่องจากการย่อขนาดของ MSE หมายถึงการลดความเอนเอียงรวมถึงความแปรปรวนพร้อมกันฉันคิดว่าควรเป็นตัวเลือกตัวประมาณค่าที่ดีกว่าแม้ว่าแบบเดิมจะเอนเอียง $T_1$ $T_2$ $\theta$ $T_1$ $T_2$ $T_2$ $T_1$

ตัวเลือกที่น่าจะเป็นของตัวประมาณของอยู่ในรายการจากหน้า 4 ของบันทึกย่อล่าสุด $\theta$

สารสกัดต่อไปนี้มาจากทฤษฎีการประมาณค่าจุดโดย Lehmann / Casella (ฉบับที่สอง, หน้า 87-88):

เป็นไปได้สูงมากที่ฉันเข้าใจผิดทุกอย่าง แต่ประโยคสุดท้ายที่บอกว่าภายใต้เงื่อนไขบางประการการมีสถิติที่สมบูรณ์จำเป็นสำหรับการมีอยู่ของ UMVUE หรือไม่? ถ้าเป็นเช่นนี้ผลลัพธ์ที่ฉันควรจะดูคืออะไร?

ว่าผลที่ผ่านมาเนื่องจาก RR กฤษณาซึ่งเป็นที่กล่าวถึงขวาสุดหมายถึงนี้ทราบ

เมื่อทำการค้นหาเพิ่มเติมฉันพบผลลัพธ์ที่ระบุว่าหากสถิติที่น้อยที่สุดไม่สมบูรณ์สถิติก็จะไม่มีอยู่จริง อย่างน้อยฉันก็ค่อนข้างมั่นใจว่าสถิติที่สมบูรณ์ไม่มีอยู่ที่นี่

อีกผลลัพธ์ที่ฉันลืมที่จะพิจารณาคือเงื่อนไขที่จำเป็นและเพียงพอสำหรับตัวประมาณที่ไม่มีอคติที่จะเป็น UMVUE นั่นคือมันจะต้องไม่เกี่ยวข้องกับตัวประมาณค่าที่เป็นกลางทั้งหมด ฉันพยายามใช้ทฤษฎีบทนี้เพื่อแสดงว่า UMVUE ไม่มีอยู่ที่นี่และความจริงที่ว่าตัวประมาณที่ไม่มีอคติเช่นไม่ใช่ UMVUE แต่นี่ไม่ใช่งานง่ายอย่างที่ทำในที่นี้ในภาพประกอบสุดท้าย $\bar X$

— StubbornAtom
แหล่งที่มา

ปรับปรุง:

พิจารณาตัวประมาณ ที่ให้ในโพสต์ของคุณ นี่คือตัวประมาณค่าที่เป็นกลางโดยมีค่าและจะมีความสัมพันธ์อย่างชัดเจนกับตัวประมาณที่ให้ไว้ด้านล่าง (สำหรับค่าใด ๆ ของ )

\hat{0} = \bar{X} - c S

$\hat 0 = \bar{X} - cS$

c

$c$

0

$0$

a

$a$

ทฤษฎีบท6.2.25จาก C&B แสดงวิธีการค้นหาสถิติที่เพียงพอสำหรับตระกูลเอ็กซ์โปเนนเชียลตราบเท่าที่มีชุดเปิดในโชคไม่ดี การแจกแจงนี้ทำให้และซึ่งไม่ได้สร้างชุดเปิดใน (ตั้งแต่ ) มันเป็นเพราะเหตุนี้ที่สถิติไม่สมบูรณ์สำหรับและเป็นเหตุผลเดียวกับที่เราสามารถสร้างตัวประมาณค่าที่ไม่เอนเอียงของที่จะมีความสัมพันธ์กับตัวประมาณที่ไม่มีอคติใด ๆ

{(w_{1} (θ), \dots w_{k} (θ)}

$\{(w_1(\theta), \cdots w_k(\theta)\}$

R^{k}

$\mathbb R^k$

w_{1} (θ) = θ^{- 2}

$w_1(\theta) = \theta^{-2}$

w_{2} (θ) = θ^{- 1}

$w_2(\theta) = \theta^{-1}$

R^{2}

$R^2$

w_{1} (θ) = w_{2} (θ)^{2}

$w_1(\theta) = w_2(\theta)^2$

(\bar{X}, S^{2})

$(\bar{X}, S^2)$

θ

$\theta$

0

$0$

θ

$\theta$ ที่ขึ้นอยู่กับสถิติที่เพียงพอ

การปรับปรุงอื่น:

จากที่นี่การโต้แย้งนั้นสร้างสรรค์ มันจะต้องเป็นกรณีที่มีอยู่อีกประมาณเป็นกลางดังกล่าวที่เป็นเวลาอย่างน้อยหนึ่ง\ $\tilde\theta$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta \in \Theta$

พิสูจน์:สมมติว่า ,และ (สำหรับค่าของ ) พิจารณาตัวประมาณค่าใหม่ ตัวประมาณค่านี้ไม่มีความเป็นกลางอย่างชัดเจนพร้อมความแปรปรวน Lethat0)} $E(\hat\theta) = \theta$ $E(\hat 0) = 0$ $Cov(\hat\theta, \hat 0) < 0$ $\theta$

\tilde{θ} = \hat{θ} + b \hat{0}

$\tilde\theta = \hat\theta + b\hat0$

V a r (\tilde{θ}) = V a r (\hat{θ}) + b^{2} V a r (\hat{0}) + 2 b C o v (\hat{θ}, \hat{0})

$Var(\tilde\theta) = Var(\hat\theta) + b^2Var(\hat0) + 2bCov(\hat\theta,\hat0)$

M (θ) = \frac{- 2 C o v (\hat{θ}, \hat{0})}{V a r (\hat{0})}

$M(\theta) = \frac{-2Cov(\hat\theta, \hat0)}{Var(\hat0)}$

โดยสมมติฐานจะต้องอยู่ดังกล่าวว่า0 ถ้าเราเลือกแล้วที่ \ดังนั้นไม่สามารถเป็น UMVUE ได้ $\theta_0$ $M(\theta_0) > 0$ $b \in (0, M(\theta_0))$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta_0$ $\hat\theta$ $\quad \square$

สรุป:ความจริงที่ว่ามีความสัมพันธ์กับ (สำหรับทางเลือกใด ๆ ของ) แสดงให้เห็นว่าเราสามารถสร้างประมาณการใหม่ซึ่งดีกว่าสำหรับอย่างน้อยหนึ่งจุดละเมิดความสม่ำเสมอของอ้างเพื่อความเป็นกลางที่ดีที่สุด $\hat\theta$ $\hat0$ $a$ $\hat\theta$ $\theta_0$ $\hat\theta$

ลองดูแนวคิดของคุณเกี่ยวกับชุดค่าผสมเชิงเส้นอย่างใกล้ชิดยิ่งขึ้น

\hat{θ} = a \bar{X} + (1 - a) c S

$\hat\theta = a \bar X + (1-a)cS$

ในขณะที่คุณชี้ให้เห็นเป็นตัวประมาณที่เหมาะสมเนื่องจากขึ้นอยู่กับสถิติที่เพียงพอ (แม้ว่าจะยังไม่สมบูรณ์) เห็นได้ชัดว่าตัวประมาณนี้ไม่เอนเอียงดังนั้นเพื่อคำนวณ MSE ที่เราต้องการเพียงแค่คำนวณความแปรปรวน $\hat\theta$

\begin{aligned} M S E (\hat{θ}) & = a^{2} V a r (\bar{X}) + (1 - a)^{2} c^{2} V a r (S) \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [E (S^{2}) - E (S)^{2}] \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [θ^{2} - θ^{2} / c^{2}] \\ = θ^{2} [\frac{a^{2}}{n} + (1 - a)^{2} (c^{2} - 1)] \end{aligned}

$\begin{align*} MSE(\hat\theta) &= a^2 Var(\bar{X}) + (1-a)^2 c^2 Var(S) \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[E(S^2) - E(S)^2\right] \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[\theta^2 - \theta^2/c^2\right] \\ &= \theta^2\left[\frac{a^2}{n} + (1-a)^2(c^2 - 1)\right] \end{align*}$

โดยความแตกต่างของเราสามารถหา "ที่ดีที่สุด" สำหรับกำหนดขนาดตัวอย่างn $a$ $n$

a_{o p t} (n) = \frac{c^{2} - 1}{1 / n + c^{2} - 1}

$a_{opt}(n) = \frac{c^2 - 1}{1/n + c^2 - 1}$ โดยที่

c^{2} = \frac{n - 1}{2} {(\frac{Γ ((n - 1) / 2)}{Γ (n / 2)})}^{2}

$c^2 = \frac{n-1}{2}\left(\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}\right)^2$

เนื้อเรื่องของตัวเลือกที่ดีที่สุดของได้รับด้านล่าง $a$

มันค่อนข้างน่าสนใจที่จะทราบว่าเมื่อเรามี (ยืนยันผ่าน Wolframalpha) $n\rightarrow \infty$ $a_{opt}\rightarrow \frac{1}{3}$

แม้ว่าจะไม่มีการรับประกันว่านี่คือ UMVUE ตัวประมาณนี้เป็นตัวประมาณค่าความแปรปรวนขั้นต่ำของชุดค่าผสมเชิงเส้นที่ไม่เอนเอียงทั้งหมดของสถิติที่เพียงพอ

— knrumsey
แหล่งที่มา

ขอบคุณสำหรับการอัพเดท. ฉันไม่ได้ทำตามตำราอาหารและเครื่องดื่ม แต่ดูแบบฝึกหัดเท่านั้น

— StubbornAtom

@StubbornAtom ฉันได้เพิ่มหลักฐานที่แสดงว่าทำไมไม่สามารถเป็น UMVUE (ยืมมาจาก C&B หน้า 344) ลองดูและแจ้งให้เราทราบหากนี่ช่วยได้บ้าง

\hat{θ}

$\hat\theta$

— knrumsey