ปรับปรุงตัวประมาณขั้นต่ำ

สมมติว่าผมมีค่าบวกในการประมาณการของพวกเขาและสอดคล้องประมาณการเป็นกลางผลิตโดยตัวประมาณคือ ,เป็นต้น$n$$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

ฉันต้องการประมาณโดยใช้การประมาณการในมือ เห็นได้ชัดว่าไร้เดียงสามีอคติต่ำกว่า $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

สมมติว่าฉันยังมีเมทริกซ์ความแปรปรวนร่วมของตัวประมาณอยู่ในมือ เป็นไปได้ไหมที่จะได้รับการประเมินขั้นต่ำแบบไม่เอนเอียง (หรือมีอคติน้อยกว่า) โดยใช้การประมาณที่กำหนดและเมทริกซ์ความแปรปรวนร่วม?$\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

ฉันไม่มีคำตอบที่ชัดเจนเกี่ยวกับการดำรงอยู่ของตัวประมาณค่าที่เป็นกลาง อย่างไรก็ตามในแง่ของข้อผิดพลาดในการประมาณค่าการประมาณเป็นปัญหาที่ยากโดยทั่วไป$\min(\mu_1, \dots, \mu_n)$

ตัวอย่างเช่นสมมติและmu_n) Letเป็นปริมาณเป้าหมายและเป็นค่าประมาณของ\ถ้าเราใช้ตัวประมาณค่า "ไร้เดียงสาโดยที่จากนั้นข้อผิดพลาดโดยประมาณนั้นอยู่บนขอบเขตโดย สูงถึงคงที่ (โปรดทราบว่าข้อผิดพลาดโดยประมาณสำหรับแต่ละคือ ) แน่นอนถ้า$Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$$\frac{\sigma^2}{N}$$\mu_i$'s อยู่ห่างไกลจากแต่ละอื่น ๆ และมีขนาดเล็กมากข้อผิดพลาดประมาณการควรจะลดลงไป {N} อย่างไรก็ตามในกรณีที่เลวร้ายที่สุดไม่มีการประมาณของทำงานได้ดีกว่าตัวประเมินที่ไร้เดียงสา คุณสามารถแสดงให้เห็นอย่างแม่นยำว่า ที่ infimum จะใช้เวลามากกว่า estiamte ไปได้ทั้งหมดของขึ้นอยู่กับตัวอย่างและ supremum จะใช้เวลามากกว่าการกำหนดค่าทั้งหมดที่เป็นไปได้ของ 's$\sigma$$\frac{\sigma^2}{N}$$\theta$ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

ดังนั้นตัวประมาณที่ไร้เดียงสานั้นย่อเล็กสุดให้มากที่สุดจนถึงค่าคงที่และไม่มีการประมาณที่ดีกว่าของในแง่นี้$\theta$

แก้ไข:คำตอบต่อไปนี้แตกต่างจากคำถามที่ถาม - มันมีกรอบราวกับว่าถูกพิจารณาแบบสุ่ม แต่ไม่ทำงานเมื่อได้รับการแก้ไขซึ่งอาจเป็นสิ่งที่ OP คิดไว้ หากได้รับการแก้ไขฉันไม่มีคำตอบที่ดีกว่า$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

หากเราพิจารณาการประมาณค่าเฉลี่ยและความแปรปรวนร่วมเท่านั้นเราสามารถปฏิบัติต่อเป็นตัวอย่างเดียวจากการแจกแจงแบบปกติหลายตัวแปร วิธีง่ายๆในการประมาณค่าต่ำสุดคือการดึงตัวอย่างจำนวนมากจากคำนวณค่าต่ำสุดของตัวอย่างแต่ละตัวอย่างจากนั้นใช้ค่าเฉลี่ยของค่าต่ำสุดเหล่านั้น$(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

ขั้นตอนข้างต้นและข้อ จำกัด ของมันสามารถเข้าใจได้ในศัพท์เบย์ - รับโน้ตจากWikipedia บน MVNถ้าคือความแปรปรวนร่วมที่รู้จักกันของตัวประมาณค่าและเรามีหนึ่งการสังเกตการกระจายหลังร่วมคือโดยที่และเกิดขึ้นจากที่ก่อนที่จะสังเกตข้อมูลใด ๆ ที่เรานำมาก่อน ) เนื่องจากคุณอาจไม่เต็มใจที่จะใส่นักบวชลงบนเราสามารถใช้ขีด จำกัด เป็นทำให้แบนก่อนและด้านหลังกลายเป็น$\Sigma$$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$. อย่างไรก็ตามเมื่อพิจารณาก่อนที่เราจะทำการสันนิษฐานว่าองค์ประกอบของแตกต่างกันมาก (ถ้าจำนวนจริงทั้งหมดมีแนวโน้มเท่ากันการได้รับค่าที่คล้ายกันนั้นไม่น่าเป็นไปได้มาก)$\mu$

การจำลองอย่างรวดเร็วแสดงให้เห็นว่าการประเมินด้วยขั้นตอนนี้จะประเมินค่าเล็กน้อยเมื่อองค์ประกอบของต่างกันมากและ underestimatesต่ำกว่าเมื่อองค์ประกอบมีความคล้ายคลึงกัน หนึ่งอาจโต้แย้งว่าไม่มีความรู้ก่อนหน้านี้เป็นพฤติกรรมที่ถูกต้อง หากคุณมีความยินดีที่จะให้รัฐอย่างน้อยบางข้อมูลก่อน (เช่น ) ผลที่อาจจะกลายเป็นบิตประพฤติที่ดีกว่าสำหรับกรณีการใช้งานของคุณ$min(\mu)$$\mu$$min(\mu)$$m = 0.1$

หากคุณยินดีที่จะสมมติโครงสร้างเพิ่มเติมคุณอาจเลือกการกระจายที่ดีกว่า multivariete ปกติ นอกจากนี้มันอาจสมเหตุสมผลที่จะใช้Stanหรือตัวอย่าง MCMC อื่น ๆ เพื่อให้พอดีกับค่าประมาณของในตอนแรก นี่จะทำให้คุณได้กลุ่มตัวอย่างที่สะท้อนถึงความไม่แน่นอนในตัวประมาณรวมถึงโครงสร้างความแปรปรวนร่วมของพวกเขา (อาจจะสมบูรณ์กว่าที่ MVN สามารถให้ได้) คุณสามารถคำนวณขั้นต่ำสำหรับแต่ละตัวอย่างเพื่อรับการแจกแจงหลังส่วนเกินอีกครั้งและใช้ค่าเฉลี่ยของการแจกแจงนี้หากคุณต้องการการประมาณจุด$\mu$$(\mu_1, ..., \mu_n)$