ตัวอย่างหมายถึงการประมาณการกระจายตัวที่ดีที่สุดในแง่หนึ่ง

ตามกฎ (จำนวนมาก / อ่อนแอ) ของจำนวนมากให้คะแนนตัวอย่างบางส่วนของการกระจายตัวอย่างของพวกมันหมายถึง $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ แปลงเป็นการกระจายตัวหมายถึงทั้งความน่าจะเป็นและในขณะที่ขนาดตัวอย่าง ไปไม่มีที่สิ้นสุด $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

เมื่อขนาดตัวอย่างได้รับการแก้ไขฉันสงสัยว่าตัวประมาณ LLN เป็นตัวประมาณที่ดีที่สุดในบางแง่มุมหรือไม่ ตัวอย่างเช่น, $N$ $f^*$

ความคาดหวังของมันคือค่าเฉลี่ยการกระจายดังนั้นมันจึงเป็นค่าประมาณที่ไม่เอนเอียง ความแปรปรวนของมันคือโดยที่คือความแปรปรวนการแจกแจง แต่มันคือ UMVU? $\frac{\sigma^2}{N}$ $\sigma^2$
มีฟังก์ชั่นที่แก้ปัญหาการย่อขนาด: $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
ในคำอื่น ๆที่ดีที่สุดคือ WRT บางฟังก์ชั่นคมชัดในกรอบต่ำสุดคมชัด (CF มาตรา 2.1 "พื้นฐานการวิเคราะห์พฤติกรรมของการประมาณค่า" ใน " สถิติคณิตศาสตร์: ความคิดพื้นฐานและหัวข้อที่เลือกเล่ม 1 " โดย Bickle และ Doksum) $f^*$ $l_0$

ตัวอย่างเช่นถ้ากระจายเป็นที่รู้จักกัน / จำกัด จะมาจากครอบครัวของการกระจายเสียนแล้วค่าเฉลี่ยของกลุ่มตัวอย่างจะเป็นประมาณ MLE ค่าเฉลี่ยการจัดจำหน่ายและ MLE เป็นกรอบขั้นต่ำความคมชัดและฟังก์ชั่นคมชัดคือลบบันทึก ฟังก์ชั่นโอกาส $l_0$
มีฟังก์ชั่นบางตัวนั้นที่แก้ปัญหาการย่อขนาด: $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$ สำหรับการกระจายตัวใด ๆของในบางตระกูลของการแจกแจง?
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
กล่าวอีกนัยหนึ่งเป็น wrt ที่ดีที่สุดบางฟังก์ชันที่สูญเสียและบางครอบครัวของการแจกแจงในกรอบการตัดสินใจเชิงทฤษฎี (cf Section 1.3 "The Decision Theoretic Framework" ใน " สถิติคณิตศาสตร์: แนวคิดพื้นฐานและหัวข้อที่เลือกเล่ม 1 " โดย Bickle และ Doksum) $f^*$ $l$ $F$

โปรดทราบว่าข้างต้นเป็นการตีความที่แตกต่างกันสามแบบสำหรับการประเมินที่ "ดีที่สุด" ที่ฉันเคยรู้จัก หากคุณรู้เกี่ยวกับการตีความที่เป็นไปได้อื่น ๆ ที่อาจนำไปใช้กับตัวประมาณ LLN โปรดอย่าลังเลที่จะพูดถึงเช่นกัน

estimation expected-value law-of-large-numbers

— ทิม
แหล่งที่มา

อีกวิธีหนึ่งที่จะอธิบายลักษณะประมาณการ: โปรดอ่านเกี่ยวกับประมาณการที่สอดคล้องกันที่นี่ ค่าเฉลี่ยตัวอย่างมีความสอดคล้องเนื่องจาก LLN

— Rohit Banga

ค่าเฉลี่ยตัวอย่างมีคุณสมบัติที่ดีและน่าสนใจมากมาย แต่บางครั้งก็ไม่ได้ดีที่สุดเท่าที่จะทำได้ในสถานการณ์เฉพาะ ตัวอย่างหนึ่งคือกรณีที่การสนับสนุนของการแจกแจงขึ้นอยู่กับค่าของพารามิเตอร์ พิจารณา

จากนั้น

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

ขอบคุณ! แต่ความแปรปรวนของมันคำนวณอย่างไร

— ทิม

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

$l_0$ $(x-u)^2$ $(x-u)'(x-u)$

ตัวประมาณความแตกต่างขั้นต่ำคือภายใต้เงื่อนไขทางเทคนิคบางอย่างทั้งที่สอดคล้องและปกติเชิงเส้นกำกับ สำหรับค่าเฉลี่ยตัวอย่างสิ่งนี้ได้ติดตามจาก LLN และทฤษฎีขีด จำกัด กลางแล้ว ฉันไม่ทราบว่าตัวประมาณความคมชัดต่ำสุดนั้น "ดีที่สุด" ไม่ว่าในทางใด สิ่งที่ดีเกี่ยวกับตัวประมาณค่าความคมชัดต่ำสุดคือตัวประมาณที่มีประสิทธิภาพหลายตัว (เช่นค่ามัธยฐาน, ตัวประมาณฮิว, ควอนไทล์ตัวอย่าง) ตกอยู่ในตระกูลนี้และเราสามารถสรุปได้ว่าพวกมันสอดคล้องกันและปกติ ตราบใดที่เราตรวจสอบเงื่อนไขทางเทคนิคบางอย่าง (แม้ว่าบ่อยครั้งสิ่งนี้จะยากกว่าที่คิดไว้)

ความคิดเชิงบวกอย่างหนึ่งที่คุณไม่ได้กล่าวถึงในคำถามของคุณคือประสิทธิภาพซึ่งโดยทั่วไปแล้วการพูดคุยเกี่ยวกับตัวอย่างขนาดใหญ่ที่คุณต้องการเพื่อประเมินคุณภาพที่แน่นอน ดูhttp://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiencyเพื่อเปรียบเทียบประสิทธิภาพของค่าเฉลี่ยและค่ามัธยฐาน (ค่าเฉลี่ยมีประสิทธิภาพมากกว่า

สำหรับคำถามที่สามไม่มีข้อ จำกัด ในชุดของฟังก์ชัน f ที่คุณกำลังหาอาร์กิวเมนต์ฉันไม่คิดว่าค่าเฉลี่ยตัวอย่างจะดีที่สุด สำหรับการแจกแจง P ใด ๆ คุณสามารถกำหนดให้ f เป็นค่าคงที่ซึ่งไม่สนใจ $x_i$

$f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
แหล่งที่มา

ขอบคุณ! มีการอ้างอิงที่ดีเกี่ยวกับคุณสมบัติของตัวประมาณความเปรียบต่างขั้นต่ำเช่นปกติและแบบอะซิมโตเทติกเช่นเดียวกับตัวอย่างเช่นค่ามัธยฐานตัวประมาณฮิวเวอร์ควอนไทล์ตัวอย่างหรือไม่

— ทิม

ส่วนที่ 5.2.2 ของหนังสือ Bickel & Doksum ที่คุณอ้างถึงมีทฤษฎีบทเกี่ยวกับความสอดคล้องของตัวประมาณความเปรียบต่างขั้นต่ำ มาตรา 5.4.2 กล่าวถึงความปกติของซีมโทติค แหล่งข้อมูลอื่นที่ฉันแนะนำและที่กล่าวถึงตัวประมาณอื่น ๆ ที่ฉันพูดถึงคือหนังสือสถิติ Asymptoticของ van der Vaart บทที่ 5 อยู่ใน M-estimators ซึ่งเป็นชื่อของเขาสำหรับตัวประมาณความเปรียบต่างขั้นต่ำ

— DavidR

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

ฉันหมายถึงบรรทัดฐานแบบยุคลิดมาตรฐาน - ฉันเปลี่ยนมันเป็นสัญกรณ์เวกเตอร์เพื่อให้ความกระจ่าง

— DavidR

l

$l$