มีตัวประมาณระยะทางของ Hellinger ระหว่างการแจกแจงสองแบบหรือไม่?

ในการตั้งค่าที่หนึ่งสังเกตกระจายออกมาจากการกระจายความหนาแน่นฉันสงสัยว่ามีการประมาณการที่เป็นกลาง (ตาม 's) ของระยะทาง Hellinger การกระจายที่มีความหนาแน่นอีกคือ $X_1,\ldots,X_n$ $f$ $X_i$ $f_0$

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— ซีอาน
แหล่งที่มา

ดังนั้น f0 จึงเป็นที่รู้จักและได้รับการแก้ไข แต่เป็นที่รู้จักหรือมาจากครอบครัวที่มีพารามิเตอร์หรือกำลังทำอยู่ในกรอบที่ไม่มีพารามิเตอร์พร้อมกับสิ่งที่คุณรู้เกี่ยวกับ f ที่มาจากตัวอย่างของคุณหรือไม่ ฉันคิดว่ามันสร้างความแตกต่างเมื่อพยายามตอบ

— Michael R. Chernick

@MichaelChernick: ถือว่าสิ่งที่คุณรู้เกี่ยวกับ

f

$f$ เป็นตัวอย่างX_1

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— ซีอาน

ฉันไม่คิดว่ามันถูกคำนวณ (ถ้ามี) หากมีอยู่ AIC ก็มีน้องชายที่สูญหาย

การโจมตีปัญหานี้ดูจะเป็นไปได้ถ้าคุณคิดว่า

f

$f$ และ

f_{0}

$f_0$ นั้นไม่ต่อเนื่อง สิ่งนี้นำไปสู่การประมาณที่ชัดเจน (คำนวณระยะทาง Hellinger ระหว่าง EDF และ

f_{0}

$f_0$ ) การบูตสแตรปปิ้ง (ตามหลักทฤษฏีไม่ใช่ผ่านการจำลอง!) จะให้เราจัดการกับอคติที่เป็นไปได้เช่นเดียวกับวิธีการลด (หรือกำจัด) อคติ ฉันหวังว่าจะประสบความสำเร็จกับระยะทางกำลังสองมากกว่าระยะทางเพราะมันเป็นเวทย์มนตร์ทางคณิตศาสตร์มากกว่า สมมติฐานของ

แยกกัน

f

$f$ ไม่มีปัญหาในการใช้งาน พื้นที่ของ

ไม่ต่อเนื่อง

f

$f$ เป็นเซตย่อยที่หนาแน่น

— whuber

มันมาถึงใจหลักฐาน Rosenblatt ว่าไม่มี "สุจริต" ประมาณการเป็นกลางของฉ

f

$f$ ขอให้เราเอาชนะมันและรับตัวประมาณค่าที่ไม่เป็นกลางของ

H (f, f_{0})

$H(f,f_0)$ ไหม ฉันไม่รู้

— Zen

คำตอบ:

ไม่มีตัวประมาณที่เป็นกลาง $\mathfrak{H}$ หรือ $\mathfrak{H}^2$ อยู่สำหรับ $f$ จากการแจกแจงแบบ nonparametric class ที่สมเหตุสมผลพอสมควร

เราสามารถแสดงสิ่งนี้ได้ด้วยข้อโต้แย้งง่ายๆ

Bickel และ Lehmann (1969) การประมาณค่าที่เป็นกลางในครอบครัวนูน พงศาวดารของสถิติคณิตศาสตร์, 40 (5) 2066-2078 ( โครงการยูคลิด )

แก้ไขการกระจายบาง ,และ , สอดคล้องกับความหนาแน่น ,และGขอแสดงว่าและให้จะประมาณการบางส่วนของขึ้นอยู่กับตัวอย่าง IIDF $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

สมมติว่าไม่เอนเอียงสำหรับตัวอย่างจากการแจกแบบฟอร์ม แต่แล้ว ดังนั้นต้องเป็นพหุนามใน $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X ~ F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X ~ G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$ ปริญญาที่มากที่สุดn

n

$n$

ตอนนี้เรามาเชี่ยวชาญกับกรณีที่สมเหตุสมผลและแสดงว่าสอดคล้องกันไม่ใช่พหุนาม $Q$

ปล่อยให้เป็นการกระจายตัวที่มีความหนาแน่นคงที่ใน :สำหรับทั้งหมด (พฤติกรรมของมันอยู่นอกช่วงนั้นไม่สำคัญ) ปล่อยให้เป็นการกระจายบางอย่างที่สนับสนุนเฉพาะในและการกระจายบางอย่างที่สนับสนุนบนเท่านั้น $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

ตอนนี้ ที่และเช่นเดียวกันสำหรับB_Gโปรดทราบว่า ,สำหรับการแจกแจง ,ใด ๆที่มีความหนาแน่น

\begin{aligned} Q (α) & = H ({ม.}_{α}, ฉ_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{{ม.}_{α} (x) ฉ_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{ค α ฉ (x)} d x - \int_{0}^{1} \sqrt{ค (1 - α) ก. (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$

B_{G}

$B_G$

B_{F} > 0

$B_F > 0$

B_{G} > 0

$B_G > 0$

F

$F$

G

$G$

$\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ ไม่ได้เป็นพหุนามขององศาที่แน่นอนใด ๆ ดังนั้นไม่มีตัวประมาณไม่เอนเอียงสำหรับในการแจกแจงทั้งหมดมีตัวอย่างมากมาย $\hat H$ $\mathfrak{H}$ $M_\alpha$

ในทำนองเดียวกันเนื่องจากยังไม่ใช่พหุนามไม่มีตัวประมาณสำหรับซึ่งไม่เอนเอียงกับการแจกแจงทั้งหมดพร้อมตัวอย่างจำนวน จำกัด $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ $\mathfrak{H}^2$ $M_\alpha$

สิ่งนี้ไม่รวมคลาส nonparametric ที่สมเหตุสมผลทั้งหมดของการแจกแจงยกเว้นกลุ่มที่มีความหนาแน่นล้อมรอบด้านล่าง คุณอาจฆ่าคลาสเหล่านั้นด้วยอาร์กิวเมนต์ที่คล้ายกันโดยเพียงแค่ทำให้ความหนาแน่นคงที่หรือบางสิ่งบางอย่าง

— Dougal
แหล่งที่มา

ฉันไม่รู้วิธีการสร้าง (ถ้ามี) ตัวประมาณระยะทางของ Hellinger ที่ไม่มีอคติ ดูเหมือนเป็นไปได้ที่จะสร้างตัวประมาณที่สอดคล้องกัน ขณะนี้มีบางส่วนคงเป็นที่รู้จักกันหนาแน่นและตัวอย่างที่สุ่มจากความหนาแน่น 0 เราต้องการประมาณ ที่ซิมฉ โดย SLLN เรารู้ว่า เกือบจะแน่นอนเหมือน $f_0$ $X_1,\dots,X_n$ $f>0$

H (ฉ, ฉ_{0}) = \sqrt{1 - \int_{X} \sqrt{ฉ (x) ฉ_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{ฉ_{0} (x)}{ฉ (x)}} ฉ (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

= \sqrt{1 - E [\sqrt{\frac{ฉ_{0} (X)}{ฉ (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$

X \sim f

$X\sim f$

\sqrt{1 - \frac{1}{n} Σ_{ผม = 1}^{n} \sqrt{\frac{ฉ_{0} (X_{ผม})}{ฉ (X_{ผม})}}} \to H (ฉ, ฉ_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$

n \to \infty

$n\to\infty$ . ดังนั้นวิธีที่เป็นกันเองในการประมาณจะใช้ตัวประมาณความหนาแน่น (เช่นตัวประมาณความหนาแน่นของเคอร์เนลดั้งเดิม) ของและคำนวณ

H (f, f_{0})

$H(f,f_0)$

\hat{f_{n}}

$\hat{f_n}$

f

$f$

\hat{H} = \sqrt{1 - \frac{1}{n} Σ_{ผม = 1}^{n} \sqrt{\frac{ฉ_{0} (X_{ผม})}{\hat{ฉ_{n}} (X_{ผม})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— เซน
แหล่งที่มา

@ เซน: จุดดี! ผมคิดว่าคำตอบนี้เป็นคำตอบเพราะมันทำให้ฉันรู้เสียงมากเช่นค่าเบี่ยงเบนมาตรฐานที่มีอยู่ไม่มีประมาณการที่เป็นกลาง สำหรับความแปรปรวนของไม่ต้องกังวล:หมายความว่าตัวประมาณนี้มีความแปรปรวนแน่นอน

H

$H$

{\hat{H}}_{n}^{2}

$\hat H^2_n$

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$

— ซีอาน

ขอบคุณสำหรับการชี้แจงเกี่ยวกับความแปรปรวนของตัวประมาณซีอาน!

— Zen

งานบางอย่างเกี่ยวกับตัวประมาณความสอดคล้องอื่น ๆ : (a) arxiv.org/abs/1707.03083และงานที่เกี่ยวข้องตามตัวประมาณความหนาแน่น -NN; (b) arxiv.org/abs/1402.2966ตามการแก้ไขความหนาแน่นของเคอร์เนล (c) ieeexplore.ieee.org/document/5605355ขึ้นอยู่กับการเชื่อมต่อกับการจำแนกประเภท (สิ่งเหล่านี้จำนวนมากขึ้นอยู่กับตัวอย่างจากทั้งและเพราะนั่นคืองานที่ฉันรู้เกี่ยวกับมือฉาบ แต่ฉันคิดว่ามีตัวแปรสำหรับรู้จัก)

k

$k$

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$

— Dougal