Asymptotic normality ของรูปแบบสมการกำลังสอง

Letเป็นเวกเตอร์สุ่มมาจากPพิจารณาตัวอย่างP กำหนดและ^ ปล่อยและ{x}] $\mathbf{x}$ $P$ $\{ \mathbf{x}_i \}_{i=1}^n \stackrel{i.i.d.}{\sim} P$ $\bar{\mathbf{x}}_n := \frac{1}{n} \sum_{i=1}^n \mathbf{x}_i$ $\hat{C} := \frac{1}{n} \sum_{i=1}^n (\mathbf{x}_i - \bar{\mathbf{x}}_n) (\mathbf{x}_i - \bar{\mathbf{x}}_n)^\top$ $\boldsymbol{\mu} := \mathbb{E}_{\mathbf{x}\sim P}[\mathbf{x}]$ $C:=\mathrm{cov}_{\mathbf{x} \sim P}[\mathbf{x}, \mathbf{x}]$

โดยทฤษฎีบทขีด จำกัด กลางสมมติว่า

\sqrt{n} ({\bar{x}}_{n} - μ) \overset{d}{\to} N (0, C),

$\sqrt{n} \big( \bar{\mathbf{x}}_n - \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(\boldsymbol{0}, C),$

โดยที่ $C$ คือเมทริกซ์ความแปรปรวนแบบเต็มอันดับ

คำถาม : ฉันจะพิสูจน์ (หรือหักล้าง) ได้อย่างไร

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} I)^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

สำหรับบาง $v>0$ และสำหรับ $\gamma_n \ge 0$ เช่นนั้น $\lim_{n\to \infty} \gamma_n =0$ ? มันดูเรียบง่าย แต่ฉันไม่สามารถหาวิธีที่จะแสดงสิ่งนี้ได้อย่างชัดเจน นี่ไม่ใช่คำถามทำการบ้าน

ความเข้าใจของฉันคือว่าวิธีการเดลต้าจะช่วยให้เราสามารถสรุปได้อย่างง่ายดาย

\sqrt{n} ({\bar{x}}_{n}^{⊤} C^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top C^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

หรือ

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} I)^{- 1} {\bar{x}}_{n} - μ^{⊤} (\hat{C} + γ_{n} I)^{- 1} μ) \overset{d}{\to} N (0, v^{2}) .

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top (\hat{C} + \gamma_n I)^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2).$

สิ่งเหล่านี้แตกต่างจากที่ฉันต้องการ สังเกตว่าเมทริกซ์ความแปรปรวนร่วมในสองเทอม ฉันรู้สึกว่าฉันคิดถึงบางสิ่งที่สำคัญมากที่นี่ หรือถ้ามันทำให้สิ่งต่าง ๆ ง่ายขึ้นเราสามารถเพิกเฉยได้เช่น setและสมมติว่ากลับด้านได้ ขอบคุณ $\gamma_n$ $\gamma_n =0$ $\hat{C}$

— Wij
แหล่งที่มา

เราจำเป็นต้องรู้อะไรเกี่ยวกับไปที่ 0 มันเป็นค่าคงที่หรือไม่? ฉันคิดว่าคุณต้องแสดงซึ่งฉันคิดว่าเป็นผลมาจาก Slutsky แล้วฉันจะเขียนเป็น{C}) มีการกระจายที่ จำกัด ที่สามารถพบได้ด้วยวิธีการสุดท้ายคุณสามารถลองแสดงให้เห็นว่า ไปที่ 0 ในความน่าจะเป็น แม้ว่าฉันจะไม่แน่ใจว่าจะมี ...

γ_{n}

$\gamma_n$

{\bar{x}}_{n}^{T} γ_{n} I {\bar{x}}_{n} \to_{p} 0

$\bar{x}_n^T \gamma_n I \bar{x}_n \rightarrow_p 0$

\hat{C}

$\hat{C}$

C + bias (\hat{C})

$C + \text{bias}(\hat{C})$

{\bar{x}}_{n}^{T} C {\bar{x}}_{n}

$\bar{x}_n^T C \bar{x}_n$

δ

$\delta$

{\bar{x}}_{n}^{T} bias (\hat{C}) {\bar{x}}_{n}

$\bar{x}_n^T \text{bias}(\hat{C}) \bar{x}_n$

— AdamO

γ_{n}

$\gamma_n$ เป็นลำดับของค่าคงที่ (ไม่ใช่แบบสุ่ม) ลำดับสามารถตั้งค่าเป็นสิ่งที่ทำให้การบรรจบกันทำงาน (ถ้ามีลำดับดังกล่าวอยู่) ฉันคิดว่าเป็นจริง ฉันไม่ได้ทำตามเหตุผลที่เราต้องการสิ่งนี้ก่อน แต่ให้ฉันคิดถึงมันและสิ่งที่เหลือให้มากขึ้น :)

{\bar{x}}_{n}^{⊤} I {\bar{x}}_{n} \overset{p}{\to} 0

$\bar{x}_n^\top I \bar{x}_n \stackrel{p}{\to} 0$

— Wij

ฉันไม่ได้พูดถึง: คุณลังเลที่จะใช้วิธีการโดยตรงและการเรียกใช้เสร็จสิ้นนั้นได้รับการรับประกันอย่างดี ฉันคิดว่าคุณสามารถเขียนมันออกมาได้อย่างระมัดระวัง ทฤษฎีบทที่มีประโยชน์สำหรับบทพิสูจน์ประเภทนี้คือทฤษฎีบทการทำแผนที่อย่างต่อเนื่องของ Mann-Wald และทฤษฎีบท Cramer-Wold

δ

$\delta$

— AdamO

ฉันยอมรับว่าผลลัพธ์ที่คุณพูดถึงอาจมีประโยชน์ ฉันยังคงไม่เห็นว่า ที่จริงฉันก็เริ่มที่จะคิดว่าการกระจาย asymptotic อาจไม่ใช่การกระจายตัวแบบปกติ

— Wij

ดูเหมือนว่านี่จะซับซ้อนกว่าที่คิด กระดาษ arXiv ที่นี่อธิบายสิ่งที่เกิดขึ้นในมิติสูง ฉันไม่สามารถหาอะนาล็อกมิติคงที่ แต่พวกมันมีอาร์กิวเมนต์ finitie-dimensional ในส่วนที่ 3

— Greenparker

มีปัญหาบางอย่างเมื่อใช้วิธีการ Delta สะดวกกว่าในการหามาด้วยมือ

ตามกฎหมายของจำนวนมากC ดังนั้นC ใช้ทฤษฎีบทของ Slutsky เรามี โดยทฤษฎีการทำแผนที่แบบต่อเนื่องเรามี ดังนั้น โดยทฤษฎีบทของ Slutsky เรามี การรวมกันของความเสมอภาคสองข้างต้นให้ผลตอบแทน $\hat{C}\xrightarrow{P} C$ $\hat{C} +\gamma_n I\xrightarrow{P} C$

\sqrt{n} (\hat{C} + γ_{n} I)^{- 1 / 2} (\bar{X} - μ) \overset{d}{\to} N (0, C^{- 1}) .

$\sqrt{n}(\hat{C} +\gamma_n I)^{-1/2}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,C^{-1}).$

n (\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} \sum_{i = 1}^{p} λ_{i}^{- 1} (C) χ_{1}^{2} .

${n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\sum_{i=1}^p \lambda_i^{-1}(C)\chi^2_1.$

\sqrt{n} (\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{P}{\to} 0.

$\sqrt{n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{P}0.$

\sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} N (0, μ^{T} C^{- 2} μ) .

$\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,\mu^T C^{-2}\mu).$

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ) \\ = & \sqrt{n} ((\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) - 2 μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ)) \\ = & - 2 \sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) + o_{P} (1) \\ \overset{d}{\to} & N (0, 4 μ^{T} C^{- 2} μ) . \end{aligned}

$\begin{align} &\sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T (\hat{C} +\gamma_n I)^{-1}\mu\big) \\ = &\sqrt{n}\Big((\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)-2\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\Big) \\ =&-2\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)+o_P(1) \\ \xrightarrow{d}&\mathcal{N} (0,4\mu^T C^{-2}\mu). \end{align}$ งานที่เหลือคือการจัดการกับ แต่นี้ปริมาณระยะไม่ลู่ไป0พฤติกรรมซับซ้อนและขึ้นอยู่กับช่วงเวลาที่สามและสี่

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big).$

0

$0$

เพื่อให้ง่ายด้านล่างเราถือว่าเป็นปกติกระจายและ1/2}) มันเป็นผลลัพธ์มาตรฐานที่ ที่คือเมทริกซ์แบบสุ่มแบบสมมาตรพร้อมองค์ประกอบแบบทแยงมุมเช่นและปิดองค์ประกอบในแนวทแยงเป็น(0,1) ดังนั้น โดยเมทริกซ์เทย์เลอร์ expantionเรามี $X_i$ $\gamma_n=o(n^{-1/2})$

\sqrt{n} (\hat{C} - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

W

$W$

N (0, 2)

$\mathcal{N}(0,2)$

N (0, 1)

$\mathcal{N}(0,1)$

\sqrt{n} (\hat{C} + γ_{n} I - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}+\gamma_n I-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

(I + A)^{- 1} \sim I - A + A^{2}

$(I+A)^{-1}\sim I-A+A^2$

\begin{aligned} \sqrt{n} ((\hat{C} + γ_{n} I)^{- 1} - C^{- 1}) = \sqrt{n} C^{- 1 / 2} ((C^{- 1 / 2} (\hat{C} + γ_{n} I) C^{- 1 / 2})^{- 1} - I) C^{- 1 / 2} \\ = & \sqrt{n} C^{- 1} (\hat{C} + γ_{n} I - C) C^{- 1} + O_{P} (n^{- 1 / 2}) \overset{d}{\to} C^{- 1 / 2} W C^{- 1 / 2} . \end{aligned}

$\begin{align} &\sqrt{n}\Big((\hat{C} +\gamma_n I)^{-1}- C^{-1}\Big)= \sqrt{n}C^{-1/2}\Big(\big(C^{-1/2}(\hat{C} +\gamma_n I)C^{-1/2}\big)^{-1}-I\Big)C^{-1/2}\\ =&\sqrt{n}C^{-1}\Big(\hat{C} +\gamma_n I-C\Big)C^{-1}+O_P(n^{-1/2}) \xrightarrow{d}C^{-1/2} W C^{-1/2}. \end{align}$ ดังนั้น

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) \overset{d}{\to} μ^{T} C^{- 1 / 2} W C^{- 1 / 2} μ \sim N (0, (μ^{T} C^{- 1} μ)^{2}) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big)\xrightarrow{d}\mu^T C^{-1/2} W C^{-1/2}\mu \sim N(0,(\mu^T C^{-1}\mu)^2).$

ดังนั้น

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} C^{- 1} μ) \overset{d}{\to} N (0, 4 μ^{T} C^{- 2} μ + (μ^{T} C^{- 1} μ)^{2}) . \end{aligned}

$\begin{align} \sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T C^{-1}\mu\big) \xrightarrow{d}\mathcal{N} (0,4\mu^T C^{-2}\mu+(\mu^T C^{-1}\mu)^2). \end{align}$

— kfeng123
แหล่งที่มา

ขอบคุณสำหรับคำตอบ. มันเป็นคำที่ไม่เข้าหา 0 ที่ทำให้สิ่งทั้งหมดยาก น่าเสียดายที่ฉันไม่สามารถสันนิษฐานได้ว่านั้นมีการแจกจ่ายตามปกติ แต่ฉันก็ยังคงชื่นชมคำตอบ หากคุณสามารถแสดงความคิดเห็นว่ามันขึ้นอยู่กับช่วงเวลาที่สามและสี่ (อาจมีการอ้างอิง) นั่นจะเป็นประโยชน์ ฉันไม่สามารถอธิบายได้ในขณะนี้ แต่ผมรู้สึกว่ามันมีการสลายตัวช้ากว่า1/2}) ฉันต้องคิดถึงเหตุผลให้ดีกว่านี้

X_{i}

$X_i$

g a m m a_{n}

$gamma_n$

o (n^{- 1 / 2})

$o(n^{-1/2})$

— Wij

ฉันลืมที่จะเพิ่มว่าในกรณีของฉันสามารถสันนิษฐานว่าจะอยู่ในชุดกะทัดรัด (ถ้าจำเป็น) สิ่งนี้อาจช่วยได้ในเงื่อนไขขณะนี้

X_{i}

$X_i$

— Wij