ความสัมพันธ์ระหว่าง Hessian Matrix และ Covariance Matrix

ในขณะที่ฉันกำลังศึกษาการประมาณความเป็นไปได้สูงสุดเพื่อทำการอนุมานในการประมาณความน่าจะเป็นสูงสุดเราจำเป็นต้องทราบความแปรปรวน หากต้องการทราบความแปรปรวนฉันต้องรู้ว่า Rao Lower Bound ของแครเมอร์ซึ่งดูเหมือนเมทริกซ์ของ Hessian ที่มีอนุพันธ์อันดับสองเกี่ยวกับความโค้ง ฉันสับสนในการกำหนดความสัมพันธ์ระหว่างเมทริกซ์ความแปรปรวนร่วมกับเมทริกซ์แบบเฮสเซียน หวังว่าจะได้ยินคำอธิบายบางอย่างเกี่ยวกับคำถาม ตัวอย่างง่ายๆจะได้รับการชื่นชม

— user122358
แหล่งที่มา

คุณควรตรวจสอบคำถามพื้นฐานนี้เกี่ยวกับเมทริกซ์ข้อมูลฟิชเชอร์และความสัมพันธ์กับ Hessian และข้อผิดพลาดมาตรฐาน

สมมติว่าเรามีแบบจำลองทางสถิติ (ครอบครัวของดิส)\} ในกรณีทั่วไปเรามีดังนั้นตระกูลนี้จึงเป็นพารามิเตอร์โดย $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$ . ภายใต้เงื่อนไขที่แน่นอนบางอย่างเรามี

{ผม}_{ผม, J} (θ) = - E_{θ} [\frac{\partial^{2} ล. (X; θ)}{\partial θ_{ผม} \partial θ_{J}}] = - E_{θ} [H_{ผม, J} (ล. (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

ที่ไหน $I_{i,j}$ เป็นเมทริกซ์ข้อมูลฟิชเชอร์ (เป็นฟังก์ชั่นของ $\theta$ ) และ $X$ เป็นค่าที่สังเกตได้ (ตัวอย่าง)

ล. (X; θ) = ล. n (ฉ_{θ} (X)), สำหรับบางคน θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

ดังนั้นข้อมูลฟิชเชอร์เมทริกซ์จึงเป็นค่าที่คาดหวังจาก Hesian ของความน่าจะเป็นบันทึกภายใต้บางส่วน $\theta$

ทีนี้สมมติว่าเราต้องการประมาณฟังก์ชันเวกเตอร์ของพารามิเตอร์ที่ไม่รู้จัก $\psi(\theta)$ . โดยปกติแล้วเป็นที่ต้องการของผู้ประมาณค่า $T(X) = (T_1(X), \dots, T_d(X))$ ควรมีความเป็นกลางเช่น

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

Cramer Rao Lower Bound กล่าวว่าสำหรับทุกคนที่เป็นกลาง $T(X)$ $cov_{\theta}(T(X))$ ความพึงพอใจ

ค โอ {โวลต์}_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} {ผม}^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

ที่ไหน $A \ge B$ สำหรับเมทริกซ์หมายความว่า $A - B$ เป็นบวกกึ่งแน่นอน , $\frac{\partial\psi(\theta)}{\partial\theta}$ เป็นเพียงยาโคบเบียน $J_{i,j}(\psi)$ . สังเกตว่าถ้าเราประเมิน $\theta$ , นั่นคือ $\psi(\theta) = \theta$ ด้านบนลดความซับซ้อนของ

ค โอ {โวลต์}_{θ} (T (X)) \geq {ผม}^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

แต่มันบอกอะไรเราได้บ้าง? ตัวอย่างเช่นจำได้ว่า

โวลต์ a R_{θ} (T_{ผม} (X)) = [ค โอ {โวลต์}_{θ} (T (X))]_{ผม, ผม}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

และนั่นก็คือเมทริกซ์กึ่งบวกแน่นอนทุกตัว $A$ องค์ประกอบแนวทแยงนั้นไม่เป็นลบ

\forall_{ผม} A_{ผม, ผม} \geq 0

$\forall_i\ A_{i,i} \ge 0$

จากด้านบนเราสามารถสรุปได้ว่าความแปรปรวนขององค์ประกอบแต่ละส่วนนั้นถูกล้อมรอบด้วยองค์ประกอบแนวทแยงของเมทริกซ์ $B(\theta)$

\forall_{ผม} โวลต์ a R_{θ} (T_{ผม} (X)) \geq [B (θ)]_{ผม, ผม}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

ดังนั้น CRLB จึงไม่บอกความแปรปรวนของตัวประมาณค่าของเรา แต่อย่างใดหรือไม่ตัวประมาณค่าของเรานั้นเหมาะสมที่สุดนั่นคือถ้ามันมีความแปรปรวนร่วมต่ำที่สุดในบรรดาตัวประมาณที่ไม่เอนเอียงทั้งหมด

— Łukasz Grad
แหล่งที่มา

ฉันขอขอบคุณคำอธิบายของคุณที่นี่ ฉันไม่ใช่คนคณิตศาสตร์จริง ๆ แต่ฉันอยู่ในวิธีการเรียนรู้คณิตศาสตร์อย่างจริงจัง อย่างไรก็ตามมันก็ดูเป็นนามธรรมเกินไปสำหรับฉัน ฉันหวังว่าจะมีตัวอย่างที่อ่อนโยนพร้อมตัวเลขง่าย ๆ ที่จะเข้าใจได้อย่างแน่นอน

— user122358