จะหาอนุพันธ์ของความหนาแน่นปกติหลายตัวแปรได้อย่างไร

สมมติว่าฉันมีความหนาแน่นหลายตัวแปรปกติฉันต้องการที่จะได้รับที่สอง (บางส่วน) WRT อนุพันธ์\ไม่แน่ใจว่าจะหาอนุพันธ์ของเมทริกซ์ได้อย่างไร $N(\mu, \Sigma)$ $\mu$

Wiki กล่าวว่านำองค์ประกอบอนุพันธ์โดยองค์ประกอบภายในเมทริกซ์

ฉันกำลังทำงานกับ Laplace ประมาณ โหมดคือ\

\log P_{N} (θ) = \log P_{N} - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ}) .

$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$

\hat{θ} = μ

$\hat\theta=\mu$

ฉันได้รับสิ่งนี้เกิดขึ้นได้อย่างไร?

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (\hat{θ} | y),

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$

สิ่งที่ฉันได้ทำ:

\log P (θ | y) = - \frac{k}{2} \log 2 π - \frac{1}{2} \log | Σ | - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ})

$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$

ดังนั้นฉันเอาอนุพันธ์ wrt มาที่ก่อนอื่นมีการแปลงที่สองคือเมทริกซ์ ดังนั้นฉันติดอยู่ $\theta$

หมายเหตุ: หากอาจารย์ของฉันพบสิ่งนี้ฉันหมายถึงการบรรยาย

self-study normal-distribution matrix

— user1061210
แหล่งที่มา

ส่วนหนึ่งของปัญหาของคุณอาจเป็นไปได้ว่านิพจน์ของคุณสำหรับบันทึกความน่าจะเป็นมีข้อผิดพลาด - คุณมีที่คุณควรจะมี|) นอกจากนี้คุณหมายถึง ?

| Σ |

$|\Sigma|$

\log (| Σ |)

$\log(|\Sigma|)$

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y)

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y)$

— มาโคร

ใช่คุณพูดถูก ทำไมจึงมีเครื่องหมายลบหน้าอนุพันธ์บางส่วน

— user1061210

ฉันเพิ่งอธิบายให้ชัดเจนเกี่ยวกับเครื่องหมายลบเพราะอนุพันธ์อันดับสองเชิงลบคือข้อมูลการสังเกตซึ่งมักเป็นที่สนใจ นอกจากนี้จากการคำนวณของฉันเองฉันก็พบว่า

\frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y) = - Σ^{- 1}

$\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y) = -\Sigma^{-1}$

— มาโคร

ดังนั้นขั้นตอนทั่วไปสำหรับฟังก์ชั่นแยก / ต่อเนื่องคืออะไร? ใช้บันทึกการเขียนในรูปแบบการขยายตัวของเทย์เลอร์ความแตกต่างของสองครั้ง WRT \โดยทั่วไปแล้วข้อมูลฟิชเชอร์ไม่ได้เป็นความหนาแน่นจริงส่วนใหญ่ใช่ไหม?

θ

$\theta$

— user1061210

@user ดังที่ฉันได้ชี้ให้เห็นว่าอนุพันธ์อันดับสองของลอการิทึมต้องมีค่าลักษณะเฉพาะที่ไม่เป็นบวก ใช่มีการเชื่อมโยงระหว่างความแปรปรวนและอนุพันธ์เชิงลบส่วนที่สองเชิงลบเนื่องจากทฤษฎีการประมาณความน่าจะเป็นสูงสุดข้อมูลฟิชเชอร์และอื่น ๆ เผยให้เห็น - มาโครได้อ้างถึงก่อนหน้านี้ในความคิดเห็นเหล่านี้

— whuber

คำตอบ:

ในบทที่ 2 ของMatrix Cookbookมีบทวิจารณ์ที่ดีเกี่ยวกับแคลคูลัสของแคลคูลัสที่ให้ข้อมูลประจำตัวที่มีประโยชน์มากมายที่ช่วยในการแก้ปัญหาที่เราอาจประสบกับความน่าจะเป็นและสถิติรวมถึงกฎที่ช่วยแยกโอกาส Gaussian หลายตัวแปร

หากคุณมีเวกเตอร์แบบสุ่มที่มีหลายตัวแปรปกติพร้อมเวกเตอร์เฉลี่ยและเมทริกซ์ความแปรปรวนร่วมให้ใช้สมการ (86) ในสมุดสูตรเมทริกซ์เพื่อค้นหาว่า โอกาสในการบันทึกเกี่ยวกับคือ ${\boldsymbol y}$ ${\boldsymbol \mu}$ ${\boldsymbol \Sigma}$ ${\bf L}$ ${\boldsymbol \mu}$

\begin{aligned} \frac{\partial L}{\partial μ} & = - \frac{1}{2} (\frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial μ}) \\ = - \frac{1}{2} (- 2 Σ^{- 1} (y - μ)) \\ = Σ^{- 1} (y - μ) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$

ฉันจะปล่อยให้มันอยู่กับคุณเพื่อแยกความแตกต่างนี้อีกครั้งและพบว่าคำตอบจะเป็น1} $-{\boldsymbol \Sigma}^{-1}$

ในฐานะ "เครดิตพิเศษ" ให้ใช้สมการ (57) และ (61) เพื่อค้นหาว่าการไล่ระดับสีเทียบกับคือ ${\boldsymbol \Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (\frac{\partial \log (| Σ |)}{\partial Σ} + \frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial Σ}) \\ = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$

ฉันออกไปหลายขั้นตอนแล้ว แต่ฉันได้ทำสิ่งนี้มาโดยใช้ข้อมูลเฉพาะตัวที่พบในตำราอาหารเมทริกซ์ดังนั้นฉันจะทิ้งมันไว้กับคุณเพื่อเติมลงในช่องว่าง

ฉันใช้สมการคะแนนเหล่านี้สำหรับการประมาณความเป็นไปได้สูงสุดดังนั้นฉันจึงรู้ว่ามันถูกต้อง :)

— มาโคร
แหล่งที่มา

การอ้างอิงที่ดี - จะแนะนำตัวเอง ไม่ใช่การอ้างอิงการสอนที่ดีสำหรับคนที่ไม่รู้จักพีชคณิตเมทริกซ์ ความท้าทายที่แท้จริงมาจากการทำงานจริงออก\ความเจ็บปวดที่แท้จริง

Σ

$\Sigma$

— ความน่าจะเป็นที่เป็นไปได้

อีกแหล่งที่ดีในเมทริกซ์แคลคูลัสคือ Magnus & Neudecker, amazon.com/

— ..

หมายเลขอ้างอิงของสมการมีการเปลี่ยนแปลง (อาจเป็นเพราะรุ่นใหม่) สมการอ้างอิงใหม่คือ 86

— goelakash

ฉันอาจเป็นฐานที่นี่ แต่ฉันไม่คิดว่าสูตรนี้ถูกต้อง ฉันใช้สิ่งนี้กับตัวอย่างจริงและดูความแตกต่างอัน จำกัด ของพวกเขา ดูเหมือนว่าสูตรสำหรับให้ค่าที่ถูกต้องสำหรับรายการแนวทแยง อย่างไรก็ตามรายการนอกแนวทแยงเป็นครึ่งหนึ่งของสิ่งที่พวกเขาควรจะเป็น

\frac{\partial L}{\partial Σ}

$\frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}}$

— jjet

คุณต้องตรวจสอบให้แน่ใจว่าคุณดูแลองค์ประกอบที่ซ้ำกันอย่างถูกต้องในไม่เช่นนั้นอนุพันธ์ของคุณจะไม่ถูกต้อง ตัวอย่างเช่น(141) The Matrix Cookbookให้อนุพันธ์สำหรับอนุพันธ์ต่อไปนี้ $\mathbf{\Sigma}$ $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial \log | Σ |}{\partial Σ} & = 2 Σ^{- 1} - (Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$

และ(14) ของความแตกต่างของฟังก์ชั่นการฝึกอบรมความแปรปรวนร่วมให้

\begin{aligned} \frac{\partial trace (Σ^{- 1} x x^{⊤})}{\partial Σ} & = - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$

ที่หมายถึงผลิตภัณฑ์ Hadmard และเพื่อความสะดวกของเราได้กำหนดไว้หมู่} $\circ$ $\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

โดยเฉพาะอย่างยิ่งข้อความนี้ไม่เหมือนกับเมื่อสมมาตรของไม่ได้ถูกกำหนด ผลก็คือเรามีสิ่งนั้น $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{\partial}{\partial Σ} \frac{1}{2} (D \log | 2 π | + \log | Σ | + x^{⊤} Σ^{- 1} x)) \\ = - \frac{\partial}{\partial Σ} \frac{1}{2} (\log | Σ | + trace (Σ^{- 1} x x^{⊤})) \\ = - \frac{1}{2} (2 Σ^{- 1} - (Σ^{- 1} \circ I) - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I)) \end{aligned}

$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$

ที่หมายถึงมิติของ ,และและอนุพันธ์ของคือ 0 $D$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{\mu}$ $D\log|2\pi|$

สิ่งนี้ทำให้มั่นใจได้ว่าองค์ประกอบของสอดคล้องกับ{IJ}} $i,j^{th}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

— Lawrence Middleton
แหล่งที่มา

ฉันพยายามตรวจสอบยืนยันคำตอบของ @ Macro แต่พบสิ่งที่ดูเหมือนว่าจะเป็นข้อผิดพลาดเล็กน้อยในโซลูชันความแปรปรวนร่วม เขาได้รับ อย่างไรก็ตามปรากฏว่าโซลูชันที่ถูกต้องเป็นจริง สคริปต์ R ต่อไปนี้ให้เป็นตัวอย่างที่ง่ายในการที่แตกต่างกันแน่นอนจะถูกคำนวณสำหรับองค์ประกอบของแต่ละSigma} มันแสดงให้เห็นว่า

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) = A \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$

B = 2 A - diag (A)

${\bf B}=2{\bf A} - \text{diag}({\bf A})$

Σ

${\boldsymbol \Sigma}$

A

${\bf A}$ ให้คำตอบที่ถูกต้องเฉพาะสำหรับองค์ประกอบในแนวทแยงในขณะที่ถูกต้องสำหรับทุกรายการ

B

${\bf B}$

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f

— jjet
แหล่งที่มา

ขอบคุณสำหรับความคิดเห็นของคุณ. ผมเชื่อว่าคุณตีความสัญกรณ์ที่แตกต่างกว่าคนอื่น ๆ ได้เพราะคุณพร้อมกันเปลี่ยนคู่ขององค์ประกอบการจับคู่นอกเส้นทแยงมุมของจึงเป็นสองเท่าของผลกระทบของการเปลี่ยนแปลง ผลที่ตามมาคือคุณกำลังคำนวณอนุพันธ์หลายทิศทาง ดูเหมือนว่าจะมีปัญหาเล็กน้อยกับการแก้ปัญหาของมาโครตราบเท่าที่การถ่ายโอนควรจะทำ แต่สิ่งนี้จะไม่เปลี่ยนแปลงอะไรเลยในแอพพลิเคชั่นกับเมทริกซ์สมมาตร

Σ

$\Sigma$

— whuber