เครื่องมือประมาณค่าความน่าจะเป็นสูงสุด - แบบเกาส์หลายตัวแปร

บริบท

Multivariate Gaussian ปรากฏขึ้นบ่อยครั้งในการเรียนรู้ของเครื่องและผลลัพธ์ต่อไปนี้จะใช้ในหนังสือและหลักสูตร ML หลายหลักสูตรโดยไม่มีการสืบทอด

ข้อมูลที่ได้รับในรูปของเมทริกซ์ของมิติ ถ้าเราคิดว่าข้อมูลตามตัวแปรแบบเกาส์ กระจายด้วยพารามิเตอร์หมายถึง ( ) และความแปรปรวนร่วมเมทริกซ์ ( ) เครื่องมือประมาณการความน่าจะเป็นสูงสุดจะได้รับจาก: $\mathbf{X}$ $m \times p$ $p$ $\mu$ $p \times 1$ $\Sigma$ $p \times p$

$\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$

$\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

ฉันเข้าใจว่าความรู้ของหลายตัวแปรเกาส์เซียนนั้นเป็นสิ่งที่จำเป็นสำหรับหลักสูตร ML หลาย ๆ หลักสูตร แต่มันจะมีประโยชน์มากหากได้คำตอบที่ครบถ้วนในตัวเองทันทีและสำหรับทุกคนเพราะฉันรู้สึกว่าผู้เรียนรู้ด้วยตนเองหลายคนกระเด้งไปรอบ ๆ เว็บไซต์ stackexchange และ math.stackexchange มองหาคำตอบ

คำถาม

อะไรคือผลมาจากการประมาณความน่าจะเป็นสูงสุดสำหรับ Gaussian หลายตัวแปร

ตัวอย่าง:

บันทึกการบรรยายเหล่านี้ (หน้า 11) เกี่ยวกับการวิเคราะห์จำแนกเชิงเส้นหรือสิ่งเหล่านี้ใช้ประโยชน์จากผลลัพธ์และใช้ความรู้ก่อนหน้านี้

นอกจากนี้ยังมีโพสต์บางส่วนที่ตอบหรือปิดบางส่วน:

— Xavier Bourret Sicotte
แหล่งที่มา

คำตอบ:

การประมาณค่าความน่าจะเป็นสูงสุด

สมมติว่าเรามีเวกเตอร์สุ่มแต่ละขนาด :ซึ่งแต่ละเวกเตอร์สุ่มสามารถ ตีความว่าเป็นการสังเกต (จุดข้อมูล) ข้ามตัวแปรหากแต่ละเป็น iid ที่มีหลายตัวแปรเวกเตอร์เกาส์: $m$ $p$ $\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$ $p$ $\mathbf{X}^{(i)}$

X^{(i)} \sim N_{p} (μ, Σ)

$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$

ที่ไหนพารามิเตอร์ไม่เป็นที่รู้จัก เพื่อให้ได้ค่าประมาณเราสามารถใช้วิธีการโอกาสสูงสุดและเพิ่มฟังก์ชั่นโอกาสในการบันทึก $\mu, \Sigma$

โปรดสังเกตว่าโดยความเป็นอิสระของเวกเตอร์สุ่มความหนาแน่นของข้อมูลเป็นผลมาจากความหนาแน่นของแต่ละบุคคล นั่นคือSigma}) การใช้ลอการิทึมให้ฟังก์ชัน log-likelihood $\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$ $\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

\begin{aligned} ล. (μ, Σ | x^{(ผม)}) & = เข้าสู่ระบบ Π_{ผม = 1}^{ม.} ฉ_{X^{(ผม)}} (x^{(ผม)} | μ, Σ) \\ = เข้าสู่ระบบ Π_{ผม = 1}^{ม.} \frac{1}{(2 π)^{พี / 2} | Σ |^{1 / 2}} ประสบการณ์ (- \frac{1}{2} (x^{(ผม)} - μ)^{T} Σ^{- 1} (x^{(ผม)} - μ)) \\ = Σ_{ผม = 1}^{ม.} (- \frac{พี}{2} เข้าสู่ระบบ (2 π) - \frac{1}{2} เข้าสู่ระบบ | Σ | - \frac{1}{2} (x^{(ผม)} - μ)^{T} Σ^{- 1} (x^{(ผม)} - μ)) \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$

\begin{aligned} ล. (μ, Σ;) & = - \frac{ม. พี}{2} เข้าสู่ระบบ (2 π) - \frac{ม.}{2} เข้าสู่ระบบ | Σ | - \frac{1}{2} Σ_{ผม = 1}^{ม.} (x^{(ผม)} - μ)^{T} Σ^{- 1} (x^{(ผม)} - μ) \end{aligned}

$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$

ได้รับ $\hat \mu$

การหาอนุพันธ์ด้วยความเคารพและเท่ากับศูนย์เราจะใช้เมทริกซ์แคลคูลัสเอกลักษณ์ต่อไปนี้: $\mu$

$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$ ถ้า ไม่ได้ขึ้นอยู่กับและเป็นสมมาตร $\mathbf{w}$ $\mathbf{A}$ $\mathbf{A}$

\begin{aligned} \frac{\partial}{\partial μ} l (μ, Σ | x^{(i)}) & = \sum_{i = 1}^{m} Σ^{- 1} (μ - x^{(i)}) = 0 \\ Since Σ is positive definite \\ 0 & = m μ - \sum_{i = 1}^{m} x^{(i)} \\ \hat{μ} & = \frac{1}{m} \sum_{i = 1}^{m} x^{(i)} = \bar{x} \end{aligned}

$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$

ซึ่งมักเรียกว่าเวกเตอร์ค่าเฉลี่ยตัวอย่าง

ได้รับ $\hat \Sigma$

การรับ MLE สำหรับเมทริกซ์ความแปรปรวนร่วมนั้นต้องการงานมากขึ้นและการใช้คุณสมบัติพีชคณิตเชิงเส้นและแคลคูลัสดังต่อไปนี้:

การติดตามนั้นไม่เปลี่ยนแปลงภายใต้พีชคณิตเปลี่ยนรูปแบบของผลิตภัณฑ์เมทริกซ์: $tr[ACB] = tr[CAB] = tr[BCA]$

เนื่องจากเป็นสเกลาร์เราจึงสามารถติดตามและรับค่าเดียวกัน: $x^TAx$ $x^tAx = tr[x^TAx] = tr[x^txA]$

$\frac{\partial}{\partial A} tr[AB] = B^T$

$\frac{\partial}{\partial A} \log |A| = A^{-T}$

การรวมคุณสมบัติเหล่านี้ทำให้เราสามารถคำนวณได้

\frac{\partial}{\partial A} x^{t} A x = \frac{\partial}{\partial A} t r [x^{T} x A] = [x x^{t}]^{T} = x^{T T} x^{T} = x x^{T}

$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$

ซึ่งเป็นผลิตภัณฑ์ชั้นนอกของเวกเตอร์ด้วยตัวมันเอง $x$

ตอนนี้เราสามารถเขียนฟังก์ชันบันทึกความน่าจะเป็นอีกครั้งและคำนวณหาอนุพันธ์ wrt (โน้ตเป็นค่าคงที่) $\Sigma^{-1}$ $C$

\begin{aligned} l (μ, Σ | x^{(i)}) & = C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \\ = C + \frac{m}{2} \log | Σ^{- 1} | - \frac{1}{2} \sum_{i = 1}^{m} t r [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}] \\ \frac{\partial}{\partial Σ^{- 1}} l (μ, Σ | x^{(i)}) & = \frac{m}{2} Σ - \frac{1}{2} \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} Since Σ^{T} = Σ \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$

เท่ากับศูนย์และแก้หา $\Sigma$

\begin{aligned} 0 & = m Σ - \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} \\ \hat{Σ} & = \frac{1}{m} \sum_{i = 1}^{m} {(x^{(i)} - \hat{μ}) (x^{(i)} - \hat{μ})}^{T} \end{aligned}

$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$

แหล่งที่มา

— Xavier Bourret Sicotte
แหล่งที่มา

เรายินดีต้อนรับการพิสูจน์ทางเลือกรูปแบบกะทัดรัดหรือการตีความที่เข้าใจง่าย!

— Xavier Bourret Sicotte

ในการสืบหาทำไมต้องต้องเป็นบวกแน่นอน? ดูเหมือนว่าจะกลับด้านได้หรือไม่ สำหรับ invertible เมทริกซ์,เฉพาะเมื่อ ?

μ

$\mu$

Σ

$\Sigma$

Σ

$\Sigma$

A

$A$

A x = 0

$Ax=0$

x = 0

$x=0$

— Tom Bennett

เพื่อชี้แจง,เป็นเมทริกซ์ที่อาจมีองค์ประกอบที่เป็นเส้นทแยงมุมและไม่มีเส้นทแยงมุมซึ่งมีค่า จำกัด แสดงความสัมพันธ์ระหว่างเวกเตอร์ถูกต้องหรือไม่ หากเป็นเช่นนั้นเวกเตอร์เหล่านี้มีความเป็นอิสระในแง่ใด นอกจากนี้ทำไมฟังก์ชั่นความน่าจะเป็นร่วมมีค่าเท่ากับโอกาส? ความหนาแน่นของรอยต่อร่วมไม่ควรเท่ากับความน่าจะเป็นคูณด้วยก่อนหน้านี้เช่นหรือไม่

Σ

$\Sigma$

m \times m

$m \times m$

f (x, y)

$f(x,y)$

f (x | y) f (y)

$f(x|y)f(y)$

— Mathews24

@ TomBennett sigma matrix นั้นเป็นผลบวกแน่นอนโดยนิยาม - ดูstats.stackexchange.com/questions/52976/…เพื่อดูหลักฐาน เมทริกซ์แคลคูลัสเอกลักษณ์ต้องเมทริกซ์ที่จะสมมาตรไม่ใช่บวกแน่นอน แต่เนื่องจากเมทริกซ์เชิงบวกที่แน่นอนนั้นมีความสมมาตรอยู่เสมอ

— Xavier Bourret Sicotte

ใช่แน่นอน - ความเป็นอิสระระหว่างการสังเกตช่วยให้ได้รับโอกาส - ถ้อยคำอาจไม่ชัดเจนพอ - นี่คือความน่าจะเป็นแบบหลายตัวแปร ก่อนหน้านี้ยังคงไม่เกี่ยวข้องโดยไม่คำนึงถึง

— Xavier Bourret Sicotte

หลักฐานสำรองสำหรับที่รับอนุพันธ์ด้วยความเคารพโดยตรง: $\widehat{\Sigma}$ $\Sigma$

ยกขึ้นมาพร้อมกับบันทึกความน่าจะเป็นข้างต้น: โดยที่และเราได้ใช้คุณสมบัติที่เป็นวงกลมและเส้น{} เพื่อคำนวณก่อนอื่นเราจะสังเกตเห็นว่า

\begin{array}{rcl} ℓ (μ, Σ) & = & C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} tr [(x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)] \\ = & C - \frac{1}{2} (m \log | Σ | + \sum_{i = 1}^{m} tr [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}]) \\ = & C - \frac{1}{2} (m \log | Σ | + tr [S_{μ} Σ^{- 1}]) \end{array}

$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$

S_{μ} = \sum_{i = 1}^{m} (x^{(i)} - μ) (x^{(i)} - μ)^{T}

$S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$

tr

$\text{tr}$

\partial ℓ / \partial Σ

$\partial \ell /\partial \Sigma$

\frac{\partial}{\partial Σ} \log | Σ | = Σ^{- T} = Σ^{- 1}

$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$ โดยคุณสมบัติที่สี่ด้านบน ในการหาอนุพันธ์ของเทอมที่สองเราจะต้องใช้คุณสมบัติที่ (จากตำราอาหารเดอะเมทริกซ์สมการที่ 63) การใช้สิ่งนี้กับได้รับ เพราะทั้งและมีความสมมาตร แล้วก็

\frac{\partial}{\partial X} tr (A X^{- 1} B) = - (X^{- 1} B A X^{- 1})^{T} .

$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$

B = I

$B=I$

\frac{\partial}{\partial Σ} tr [S_{μ} Σ^{- 1}] = - {(Σ^{- 1} S_{μ} Σ^{- 1})}^{T} = - Σ^{- 1} S_{μ} Σ^{- 1}

$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$

Σ

$\Sigma$

S_{μ}

$S_\mu$

\frac{\partial}{\partial Σ} ℓ (μ, Σ) \propto m Σ^{- 1} - Σ^{- 1} S_{μ} Σ^{- 1} .

$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$ การตั้งค่านี้เป็น 0 และจัดเรียงใหม่ให้

\hat{Σ} = \frac{1}{m} S_{μ} .

$\widehat{\Sigma} = \frac{1}{m}S_\mu.$

วิธีการนี้ทำงานได้ดีกว่ามาตรฐานที่ใช้อนุพันธ์ที่เกี่ยวข้องกับและต้องการข้อมูลเฉพาะตัวที่ซับซ้อนยิ่งขึ้น ผมพบว่ามันมีประโยชน์เพียงเพราะฉันยังต้องใช้อนุพันธ์ของฟังก์ชั่นการปรับเปลี่ยนโอกาสที่ดูเหมือนยากมากที่จะใช้กว่า\ $\Lambda = \Sigma^{-1}$ $\partial/{\partial \Sigma^{-1}}$ $\partial/\partial \Sigma$

— Eric Kightley
แหล่งที่มา

เครื่องมือประมาณค่าความน่าจะเป็นสูงสุด - แบบเกาส์หลายตัวแปร

บริบท

คำถาม

ตัวอย่าง:

การประมาณค่าความน่าจะเป็นสูงสุด

ได้รับμ^μ^\hat \mu

ได้รับΣ^Σ^\hat \Sigma

แหล่งที่มา

ได้รับ $\hat \mu$

ได้รับ $\hat \Sigma$