รัฐของฟังก์ชั่นโลจิสติก

ฉันมีความยากลำบากในการได้มาซึ่งรัฐของฟังก์ชันวัตถุประสงค์$l(\theta)$ในการถดถอยโลจิสติกที่$l(\theta)$คือ:

$$l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right]$$

$h_\theta(x)$เป็นฟังก์ชันลอจิสติก แคว้นเฮ็ซเป็น$X^T D X$ X ฉันพยายามหามาโดยการคำนวณ$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$แต่แล้วมันก็ไม่ชัดเจนกับผมว่าจะได้รับสัญกรณ์เมทริกซ์จาก$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$เจ

ไม่มีใครรู้วิธีการใด ๆ ที่สะอาดและง่ายต่อการสืบมา$X^T D X$ ?

ที่นี่ฉันได้รับคุณสมบัติและตัวตนที่จำเป็นทั้งหมดสำหรับการแก้ปัญหาในตัวเอง แต่นอกเหนือจากที่มานี้สะอาดและง่าย ให้เราทำสัญลักษณ์ของเราให้เป็นระเบียบและเขียนฟังก์ชันการสูญเสียให้แน่นขึ้นอีกหน่อย พิจารณา$m$ตัวอย่าง$\{x_i,y_i\}$เช่นว่า$x_i\in\mathbb{R}^d$และ$y_i\in\mathbb{R}$ R จำได้ว่าในการถดถอยโลจิสติกไบนารีเรามักจะมีฟังก์ชั่นสมมติฐาน$h_\theta$เป็นฟังก์ชั่นโลจิสติก เป็นทางการ

$$h_\theta(x_i)=\sigma(\omega^Tx_i)=\sigma(z_i)=\frac{1}{1+e^{-z_i}},$$

ที่$\omega\in\mathbb{R}^d$และ$z_i=\omega^Tx_i$ฉัน ฟังก์ชั่นการสูญเสีย (ซึ่งฉันเชื่อว่า OP ไม่มีเครื่องหมายลบ) จะถูกกำหนดเป็น:

$$l(\omega)=\sum_{i=1}^m -\Big( y_i\log\sigma(z_i)+(1-y_i)\log(1-\sigma(z_i))\Big)$$

มีคุณสมบัติที่สำคัญสองประการของฟังก์ชันลอจิสติกซึ่งฉันได้รับมาที่นี่เพื่อใช้อ้างอิงในอนาคต ครั้งแรกที่ทราบว่า$1-\sigma(z)=1-1/(1+e^{-z})=e^{-z}/(1+e^{-z})=1/(1+e^z)=\sigma(-z)$ )

ยังทราบด้วยว่า

$$\begin{equation} \begin{aligned} \frac{\partial}{\partial z}\sigma(z)=\frac{\partial}{\partial z}(1+e^{-z})^{-1}=e^{-z}(1+e^{-z})^{-2}&=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}} =\sigma(z)(1-\sigma(z)) \end{aligned} \end{equation}$$

แทนที่จะใช้อนุพันธ์ที่เกี่ยวกับส่วนประกอบตรงนี้เราจะทำงานกับเวกเตอร์โดยตรง (คุณสามารถตรวจสอบอนุพันธ์กับเวกเตอร์ได้ที่นี่ ) แคว้นเฮ็ซของฟังก์ชั่นการสูญเสีย$l(\omega)$จะได้รับโดย$\vec{\nabla}^2l(\omega)$แต่การเรียกคืนแรกที่$\frac{\partial z}{\partial \omega} = \frac{x^T\omega}{\partial \omega}=x^T$และ$\frac{\partial z}{\partial \omega^T}=\frac{\partial \omega^Tx}{\partial \omega ^T} = x$x

Let $l_i(\omega)=-y_i\log\sigma(z_i)-(1-y_i)\log(1-\sigma(z_i))$. Using the properties we derived above and the chain rule

$$\begin{equation} \begin{aligned} \frac{\partial \log\sigma(z_i)}{\partial \omega^T} &= \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial \omega^T} = \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial z_i}\frac{\partial z_i}{\partial \omega^T}=(1-\sigma(z_i))x_i\\ \frac{\partial \log(1-\sigma(z_i))}{\partial \omega^T}&= \frac{1}{1-\sigma(z_i)}\frac{\partial(1-\sigma(z_i))}{\partial \omega^T} =-\sigma(z_i)x_i \end{aligned} \end{equation}$$

It's now trivial to show that

$$\vec{\nabla}l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega^T} =-y_ix_i(1-\sigma(z_i))+(1-y_i)x_i\sigma(z_i)=x_i(\sigma(z_i)-y_i)$$

whew!

Our last step is to compute the Hessian

$$\vec{\nabla}^2l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega\partial \omega^T}=x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$

For $m$ samples we have $\vec{\nabla}^2l(\omega)=\sum_{i=1}^m x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$. This is equivalent to concatenating column vectors $x_i\in\mathbb{R}^d$ into a matrix $X$ of size $d\times m$ such that $\sum_{i=1}^m x_ix_i^T=XX^T$. The scalar terms are combined in a diagonal matrix $D$ such that $D_{ii}=\sigma(z_i)(1-\sigma(z_i))$. Finally, we conclude that

$$\vec{H}(\omega)=\vec{\nabla}^2l(\omega)=XDX^T$$

A faster approach can be derived by considering all samples at once from the beginning and instead work with matrix derivatives. As an extra note, with this formulation it's trivial to show that $l(\omega)$ is convex. Let $\delta$ be any vector such that $\delta\in\mathbb{R}^d$. Then

$$\delta^T\vec{H}(\omega)\delta = \delta^T\vec{\nabla}^2l(\omega)\delta = \delta^TXDX^T\delta = \delta^TXD(\delta^TX)^T = \|\delta^TDX\|^2\geq 0$$

since $D>0$ and $\|\delta^TX\|\geq 0$. This implies $H$ is positive-semidefinite and therefore $l$ is convex (but not strongly convex).