อนุพันธ์ของการสูญเสียเอนโทรปีใน word2vec

ฉันกำลังพยายามหาทางแก้ไขปัญหาชุดแรกของเนื้อหาหลักสูตรออนไลน์ของ cs224d stanford และฉันมีปัญหาบางอย่างเกี่ยวกับปัญหา 3A: เมื่อใช้แบบจำลองข้าม word2vec กับฟังก์ชั่นการทำนายแบบ softmax และฟังก์ชั่นการสูญเสียเอนโทรปี ต้องการคำนวณการไล่ระดับสีเทียบกับเวกเตอร์คำที่คาดคะเน เมื่อได้รับฟังก์ชั่น softmax:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

และฟังก์ชั่นข้ามเอนโทรปี:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

เราจำเป็นต้องคำนวณ$\frac{\partial{CE}}{\partial{\hat{r}}}$

ขั้นตอนของฉันมีดังนี้:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

ตอนนี้ได้รับ$w_k$เป็นหนึ่งเวกเตอร์ร้อนและฉันเป็นชั้นที่ถูกต้อง:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

สิ่งนี้ถูกต้องหรือไม่ ฉันต้องการลองให้แน่ใจว่าฉันอยู่ในเส้นทางที่ถูกต้องเนื่องจากแนวทางแก้ไขปัญหาไม่ได้โพสต์ออนไลน์ รวมถึงการได้รับมอบหมายงานเขียนที่ถูกต้องมีความสำคัญต่อความสามารถในการทำงานการเขียนโปรแกรมได้อย่างถูกต้อง

$$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$$ สามารถเขียนใหม่เป็น หมายเหตุผลรวมจะถูกจัดทำดัชนีโดย j แต่ควรเป็น 2 ตัวแปรที่แตกต่างกัน สิ่งนี้จะเหมาะสมกว่า ซึ่งแปลเป็น $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$$