การไล่ระดับสีสำหรับ skipgram word2vec

ฉันกำลังประสบปัญหาในปัญหาการมอบหมายการเรียนรู้อย่างลึกของ Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln

ฉันพยายามที่จะเข้าใจคำตอบของ 3a ที่พวกเขากำลังหาอนุพันธ์ของเวกเตอร์สำหรับคำกลาง

สมมติว่าคุณได้คำทำนายเวกเตอร์ตรงกับคำกลางcสำหรับ skipgram และการคาดคะเนคำจะทำกับฟังก์ชัน softmax ที่พบในรุ่น word2vec$v_{c}$

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

โดยที่wหมายถึงคำ w-th และ (w = 1,..., W) คือเวกเตอร์คำว่า "เอาท์พุท" สำหรับคำทั้งหมดในคำศัพท์ สมมติว่าค่าใช้จ่ายข้ามเอนโทรปีถูกนำไปใช้กับการทำนายนี้และคำoเป็นคำที่คาดหวัง$u_w$

โดยที่คือเมทริกซ์ของเวกเตอร์เอาต์พุตทั้งหมดและให้เป็นเวกเตอร์คอลัมน์ของการคาดคะเนคำ softmax และyเป็นป้ายกำกับที่ร้อนแรงที่สุดซึ่ง ยังเป็นเวกเตอร์คอลัมน์$U = [u_1,u_2, · · · ,u_W ]$$\hat{y}$

ที่เอนโทรปีของการข้ามคือ$CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

ดังนั้นคำตอบสำหรับการไล่ระดับสีสำหรับเวกเตอร์ตรงกลางคือ$\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

ใครช่วยแสดงขั้นตอนในการไปถึงสิ่งนี้ได้บ้าง ฉันใช้คำถามนี้เป็นข้อมูลอ้างอิงอนุพันธ์ของการสูญเสียเอนโทรปีใน word2vecแต่ฉันอยากรู้การแสดง$U^T(\hat{y} − y).$

ก่อนอื่นเรามาวางแผนสิ่งที่เรามีและสมมุติฐานของเราเกี่ยวกับรูปร่างของเวกเตอร์ที่ต่างกัน ปล่อย,

1. $|W|$เป็นจำนวนคำในคำศัพท์
2. $y$และเป็นเวกเตอร์คอลัมน์ของรูปร่างx 1$\hat{y}$$|W|$
3. $u_i$และเป็นเวกเตอร์คอลัมน์ของรูปร่าง X 1 ( = มิติของงานแต่งงาน)$v_j$$D$$D$
4. $y$เป็นเวกเตอร์คอลัมน์ที่มีการเข้ารหัสหนึ่งร้อนของรูปร่างx 1$|W|$
5. $\hat{y}$เป็นเวกเตอร์คอลัมน์การคาดคะเน softmax ของรูปร่างx 1$|W|$
6. $\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
7. การสูญเสียเอนโทรปีข้าม:$J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
8. $U = [u_1, u_2, ...,u_k, ...u_W]$เป็นเมทริกซ์ที่ประกอบด้วยเวกเตอร์คอลัมน์$u_k$

ตอนนี้เราสามารถเขียน ง่ายขึ้น ตอนนี้เรารู้แล้วว่านั้นมีการเข้ารหัสร้อนแรงดังนั้นองค์ประกอบทั้งหมด เป็นศูนย์ยกเว้นหนึ่งที่ดัชนี, พูด,ซึ่งหมายความว่ามีคำที่ไม่เป็นศูนย์เพียงคำเดียวในการสรุปข้างต้นที่สอดคล้องกับและคำอื่น ๆ ทั้งหมดในการรวมเป็นศูนย์ ดังนั้นราคาจึงสามารถเขียนเป็น: หมายเหตุ: ข้างบนคือ 1

$$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$$ $$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y$$k^{th}$$y_k$ $$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y_k$

แก้หา : $\frac{\partial J}{\partial v_c}$

$$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$$

ซึ่งสามารถจัดใหม่ได้เป็น: การใช้คำจำกัดความ (6) เราสามารถเขียนสมการข้างต้นเป็น:

$$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$$ $$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$$

ทีนี้ลองมาดูกันว่าสิ่งนี้สามารถเขียนในเมทริกซ์สัญกรณ์ได้ไหมหมายเหตุ:

1. $u_k$สามารถเขียนเป็นการคูณเวกเตอร์เมทริกซ์:$U.y$
2. และเป็นการแปลงเชิงเส้นของเวกเตอร์ในปรับขนาดโดยตามลำดับ สามารถเขียนอีกครั้งในชื่อ$\sum_{w=1}^W (\hat{y}_w u_w)$$u_w$$U$$\hat{y}_w$$U.\hat{y}$

ดังนั้นสิ่งทั้งหมดสามารถเขียนรวบรัดเป็น:

$$U[\hat{y} -y]$$

สุดท้ายโปรดทราบว่าเราสันนิษฐานว่า s เป็นเวกเตอร์คอลัมน์ หากเราเริ่มต้นด้วยเวกเตอร์แถวเราจะได้เช่นเดียวกับที่คุณกำลังมองหา$u_i$$U^T[\hat{y} -y]$