ทำไมเราใช้ Kullback-Leibler divergence แทนที่จะข้ามเอนโทรปีในฟังก์ชันวัตถุประสงค์ t-SNE

ในใจของฉัน KL แตกต่างจากการกระจายตัวอย่างไปจนถึงการแจกแจงที่แท้จริงเป็นเพียงความแตกต่างระหว่างเอนโทรปีและเอนโทรปี

เหตุใดเราใช้ cross entropy เป็นฟังก์ชั่นค่าใช้จ่ายในแบบจำลองการเรียนรู้ของเครื่องหลายเครื่อง แต่ใช้ Kullback-Leibler divergence ใน t-sne ความเร็วในการเรียนรู้แตกต่างกันหรือไม่?

KL divergence เป็นวิธีธรรมชาติในการวัดความแตกต่างระหว่างการแจกแจงความน่าจะเป็นสองแบบ เอนโทรปีของการกระจายพีจะช่วยให้จำนวนที่น้อยที่สุดของบิตต่อข้อความที่จะต้อง (โดยเฉลี่ย) เพื่อ losslessly เหตุการณ์เข้ารหัสดึงออกมาจากพี การบรรลุขอบเขตนี้จะต้องใช้รหัสที่ดีที่สุดที่ออกแบบมาสำหรับpซึ่งกำหนดคำรหัสสั้นลงให้กับเหตุการณ์ความน่าจะเป็นที่สูงขึ้น D K L ( p ∥ q )สามารถตีความได้ว่าเป็นจำนวนที่คาดหวังของบิตพิเศษต่อข้อความที่จำเป็นในการเข้ารหัสเหตุการณ์ที่ดึงออกมาจากการกระจายที่แท้จริง$H(p)$$p$$p$$p$$D_{KL}(p \parallel q)$$p$ถ้าใช้รหัสที่ดีที่สุดสำหรับการกระจายมากกว่าพี มันมีคุณสมบัติที่ดีสำหรับการเปรียบเทียบการกระจาย ตัวอย่างเช่นถ้าpและqเท่ากันค่าเบี่ยงเบนของ KL คือ 0$q$$p$$p$$q$

$H(p, q)$$p$$q$$D_{KL}(p \parallel q)$$H(p, q)$$p$$H(p, q)$$q$$p$$p$$H(p, q)$$p$

KL แตกต่างและเอนโทรปีข้ามมีความเกี่ยวข้องดังนี้:

$p$$q$$p$

$p$$q$

$p$$H(p)$$p$$H(p)$$p$

$p$$q$$D_{KL}(p \parallel q)$$p$$q_{j \mid i}$$p_{j \mid i}$ คือ Kullback-Leibler divergence (ซึ่งในกรณีนี้เท่ากับ cross-entropy ถึงค่าคงที่เพิ่มเติม) "

ฟานเดอร์อัและฮินตัน (2008) การแสดงข้อมูลโดยใช้ t-SNE