เซ่นแชนนอน Divergence vs Kullback-Leibler Divergence?

14

ฉันรู้ว่า KL Divergence นั้นไม่สมมาตรและไม่สามารถถือได้ว่าเป็นเมตริกอย่างเคร่งครัด ถ้าเป็นเช่นนั้นเหตุใดจึงใช้เมื่อ JS Divergence เป็นไปตามคุณสมบัติที่จำเป็นสำหรับการวัด

มีสถานการณ์ที่ KL divergence สามารถใช้ แต่ไม่ใช่ JS Divergence หรือในทางกลับกัน?

— user2761431
แหล่งที่มา

มีการใช้งานทั้งคู่ขึ้นอยู่กับบริบท เมื่อเห็นได้ชัดว่ามีความจำเป็นต้องมีตัวชี้วัดที่เข้มงวดเช่นเมื่อการทำคลัสเตอร์เสร็จสิ้นแล้ว JS เป็นตัวเลือกที่ดีกว่า ในทางกลับกันในการเลือกรูปแบบการใช้งาน AIC ซึ่งใช้ KL เป็นที่แพร่หลาย น้ำหนักของ Akaike มีการตีความที่ดีซึ่ง JS ไม่สามารถจัดหาคู่หรือมันยังไม่เป็นที่นิยม

— James

5

ฉันพบคำตอบที่เป็นผู้ใหญ่มากในQuoraและเพียงวางไว้ที่นี่สำหรับผู้ที่มองหาที่นี่:

Kullback-Leibler divergence มีคุณสมบัติที่ดีเพียงไม่กี่อย่างหนึ่งในนั้นคือประเภทของผู้ที่เกลียดชังที่มีมวลที่ไม่เป็นโมฆะและมีมวลเป็นโมฆะ สิ่งนี้อาจดูเหมือนบั๊ก แต่จริงๆแล้วเป็นคุณลักษณะในบางสถานการณ์ $𝐾𝐿[𝑞;𝑝]$ $𝑞(𝑥)$ $𝑝(𝑥)$

หากคุณกำลังพยายามที่จะหาการประมาณความซับซ้อน (ยาก) การกระจายโดย (ซูฮก) การกระจายตัวอย่าง คุณต้องการที่จะแน่ใจจริงๆหรือว่า𝑥ใด ๆ ที่ไม่น่าจะเป็นมากที่จะได้มาจากนอกจากนี้ยังจะไม่น่าจะเป็นมากที่จะได้มาจาก(𝑥) KL นั้นมีคุณสมบัตินี้แสดงได้อย่างง่ายดาย: มีในอินทิกรัลและ เมื่อ𝑞 (𝑥) มีขนาดเล็ก แต่ไม่เป็นไร แต่เมื่อมีขนาดเล็กสิ่งนี้จะเติบโตอย่างรวดเร็วหากไม่เล็ก ดังนั้นหากคุณเลือกเพื่อย่อ $𝑝(𝑥)$ $𝑞(𝑥)$ $𝑝(𝑥)$ $𝑞(𝑥)$ $𝑞(𝑥)𝑙𝑜𝑔[𝑞(𝑥)/𝑝(𝑥)]$ $𝑝(𝑥)$ $𝑝(𝑥)$ $𝑞(𝑥)$ $𝑞(𝑥)$ $𝐾𝐿[𝑞;𝑝]$ มันเป็นไปไม่ได้มากที่จะกำหนดมวลจำนวนมากในภูมิภาคที่ใกล้ศูนย์ $𝑞(𝑥)$ $𝑝(𝑥)$

The Jensen-Shannon divergence ไม่มีคุณสมบัตินี้ มันทำงานได้ดีทั้งเมื่อและมีขนาดเล็ก ซึ่งหมายความว่ามันจะไม่ลงโทษเท่ากระจายจากการที่คุณสามารถลิ้มลองค่าที่เป็นไปไม่ได้ใน(𝑥) $𝑝(𝑥)$ $𝑞(𝑥)$ $𝑞(𝑥)$ $𝑝(𝑥)$

— moh
แหล่งที่มา

1

ความแตกต่าง KL มีการตีความทางทฤษฎีข้อมูลที่ชัดเจนและเป็นที่รู้จักกันดี แต่ฉันเป็นครั้งแรกที่ได้ยินว่า symmetrization ของ KL divergence เรียกว่า JS divergence เหตุผลที่ JS-divergence ไม่ได้ถูกใช้บ่อย ๆ อาจเป็นเพราะมันไม่ค่อยมีคนรู้จักและไม่มีคุณสมบัติที่ต้องมี

— เจมส์ลี่
แหล่งที่มา