โดยสังเขปเหตุใดไขว้เอนโทรปีจึงวัดระยะทางของการแจกแจงความน่าจะเป็นสองอัน?

สำหรับการแจกแจงแบบแยกสองและข้ามเอนโทรปีจะถูกกำหนดเป็น $p$ $q$

H (p, q) = - \sum_{x} p (x) \log q (x) .

$H(p,q)=-\sum_x p(x)\log q(x).$

ฉันสงสัยว่าทำไมนี่เป็นการวัดระยะทางแบบง่าย ๆ ระหว่างการแจกแจงความน่าจะเป็นสองแบบ?

ผมเห็นว่าเป็นเอนโทรปีของซึ่งมาตรการ "แปลกใจ" ของพีเป็นตัวชี้วัดที่ส่วนหนึ่งแทนที่โดยQฉันยังไม่เข้าใจความหมายที่เข้าใจง่ายที่อยู่เบื้องหลังคำจำกัดความ $H(p,p)$ $p$ $p$ $H(p,q)$ $p$ $q$

probability distributions cross-entropy

— Kadistar
แหล่งที่มา

ฉันแนะนำให้คุณค้นหาคำจำกัดความทางคณิตศาสตร์ของตัวชี้วัด (และระยะทาง) โดยปกติแล้วการติดตามคุณสมบัติเหล่านั้นเป็นสิ่งที่น้อยที่สุดที่ฟังก์ชั่นควรปฏิบัติตามเพื่อให้เป็นระยะทาง หวังว่ามันจะช่วย แม้ว่ามันจะดูเหมือนด) อย่างสังหรณ์ใจเนื่องจากเป็นฟังก์ชั่นที่เป็นส่วนหนึ่งของ KL divergence ฉันจึงคิดว่ามันเป็นความแตกต่างของ p และ q ตรงข้ามกับ entropy p แม้ว่ามันจะเป็นเพียงการคาดเดา อีกอย่างความแตกต่างไม่ใช่ตัวชี้วัด / ระยะทางดังนั้นฉันจะแปลกใจถ้า Cross Entropy เป็น

H (p, q) = H (p) + D_{K L} (p | | q)

$H(p,q) = H(p) + D_{KL}(p || q )$

— Charlie Parker

จากนั้นการทำความเข้าใจ Kullback_leibler divergence ช่วยให้เข้าใจการข้ามเอนโทรปี: stats.stackexchange.com/questions/188903/…

— kjetil b halvorsen

นี่คือวิดีโอที่ยอดเยี่ยมที่อธิบายถึงความแตกต่างของ KL ด้วยวิธีที่ชัดเจนและเรียบง่าย: youtube.com/watch?v=ErfnhcEV1O8

— Katherine Chen

ดูว่า "ปรีชาที่อยู่เบื้องหลัง Cross Entropy" ช่วยได้ไหม

— Siddharth Roy

การลดข้ามเอนโทรปีมักใช้เป็นวัตถุประสงค์การเรียนรู้ในรูปแบบการกำเนิดที่ p คือการแจกแจงที่แท้จริงและ q คือการกระจายการเรียนรู้

กากบาทไขว้ของ p และ q เท่ากับเอนโทรปีของ p บวกกับการแยก KL ระหว่าง p และ q

$H(p, q) = H(p) + D_{KL}(p||q)$

คุณสามารถคิดว่าเป็นค่าคงที่เนื่องจากมาโดยตรงจากข้อมูลการฝึกอบรมและไม่ได้เรียนรู้จากแบบจำลอง ดังนั้นเฉพาะคำที่แตกต่าง KL จึงมีความสำคัญ แรงจูงใจสำหรับ KL แตกต่างเป็นระยะห่างระหว่างการแจกแจงความน่าจะเป็นคือมันบอกคุณว่าได้รับข้อมูลจำนวนเท่าใดโดยใช้การแจกแจง p แทนการประมาณ q $H(p)$ $p$

โปรดทราบว่า KL divergence ไม่ใช่การวัดระยะทางที่เหมาะสม สำหรับสิ่งหนึ่งมันไม่สมมาตรใน p และ q หากคุณต้องการตัวชี้วัดระยะทางสำหรับการแจกแจงความน่าจะเป็นคุณจะต้องใช้อย่างอื่น แต่หากคุณใช้คำว่า "ระยะทาง" อย่างไม่เป็นทางการคุณสามารถใช้ KL divergence ได้

— แอรอน
แหล่งที่มา

ทำไมคุณถึงคิดว่า p เป็นค่าคงที่? คุณกำลังเรียนอะไร"? Q? คำถามเดิมไม่ได้พูดอะไรเกี่ยวกับการเรียนดังนั้นฉันจะให้ความสนใจในการทำความเข้าใจที่ดีกว่าสิ่งที่คุณหมาย :)

— ชาร์ลีปาร์กเกอร์

แก้ไขให้ชัดเจนยิ่งขึ้น p คือการแจกแจงที่มาจากข้อมูลการฝึกอบรมและ q ได้เรียนรู้จากแบบจำลอง

— แอรอน