วิธีการคำนวณ Kullback-Leibler divergence / distance

10

ฉันมีชุดข้อมูลสามชุด X, Y และ Z ชุดข้อมูลแต่ละชุดจะกำหนดความถี่ของเหตุการณ์ที่เกิดขึ้น ตัวอย่างเช่น:

ชุดข้อมูล X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 และอื่น ๆ ..
ชุดข้อมูล Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 และอื่น ๆ ..
ชุดข้อมูล Z: E1: 0, E2: 4, E3: 8, E4: 4, E5: 1, E6: 0 และอื่น ๆ ..

ฉันต้องหา KL-divergence ระหว่าง X และ Y และระหว่าง X และ Z ดังที่คุณเห็นเหตุการณ์บางอย่างจะมีค่า 0 และไม่เป็นศูนย์ สำหรับบางเหตุการณ์ทั้งสามชุดข้อมูลเป็น 0

ฉันจะชื่นชมถ้ามีคนสามารถช่วยฉันค้นหาความแตกต่างของ KL สำหรับเรื่องนี้ ฉันไม่ได้เป็นนักสถิติมากนักดังนั้นฉันจึงไม่ค่อยมีความคิด บทเรียนที่ฉันดูทางออนไลน์นั้นซับซ้อนเกินไปสำหรับความเข้าใจของฉัน

kullback-leibler

— PS1
แหล่งที่มา

11

เพื่อตอบคำถามของคุณเราควรระลึกถึงคำจำกัดความของ KL divergence :

D_{K L} (Y | | X) = \sum_{i = 1}^{N} \ln (\frac{Y_{i}}{X_{i}}) Y_{i}

$D_{KL}(Y||X) = \sum_{i=1}^N \ln \left( \frac{Y_i}{X_i} \right) Y_i$

ก่อนอื่นคุณต้องไปจากสิ่งที่คุณต้องแจกแจงความน่าจะเป็น สำหรับสิ่งนี้คุณควรทำให้ข้อมูลของคุณเป็นปกติโดยที่จะรวมเป็นหนึ่ง:

$X_i := \frac{X_i}{\sum_{i=1}^N X_i}$ ; ; $Y_i := \frac{Y_i}{\sum_{i=1}^N Y_i}$ $Z_i := \frac{Z_i}{\sum_{i=1}^N Z_i}$

จากนั้นสำหรับค่าที่ไม่ต่อเนื่องเรามีสมมติฐานที่สำคัญอย่างหนึ่งที่จำเป็นในการประเมิน KL-divergence และมักถูกละเมิด:

$X_i = 0$ ควรกล่าวเป็นนัยว่า0 $Y_i = 0$

ในกรณีที่ทั้งและเท่ากับศูนย์จะถือว่าเป็นศูนย์ (เป็นค่า จำกัด ) $X_i$ $Y_i$ $\ln \left( Y_i / X_i \right) Y_i$

ในชุดข้อมูลของคุณหมายความว่าคุณสามารถค้นหาแต่ไม่ใช่ตัวอย่างเช่น (เนื่องจากรายการที่สอง) $D_{KL}(X||Y)$ $D_{KL}(Y||X)$

สิ่งที่ฉันสามารถให้คำแนะนำจากมุมมองในทางปฏิบัติคือ:

อาจทำให้กิจกรรมของคุณ "ใหญ่ขึ้น" ซึ่งคุณจะมีศูนย์น้อยลง

หรือรับข้อมูลเพิ่มเติมเช่นคุณจะครอบคลุมเหตุการณ์ที่เกิดขึ้นได้ยากด้วยรายการอย่างน้อยหนึ่งรายการ

หากคุณไม่สามารถใช้คำแนะนำใด ๆ ข้างต้นคุณอาจจำเป็นต้องค้นหาตัวชี้วัดอื่น ๆ ระหว่างการแจกแจง ตัวอย่างเช่น,

ข้อมูลร่วมกันซึ่งนิยามเป็นขวา) โดยที่คือความน่าจะเป็นร่วมของสองเหตุการณ์ $I(X, Y) = \sum_{i=1}^N \sum_{j=1}^N p(X_i, Y_j) \ln \left( \frac{p(X_i, Y_j)}{p(X_i) p(Y_j)} \right)$ $p(X_i, Y_i)$

หวังว่ามันจะช่วย

— Dmitry Laptev
แหล่งที่มา

0

ป้อนคำอธิบายรูปภาพที่นี่

คุณอาจต้องการตั้งค่า \ epsilon เป็นค่าที่น้อยมาก 0.00001 (พูด) และดำเนินการต่อด้วยค่าที่ไม่เป็นศูนย์สำหรับความน่าจะเป็นทั้งหมดและคำนวณคะแนน KL

โปรดแจ้งให้เราทราบหากใช้งานได้

— Kalidas Y
แหล่งที่มา

2

โปรดเพิ่มการอ้างอิงที่เหมาะสมสำหรับรูปภาพที่แนบมาถ้าไม่ใช่ของคุณ (ไม่เช่นนั้นคุณสามารถใช้เพื่อเรียงพิมพ์) และยังระบุว่ามันใช้กับปัญหาเฉพาะที่เป็นอย่างไร (สหกรณ์ระบุไว้ชัดเจนว่าเขาไม่ได้มีประสบการณ์มากเกินไปในสถิติคณิตศาสตร์.)

L A T E X

$\LaTeX$

— CHL