มีคำถามเกี่ยวกับ KL divergence หรือไม่

ฉันกำลังเปรียบเทียบการแจกแจงสองแบบกับการกระจายของ KL ซึ่งให้ผลตอบแทนเป็นตัวเลขที่ไม่ได้มาตรฐานซึ่งตามที่ฉันอ่านเกี่ยวกับการวัดนี้คือปริมาณข้อมูลที่ต้องใช้เพื่อเปลี่ยนสมมติฐานหนึ่งไปเป็นอีกสมมติฐานหนึ่ง ฉันมีสองคำถาม:

a) มีวิธีในการหาจำนวนความแตกต่างของ KL เพื่อให้การตีความมีความหมายมากกว่าเช่นขนาดของเอฟเฟกต์หรือ R ^ 2 หรือไม่? รูปแบบของมาตรฐานใด ๆ

b) ใน R เมื่อใช้ KLdiv (แพ็คเกจ flexmix) เราสามารถตั้งค่า 'esp' (มาตรฐาน esp = 1e-4) ที่ตั้งค่าคะแนนทั้งหมดที่เล็กกว่า esp ถึงมาตรฐานบางอย่างเพื่อให้เสถียรภาพเชิงตัวเลข ฉันได้เล่นกับค่า esp ที่แตกต่างกันและสำหรับชุดข้อมูลของฉันฉันได้รับความแตกต่าง KL ที่ใหญ่ขึ้นเรื่อย ๆ ในจำนวนที่ฉันเลือกน้อยลง เกิดอะไรขึ้น? ฉันคาดหวังว่ายิ่ง esp ยิ่งน้อยผลลัพธ์ก็น่าเชื่อถือมากขึ้นเพราะพวกเขาปล่อยให้ 'คุณค่าที่แท้จริง' มากขึ้นกลายเป็นส่วนหนึ่งของสถิติ ไม่มี? ฉันต้องเปลี่ยน esp เพราะไม่เช่นนั้นจะไม่คำนวณสถิติ แต่แสดงเป็น NA ในตารางผลลัพธ์ ...

สมมติว่าคุณได้รับตัวอย่าง n IID ที่สร้างโดย p หรือ q คุณต้องการระบุการกระจายที่สร้างพวกเขา รับสมมุติฐานว่างที่พวกมันถูกสร้างขึ้นโดย q ให้ความน่าจะเป็นที่บ่งบอกถึงความผิดพลาดของ Type I โดยไม่ได้ตั้งใจปฏิเสธสมมติฐานว่างและ b บ่งบอกถึงความน่าจะเป็นของข้อผิดพลาด Type II

ดังนั้นสำหรับ n ขนาดใหญ่ความน่าจะเป็นของข้อผิดพลาด Type I เป็นอย่างน้อย

$\exp(-n \text{KL}(p,q))$

กล่าวอีกนัยหนึ่งสำหรับขั้นตอนการตัดสินใจ "ดีที่สุด" ความน่าจะเป็นของ Type I จะลดลงมากที่สุดโดยปัจจัยของ exp (KL (p, q)) ในแต่ละ datapoint ข้อผิดพลาด Type II ตกอยู่ที่ปัจจัยของมากที่สุด$\exp(\text{KL}(q,p))$

สำหรับ arbitrary n, a และ b สัมพันธ์กันดังนี้

$b \log \frac{b}{1-a}+(1-b)\log \frac{1-b}{a} \le n \text{KL}(p,q)$

และ

$a \log \frac{a}{1-b}+(1-a)\log \frac{1-a}{b} \le n \text{KL}(q,p)$

หากเราแสดงขอบด้านบนเป็นขอบล่างบน a ในรูปของ b และ KL และลด b เป็น 0 ผลลัพธ์ดูเหมือนจะเข้าใกล้ "exp (-n KL (q, p))" ถึงแม้สำหรับ n ขนาดเล็ก

รายละเอียดเพิ่มเติมในหน้า 10 ที่นี่และหน้า 74-77 ของ "ทฤษฎีข้อมูลและสถิติ" ของ Kullback (1978)

ในฐานะที่เป็นหมายเหตุด้านข้างการตีความนี้สามารถใช้เพื่อกระตุ้นการวัดข้อมูลฟิชเชอร์เนื่องจากการแจกแจงแบบคู่ใด ๆ p, q ที่ระยะทางของฟิชเชอร์ k จากกันและกัน (เล็ก ๆ ) คุณต้องการจำนวนการสังเกตเท่ากัน

KL มีความหมายลึกเมื่อคุณมองเห็นชุดของฟันเป็นท่อร่วมในเมตริกซ์ฟิชเชอร์มันจะให้ระยะทางมาตราส่วนระหว่างการกระจาย "ปิด" สองครั้ง อย่างเป็นทางการ:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

บรรทัดต่อไปนี้อยู่ที่นี่เพื่ออธิบายรายละเอียดความหมายของสูตรทางคณิตศาสตร์ las

ความหมายของตัวชี้วัดฟิชเชอร์

พิจารณาครอบครัว parametrized ของการกระจายความน่าจะเป็น (กำหนดโดยความหนาแน่นใน ) ที่เป็นตัวแปรสุ่มและ theta เป็นพารามิเตอร์ใน P คุณอาจทราบว่าเมทริกซ์ข้อมูลการฟิชเชอร์คือR n x R p F = ( F ฉันj$D=(f(x, \theta ))$$R^n$$x$$R^p$$F=(F_{ij})$

$F_{ij}=E[d(\log f(x,\theta))/d \theta_i d(\log f(x,\theta))/d \theta_j]$

ด้วยสัญกรณ์นี้คือ riemannian manifold และเป็นเมตริกซ์ Riemannian (ความสนใจของตัวชี้วัดนี้ได้รับจากทฤษฎีบทขอบเขตล่าง Rao Cramer)F ( θ $D$$F(\theta)$

คุณอาจพูดว่า ... ตกลงทางคณิตศาสตร์ที่เป็นนามธรรม แต่ KL อยู่ที่ไหน

มันไม่ได้เป็นนามธรรมทางคณิตศาสตร์ถ้าคุณสามารถจินตนาการความหนาแน่น parametrized ของคุณเป็นเส้นโค้ง (แทนที่จะเป็นส่วนย่อยของพื้นที่ของมิติที่ไม่มีที่สิ้นสุด) และเชื่อมต่อกับความโค้งของเส้นโค้งนั้น ... (ดู กระดาษน้ำเชื้อของ Bradley Efron http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176343282 )F $p=1$$F_{11}$

คำตอบทางเรขาคณิตเพื่อเป็นส่วนหนึ่งของจุด / ในคำถามของคุณ:ระยะทางกำลังสองระหว่างการแจกแจงสองแบบ (ปิด)และบนนานา (คิดว่า ระยะทางธรณีวิทยาบนโลกของสองจุดที่อยู่ใกล้มันเกี่ยวข้องกับความโค้งของโลก) ได้รับจากสมการกำลังสอง: p ( x , θ ) p ( x , θ + d θ $ds^2$$p(x,\theta)$$p(x,\theta+d \theta)$

$ds^2= \sum F_{ij} d \theta^i d \theta^j$

และเป็นที่รู้กันว่าเป็นสองเท่าของ Kullback Leibler Divergence:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับเรื่องนี้ฉันขอแนะนำให้อ่านกระดาษจาก Amari http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176345779 (ฉันคิดว่ายังมีหนังสือจาก Amari เกี่ยวกับ เรขาคณิต riemannian ในสถิติ แต่ฉันจำชื่อไม่ได้)

KL (p, q) ความแตกต่างระหว่างการแจกแจง p (.) และ q (.) มีการตีความทางทฤษฎีข้อมูลที่ใช้งานง่ายซึ่งคุณอาจพบว่ามีประโยชน์

สมมติว่าเราสังเกตข้อมูล x ที่เกิดจากการแจกแจงความน่าจะเป็นบางอย่าง p (.) ขอบเขตล่างของ codelength เฉลี่ยเป็นบิตที่จำเป็นในการระบุข้อมูลที่สร้างโดย p (.) จะได้รับจากเอนโทรปีของ p (.)

ทีนี้เนื่องจากเราไม่รู้ p (.) เราเลือกการกระจายอื่นพูด q (.) เพื่อเข้ารหัส (หรืออธิบาย, ระบุ) ข้อมูล ความยาวเฉลี่ยของข้อมูลที่สร้างโดย p (.) และเข้ารหัสโดยใช้ q (.) จะต้องนานกว่าถ้าใช้การแจกแจงจริง p (.) สำหรับการเข้ารหัส KL divergence บอกเราเกี่ยวกับความไร้ประสิทธิภาพของรหัสทางเลือกนี้ กล่าวอีกนัยหนึ่ง KL divergence ระหว่าง p (.) และ q (.) คือจำนวนบิตพิเศษโดยเฉลี่ยที่ต้องใช้ในการเข้ารหัสข้อมูลที่สร้างโดย p (.) โดยใช้การกระจายการเข้ารหัส q (.) KL แตกต่างไม่ใช่ค่าลบและเท่ากับศูนย์ iff การกระจายการสร้างข้อมูลจริงจะใช้ในการเข้ารหัสข้อมูล

สำหรับส่วน (b) ของคำถามของคุณคุณอาจพบปัญหาว่าหนึ่งในการแจกแจงของคุณมีความหนาแน่นในภูมิภาคที่อีกอันหนึ่งไม่มี

$i$$p_i>0$$q_i=0$$q_i=0$$q_i$