บางคนสามารถพิสูจน์การเชื่อมต่อต่อไปนี้ระหว่างตัวชี้วัดข้อมูลฟิชเชอร์กับเอนโทรปีสัมพัทธ์ (หรือ KL divergence) อย่างเคร่งครัดทางคณิตศาสตร์อย่างหมดจด?
ฉันพบข้างต้นในบล็อกของJohn Baezที่ Vasileios Anagnostopoulos พูดเกี่ยวกับสิ่งนั้นในความคิดเห็น
บางคนสามารถพิสูจน์การเชื่อมต่อต่อไปนี้ระหว่างตัวชี้วัดข้อมูลฟิชเชอร์กับเอนโทรปีสัมพัทธ์ (หรือ KL divergence) อย่างเคร่งครัดทางคณิตศาสตร์อย่างหมดจด?
ฉันพบข้างต้นในบล็อกของJohn Baezที่ Vasileios Anagnostopoulos พูดเกี่ยวกับสิ่งนั้นในความคิดเห็น
คำตอบ:
ในปี 1946 นักธรณีฟิสิกส์และนักสถิติเบย์แฮโรลด์เจฟฟรีส์ได้แนะนำสิ่งที่เราเรียกกันว่า Kullback-Leibler divergence และค้นพบว่าสำหรับการแจกแจงสองครั้งที่ "ไม่สิ้นสุด" (หวังว่าพวกคณิตศาสตร์ SE จะไม่เห็นสิ่งนี้ ;-) ความแตกต่างของ Kullback-Leibler ของพวกเขาเป็นรูปแบบสมการกำลังสองซึ่งมีค่าสัมประสิทธิ์ได้รับจากองค์ประกอบของเมทริกซ์ข้อมูลฟิชเชอร์ เขาตีความรูปแบบสมการกำลังสองนี้เป็นองค์ประกอบของความยาวของท่อร่วม Riemannian กับข้อมูลชาวประมงเล่นบทบาทของตัวชี้วัด Riemannian จากรูปแบบเชิงสถิติของรูปทรงเรขาคณิตนี้เขาได้รับ Jeffreys ของเขาก่อนหน้านี้เป็นมาตรการที่เกิดขึ้นตามธรรมชาติโดย Riemannian metric และการวัดนี้สามารถตีความได้ว่าเป็นการกระจายชุดที่แท้จริงภายในท่อร่วมแม้ว่าโดยทั่วไปแล้วมันไม่ได้เป็นขอบเขตแน่นอน
ในการเขียนหลักฐานที่เข้มงวดคุณจะต้องระบุเงื่อนไขทั้งหมดและดูแลลำดับของข้อผิดพลาดในการขยายเทย์เลอร์ นี่คือภาพร่างสั้น ๆ ของการโต้แย้ง
สมมาตร Kullback-Leibler divergence ระหว่างความหนาแน่นสองค่าและถูกกำหนดให้เป็น
หากเรามีครอบครัวของความหนาแน่นที่กำหนดพารามิเตอร์โดยดังนั้น
นี่คือกระดาษต้นฉบับ:
Jeffreys, H. (1946) รูปแบบคงที่สำหรับความน่าจะเป็นก่อนหน้านี้ในปัญหาการประมาณค่า พร สคช. of London, ซีรี่ส์ A, 186, 453–461
คำตอบของ Zen ใช้การกระจาย KL แบบสมมาตร แต่ผลลัพธ์นั้นยังคงอยู่ในรูปแบบปกติเช่นกันเนื่องจากมันจะกลายเป็นสมมาตรสำหรับการแจกแจงแบบใกล้ชิดแบบไม่สิ้นสุด
ต่อไปนี้เป็นข้อพิสูจน์สำหรับการกระจายแบบไม่ต่อเนื่องที่กำหนดพารามิเตอร์โดย scalar (เพราะฉันขี้เกียจ) แต่สามารถเขียนใหม่ได้อย่างง่ายดายสำหรับการแจกแจงแบบต่อเนื่องหรือเวกเตอร์ของพารามิเตอร์:
คุณสามารถค้นหาความสัมพันธ์ที่คล้ายกัน (สำหรับพารามิเตอร์หนึ่งมิติ) ในสมการ (3) ของบทความต่อไปนี้
D. Guo (2009), Entropy สัมพัทธ์และฟังก์ชั่นคะแนน: ข้อมูลใหม่ - การประมาณความสัมพันธ์ผ่านการรบกวนเพิ่มโดยพลการในProc การประชุมวิชาการนานาชาติ IEEE เรื่องทฤษฎีสารสนเทศ 814–818 ( ลิงก์มั่นคง )
ผู้เขียนอ้างถึง
เอส Kullback, ทฤษฎีสารสนเทศและข้อมูลสถิติ นิวยอร์ก: โดเวอร์, 2511
เพื่อพิสูจน์ผลลัพธ์นี้