การเชื่อมต่อระหว่างตัวชี้วัดฟิชเชอร์และเอนโทรปีสัมพัทธ์


20

บางคนสามารถพิสูจน์การเชื่อมต่อต่อไปนี้ระหว่างตัวชี้วัดข้อมูลฟิชเชอร์กับเอนโทรปีสัมพัทธ์ (หรือ KL divergence) อย่างเคร่งครัดทางคณิตศาสตร์อย่างหมดจด?

D(p(,a+da)p(,a))=12gi,jdaidaj+(O(da3)
= ( 1 , ... , n ) , วันที่= ( วันที่1 , ... , วันที่n ) กรัมฉัน, J = ฉัน ( เข้าสู่ระบบP ( x ; a ) ) j ( บันทึกpa=(a1,,an),da=(da1,,dan)
gi,j=i(logp(x;a))j(logp(x;a)) p(x;a) dx
gi,jdaidaj:=i,jgi,jdaidaj

ฉันพบข้างต้นในบล็อกของJohn Baezที่ Vasileios Anagnostopoulos พูดเกี่ยวกับสิ่งนั้นในความคิดเห็น


1
เรียน Kumara: สำหรับการชี้แจงก็จะช่วยในการอธิบายที่ดีกว่าโน้ตของคุณโดยเฉพาะความหมายของgi,jj} นอกจากนี้ฉันคิดว่านิพจน์ของคุณขาดปัจจัยคงที่1/2ต่อหน้าเทอมแรกของด้านขวามือของสมการการแสดงผล โปรดทราบว่าสิ่งที่ Kullback เรียกว่าdivergence (การใช้สัญลักษณ์J(,) ) เป็นเวอร์ชันสมมาตรของสิ่งที่รู้ว่าเรียกว่า KL divergence คือJ(p,q)=D(pq)+D(qp)P) ความแตกต่าง KL ถูกแสดงว่าI(,)ในงานเขียนของ Kullback นี่จะอธิบายถึงปัจจัย1/2เช่นกัน ไชโย
พระคาร์ดินัล

คำตอบ:


19

ในปี 1946 นักธรณีฟิสิกส์และนักสถิติเบย์แฮโรลด์เจฟฟรีส์ได้แนะนำสิ่งที่เราเรียกกันว่า Kullback-Leibler divergence และค้นพบว่าสำหรับการแจกแจงสองครั้งที่ "ไม่สิ้นสุด" (หวังว่าพวกคณิตศาสตร์ SE จะไม่เห็นสิ่งนี้ ;-) ความแตกต่างของ Kullback-Leibler ของพวกเขาเป็นรูปแบบสมการกำลังสองซึ่งมีค่าสัมประสิทธิ์ได้รับจากองค์ประกอบของเมทริกซ์ข้อมูลฟิชเชอร์ เขาตีความรูปแบบสมการกำลังสองนี้เป็นองค์ประกอบของความยาวของท่อร่วม Riemannian กับข้อมูลชาวประมงเล่นบทบาทของตัวชี้วัด Riemannian จากรูปแบบเชิงสถิติของรูปทรงเรขาคณิตนี้เขาได้รับ Jeffreys ของเขาก่อนหน้านี้เป็นมาตรการที่เกิดขึ้นตามธรรมชาติโดย Riemannian metric และการวัดนี้สามารถตีความได้ว่าเป็นการกระจายชุดที่แท้จริงภายในท่อร่วมแม้ว่าโดยทั่วไปแล้วมันไม่ได้เป็นขอบเขตแน่นอน

ในการเขียนหลักฐานที่เข้มงวดคุณจะต้องระบุเงื่อนไขทั้งหมดและดูแลลำดับของข้อผิดพลาดในการขยายเทย์เลอร์ นี่คือภาพร่างสั้น ๆ ของการโต้แย้ง

สมมาตร Kullback-Leibler divergence ระหว่างความหนาแน่นสองค่าและถูกกำหนดให้เป็นfg

D[f,g]=(f(x)g(x))log(f(x)g(x))dx.

หากเรามีครอบครัวของความหนาแน่นที่กำหนดพารามิเตอร์โดยดังนั้นθ=(θ1,,θk)

D[p(θ),p(θ+Δθ)]=(p(x,θ)p(xθ+Δθ))log(p(xθ)p(xθ+Δθ))dx,
Δ θ = ( Δ θ 1 , ... , Δ θ k ) Δ P ( x | θ ) = P ( x ที่theta_k) แนะนำสัญกรณ์ พีชคณิตง่าย ๆ ให้ เราใช้การขยายเทย์เลอร์สำหรับลอการิทึมธรรมชาติเรามี Δθ=(Δθ1,,Δθk)
Δp(xθ)=p(xθ)p(xθ+Δθ),
D[p(θ),p(θ+Δθ)]=Δp(xθ)p(xθ)log(1+Δp(xθ)p(xθ))p(xθ)dx.
log(1+Δp(xθ)p(xθ))Δp(xθ)p(xθ),
และดังนั้น แต่ ดังนั้น ซึ่ง
D[p(θ),p(θ+Δθ)](Δp(xθ)p(xθ))2p(xθ)dx.
Δp(xθ)p(xθ)1p(xθ)i=1kp(xθ)θiΔθi=i=1klogp(xθ)θiΔθi.
D[p(θ),p(θ+Δθ)]i,j=1kgijΔθiΔθj,
gij=logp(xθ)θilogp(xθ)θjp(xθ)dx.

นี่คือกระดาษต้นฉบับ:

Jeffreys, H. (1946) รูปแบบคงที่สำหรับความน่าจะเป็นก่อนหน้านี้ในปัญหาการประมาณค่า พร สคช. of London, ซีรี่ส์ A, 186, 453–461


1
ขอบคุณมากสำหรับการเขียนที่ดี มันจะดีหากคุณสามารถช่วยนี้เช่นกัน
Kumara

ใช่คุณพูดถูกต้อง ฉันต้องออกมาจาก "สิ่งที่เป็นนามธรรม" นี้
Kumara

@zen คุณกำลังใช้การขยายตัวแบบลอการิทึมของ Taylor ภายใต้อินทิกรัลทำไมจึงใช้ได้
Sus20200

1
ดูเหมือนว่าคุณจะต้องเริ่มต้นด้วยการแยก KL แบบสมมาตรเมื่อเทียบกับการเบี่ยงเบนมาตรฐานของ KL บทความ Wikipedia ไม่ได้กล่าวถึงรุ่นสมมาตรดังนั้นอาจเป็นไปได้ที่ไม่ถูกต้อง en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
ผู้บัญชาการผ่าตัด

11

พิสูจน์การเบี่ยงเบน KL แบบปกติ (ไม่สมมาตร)

คำตอบของ Zen ใช้การกระจาย KL แบบสมมาตร แต่ผลลัพธ์นั้นยังคงอยู่ในรูปแบบปกติเช่นกันเนื่องจากมันจะกลายเป็นสมมาตรสำหรับการแจกแจงแบบใกล้ชิดแบบไม่สิ้นสุด

ต่อไปนี้เป็นข้อพิสูจน์สำหรับการกระจายแบบไม่ต่อเนื่องที่กำหนดพารามิเตอร์โดย scalar (เพราะฉันขี้เกียจ) แต่สามารถเขียนใหม่ได้อย่างง่ายดายสำหรับการแจกแจงแบบต่อเนื่องหรือเวกเตอร์ของพารามิเตอร์:θ

D(pθ,pθ+dθ)=pθlogpθpθlogpθ+dθ .
เทย์เลอร์ - ขยายคำสุดท้าย: สมมติว่าเป็นกฎปกติฉันได้ใช้ทั้งสองผลลัพธ์:
=pθlogpθpθlogpθ= 0dθpθddθlogpθ= 0 12dθ2pθd2dθ2logpθ=pθ(ddθlogpθ)2 +O(dθ3)=12dθ2pθ(ddθlogpθ)2Fisher information+O(dθ3).
:pθddθlogpθ=ddθpθ=ddθpθ=0,

:pθd2dθ2logpθ=pθddθ(1pθdpθdθ)=pθ[1pθd2pθdθ(1pθdpθdθ)2]=d2pθdθ2pθ(1pθdpθdθ)2=d2dθ2pθ= 0pθ(ddθlogpθ)2.

4

คุณสามารถค้นหาความสัมพันธ์ที่คล้ายกัน (สำหรับพารามิเตอร์หนึ่งมิติ) ในสมการ (3) ของบทความต่อไปนี้

D. Guo (2009), Entropy สัมพัทธ์และฟังก์ชั่นคะแนน: ข้อมูลใหม่ - การประมาณความสัมพันธ์ผ่านการรบกวนเพิ่มโดยพลการในProc การประชุมวิชาการนานาชาติ IEEE เรื่องทฤษฎีสารสนเทศ 814–818 ( ลิงก์มั่นคง )

ผู้เขียนอ้างถึง

เอส Kullback, ทฤษฎีสารสนเทศและข้อมูลสถิติ นิวยอร์ก: โดเวอร์, 2511

เพื่อพิสูจน์ผลลัพธ์นี้


1
1/2
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.