เพื่อเพิ่มคำตอบที่ยอดเยี่ยมโดยคาร์ลอสและซีอานมันเป็นเรื่องที่น่าสนใจที่จะทราบว่าเงื่อนไขที่เพียงพอสำหรับการแยก KL จะมีค่า จำกัด สำหรับตัวแปรสุ่มทั้งคู่ที่จะมีการสนับสนุนที่กะทัดรัดและสำหรับความหนาแน่นของการอ้างอิง . ผลลัพธ์นี้ยังกำหนดขอบเขตที่แน่นอนสำหรับความแตกต่างสูงสุดของ KL (ดูทฤษฎีบทและบทพิสูจน์ด้านล่าง)
ทฤษฎีบท:ถ้าความหนาแน่นและมีเหมือนกันตกลงสนับสนุนและความหนาแน่นตั้งอยู่ทางทิศสนับสนุน (เช่นเป็นมี จำกัด ขอบเขตบน) แล้ว<\pqXpKL(P||Q)<∞
พิสูจน์:เนื่องจากมีขนาดกะทัดรัดรองรับซึ่งหมายความว่ามีค่าต่ำสุดที่เป็นบวก:qX
q–≡infx∈Xq(x)>0.
ในทำนองเดียวกันเนื่องจากมีการสนับสนุนที่กะทัดรัดซึ่งหมายความว่ามีค่า supremum ที่เป็นบวก:pX
p¯≡supx∈Xp(x)>0.
นอกจากนี้ตั้งแต่เหล่านี้มีทั้งความหนาแน่นในการสนับสนุนเดียวกันและหลังตั้งอยู่ทางทิศเรามี<\ ซึ่งหมายความว่า:0<q–⩽p¯<∞
supx∈Xln(p(x)q(x))⩽ln(p¯)−ln(q–).
ตอนนี้ให้เป็นขอบเขตบนหลังเราเห็นได้ชัดว่ามีดังนั้น ที่:L––≡ln(p¯)−ln(q–)0⩽L––<∞
KL(P||Q)=∫Xln(p(x)q(x))p(x)dx⩽supx∈Xln(p(x)q(x))∫Xp(x)dx⩽(ln(p¯)−ln(q–))∫Xp(x)dx=L––<∞.
สิ่งนี้กำหนดขอบเขตบนที่ต้องการซึ่งพิสูจน์ทฤษฎีบท ■