ทำไมฉันถึงได้รับข้อมูลข่าวสารมากกว่า 1

ฉันใช้ฟังก์ชันต่อไปนี้เพื่อคำนวณเอนโทรปี:

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p, 2)

    return - my_sum

ผลลัพธ์:

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
1.1488348542809168
>>> from scipy.stats import entropy # using a built-in package 
                                    # give the same answer
>>> entropy([1/7.0, 1/7.0, 5/7.0], base=2)
1.1488348542809166

ความเข้าใจของฉันคือเอนโทรปีอยู่ระหว่าง 0 และ 1, 0 หมายถึงแน่นอนมากและ 1 หมายถึงไม่แน่นอนมาก ทำไมฉันถึงได้ค่าเอนโทรปีมากกว่า 1

ฉันรู้ว่าถ้าฉันเพิ่มขนาดฐานบันทึกการวัดเอนโทรปีจะเล็กลง แต่ฉันคิดว่าฐาน 2 เป็นมาตรฐานดังนั้นฉันจึงไม่คิดว่านั่นเป็นปัญหา

ฉันต้องคิดถึงบางสิ่งที่ชัดเจน แต่อะไรนะ

เอนโทรปีเป็นไม่ได้เช่นเดียวกับความน่าจะเป็น

เอนโทรปีวัดค่า "ข้อมูล" หรือ "ความไม่แน่นอน" ของตัวแปรสุ่ม เมื่อคุณใช้ฐาน 2 มันจะวัดเป็นบิต และอาจมีข้อมูลมากกว่าหนึ่งบิตในตัวแปร

ในตัวอย่างนี้ตัวอย่างหนึ่ง "ประกอบด้วย" ข้อมูลประมาณ 1.15 บิต กล่าวอีกนัยหนึ่งถ้าคุณสามารถบีบอัดตัวอย่างจำนวนหนึ่งได้อย่างสมบูรณ์แบบคุณจะต้องใช้จำนวนบิตต่อตัวอย่างโดยเฉลี่ย

ค่าสูงสุดของเอนโทรปีคือโดยที่คือจำนวนหมวดหมู่ที่คุณใช้ ค่าตัวเลขจะขึ้นอยู่กับฐานของลอการิทึมที่คุณใช้$\log k$$k$

การใช้ฐาน 2 ลอการิทึมเป็นตัวอย่างเช่นในคำถาม:มีที่และเป็นดังนั้นมากขึ้นผลกว่าเป็นความผิดแน่นอนถ้าจำนวนของประเภทคือหรือ2คุ้มค่ามากขึ้นกว่าจะผิดถ้ามันเกินk$\log_2 1$$0$$\log_2 2$$1$$1$$1$$2$$1$$\log_2 k$

ในมุมมองของนี้มันเป็นเรื่องธรรมดาที่จะไต่เอนโทรปีโดยเพื่อให้ผลแล้วจะล้มลงระหว่างและ ,$\log k$$0$$1$

ลองนี้ (หมายเหตุฐาน ):$e$

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p)

    return - my_sum

ให้:

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
0.796311640173813