อะไรคือบทบาทของลอการิทึมในเอนโทรปีของแชนนอน?

72

เอนโทรปีของแชนนอนนั้นเป็นผลลบของผลรวมของความน่าจะเป็นของผลลัพธ์แต่ละรายการคูณด้วยลอการิทึมของความน่าจะเป็นสำหรับแต่ละผลลัพธ์ ลอการิทึมมีจุดประสงค์อะไรในสมการนี้

คำตอบที่ใช้งานง่ายหรือภาพ (ตรงข้ามกับคำตอบทางคณิตศาสตร์อย่างลึกซึ้ง) จะได้รับคะแนนโบนัส!

entropy intuition sequence-analysis

— histelheim
แหล่งที่มา

11

คุณ (หรือผู้อ่านอื่น ๆ ) อาจสนุกกับ: A. Renyi (1961), เกี่ยวกับมาตรการของเอนโทรปีและข้อมูล , Proc การประชุมวิชาการเบิร์กลีย์ครั้งที่สี่ที่มีต่อสถิติและความน่าจะเป็นในการทำธุรกรรมทางการเงิน 1, 547-561

— พระคาร์ดินัล

จากปฏิกิริยาของคุณฉันคิดว่าคุณหมายถึงอะไรทำไมแชนนอนจึงใช้ลอการิทึมในสูตรของเขาใช่ไหม

— Ooker

@Ooker: นั่นเป็นวิธีหนึ่งที่จะวลีมัน "ทำไม" เขาใส่ไว้ใน? "อะไร" มันคือฟังก์ชั่นหรือบทบาท "?" อะไร "มันบรรลุผล?" อย่างไร "มันมีประโยชน์หรือไม่สำหรับฉันแล้วสิ่งเหล่านี้ล้วน แต่อยู่ในย่านเดียวกัน ...

— histelheim

ดูคำตอบของฉันที่นี่: stats.stackexchange.com/questions/66186/…

— kjetil b halvorsen

ดูคำตอบของฉันฉันคิดว่าความหมายของบันทึกสามารถเข้าใจได้อย่างแท้จริงโดยการตรวจสอบรากของแชนนอนเอนโทรปีในกลไกทางสถิติ

— Aksakal

51

เอนโทรปีของแชนนอนเป็นปริมาณที่สร้างความพึงพอใจให้กับชุดของความสัมพันธ์

ในระยะสั้นลอการิทึมจะทำให้มันเติบโตเป็นเส้นตรงกับขนาดของระบบและ "ทำตัวเหมือนข้อมูล"

วิธีแรกที่เอนโทรปีของการโยนเหรียญครั้งคือคูณเอนโทรปีของการโยนเหรียญ: $n$ $n$

- \sum_{i = 1}^{2^{n}} \frac{1}{2^{n}} \log (\frac{1}{2^{n}}) = - \sum_{i = 1}^{2^{n}} \frac{1}{2^{n}} n \log (\frac{1}{2}) = n (- \sum_{i = 1}^{2} \frac{1}{2} \log (\frac{1}{2})) = n .

$- \sum_{i=1}^{2^n} \frac{1}{2^n} \log\left(\tfrac{1}{2^n}\right) = - \sum_{i=1}^{2^n} \frac{1}{2^n} n \log\left(\tfrac{1}{2}\right) = n \left( - \sum_{i=1}^{2} \frac{1}{2} \log\left(\tfrac{1}{2}\right) \right) = n.$

หรือเพื่อดูว่ามันทำงานอย่างไรเมื่อโยนสองเหรียญที่แตกต่างกัน (อาจไม่ยุติธรรม - โดยมีหัวที่มีความน่าจะเป็นและก้อยสำหรับเหรียญแรกและและเป็นครั้งที่สอง) ดังนั้นคุณสมบัติของลอการิทึม (ลอการิทึมของผลิตภัณฑ์คือผลรวม ของลอการิทึม) มีความสำคัญ $p_1$ $p_2$ $q_1$ $q_2$

- \sum_{i = 1}^{2} \sum_{j = 1}^{2} p_{i} q_{j} \log (p_{i} q_{j}) = - \sum_{i = 1}^{2} \sum_{j = 1}^{2} p_{i} q_{j} (\log (p_{i}) + \log (q_{j}))

$-\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(p_i q_j) = -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \left( \log(p_i) + \log(q_j) \right)$

= - \sum_{i = 1}^{2} \sum_{j = 1}^{2} p_{i} q_{j} \log (p_{i}) - \sum_{i = 1}^{2} \sum_{j = 1}^{2} p_{i} q_{j} \log (q_{j}) = - \sum_{i = 1}^{2} p_{i} \log (p_{i}) - \sum_{j = 1}^{2} q_{j} \log (q_{j})

$= -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(p_i) -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(q_j) = -\sum_{i=1}^2 p_i \log(p_i) - \sum_{j=1}^2 q_j \log(q_j)$

แต่Rényiเอนโทรปีมีคุณสมบัตินี้ (มันเป็นเอนโทรปี parametrized ด้วยจำนวนจริงซึ่งกลายเป็นนอนส์เอนโทรปีสำหรับ ) $\alpha$ $\alpha \to 1$

อย่างไรก็ตามนี่คือคุณสมบัติที่สอง - เอนโทรปีของแชนนอนนั้นเป็นสิ่งพิเศษเนื่องจากเกี่ยวข้องกับข้อมูล ที่จะได้รับความรู้สึกที่ใช้งานง่ายบางอย่างที่คุณสามารถดู เป็นค่าเฉลี่ยของp)

H = \sum_{i} p_{i} \log (\frac{1}{p_{i}})

$H = \sum_i p_i \log \left(\tfrac{1}{p_i} \right)$

\log (1 / p)

$\log(1/p)$

เราสามารถเรียกข้อมูล ทำไม? เพราะถ้าเหตุการณ์ทั้งหมดเกิดขึ้นกับความน่าจะเป็นหมายความว่ามีเหตุการณ์เพื่อบอกว่าเหตุการณ์ใดเกิดขึ้นเราต้องใช้บิต (แต่ละบิตเพิ่มจำนวนเหตุการณ์ที่เราสามารถแยกได้เป็นสองเท่า) $\log(1/p)$ $p$ $1/p$ $\log(1/p)$

คุณอาจรู้สึกกังวล "ตกลงถ้าเหตุการณ์ทั้งหมดมีความน่าจะเป็นแบบเดียวกันมันก็สมเหตุสมผลที่จะใช้เป็นตัวชี้วัดของข้อมูล แต่ถ้าไม่ใช่เหตุการณ์นั้นทำไมข้อมูลเฉลี่ยถึงสมเหตุสมผล?" - และมันเป็นเรื่องธรรมชาติ $\log(1/p)$

แต่มันกลับกลายเป็นว่ามันทำให้รู้สึก - แหล่งที่มานอนส์เข้ารหัสทฤษฎีบทบอกว่าสตริงที่มีตัวอักษร uncorrelted กับความน่าจะเป็นความยาวไม่สามารถบีบอัด (โดยเฉลี่ย) สตริงไบนารีสั้นกว่าH และในความเป็นจริงเราสามารถใช้Huffman การเข้ารหัสในการบีบอัดสตริงและได้รับมากใกล้เคียงกับH $\{p_i\}_i$ $n$ $n H$ $n H$

ดูสิ่งนี้ด้วย:

การแนะนำที่ดีคือรายการทฤษฎีข้อมูลของ Cosma Shalizi
เอนโทรปีคืออะไร? - MathOverflow
การแยกรูปแบบ GZIP

— Piotr Migdal
แหล่งที่มา

11

คำตอบนี้มีรายละเอียดที่ดีมากมาย - แต่จากมุมมองของคนธรรมดามันยังทำให้เกิดปัญหา - บทบาทของลอการิทึมคืออะไร? ทำไมเราถึงคำนวณเอนโทรปีไม่ได้ถ้าไม่มีลอการิทึม

— histelheim

6

@histelheim คุณหมายถึงอะไรโดย "ไม่มีลอการิทึม"?

เป็นเพียงหนึ่ง หากคุณต้องการวัดความหลากหลายอื่น ๆ โดยไม่ต้อง

ให้ดูดัชนีความหลากหลาย - เช่นที่เรียกว่าดัชนี Inverse Simpson

ซึ่งบอกจำนวนที่มีประสิทธิภาพของตัวเลือก (หนึ่งค่าความน่าจะเป็นเฉลี่ย) มีดัชนี Gini – Simpson

\sum_{i} p_{i}

$\sum_i p_i$

\log

$\log$

1 / \sum_{i} p_{i}^{2}

$1/\sum_i p_i^2$

1 - \sum_{i} p_{i}^{2}

$1-\sum_i p_i^2$ ซึ่งจะอยู่ระหว่าง 0 ถึงหนึ่งเสมอ และถ้าคุณไม่สนใจคุณสมบัติที่เกี่ยวข้องกับข้อมูลอย่างละเอียดของเอนโทรปีของแชนนอนคุณสามารถใช้คุณสมบัติใดก็ได้ (แม้ว่ามันจะมีน้ำหนักความน่าจะเป็นต่ำและสูงแตกต่างกัน)

— Piotr Migdal

10

ฉันรู้สึกงุนงงกับความเห็นครั้งล่าสุดของคุณฮีสเทลไฮม์: "เอนโทรปีที่ไม่มีลอการิทึม" อาจหมายถึงอะไร? นั่นแสดงให้เห็นว่าคุณยังไม่ได้ระบุคำถามของคุณอย่างชัดเจนเพราะดูเหมือนว่าคุณมีแนวคิดแบบ "เอนโทรปี" อยู่ในใจ โปรดอย่าให้เราคาดเดา - แก้ไขคำถามของคุณเพื่อให้ผู้อ่านของคุณสามารถให้คำตอบที่คุณต้องการได้

— whuber

1

@ Piotr Migdal - คุณเขียนว่า "ลอการิทึมคือการทำให้มันเติบโตเป็นเส้นตรงกับขนาดของระบบและ" ทำตัวเหมือนข้อมูล " - นี่เป็นสิ่งสำคัญสำหรับฉันที่จะเข้าใจบทบาทของลอการิทึม แต่ฉันก็ไม่ค่อยชัดเจนว่ามันหมายถึงอะไร

— histelheim

1

@ Piotr Migdal - ยิ่งกว่านั้นคำอธิบายของคุณต่อไปนี้ "เราสามารถโทรหาข้อมูลบันทึก (1 / p) ทำไม?" ดูเหมือนจะทำให้รู้สึกถึงฉัน มันคือลอการิทึมส่วนใหญ่ย้ายเราจากดัชนีความหลากหลายไปยังดัชนีข้อมูล - การวัดจำนวนบิตที่เราต้องบอกเหตุการณ์แยก

— histelheim

25

นี่เป็นคำตอบเดียวกับคำตอบอื่น ๆ แต่ฉันคิดว่าวิธีที่ดีที่สุดในการอธิบายก็คือดูว่า Shannon พูดอะไรในเอกสารต้นฉบับของเขา

การวัดลอการิทึมสะดวกกว่าด้วยเหตุผลหลายประการ:

มันมีประโยชน์มากกว่า พารามิเตอร์ที่มีความสำคัญทางวิศวกรรมเช่นเวลาแบนด์วิดท์จำนวนรีเลย์ ฯลฯ มีแนวโน้มที่จะแปรผันเป็นเส้นตรงกับลอการิทึมของจำนวนความเป็นไปได้ ตัวอย่างเช่นการเพิ่มหนึ่งรีเลย์ไปยังกลุ่มสองเท่าของจำนวนสถานะที่เป็นไปได้ของการถ่ายทอด มันจะเพิ่ม 1 เข้ากับลอการิทึมฐาน 2 ของจำนวนนี้ การเพิ่มเวลาเป็นสองเท่าโดยประมาณกำลังสองของจำนวนข้อความที่เป็นไปได้หรือเพิ่มลอการิทึมเป็นสองเท่าเป็นต้น

มันใกล้เคียงกับความรู้สึกที่เราหยั่งรู้ถึงมาตรการที่เหมาะสม สิ่งนี้เกี่ยวข้องอย่างใกล้ชิดกับ (1) เนื่องจากเราวัดหน่วยงานโดยการเปรียบเทียบเชิงเส้นตรงกับมาตรฐานทั่วไป ตัวอย่างเช่นความรู้สึกหนึ่งว่าการ์ดที่ถูกเจาะสองแผ่นควรมีความจุหนึ่งการ์ดสำหรับจัดเก็บข้อมูลและสองช่องที่เหมือนกันสองเท่าของความจุหนึ่งสำหรับการส่งข้อมูล

มันเหมาะสมทางคณิตศาสตร์มากขึ้น การดำเนินการ จำกัด จำนวนมากนั้นง่ายในแง่ของลอการิทึม แต่จะต้องมีการซ้ำซ้อนเงอะงะในแง่ของจำนวนของความเป็นไปได้

แหล่งที่มา: แชนนอนทฤษฎีการสื่อสารทางคณิตศาสตร์ (2491) [ pdf ]

โปรดทราบว่าเอนโทรปีของแชนนอนนั้นเกิดขึ้นกับกิ๊บส์เอนโทรปีของกลศาสตร์เชิงสถิติและยังมีคำอธิบายว่าทำไมบันทึกจึงเกิดขึ้นในเอนโทรปีของกิ๊บส์ ในกลศาสตร์สถิติเอนโทรปีควรจะเป็นตัวชี้วัดจำนวนของรัฐที่เป็นไปได้ที่ระบบสามารถพบได้ เหตุผลที่จะดีกว่าเป็นเพราะมักจะเป็นฟังก์ชั่นที่เติบโตอย่างรวดเร็วมากของการขัดแย้งของตนและจึงไม่สามารถประมาณประโยชน์จากการขยายตัวของเทย์เลอร์ในขณะที่สามารถ (ฉันไม่รู้ว่านี่เป็นแรงบันดาลใจดั้งเดิมในการบันทึกหรือไม่ แต่มันถูกอธิบายด้วยวิธีนี้ในหนังสือฟิสิกส์เบื้องต้น) $\Omega$ $\log \Omega$ $\Omega$ $\Omega$ $\log \Omega$

— Flounderer
แหล่งที่มา

คำตอบนี้ดูเหมือนจะเน้น แต่ยังให้ข้อมูลมากที่สุด

— bright-star

1

นี่ไม่ใช่เหตุผลที่บันทึกปรากฏในการคำนวณเอนโทรปี นี่คือสาเหตุที่รายงานข้อมูลถูกรายงานเช่นนี้ มีปริมาณอื่น: "ความงุนงง" ที่รายงานข้อมูลโดยไม่มีการบันทึก ในส่วนนี้ของบทความของเขา Shannon โต้เถียงบิต / nats / hartleys และต่อต้านความงุนงง

— Neil G

15

$x$ $1 \leq x \leq N$ $x$ $O(\log_2N)$ $x$ $N=8$ $x$ .

$x$ $1 \leq x \leq N$ $p(x) = 1/N$ $1 \leq x \leq N$ $x$

h (x) = \log_{2} \frac{1}{p (x)}

$\begin{equation} h(x) = \log_2 \frac{1}{p(x)} \end{equation}$

$x=4$ $h(4) = 3$ $x$ $4$ $x=4$

$x$ $x$ $h(x)$ $x$

⟨ h (x) ⟩ = \sum_{1 \leq x \leq N} p (x) h (x)

$\begin{equation} \langle h(x) \rangle = \sum_{1 \leq x \leq N} p(x) h(x) \end{equation}$

$\langle h(x) \rangle$ $H(X)$ $H(X)$

— Omidi
แหล่งที่มา

1

+ นี่คือหนึ่งในแอปพลิเคชันที่ฉันโปรดปรานในทฤษฎีข้อมูล - การวิเคราะห์อัลกอริทึม หากคุณมีคะแนนการตัดสินใจด้วย> 2 ผลลัพธ์เช่นเมื่อคุณจัดทำดัชนีอาร์เรย์นั่นคือหลักการที่อยู่เบื้องหลังการเข้ารหัสแฮชและการเรียงลำดับ O (n)

— Mike Dunlavey

อาร์กิวเมนต์นี้ใช้ได้สำหรับเอนโทรปีที่แยกออกจากกัน แต่ไม่สามารถพูดถึงเอนโทรปีต่อเนื่องได้อย่างง่ายดาย

— Neil G

12

นี่คือคำอธิบายแบบปิดข้อมือ คุณสามารถบอกว่าหนังสือ 2 เล่มที่มีขนาดเท่ากันมีข้อมูลมากเป็นสองเท่าของหนังสือ 1 เล่มใช่ไหม? (พิจารณาว่าหนังสือเป็นสตริงของบิต) ถ้าผลลัพธ์ที่แน่นอนมีความน่าจะเป็น P คุณก็สามารถบอกได้ว่าเนื้อหาข้อมูลนั้นเกี่ยวกับจำนวนบิตที่คุณต้องเขียน 1 / P (เช่นถ้า P = 1/256 นั่นคือ 8 บิต) เอนโทรปีเป็นเพียงค่าเฉลี่ยของความยาวของบิตข้อมูลนั้นมากกว่าผลลัพธ์ทั้งหมด

— Mike Dunlavey
แหล่งที่มา

5

$\log(p_i)$ $\log(p_i)$ $H(p_1, \ldots ,p_N)$

แชนนอนให้หลักฐานทางคณิตศาสตร์ของผลที่ได้รับอย่างทั่วถึงและได้รับการยอมรับอย่างกว้างขวาง วัตถุประสงค์และความสำคัญของลอการิทึมในสมการเอนโทรปีจึงอยู่ในตัวเองภายใต้สมมติฐานและข้อพิสูจน์

สิ่งนี้ไม่ทำให้เข้าใจง่าย แต่ท้ายที่สุดแล้วสาเหตุที่ลอการิทึมปรากฏขึ้น

ฉันพบว่าข้อมูลอ้างอิงต่อไปนี้มีประโยชน์นอกเหนือจากรายการที่อื่น:

ทฤษฎีความน่า: ตรรกะของวิทยาศาสตร์โดย ET เจย์นส์ Jaynes เป็นหนึ่งในผู้เขียนไม่กี่คนที่ได้ผลลัพธ์มามากมายตั้งแต่เริ่มต้น ดูบทที่ 11
ทฤษฎีข้อมูลอัลกอริทึมการอนุมานและการเรียนรู้โดย David MacKay มีการวิเคราะห์เชิงลึกของทฤษฎีการเข้ารหัสซอร์สของแชนนอน ดูบทที่ 4

— user119961
แหล่งที่มา

4

สรุป:

$n$ $n$

ตัวอย่าง:

$6$ $6$ $1$ $n=2$ $1$

$3.5$ $6/2=3$

$1$

ลงมือทำกันเถอะ:

$6$ $> 3.5$
$6/2=3$ $\ge 5$
$6/2/2=1.5$ $= 6$

$6$ $3$ $ceil(\log_2(6)) = ceil(2.58) = 3$

$ceil$

$2.58$

$\log_2(...)$ $n$ $n$ $2$ $\log_n(...)$

จำลอง:

import random

total_questions = 0
TOTAL_ROUNDS = 10000

for i in range(0,TOTAL_ROUNDS):
    outcome = random.randrange(1,7)
    total_questions += 1
    if outcome > 3.5:
        total_questions += 1
        if outcome >= 5:
            total_questions += 1
            if outcome == 5:
                pass
            else:
                # must be 6! no need to ask
                pass
        else:
            # must be 4! no need to ask
            pass
    else:
        total_questions += 1
        if outcome >= 2:
            total_questions += 1
            if outcome == 2:
                pass
            else:
                # must be 3! no need to ask
                pass
        else:
            # must be 1! no need to ask
            pass


print 'total questions: ' + str(total_questions)
print 'average questions per outcome: ' + str(total_questions/float(TOTAL_ROUNDS))

ผล:

total questions: 26634
average questions per outcome: 2.6634

$2.6634 \ne \log_2(6) \ne 2.58$

เกิดอะไรขึ้น มันเกือบจะใกล้ แต่ไม่ได้จริงๆใกล้ที่สุดเท่าที่ฉันหวังว่า PRNG ของ Python พยายามพูดเรื่องตลกช้า ๆ หรือไม่? หรือแชนนอนนั้นผิดหรือเปล่า? หรือว่าพระเจ้าห้ามความเข้าใจของฉันผิด ไม่ว่าจะด้วยวิธีใดก็ตาม SOS เพื่อนแล้ว

— มนุษย์ถ้ำ
แหล่งที่มา

2

6^{5} = 7776

$6^5=7776$

⌈ \log_{2} (6^{5}) ⌉ = 13

$\lceil\log_2(6^5)\rceil=13$

13 / 5 = 2.6

$13/5=2.6$

190537

$190537$

492531

$492531$

492531 / 190537 \approx 2.584962500722

$492531/190537\approx 2.584962500722$

@ นี่ไม่ใช่สิ่งที่ฉันทำในรหัสของฉัน ฉันโยน 10,000 คนและรวมจำนวนคำถามที่ฉันขอทั้งหมดตาย จากนั้นฉันจะทำผลรวม / 10,000 ฉันได้รับ 2.66

— มนุษย์ถ้ำ

1

ไม่คุณไม่ได้ทำในรหัสของคุณเลย! คุณต้องถามชุดของคำถามที่ออกแบบมาเพื่อพร้อมกันได้รับสถานะของลูกเต๋าทั้งหมดในครั้งเดียว นั่นไม่ใช่สิ่งเดียวกันกับจำนวนคำถามเฉลี่ยที่จำเป็นในการค้นหาสถานะของการตายครั้งละ

— whuber

3

$\Omega = \{\omega_1, \dotsc, \omega_n\}$ $p_1, \dotsc, p_n$ $H(p_1, \dotsc, p_n)$

$H$
$H$ $n$ $p_1 = \dots = p_n = \frac1n$
$H$ $\begin{aligned} H (\frac{1}{2}, \frac{1}{6}, \frac{1}{3}) & = H (\frac{1}{2}, \frac{1}{2}) + \frac{1}{2} H (\frac{1}{3}, \frac{2}{3}) . \end{aligned}$ $\begin{align} H\left(\frac12, \frac16, \frac13\right) &= H\left(\frac12, \frac12\right) + \frac12 H\left(\frac13, \frac23\right). \end{align}$

$H$

\begin{aligned} H (p_{1}, \dots, p_{n}) & = - \sum_{i = 1}^{n} p_{i} \log_{k} p_{i} \end{aligned}

$\begin{align} H(p_1, \dotsc, p_n) &= -\sum_{i=1}^np_i\log_kp_i \end{align}$

k > 1

$k>1$

k = 2

$k=2$

— นีลจี
แหล่งที่มา

3

คำถามนี้เกิดขึ้นเมื่อสองปีก่อนและมีคำตอบที่ยอดเยี่ยมมากมายอยู่แล้ว แต่ฉันต้องการเพิ่มของฉันซึ่งช่วยฉันได้มาก

คำถามคือ

ลอการิทึมมีจุดประสงค์อะไรในสมการนี้

ลอการิทึม (โดยปกติจะขึ้นอยู่กับ 2) เป็นเพราะความไม่เท่าเทียมกันของคราฟท์

$\sum_{i=1}^m 2^{-l_i} <= 1$

$l_i$ $L_x$ $P(x)$

$P(x) = 2^{-L(x)}$

$L_{(x)} = -logP(x)$ $P(x)$ $L_{(x)}$

$L_{(x)}$ $P(x)$ $-P(x)logP(x)$

ที่ใช้งานง่ายภาพประกอบและภาพคำตอบ (ตามที่คุณจำเป็นต้องมี แต่มากขึ้นโดยเฉพาะสำหรับคราฟท์ของความไม่เท่าเทียมกัน) เป็นเสียงก้องในบทความนี้รหัสต้นไม้และความไม่เท่าเทียมกันของคราฟท์

— เลิร์นเนอจาง
แหล่งที่มา

1

จากการที่คุณไม่ยอมรับคำตอบใด ๆ แล้วฉันคิดว่าสิ่งที่คุณกำลังมองหาคือเหตุผลที่แชนนอนใช้ลอการิทึมในสูตรของเขาตั้งแต่แรก ในคำอื่น ๆ ปรัชญาของมัน

_{การปฏิเสธความรับผิดชอบ : ฉันแค่ลงในช่องนี้เป็นเวลาหนึ่งสัปดาห์มาที่นี่เพราะมีคำถามเช่นเดียวกับคุณ หากคุณมีความรู้เพิ่มเติมเกี่ยวกับเรื่องนี้โปรดแจ้งให้เราทราบ}

ฉันมีคำถามนี้หลังจากอ่านหนึ่งในเอกสารที่สำคัญที่สุดของ Ulanowicz, การเพิ่มเอนโทรปี: ตายด้วยความร้อนหรือความสามัคคีตลอดกาล? . นี่คือย่อหน้าที่อธิบายว่าทำไมสูตรมี -log (p) แทน (1-p):

ก่อนที่จะคลายความหมายอย่างเป็นทางการของการแยกเอนโทรปีใครจะเป็นคนชอบธรรมในการถามว่าทำไมไม่เลือก (1 - p) แทน [- log (p)] เป็นมาตรการที่เหมาะสมที่สุดในการไม่มีอยู่? คำตอบคือผลิตภัณฑ์ผลลัพธ์ด้วย p (นั่นคือ [p – p ^ 2]) สมมาตรอย่างสมบูรณ์รอบค่า p = 0.5 การคำนวณตามการรวมกันแบบสมมาตรจะสามารถอธิบายได้เพียงเอกภพที่กลับคืนได้ อย่างไรก็ตาม Boltzmann และ Gibbs กำลังพยายามหาจำนวนเอกภพกลับไม่ได้ โดยการเลือกฟังก์ชั่นลอการิทึมนูนเดียว univariate, Boltzmann จึงทำให้อคติที่ไม่เป็นอยู่ ตัวอย่างหนึ่งประกาศเช่นนั้นสูงสุด [–xlog {x}] = {1 / e} ≈ 0.37 ดังนั้นการวัดความไม่แน่นอนจะเบ้ไปทางค่าที่ต่ำกว่าของ pi

ดูเหมือนว่าแชนนอนเลือกลอการิทึมโดยไม่มีเหตุผล เขาแค่ "หลอมเหลว" ที่เขาควรใช้ลอการิทึม เหตุใดนิวตันจึงเลือกใช้การคูณในสูตรของเขา F = m * a

โปรดทราบว่าในเวลานั้นเขาไม่มีความคิดเกี่ยวกับเอนโทรปี :

ความกังวลที่ยิ่งใหญ่ที่สุดของฉันคือสิ่งที่เรียกว่า ฉันคิดว่าจะเรียกมันว่า 'ข้อมูล' แต่คำนี้ถูกใช้มากเกินไปดังนั้นฉันจึงตัดสินใจเรียกมันว่า 'ความไม่แน่นอน' เมื่อฉันพูดคุยกับจอห์นฟอนนอยมันน์เขามีความคิดที่ดีกว่า ฟอนนอยมันน์บอกฉันว่า 'คุณควรเรียกมันว่าเอนโทรปีด้วยเหตุผลสองประการ ในตอนแรกฟังก์ชั่นความไม่แน่นอนของคุณถูกใช้ในกลศาสตร์เชิงสถิติภายใต้ชื่อนั้นดังนั้นจึงมีชื่ออยู่แล้ว ในสถานที่ที่สองและที่สำคัญกว่านั้นไม่มีใครรู้ว่าเอนโทรปีคืออะไรดังนั้นในการอภิปรายคุณจะได้รับประโยชน์เสมอ

ดังนั้นคำตอบของฉันคือ: ไม่มีเหตุผลสำหรับสิ่งนี้ เขาเลือกสิ่งนี้เพราะมันใช้งานได้อย่างมหัศจรรย์

— Ooker
แหล่งที่มา

0

เอนโทรปีถูกกำหนดให้เป็นลอการิทึมของค่าเฉลี่ยเรขาคณิตของสัมประสิทธิ์ multinomial ที่แสดงจำนวนสถานะที่ระบบสามารถอยู่ใน:

\log \sqrt[N]{(\binom{N}{n_{1}, \dots, n_{k}})}

$\log \sqrt[N]{N \choose n_1,\ldots,n_k}$

ลอการิทึมปรากฏในสูตรหลังจากใช้การประมาณค่าของสเตอร์ลิง (ดู คำอธิบายนี้ )

— Atamiri
แหล่งที่มา

3

ฉันเชื่อว่า OP รู้ว่าลอการิทึมเป็นส่วนหนึ่งของคำจำกัดความ พวกเขาถามว่าทำไมถึงอยู่ที่นั่น?

— whuber

0

บันทึกมาจากการได้มาของฟังก์ชัน H ซึ่งเป็นไปตามข้อกำหนดทางธรรมชาติบางอย่าง ดูหน้า 3 วินาที 2 จากแหล่งนี้:

http://www.lptl.jussieu.fr/user/lesne/MSCS-entropy.pdf

เมื่อพิจารณาความจริงหากคุณดำเนินการปรับให้เหมาะสมคุณจะได้รับฟังก์ชั่นที่ไม่ซ้ำกัน (ไม่เกินค่าคงที่) โดยมีการเข้าสู่ระบบ

คำตอบทั้งหมดข้างต้นถูกต้องยกเว้นว่าพวกเขาตีความบันทึก แต่ไม่ได้อธิบายที่มาของบันทึก

— Swapnil Bhatia
แหล่งที่มา

0

ฉันเดาว่าคำถามของคุณเกี่ยวกับ "ความหมาย" ของลอการิทึมนั้นมากขึ้นและสาเหตุที่แต่ละองค์ประกอบก่อให้เกิดความหมายโดยรวมของสูตรมากกว่าการเป็นพิธีการเพียงแสดงความสอดคล้องของข้อกำหนดบางประการ

$p(x)$ $-log(p(x))$

$p(x)$
$-log(p(x))$

$p(x)$ $-log(p(x))$

จากนี้ไปฉันจะพูดคุยว่า GENERALITY ส่งผลต่อสูตรเอนโทรปีสุดท้ายอย่างไร

l o g_{2} (x) = n u m b e r_o f_b i t s_t o_e n c o d e_t h e_m e s s a g e s

$log_2(x) = number\_of\_bits\_to\_encode\_the\_messages$

ตอนนี้นั่งพักผ่อนและดูว่า Entropy ของแชนนอนทำกลอุบายได้อย่างไร: มันขึ้นอยู่กับข้อสมมติฐาน

เช่นฉันจะบอกว่าฝนตกเช่นกันถ้าเป็นฝนตกหนักหรือหนักมาก ดังนั้นเขาเสนอให้เข้ารหัส GENERALITY ของข้อความตามความถี่ที่พวกเขาเป็น ... และไปที่นั่น:

l o g_{2} N = - l o g_{2} 1 / N = - l o g_{2} P

$log_2 N = -log_2 1/N = -log_2 P$

$N$ $x$

สมการสามารถตีความได้ว่า: ข้อความที่หายากจะมีการเข้ารหัสนานกว่าเพราะมันมีความทั่วไปน้อยกว่าดังนั้นพวกเขาจึงต้องการบิตที่จะเข้ารหัสมากขึ้นและให้ข้อมูลน้อยกว่า ดังนั้นการมีข้อความที่เฉพาะเจาะจงและหายากจะมีส่วนทำให้เอ็นโทรปีมากกว่าข้อความทั่วไปและบ่อยครั้ง

$p(x)$ $-log(p(x))$

เอนโทรปีที่สูงที่สุดคือเมื่อเรามีระบบที่มีข้อความหายากและเฉพาะเจาะจงจำนวนมาก เอนโทรปีที่ต่ำที่สุดที่มีข้อความบ่อยและเป็นข้อความทั่วไป ในระหว่างนั้นเรามีสเปกตรัมของระบบที่เทียบเท่ากับเอนโทรปีซึ่งอาจมีทั้งข้อความหายากและข้อความทั่วไปหรือข้อความบ่อย แต่มีข้อความเฉพาะ

— Gabrer
แหล่งที่มา

0

ฉันไม่คิดว่ามันเป็นไปได้ที่จะให้คำตอบ "ใช้งานง่าย" ที่เป็นสากล ฉันจะให้คำตอบที่ง่ายสำหรับบางคนเช่นนักฟิสิกส์ ลอการิทึมอยู่ที่นั่นเพื่อให้ได้พลังงานเฉลี่ยของระบบ นี่คือรายละเอียด

แชนนอนใช้คำว่า " เอนโทรปี " เพราะเขาดัดแปลงมาจากแนวคิดกลศาสตร์สถิติ ในกลศาสตร์เชิงสถิติจะมีการแจกแจงน้ำเชื้อชื่อ Boltzmann ที่น่าสนใจคือการกระจายที่สำคัญในขณะนี้ในการเรียนรู้ของเครื่อง!

P = e^{\frac{a - E}{b}}

$P=e^{\frac{a-E} b}$

a, b

$a, b$

E

$E$

d V

$dV$

V

$V$

d V = d p d x

$dV=dpdx$

x, p

$x,p$

a, b

$a,b$

\int_{V} P d V = 1

$\int_VPdV=1$

b

$b$ สอดคล้องกับอุณหภูมิของระบบ

$\ln P\sim E$

S \equiv - \int_{V} P \ln P d V =< E >

$S\equiv -\int_VP\ln P dV=<E>$

η = - \sum_{i} P_{i} \ln P_{i}

$\eta=-\sum_i P_i\ln P_i$

e^{- P_{i}}

$e^{-P_i}$

ใช้งานง่ายพอสำหรับคุณหรือไม่ สำหรับฉัน แต่ฉันเป็นนักฟิสิกส์เชิงทฤษฎีในชีวิตที่ผ่านมา นอกจากนี้คุณสามารถไปที่ระดับลึกของปรีชาโดยเชื่อมโยงกับแนวคิดอุณหพลศาสตร์ที่เก่ากว่าเช่นอุณหภูมิและผลงานของ Boltzmann และ Clausius

— Aksakal
แหล่งที่มา