ใครเป็นคนบัญญัติคำว่า "เอนโทรปีเชิงประจักษ์"?

ฉันรู้ว่างานของแชนนอนกับเอนโทรปี แต่เมื่อเร็ว ๆ นี้ฉันได้ทำงานกับโครงสร้างข้อมูลที่รวบรัดซึ่งเอนโทรปีเชิงประจักษ์มักใช้เป็นส่วนหนึ่งของการวิเคราะห์ที่เก็บข้อมูล

แชนนอนกำหนดเอนโทรปีของข้อมูลที่ผลิตโดยแหล่งข้อมูลแยกเป็น $-\sum_{i=1}^k p_i \log{p_i}$ ที่ไหน $p_i$ ความน่าจะเป็นของเหตุการณ์ $i$ เกิดขึ้นเช่นตัวละครเฉพาะที่สร้างขึ้นและมี $k$ เหตุการณ์ที่เป็นไปได้

ดังที่ MCH ชี้ให้เห็นในความคิดเห็นเอนโทรปีเชิงประจักษ์คือเอนโทรปีของการกระจายเชิงประจักษ์ของเหตุการณ์เหล่านี้และได้รับจาก $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ ที่ไหน $n_{i}$ คือจำนวนเหตุการณ์ที่เกิดขึ้นที่สังเกตได้ $i$ และ $n$ คือจำนวนกิจกรรมทั้งหมดที่สังเกตได้ นี้เรียกว่าคำสั่งศูนย์ TH เชิงประจักษ์เอนโทรปี ความคิดนอนส์ของเอนโทรปีตามเงื่อนไขที่มีลักษณะคล้ายกันที่สูงขึ้นเพื่อรุ่นเชิงประจักษ์

แชนนอนไม่ได้ใช้คำว่าเอนโทรปีเชิงประจักษ์แม้ว่าเขาจะสมควรได้รับเครดิตบางส่วนสำหรับแนวคิดนี้ ใครใช้แนวคิดนี้เป็นครั้งแรกและใครเป็นคนแรกที่ใช้ชื่อเอนโทรปีเชิงประจักษ์เพื่ออธิบายความหมาย?

reference-request shannon-entropy succinct

— ผู้ใช้ที่ถูกลบ 42
แหล่งที่มา

"pointwise ที่กำหนดสำหรับทุกสาย" ดูเหมือนความซับซ้อนของ Kolmogorov: นั่นคือสิ่งที่คุณอ้างถึง? ถ้าไม่คุณสามารถชี้ไปที่ลิงค์ที่กำหนดหรือดีกว่ายังคงให้ defn ในคำถามตัวเอง?

— Suresh Venkat

มันถูกเรียกเช่นนั้นเพราะเอนโทรปีเชิงประจักษ์เป็นเอนโทรปีของการกระจายเชิงประจักษ์ของลำดับ

— Mahdi Cheraghchi

@SureshVenkat ฉันพยายามอธิบายคำถามอย่างละเอียด

— ผู้ใช้ที่ถูกลบ 42

ลองดู Kosaraju S. Rao, Manzini G. , "การบีบอัดของสายเอนโทรปีต่ำด้วยอัลกอริทึม Lempel-Ziv" (1998) เช่นกัน พวกเขาวิเคราะห์ประสิทธิภาพของอัลกอริทึม Lempel-Ziv โดยใช้ " เอนโทรปีเชิงประจักษ์ "

— Marzio De Biasi

โปรดทราบว่า "การแจกแจงเชิงประจักษ์" เป็นการกระจาย ML สำหรับชุดความถี่ที่กำหนด ดังนั้นฉันสงสัยว่าวันนี้กลับไปที่เบย์ แม้แต่ Laplace ก็ได้ไตร่ตรองปัญหาของการนิยามการกระจายจากการนับเชิงประจักษ์

— Suresh Venkat

ฉันสนใจใน "เอนโทรปีเชิงประจักษ์" เช่นคุณและเอกสารที่เก่าที่สุดที่ฉันพบคือจาก Kosaraju เช่นผู้ใช้ "Marzio De Biasi" บอกในความคิดเห็นของเขา

แต่ในความคิดของฉันคำจำกัดความที่แท้จริงของ "empirical entropy" ถูกสร้างขึ้นในภายหลังโดยการวางแนวความคิดเดิม:

"ตัวอักษรและการบีบอัดขนาดใหญ่" โดย Travis Gagie (2008)
"Empropéเอนโทรปี" โดยพอล MB Vitányi (2554)

Gagie ใช้คำนิยามใหม่ของ $k$ ลำดับเอนโทรปีเชิงประจักษ์ถึง:

$H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

โดยที่คือกระบวนการมาร์คอฟลำดับที่นอกจากนี้เขายังแสดงให้เห็นว่าคำนิยามนี้เทียบเท่ากับคำนิยามก่อนหน้า ขั้นตอนต่อไปจากVitányiเป็นการวางนัยให้เป็นคลาสตามอำเภอใจของกระบวนการ (ไม่เฉพาะกระบวนการมาร์คอฟ): $Q$ $k$

$H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

โดยที่คือคลาสของกระบวนการที่ได้รับอนุญาตและคือความซับซ้อนของ Kolmogorov ถ้าเราเลือกเป็นคลาสของลำดับที่กระบวนการมาร์คอฟสร้างลำดับตัวแปรสุ่มและละเว้นความซับซ้อนของ Kolmogorov นอกจากนี้ยังนำไปสู่คำจำกัดความของ Gagie (คูณด้วย ) $\mathcal{X}$ $K(X)$
$\mathcal{X}$ $k$ $|w|$ $|w|$

— แดนนี่
แหล่งที่มา