จะวัดเอนโทรปีของไฟล์ได้อย่างไร?

ตอนนี้ฉันกำลังพยายามวัดข้อมูลที่ไม่ซ้ำซ้อน (จริง) ที่ไฟล์ของฉันมีอยู่ บางคนเรียกสิ่งนี้ว่าปริมาณของเอนโทรปี

แน่นอนว่ามีมาตรฐาน p (x) log {p (x)} แต่ฉันคิดว่าแชนนอนเป็นเพียงการพิจารณาจากมุมมองของการส่งผ่านแม้ว่าช่องสัญญาณ ดังนั้นสูตรต้องมีขนาดบล็อก (พูดเป็นบิตโดยทั่วไป 8) สำหรับไฟล์ขนาดใหญ่การคำนวณนี้ค่อนข้างไร้ประโยชน์โดยไม่คำนึงถึงความสัมพันธ์ระยะสั้นและระยะยาวระหว่างสัญลักษณ์

มีต้นไม้ไบนารีและวิธีการ Ziv-Lempel แต่สิ่งเหล่านี้ดูเหมือนเป็นเรื่องวิชาการในธรรมชาติ

ความสามารถในการบีบอัดก็ถือได้ว่าเป็นมาตรวัดของเอนโทรปี สำหรับไฟล์ hiss.wav ของฉัน

• ต้นฉบับ hiss.wav = 5.2 MB
• เอนโทรปีผ่านสูตรแชนนอน = 4.6 MB
• hiss.zip = 4.6 MB
• hiss.7z = 4.2 MB
• hiss.wav.fp8 = 3.3 MB

มีวิธีการปฏิบัติที่สมเหตุสมผลในการวัดปริมาณเอนโทรปีใน hiss.wav หรือไม่?

เอนโทรปีเป็นคุณลักษณะของเป็นตัวแปรสุ่ม ไฟล์ที่ได้รับมีศูนย์ entropy เนื่องจากมันคง เอนโทรปีมีความหมายในหลาย ๆ สถานการณ์ที่ไม่มีช่องสัญญาณและคุณสามารถนำไปใช้กับชุดสุ่มพูดไฟล์ WAV ที่สร้างจากแหล่งที่กำหนด ในกรณีนี้ของคุณคือไฟล์ WAV ทั้งหมด$x$

ไฟล์ WAV จริง (ไม่รวมส่วนหัว) สามารถคิดได้ว่าถูกสร้างขึ้นโดยแหล่งที่มาของ Markovian บางแห่ง แหล่งที่มานี้สร้างเสียงแอมพลิจูด ("ตัวอย่าง") ตามลำดับแต่ละอันขึ้นอยู่กับเสียงที่มาก่อน หลังจากรันกระบวนการเป็นเวลานานเอนโทรปีของแต่ละตัวอย่าง (ถูกต้องมากขึ้นเงื่อนไขเอนโทรปีของตัวอย่างก่อนหน้า) จะใกล้เคียงกับค่า จำกัด บางอย่างซึ่งเรากำหนดให้เป็นเอนโทรปีของแหล่งที่มา เอนโทรปีของตัวอย่างคือคูณจำนวนนั้น (ในขีด จำกัด ; ยิ่งแม่นยำยิ่งขึ้นเรากำลังวัดค่าเอนโทรปีแบบมีเงื่อนไข) Lempel และ Ziv แสดงให้เห็นว่าถ้าเอนโทรปีของตัวอย่างเป็นบิตดังนั้นอัลกอริธึมของพวกมันจะบีบตัวอย่างไปยัง$N$$N$$H$$N$$HN + o(N)$บิตที่มีความน่าจะเป็นสูง (ความน่าจะเป็นสูงกว่าตัวอย่าง) การบีบอัด Lempel – Ziv ค่อนข้างเป็นที่นิยมในทางปฏิบัติเช่นใช้ในgzipรูปแบบที่นิยม

เนื่องจากผลลัพธ์ของ Lempel และ Ziv นี้ทำให้เอนโทรปีของแหล่งข้อมูลสามารถประมาณได้โดยการบีบตัวอย่างลำดับที่ยาวนานโดยใช้อัลกอริทึม Lempel – Ziv สิ่งนี้ไม่ได้ประเมินเอนโทรปีของตัวอย่างที่เฉพาะเจาะจงซึ่งไม่ใช่แนวคิดที่กำหนดไว้อย่างดี (ลำดับที่คงที่มีศูนย์เอนโทรปี) แต่เป็นเอนโทรปีของแหล่งที่มาที่สร้างมันขึ้นมา

แนวคิดที่เกี่ยวข้องคือเอนโทรปีของอัลกอริทึมที่เรียกว่าเป็นความซับซ้อน Kolmogorov มันเป็นความยาวของโปรแกรมที่สั้นที่สุดที่สร้างไฟล์ของคุณ ปริมาณนี้เหมาะสมสำหรับแต่ละไฟล์ ในกรณีของไฟล์ที่สร้างขึ้นโดยแหล่งสุ่มทฤษฎีบท Lempel – Ziv แสดงให้เห็นว่าเอนโทรปีของอัลกอริทึมของไฟล์ถูกล้อมรอบด้วยความน่าจะเป็นสูงโดยเอนโทรปีของแชนนอน น่าเสียดายที่เอนโทรปีของอัลกอริทึมไม่สามารถคำนวณได้ดังนั้นจึงเป็นแนวคิดทางทฤษฎีมากกว่า

เพื่อให้ภาพสมบูรณ์ฉันขอแนะนำให้อ่านกระดาษของ Shannon เรื่องPrediction และ entropy ของภาษาอังกฤษที่พิมพ์ออกมาเพื่อหาวิธีอื่นในการประมาณค่าเอนโทรปีของแหล่งข้อมูล