มีค่าสูงสุดที่ทราบสำหรับจำนวนของ 0 และ 1 ที่สามารถบีบอัดได้หรือไม่?

นานมาแล้วฉันอ่านบทความในหนังสือพิมพ์ที่อาจารย์บางคนกล่าวว่าในอนาคตเราจะสามารถบีบอัดข้อมูลเป็นสองบิต (หรืออะไรทำนองนั้น)

แน่นอนว่านี่ไม่ถูกต้อง (และอาจเป็นได้ว่าความทรงจำของฉันในสิ่งที่เขาระบุไว้นั้นไม่ถูกต้อง) เป็นที่เข้าใจกันว่ามันจะไม่เกิดประโยชน์ในการบีบอัดสตริงใด ๆของ 0 และ 1 ถึงเพียงสองบิตเพราะ (แม้ว่าจะเป็นไปได้ทางเทคนิค) สตริงที่แตกต่างกันมากเกินไปจะจบลงด้วยการบีบอัดให้เป็นสองบิตเดียวกัน 'และ' 10 'เพื่อเลือก)

อย่างไรก็ตามสิ่งนี้ทำให้ฉันคิดเกี่ยวกับความเป็นไปได้ของการบีบอัดสตริงความยาวโดยพลการของ 0 และ 1 ตามรูปแบบบางอย่าง สำหรับสตริงชนิดนี้มีความสัมพันธ์ที่รู้จักระหว่างความยาวสตริง (อัตราส่วนระหว่าง 0 ถึง 1 อาจไม่สำคัญ) และการบีบอัดสูงสุดหรือไม่

กล่าวอีกนัยหนึ่งมีวิธีพิจารณาความยาวต่ำสุด (น้อยที่สุดที่เป็นไปได้) ที่สตริงของ 0 และ 1 สามารถบีบอัดได้อย่างไร

(ที่นี่ฉันสนใจในการบีบอัดสูงสุดทางคณิตศาสตร์ไม่ใช่สิ่งที่เป็นไปได้ทางเทคนิคในปัจจุบัน)

ความซับซ้อนของ Kolmogorovเป็นวิธีการหนึ่งในการทำให้เป็นทางการทางคณิตศาสตร์นี้ น่าเสียดายที่การคำนวณความซับซ้อนของสตริง Kolmogorov เป็นปัญหาที่ไม่สามารถคำนวณได้ ดูเพิ่มเติม: ใกล้เคียงกับความซับซ้อน Kolmogorov

มันเป็นไปได้ที่จะได้รับผลลัพธ์ที่ดีกว่าถ้าคุณวิเคราะห์แหล่งที่มาของสตริงมากกว่าสตริงตัวเอง กล่าวอีกนัยหนึ่งบ่อยครั้งที่แหล่งข้อมูลสามารถจำลองเป็นกระบวนการที่น่าจะเป็นซึ่งสุ่มเลือกสตริงอย่างใดตามการแจกแจงบางอย่าง เอนโทรปีของการแจกแจงนั้นจะบอกคุณถึงการบีบอัดที่ดีที่สุดเท่าที่จะเป็นไปได้ทางคณิตศาสตร์

ในความเป็นไปไม่ได้ของการบีบอัดข้อมูลที่สมบูรณ์คุณอาจสนใจสิ่งต่อไปนี้

• ไม่มีอัลกอริทึมการบีบอัดที่สามารถบีบอัดข้อความอินพุตทั้งหมดได้หรือไม่
• ฟังก์ชันการบีบอัดใช้งานได้จริงเพียงเพราะ "บิตสตริงที่เกิดขึ้นในทางปฏิบัตินั้นอยู่ไกลจากการสุ่ม"?
• มีอัลกอริทึมการบีบอัดข้อมูลที่ได้รับการพิสูจน์ทางทฤษฎีหรือไม่?

สำหรับสตริงที่กำหนดใด ๆ มีรูปแบบการบีบอัดที่บีบอัดมันเป็นสตริงว่าง ดังนั้นจึงไม่มีความหมายที่จะถามว่าสามารถบีบอัดสตริงเดี่ยวได้มากแค่ไหน แต่โดยเฉลี่ยแล้วจะมีการบีบอัดคอลเล็กชัน (หรือการกระจาย ) ของสตริงจำนวนเท่าใด โดยทั่วไปแล้วจะได้รับชุดของสตริงรูปแบบการบีบอัดใด ๆ ที่ต้องการอย่างน้อยบิตหรือมากกว่านั้นเพื่อเข้ารหัสสตริงจากการรวบรวมในกรณีที่เลวร้ายที่สุด$N$$\log_2 N$

นอกจากนี้ในหลายกรณีเราไม่สนใจเกี่ยวกับการสร้างใหม่ที่แน่นอน นี่เรียกว่าการบีบอัดแบบ lossyและเป็นวิธีบีบอัดเพลงและวิดีโอ ในกรณีนี้ขอบเขตด้านล่างที่ระบุไว้ข้างต้นไม่ได้ถือครอง แต่คุณสามารถเกิดขึ้นกับขอบเขตล่างอื่น ๆ

ต่อไปนี้เป็นโครงร่างอย่างง่ายที่สามารถบีบอัดสตริงบิตแบบไม่สูญเสียโดยพลการโดยผลลัพธ์ที่เล็กที่สุดคือเพียงบิตเดียว:

หากสตริงนั้นตรงกันสำหรับการบันทึกซิมโฟนีที่ 9 ของ Beethoven การเคลื่อนไหวที่สี่ในรูปแบบ AAC ที่เก็บไว้ในฮาร์ดไดรฟ์ของคอมพิวเตอร์ของฉันผลลัพธ์จะเป็นบิตเดียว '0'

หากสตริงเป็นอย่างอื่นผลลัพธ์จะเป็นบิตเดียว '1' ตามด้วยสำเนาที่เหมือนกันของสตริงดั้งเดิม

แบบแผนนี้จะลดอินพุตหนึ่งที่เป็นไปได้ให้เป็นหนึ่งบิตและเพิ่มความยาวอินพุตอื่น ๆ ทุกรายการ มีหลักการทั่วไป: หากอัลกอริทึมการบีบอัดสามารถแมปสตริงอินพุตใด ๆ กับสตริงที่บีบอัดและมีอัลกอริทึมการบีบอัดที่ตรงกันที่แมปสตริงบีบอัดใด ๆ กลับไปที่สตริงเดิมและอัลกอริทึมการบีบอัดแมปอินพุตใด ๆแล้วมันจะต้อง map บางสายเข้ากับสายอีกต่อไป

สำหรับทุกรูปแบบการบีบอัดที่คุณสามารถเกิดขึ้นได้คุณสามารถสร้างข้อมูลที่ไม่สามารถบีบอัดได้ ดังนั้นแม้ว่ารูปแบบการบีบอัดของคุณจะมีประสิทธิภาพมากกับข้อมูลบางประเภทมันจะไม่บีบอัดอย่างต่อเนื่องในอัตราส่วนที่แน่นอน

วิธีการสร้างตัวอย่างของข้อมูลที่ไม่บีบอัดสำหรับอัลกอริทึมการบีบอัดแบบใดแบบหนึ่งนั้นง่าย: นำข้อมูลทุกชนิดและรันผ่านอัลกอริธึมการบีบอัดซ้ำ ๆ จนกระทั่งขนาดไม่ลดลงอีกต่อไป

ดังนั้นความสามารถในการบีบอัดของสตริงบิตจึงไม่ใช่ฟังก์ชันของความยาวของสตริง แต่เป็นความซับซ้อนที่เกี่ยวข้องกับอัลกอริทึมการบีบอัด

มีอัลกอริทึมที่น่าสนใจและแตกต่างอย่างสิ้นเชิงที่ใช้โดยระบบสำรองข้อมูลขององค์กร แนวคิดก็คือถ้าคุณมี บริษัท ที่มีคอมพิวเตอร์ 10,000 เครื่องคอมพิวเตอร์จำนวนมากเหล่านี้จะมีไฟล์เหมือนกันมากมาย ตัวอย่างเช่นอีเมลที่ส่งถึงทุกคนใน บริษัท อาจจบลงด้วยการเป็นไฟล์ที่เหมือนกันในฮาร์ดไดรฟ์ทุกตัว

ดังนั้นระบบสำรองข้อมูลที่พยายามสำรองไฟล์ควรพยายามบีบอัดไฟล์เพื่อประหยัดพื้นที่อย่างชัดเจน แต่ก่อนอื่นระบบสำรองจะตรวจสอบว่ามีการบันทึกไฟล์ที่เหมือนกันอย่างแน่นอน! ดังนั้นแทนที่จะสำรองอะไรทั้งหมดที่ระบบการสำรองข้อมูลจะเป็นตัวอย่างเช่นการจดจำว่าคุณมีหมายเลข 1487578 ไฟล์บนระบบสำรองข้อมูลบนฮาร์ดดิสก์ของคุณ

สิ่งนี้มีประสิทธิภาพเป็นพิเศษเช่นเมื่อผู้ใช้ 10,000 คนทุกคนมีระบบปฏิบัติการและแอพพลิเคชั่นที่ติดตั้งเหมือนกัน สำหรับผู้ใช้คนเดียวมันไม่ได้มีประโยชน์อะไรเลย