จัดเรียงข้อมูลใหม่ (ชุดสตริง) เพื่อปรับให้เหมาะสมสำหรับการบีบอัด?

มีอัลกอริทึมใด ๆ ในการจัดเรียงข้อมูลใหม่เพื่อปรับการบีบอัดให้เหมาะสมหรือไม่? ฉันเข้าใจว่านี่เป็นข้อมูลเฉพาะและอัลกอริทึมการบีบอัด แต่มีคำสำหรับหัวข้อนี้หรือไม่ ฉันจะหางานวิจัยในพื้นที่นี้ได้ที่ไหน

โดยเฉพาะฉันมีรายชื่อ json 1.5 ล้านสตริงและฉันต้องการเรียงลำดับสตริงใหม่เพื่อให้การบีบอัด gzip (สำหรับ HTTP) ได้รับการปรับปรุง การเรียงลำดับสตริงทำได้ค่อนข้างดี แต่ฉันไม่รู้จริงๆว่าเหมาะสมหรือไม่

นี่คือส่วนเพิ่มเติมของคำตอบของ Navin Goyal

เนื่องจากไฟล์ JSON ถือได้ว่าเป็นโครงสร้างข้อมูลแบบต้นไม้คุณสามารถใช้การแปลง XBWสำหรับต้นไม้ซึ่งเป็นส่วนขยายของการแปลง Burrows-Wheeler สำหรับสตริง

Burrows - การแปลงวีลเลอร์เป็นอัลกอริทึมการบีบอัดที่รู้จักกันดีซึ่งทำงานโดยจัดเรียงอักขระในสตริงที่จะบีบอัดใหม่

เพื่อปรับปรุงการบีบอัด gzip คุณต้องการให้สตริง "คล้ายกัน" ปิดในรายการ มีหลายวิธีในการกำหนดความคล้ายคลึงกัน; ให้ฉันอธิบายสิ่งที่สมเหตุสมผลที่ใช้ได้ดีในทางปฏิบัติ จำได้ว่าขนาดบล็อกของ gzip คือ 64K ดังนั้นข้อมูลของคุณจะถูกแบ่งออกเป็นบล็อกขนาด 64K ไบต์และทุกบล็อกจะถูกบีบอัดอย่างอิสระ การเพิ่มประสิทธิภาพการบีบอัดจะต้องลดจำนวน k-mers ที่แตกต่างกัน (สตริงย่อยของขนาด k) ในทุกบล็อค แรงจูงใจคือสารตั้งต้นดังกล่าวทั้งหมดจะถูกแทนที่ด้วยตัวระบุ

ในขณะที่ปัญหาข้างต้นนั้นยากในทางทฤษฎี (มันเป็นตัวแปรของการแบ่งไฮเปอร์กราฟ) แต่ก็มีอัลกอริทึมการปฏิบัติที่รวดเร็ว ฉันอยากจะแนะนำการจัดกลุ่มคล้าย LSHที่สามารถใช้งานได้ด้วยการส่งผ่านข้อมูลของคุณเพียงครั้งเดียว ขอให้สังเกตว่าการเรียงลำดับ (ตัวอักษร) เป็นอีกวิธีหนึ่งในการ "รวมกลุ่ม" สตริงที่คล้ายกันเข้าด้วยกัน อย่างไรก็ตามอัลกอริทึมการจัดกลุ่มพิเศษสามารถทำงานได้ดีขึ้น

อีกทางเลือกหนึ่งคือการใช้zstdซึ่งเป็น (i) เร็วขึ้น (ii) ได้รับอัตราส่วนการบีบอัดที่สูงขึ้นและ (iii) ไม่มีข้อ จำกัด เกี่ยวกับขนาดบล็อก (และทำให้บีบอัดสตริงอย่างเท่าเทียมกัน

ฉันเคยเห็นอัลกอริทึมมาแล้วซึ่งอาจมีประโยชน์ มันใช้อัลกอริทึมแก้ไขระยะทางในการคำนวณระยะห่างระหว่างแต่ละคำ ดังนั้นมันจึงสร้างกราฟซึ่งน้ำหนักขอบแต่ละอันคือระยะนี้ ในที่สุดมันก็ได้รับคำสั่งให้เลือกเส้นทางที่มีน้ำหนักรวมต่ำสุด อาจปรับปรุง gzip ได้