บีบอัดไฟล์ขนาดใหญ่จำนวนมากอย่างรวดเร็ว

ฉันมีการสร้างข้อมูลบันทึกข้อมูลประมาณ 200 GB ต่อวันกระจายอยู่ในไฟล์บันทึกต่างๆประมาณ 150 ไฟล์

ฉันมีสคริปต์ที่ย้ายไฟล์ไปยังตำแหน่งชั่วคราวและทำ tar-bz2 ในไดเรกทอรีชั่วคราว

ฉันได้รับผลลัพธ์ที่ดีเนื่องจากมีการบีบอัดบันทึก 200 GB ถึงประมาณ 12-15 GB

ปัญหาคือมันใช้เวลาตลอดไปในการบีบอัดไฟล์ cronงานทำงานที่ 02:30 ทุกวันและยังทำงานต่อไปจนถึง 5: 00-6: 12:00

มีวิธีปรับปรุงความเร็วของการบีบอัดและทำให้งานเสร็จเร็วขึ้นหรือไม่ ความคิดใด ๆ

ไม่ต้องกังวลกับกระบวนการอื่น ๆ ทั้งหมดตำแหน่งที่มีการบีบอัดเกิดขึ้นบนNASและฉันสามารถเรียกใช้ NAS บนVMเฉพาะและเรียกใช้สคริปต์การบีบอัดจากที่นั่น

นี่คือการส่งออกของด้านบนสำหรับการอ้างอิง:

top - 15:53:50 up 1093 days,  6:36,  1 user,  load average: 1.00, 1.05, 1.07
Tasks: 101 total,   3 running,  98 sleeping,   0 stopped,   0 zombie
Cpu(s): 25.1%us,  0.7%sy,  0.0%ni, 74.1%id,  0.0%wa,  0.0%hi,  0.1%si,  0.1%st
Mem:   8388608k total,  8334844k used,    53764k free,     9800k buffers
Swap: 12550136k total,      488k used, 12549648k free,  4936168k cached
 PID  USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 7086 appmon    18   0 13256 7880  440 R 96.7  0.1 791:16.83 bzip2
7085  appmon    18   0 19452 1148  856 S  0.0  0.0   1:45.41 tar cjvf /nwk_storelogs/compressed_logs/compressed_logs_2016_30_04.tar.bz2 /nwk_storelogs/temp/ASPEN-GC-32459:nkp-aspn-1014.log /nwk_stor
30756 appmon    15   0 85952 1944 1000 S  0.0  0.0   0:00.00 sshd: appmon@pts/0
30757 appmon    15   0 64884 1816 1032 S  0.0  0.0   0:00.01 -tcsh

ขั้นตอนแรกคือการค้นหาว่าคอขวดคืออะไร: เป็นดิสก์ I / O, เครือข่าย I / O หรือ CPU หรือไม่

หากคอขวดเป็น I / O ของดิสก์คุณจะไม่สามารถทำอะไรได้มากมาย ตรวจสอบให้แน่ใจว่าดิสก์ไม่ตอบสนองการร้องขอแบบขนานจำนวนมากเนื่องจากสามารถลดประสิทธิภาพได้เท่านั้น

หากคอขวดคือ I / O เครือข่ายให้เรียกใช้กระบวนการบีบอัดบนเครื่องที่จัดเก็บไฟล์: การเรียกใช้บนเครื่องที่มี CPU แบบ beefier จะช่วยได้ก็ต่อเมื่อ CPU เป็นคอขวดเท่านั้น

หากคอขวดเป็นซีพียูสิ่งแรกที่ต้องพิจารณาคือใช้อัลกอริทึมการบีบอัดที่เร็วขึ้น Bzip2 ไม่จำเป็นต้องเป็นตัวเลือกที่แย่ - จุดอ่อนหลักคือความเร็วในการบีบอัด - แต่คุณสามารถใช้ gzip และเสียสละขนาดสำหรับความเร็วในการบีบอัดหรือลองใช้รูปแบบอื่นเช่น lzop หรือ lzma คุณอาจปรับระดับการบีบอัด: ค่าเริ่มต้น bzip2 เป็น-9(ขนาดบล็อกสูงสุดดังนั้นการบีบอัดสูงสุด แต่เวลาการบีบอัดที่ยาวที่สุด); ตั้งค่าตัวแปรสภาพแวดล้อมBZIP2เป็นค่าที่ต้องการ-3ลองระดับการบีบอัด 3 เธรดนี้และเธรดนี้พูดถึงอัลกอริธึมการบีบอัดทั่วไป โดยเฉพาะการโพสต์บล็อกที่อ้างถึงโดย Derobert ให้เกณฑ์มาตรฐานบางอย่างที่แนะนำgzip -9หรือbzip2bzip2 -9ที่มีระดับต่ำอาจจะมีการประนีประนอมที่ดีเมื่อเทียบกับ เกณฑ์มาตรฐานอื่นซึ่งรวมถึง lzma (อัลกอริทึมของ 7zip ดังนั้นคุณอาจใช้7zแทนtar --lzma) แนะนำว่าlzmaในระดับต่ำสามารถเข้าถึงอัตราส่วนการบีบอัด bzip2 ได้เร็วขึ้น ตัวเลือกอื่น ๆ นอกเหนือจาก bzip2 จะปรับปรุงเวลาในการคลายการบีบอัด โปรดทราบว่าอัตราส่วนการบีบอัดขึ้นอยู่กับข้อมูลและความเร็วในการบีบอัดขึ้นอยู่กับเวอร์ชันของโปรแกรมบีบอัดวิธีการรวบรวมและ CPU ที่ใช้งาน

ตัวเลือกอื่นถ้าคอขวดคือ CPU และคุณมีหลายคอร์คือการบีบอัดแบบขนาน มีสองวิธีในการทำเช่นนั้น สิ่งหนึ่งที่ใช้ได้กับอัลกอริธึมการบีบอัดใด ๆ คือการบีบอัดไฟล์แยกกัน (แยกทีละตัวหรือเป็นสองสามกลุ่ม) และใช้parallelเพื่อรันคำสั่งการเก็บถาวร / บีบอัดแบบขนาน สิ่งนี้อาจลดอัตราส่วนการบีบอัด แต่เพิ่มความเร็วในการดึงไฟล์แต่ละไฟล์และทำงานกับเครื่องมือใด ๆ อีกวิธีหนึ่งคือการใช้เครื่องมือการบีบอัดแบบขนาน หัวข้อนี้จะแสดงหลายรายการ

คุณสามารถติดตั้งpigzขนาน gzip และใช้ tar ด้วยการบีบอัดแบบมัลติเธรด ชอบ:

tar -I pigz -cf file.tar.gz *

ในกรณีที่-Iตัวเลือกคือ:

-I, --use-compress-program PROG
  filter through PROG

แน่นอนถ้า NAS ของคุณไม่มี CPU หลายคอร์ / ทรงพลังคุณก็ถูก จำกัด ด้วยพลังซีพียู

ความเร็วของฮาร์ดดิสก์ / อาเรย์ที่ VM และการบีบอัดกำลังทำงานสามารถเป็นคอขวดได้เช่นกัน

วิธีการบีบอัดข้อมูลที่เร็วและมีประสิทธิภาพที่สุดคือการสร้างข้อมูลให้น้อยลง

คุณกำลังสร้างบันทึกชนิดใด ฟังทุกวัน 200GB ฟังดูค่อนข้างเยอะ (ยกเว้นว่าคุณเป็น google หรือ ISP ... ) ให้พิจารณาว่าข้อความ 1MB นั้นมีประมาณ 500 หน้าดังนั้นคุณสร้างข้อความได้เทียบเท่า 100 ล้านหน้าต่อวัน เติมห้องสมุดของรัฐสภาในหนึ่งสัปดาห์

ดูข้อมูลบันทึกของคุณหากคุณสามารถลดได้อย่างใดและยังคงได้รับสิ่งที่คุณต้องการจากบันทึก ตัวอย่างเช่นโดยการลดระดับบันทึกหรือใช้รูปแบบบันทึก terser หรือถ้าคุณใช้บันทึกสำหรับสถิติให้ประมวลผลสถิติแบบทันทีและทิ้งไฟล์ด้วยข้อมูลสรุปแล้วกรองบันทึกก่อนการบีบอัดสำหรับจัดเก็บ

คุณสามารถลดจำนวนการบีบอัด (ในแง่ของการประหยัดพื้นที่) เพื่อให้เร็วขึ้น ในการเริ่มต้น bzip2 นั้นช้ากว่า gzip มากแม้ว่ามันจะบีบขนาดเล็กลง นอกจากนี้คุณยังสามารถเปลี่ยนระดับการบีบอัดของ bzip2, gzip หรือโปรแกรมบีบอัดส่วนใหญ่เป็นขนาดการแลกเปลี่ยนสำหรับความเร็ว

หากคุณไม่ต้องการแลกเปลี่ยนขนาดของความเร็วคุณยังคงสามารถรับขนาดเดียวกันหรือเล็กกว่าในขณะที่ยังคงได้รับการปรับปรุงความเร็วโดยใช้คอมเพรสเซอร์ที่ใช้ LZMA (xz เป็นต้น)

คุณจะพบเกณฑ์มาตรฐานหากคุณค้นหา แต่ทางออกที่ดีที่สุดของคุณคือทำการทดสอบกับไฟล์ของคุณเองบนฮาร์ดแวร์เป้าหมายของคุณ

หากข้อกำหนดเดียวคือการบีบอัดข้อมูลรวดเร็วฉันขอแนะนำlz4อย่างมาก

มันถูกใช้ในหลาย ๆ ที่ที่ความเร็วในการบีบอัดสำคัญกว่าอัตราส่วนการบีบอัด (เช่นระบบไฟล์ที่มีการบีบอัดแบบโปร่งใสเช่น ZFS)