คำถามติดแท็ก gzip

ฉันจำเป็นต้องบีบอัดไดเรกทอรีที่มีไฟล์ขนาดเล็กประมาณ 350,000 ไฟล์ซึ่งมีทั้งหมด 100GB ฉันใช้ OSX และขณะนี้ใช้เครื่องมือ "บีบอัด" มาตรฐานที่แปลงไดเรกทอรีนี้เป็นไฟล์. zip มีวิธีที่เร็วกว่าในการทำเช่นนี้?

14 macos  compression  zip  tar  gzip 

ฉันมีไฟล์ JSON บางไฟล์ 20 GB แต่ละไฟล์ที่ฉันต้องการบีบอัดด้วยgzip: gzip file1.json นี่ใช้ซีพียูเต็มแกนหนึ่งตัว มันประมวลผลประมาณ 25 MB / s (ตรวจสอบในatop), ฮาร์ดไดรฟ์ของฉันสามารถอ่าน 125 MB / s และฉันมี 3 คอร์โปรเซสเซอร์ฟรีดังนั้นฉันคาดว่าจะได้รับความเร็วเมื่อบีบอัดหลายไฟล์ในแบบคู่ขนาน ดังนั้นฉันจึงวิ่งในอาคารอื่น ๆ : gzip file2.json gzip file3.json gzip file4.json น่าแปลกที่ปริมาณงานของฉันไม่เพิ่มขึ้น CPU อยู่ที่ประมาณ 25% ของแต่ละคอร์และ HD ของฉันยังคงอ่านที่ 25 MB / s เท่านั้น ทำไมและวิธีการที่อยู่หรือไม่

14 hard-drive  performance  gzip  buffer 

มีวิธีในการ tar เวอร์ชันล่าสุดของโฟลเดอร์ SVN โดยตรงโดยไม่ต้องซ่อนไฟล์ SVN หรือไม่? ฉันต้องการสร้างไฟล์เก็บถาวร tar โดยไม่มีไฟล์ SVN ฉันรู้ว่าคุณสามารถรับไฟล์ล่าสุดในการติดตาม SVN แต่มีซับไลน์เดียวที่จะส่งข้อมูลไปยังไฟล์เก็บถาวรโดยตรงหรือไม่

13 svn  tar  gzip  packages 

ใน Windows PowerShell (หากมีความสำคัญ) ฉันต้องการขยายไฟล์ zip gzipด้วยอาร์กิวเมนต์--decompressแต่น่าเสียดายที่มันไม่ทำงาน โปรดดูภาพหน้าจอด้านล่าง gzip --decompress "colorbox.zip" ผลของมัน: gzip: colorbox.zip: คำต่อท้ายที่ไม่รู้จัก - ละเว้น คุณมีความคิดวิธีกำจัดข้อผิดพลาดนี้หรือไม่? (ฉันต้องใช้มันเพราะฉันใช้Drushซึ่งใช้มัน ) อย่างไรก็ตามฉันติดตั้งGnuWin32แล้ว อีกภาพหน้าจอเพียงเพื่อให้ชัดเจนมันเกิดจาก Drush 7.x-5.4: หลังจากอัปเกรดเป็น 7.x-5.8: ใน PowerShell ให้ unzip ทำงาน: ดังนั้นด้วยความช่วยเหลือของเจฟฟ์ฉันจึงรู้ว่ามีบางอย่างผิดปกติกับการตรวจจับชนิด MIME ใน Drush 7.x-5.4 แก้ไข ขอบคุณเจฟฟ์!

13 shell  gzip  gnuwin32 

ฉันถ่ายโอนไดเรกทอรีขนาดใหญ่บ่อยๆscpและมันจะหวานถ้าฉันสามารถบีบอัดไดเรกทอรีส่งและแตกมันทั้งหมดในที่เดียว เป็นไปได้อย่างนี้ไหม?

11 command-line  rsync  scp  gzip 

ฉันต้อง gzip ไฟล์ทั้งหมดใน dir แยกต่างหากรวมถึงไฟล์ทั้งหมดในไดเรกทอรีย่อยโดยไม่ต้องลบต้นฉบับในภายหลัง สมมุติว่าฉันมี index.html ฉันอยากได้ที่ท้าย index.html.gzip AND index.html ฉันสามารถ gzip ไฟล์ทั้งหมดใน dir ของฉันผ่าน gzip -r . แต่ฉันต้องการเก็บไฟล์ต้นฉบับไว้ด้วย เป็นไปได้ไหม

11 linux  shell  command-line  gzip 

ฉันมีไฟล์ gzip มากมายที่ฉันต้องแปลงเป็น bzip2 ทุก ๆ คราวแล้ว ขณะนี้ฉันใช้เชลล์สคริปต์เพียงแค่ 'gunzip ของแต่ละไฟล์แล้ว' bzip2 ของมัน แม้ว่างานนี้จะใช้เวลามากของเวลาที่จะเสร็จสมบูรณ์ เป็นไปได้ไหมที่จะทำให้กระบวนการนี้มีประสิทธิภาพมากขึ้น? ฉันพร้อมที่จะดำน้ำและมองหาซอร์สโค้ดของ gunzip และ bzip2 หากจำเป็น แต่ฉันแค่ต้องการให้แน่ใจว่าได้ผลตอบแทน มีความหวังในการปรับปรุงประสิทธิภาพของกระบวนการหรือไม่?

10 conversion  gzip 

ไฟล์ gzipped ยอดเยี่ยมมาก! มันเป็นไฟล์บีบอัดที่ดีที่สุดที่ฉันรู้จัก. rarและ. zipอยู่ใกล้แค่ไหนถ้าคุณเปรียบเทียบอัตราส่วนการบีบอัด ... โดยทั่วไปฉันใช้ Windows ไม่มีใครรู้ว่าฉันจะgzip ใน Windows ได้หรือไม่? ฉันมีข้อ จำกัด อย่างรุนแรงที่ขนาดสิ่งที่แนบมาที่นี่ดังนั้นสิ่งใดที่บีบอัดได้มากกว่าจะดีกว่า

10 windows  gzip 

ฉันพยายามติดตั้งMongoDB 10genบน Mac ในพื้นที่ของฉันที่ใช้ Mountain Lion (10.8.3): ฉันดึงมันด้วยcurlที่: curl http://downloads.mongodb.org/osx/mongodb-osx-x86_64-2.4.tgz > mongodb.tgz แต่ฉันไม่สามารถแยกโครงสร้างได้: ความพยายามที่ 1: $ tar -zxvf mongodb.tgz tar: Unrecognized archive format tar: Error exit delayed from previous errors. พยายาม 2: $ gunzip mongodb.tgz gzip: mongodb.tgz: not in gzip format ความพยายามที่ 3: $ unzip mongodb.tgz Archive: mongodb.tgz End-of-central-directory signature …

9 macos  osx-mountain-lion  tar  gzip  mongodb 

คุณบอกฉันได้ไหมว่าทำไม tar czf archive.tar dir สร้างไฟล์เก็บถาวรด้วยแฮชที่แตกต่างกันทุกครั้ง (ฉันตรวจสอบกับ 'md5sum') โดยไม่มีพารามิเตอร์การบีบอัด -z หรือด้วยพารามิเตอร์ -j แทนทั้งหมดทำงานได้ดี ขอบคุณ

4 linux  gzip  md5  tar  md5sum 

Rsync คัดลอกเฉพาะส่วนที่เปลี่ยนแปลงของไฟล์ ดังนั้นถ้าฉันมีการถ่ายโอนข้อมูลขนาดใหญ่เช่นฐานข้อมูล SQL ในรูปแบบข้อความและฉันต้องการคัดลอกไปยังเครื่องท้องถิ่นของฉันโดยใช้แบนด์วิดธ์น้อยที่สุดที่ฉันควรทำอย่างไร ฉันสามารถปล่อยให้มันเป็นข้อความที่ไม่มีการบีบอัดและใช้ rsync ด้วยสวิตช์ -z หรือฉันสามารถ gzip บนเซิร์ฟเวอร์และ rsync ไฟล์ gzip ความสงสัยของฉันคือการที่การเปลี่ยนแปลงเล็กน้อยในไฟล์ข้อความ SQL ต้นทางอาจส่งผลให้มีการสับข้อมูลในรุ่น gzip ที่บีบอัดขนาดใหญ่ขึ้นดังนั้น rsync จะต้องทำงานมากขึ้นเมื่อไฟล์มีการเปลี่ยนแปลงมากขึ้น นอกจากนี้เนื่องจากสวิตช์ -z กำลังทำการบีบอัดอยู่อาจเป็นวิธีที่มีประสิทธิภาพมากที่สุด อย่างไรก็ตามฉันไม่แน่ใจ

3 rsync  gzip 

ปัญหา:ฉันต้องการที่จะสามารถแยกไฟล์ tar.gz ในขั้นตอนเดียว นี้จะทำให้คำถามของฉันเกือบ จะเหมือนกับนี้: คำถาม StackOverflow สำหรับ tar-GZ คำถามของฉันเกือบเหมือนกัน แต่ไม่เหมือนกันเพราะฉันต้องการทำสิ่งนี้บน windows โดยใช้บรรทัดคำสั่ง 7zip (หรือบางอย่างที่คล้ายกัน) ในไฟล์ค้างคาวหรือสคริปต์ ruby ​​/ perl / python คำถาม:งานง่าย ๆ ที่ดูเหมือนจะพิสูจน์ได้ว่ามีส่วนเกี่ยวข้องมากกว่าการปรากฏตัวครั้งแรกจะทำให้มันเป็นไปได้ ใครบ้างมีสคริปต์ที่ทำเช่นนี้แล้ว?

2 archiving  script  tar  7-zip  gzip 

ฉันมีดิสก์ RAID0 มาก่อนตอนนี้ฉันต้องการเปลี่ยนขนาดของมัน จากคู่มือวิธีเดียวคือข้อมูลสำรองลบ RAID สร้างใหม่ด้วยขนาดใหม่และกู้คืนข้อมูล ตอนนี้ฉันมี hdd 2.5 "เก่า ๆ หลายตัวแต่ละตัวมีพื้นที่ว่าง" เล็ก "ดังนั้นฉันต้องการสำรองข้อมูลแต่ละ RAID-partition ไปยังดิสก์แล้วคืนค่าพวกเขา ฉันใช้คำสั่งนี้เพื่อสำรองข้อมูลพาร์ติชันเดียว: dd if=/dev/md126p1 conv=sync bs=32M | gzip -c2 > /mnt/backup1/windowsD.img.gz จากนั้นฉันก็สร้าง RAID ขึ้นใหม่กู้คืนพาร์ติชั่นด้วยรูปทรงเรขาคณิตที่เหมือนกันทุกประการ เขียนกลับภาพ: gunzip -c /mnt/backup1/windowsD.img.gz | dd of=/dev/md126p1 conv=sync bs=32M ผลลัพธ์ที่ได้คือ ฉันไม่สามารถเมาต์พาร์ติชันนี้ได้ รู้ว่าพาร์ติชันนี้เป็น NTFS ศูนย์จำนวนมากกรอกในปลายทางพาร์ทิชัน ใครเคยรู้ว่าเกิดอะไรขึ้น ..... ฉันจะร้องไห้ถ้าข้อมูลเหล่านี้สูญหาย .... T_T ฉันลองหาบางอย่างกับสิ่งนี้: cat …

1 linux  backup  dd  gzip 

ฉันมีไฟล์ซิป 50 GB ซึ่งมีภาพ jpg ประมาณ 50,000 ภาพ ไฟล์ jpgs นั้นถูก unzipped ประมาณ 55 GB ฉันใช้ Ubuntu 16.04 แต่ฉันมีขนาดดิสก์ 70 GB ในระบบนั้น ดังนั้นฉันได้รับข้อผิดพลาดของดิสก์ในระหว่างการคลาย ฉันสามารถคลายซิปไฟล์และในขณะเดียวกันก็ลดขนาดไฟล์ zip (เช่นลบข้อมูลของ jpgs ที่ถูกคลายซิปแล้ว) เพื่อให้พอดีกับดิสก์ของฉันหรือไม่ --- มีคำถามเดียวกันสำหรับ Windows --- บางคนมีคำถามเดียวกันที่แน่นอนสำหรับ Windows: unzip ไฟล์ในไดรฟ์ขนาดเล็ก วิธีแก้ปัญหาที่เสนอนั้นน่าเสียดายที่ไม่สามารถแก้ปัญหาให้ฉันได้บน Linux (และดูเหมือนว่าจะไม่สามารถแก้ปัญหาได้ดีบน Windows) ดังนั้นฉันจะเก็บคำถามนี้ในกรณีที่มีทางออกที่ดีสำหรับ Linux ขอบคุณสำหรับความคิดเห็น

hard-drive  zip  7-zip  gzip 

ฉันมีชุดของ.tar.gzไฟล์ซึ่งเป็นไฟล์สำรองที่ซ้ำกัน (ทั้งข้อมูลสำรองเต็มหรือไฟล์เพิ่มเติม) ฉันต้องการคำนวณว่าไดเรกทอรีใดใช้พื้นที่ในการสำรองข้อมูลมากที่สุด นี่อาจเป็นตัวเลขที่แตกต่างกันในการคำนวณว่าไดเรกทอรีใดมีพื้นที่ว่างมากที่สุดในระบบไฟล์สดเพราะฉันจำเป็นต้องพิจารณาว่าไฟล์มีการเปลี่ยนแปลงบ่อยแค่ไหน (ดังนั้นจึงมีพื้นที่สำหรับการสำรองข้อมูลเพิ่มเติม) และวิธีบีบอัดไฟล์ ฉันรู้ว่าในขณะที่รูปแบบไฟล์เก็บถาวรอื่น ๆ หลายรูปแบบจัดเก็บไฟล์บีบอัดเป็นเอนทิตีที่แตกต่างกันภายในไฟล์เก็บถาวร.tar.gzไฟล์ทำไม่ได้และดังนั้นจึงเป็นไปไม่ได้ที่จะได้รับจำนวนที่แน่นอนของการจัดเก็บข้อมูล มีเครื่องมือใดในการคำนวณการประมาณการอย่างน้อยบ้างไหม?

backup  tar  gzip