เหตุใดไฟล์ทั้งหมดจึงไม่ถูกบีบอัดและวิธีปรับปรุงโซลูชัน

ฉันมีโฟลเดอร์ที่มีไฟล์ประมาณ 20K ไฟล์จะถูกตั้งชื่อตามรูปแบบเช่นxy_{\d1,5}_{\d4}\.abc xy_12345_1234.abcฉันต้องการบีบอัด 10K แรกของพวกเขาโดยใช้คำสั่งนี้:

ls | sort -n -k1.4,1.9 | head -n10000 | xargs tar -czf xy_0_10000.tar.gz

อย่างไรก็ตามไฟล์ผลลัพธ์มีไฟล์ประมาณ 2K เท่านั้น

ls | sort -n -k1.4,1.9 | head -n10000 | wc -l อย่างไรก็ตามส่งคืน 10,000 ตามที่คาดไว้

ดูเหมือนว่าฉันจะเข้าใจผิดบางสิ่งพื้นฐานที่นี่ ...

ฉันใช้ zsh 5.0.2 บน Linux Mint 17.1, GNU tar 1.27.1

แก้ไข:

ฟอร์กแนะนำโดย @Archemar เสียงที่น่าเชื่อถือมากกับส้อมล่าสุดเขียนทับแฟ้มผล - ไฟล์ที่มี 'หาง' ของไฟล์ - 7773ที่จะ9999

ผลลัพธ์ของxargs --show-limit: Your environment variables take up 3973 bytes POSIX upper limit on argument length (this system): 2091131 POSIX smallest allowable upper limit on argument length (all systems): 4096 Maximum length of command we could actually use: 2087158 Size of command buffer we are actually using: 131072

แทนที่-cด้วย-rหรือ-uไม่ทำงานในกรณีของฉัน ข้อความแสดงข้อผิดพลาดคือtar: Cannot update compressed archives

ใช้ทั้งสอง-rและ-uไม่ถูกต้องและล้มเหลวด้วยtar: You may not specify more than one '-Acdtrux', '--delete' or '--test-label' option

แทนที่-cด้วย-aดูเหมือนจะไม่ถูกต้องเช่นกันและล้มเหลวด้วยเหมือนกันtar: You must specify one of the '-Acdtrux', '--delete' or '--test-label' optionsแต่ฉันไม่รู้จักปัญหาazfและAcdtruxดูเหมือนจะแยกกันกับฉัน

แก้ไข 2:

ลักษณะ -T เช่นวิธีที่ดีที่ผมได้นอกจากนี้ยังพบตัวอย่างที่นี่

อย่างไรก็ตามเมื่อฉันลอง

ls | sort -n -k1.4,1.9 | head -n10000 | tar -czf xy_0_10000.tar.gz -T - ฉันเข้าใจ tar: option requires an argument -- 'T'

บางทีชื่อไฟล์อาจไม่ถึงน้ำมันดินใช่ไหม แต่ดูเหมือนพวกเขาทำเพราะเมื่อฉันรัน

ls | sort -n -k1.4,1.9 | head -n10000 | tar --null -czf xy_0_10000.tar.gz -T - ฉันเข้าใจ tar: xy_0_.ab\nxy_1_...<the rest of filenames separated by literal \n>...998.ab Cannot stat: File name too long

เหตุใด tar จึงไม่เห็นชื่อไฟล์

คุณถึงขีด จำกัด xargs แล้วหรือยัง

xargs --show-limit

ลอง :

• สร้าง.tgzไฟล์จำลองtar czf xy_0_10000.tar.gz /hello/world
• แทนที่-czfด้วย -Azf

เมื่อ xarg ถึงขีด จำกัด มันจะแยกคำสั่งดังนั้นคำสั่งที่คุณวิ่งสุดขั้วคือ

  tar czf xy_0_10000.tar.gz file1 file2 .... file666
  tar czf xy_0_10000.tar.gz file667 file668 ... file1203
  tar czf xy_0_10000.tar.gz file1024 ... file2000

เนื่องจาก tar แต่ละอันอยู่เหนือทับหน้าที่ผ่านมาคุณจะได้รับการtar cวิ่งครั้งสุดท้ายเท่านั้น

แก้ไข:

1) ตามman tarบน unbuntu -aและ -r ดูเหมือนว่าผนวกจะกระทำโดย (อย่างใดอย่างหนึ่ง) -A, --catenate, --concatenate

2) zip(ไม่gzip) สามารถใช้เพื่อเพิ่มไฟล์ได้บางทีตัวเลือก gzip จะทำการหลอกลวง (ใช้ | xargs zip -qr xy_0_0000.zipนี่จะส่งผลให้เป็นไฟล์ zip ไม่ใช่. tar.gz)

3) การใช้โซลูชันของ @ rsanchez
สิ่งสำคัญคือการเพิ่มตัวเลือกเพื่อ tar ในวิธีที่เหมาะสมลอง

ls | sort -n -k1.4,1.9 | head -n10000 |tar -czf xy_0_10000.tar.gz -T -

โดยที่ - -T -หมายถึงตัวเลือกการใช้งาน-Tและใช้-เป็นอาร์กิวเมนต์ให้กับ-T(คุณสามารถสร้างรายการไฟล์/tmp/foo.lstจากนั้นใช้-T /tmp/foo.lst)

xargsไม่จำเป็นต้องเป็น หากคุณโดยตรงให้ตัวเลือกที่จะอ่านชื่อไฟล์จากอินพุตมาตรฐานtar-T -

ตัวอย่างเช่น

... | tar -T - -czf xy_0_10000.tar.gz

ฉันต้องการที่จะเติมเต็มสองคำตอบอื่น ๆ ที่มีzshวิธีการแก้ปัญหาซึ่งไม่แยกวิเคราะห์คำสั่ง lsหรือต้องการxargs อย่างไรก็ตามฉันไม่แน่ใจว่าตอนนี้ถ้ามันทนทุกข์ทรมานจากข้อ จำกัด ของความยาวบรรทัดคำสั่ง

1. $REPLYกำหนดฟังก์ชั่นซึ่งจะสร้างคีย์การเรียงลำดับที่คุณต้องการโดยการปรับเปลี่ยน

   sortkey() { REPLY=${REPLY[4,9]} }

   สิ่งนี้เทียบเท่ากับของคุณ sort -n -k1.4,1.9

2. สร้างอาร์เรย์$filesด้วยชื่อไฟล์ที่เรียงลำดับด้วยฟังก์ชั่นด้านบน:

   files=(*(o+sortkey))

   สิ่งนี้เทียบเท่า ls | sort -n -k1.4,1.9

3. ส่งคืนไฟล์ 10,000 ไฟล์แรกด้วย

   ${files[0,9999]}

   สิ่งนี้เทียบเท่า ls | sort -n -k1.4,1.9 | head -n10000

ดังนั้นทั้งหมดนี้ควรทำเคล็ดลับ:

sortkey() { REPLY=${REPLY[4,9]} }
files=(*(o+sortkey))
tar -czf xy_0_10000.tar.gz ${files[0,9999]}