ฉันจะย่อไฟล์จากบรรทัดคำสั่งได้อย่างไร

ฉันมีไฟล์ 150GB xml ที่ฉันต้องการย่อให้สั้นลง (เช่นตัด) เป็นประมาณ 1GB - มีคำสั่ง (ทุบตีหรือคล้ายกัน) ที่ฉันสามารถใช้ได้หรือฉันต้องใช้เส้นทางการเขียนโปรแกรม (แก้ไขใน vi หรือ emacs) เป็นฝันร้ายแม้แต่ในระบบเหล็กขนาดใหญ่)?

(ฉันไม่กังวลเกี่ยวกับการสูญหายของข้อมูลโดยเฉพาะฉันต้องการไฟล์ที่สั้นกว่าเพื่อให้ฉันสามารถทดสอบซอฟต์แวร์ในส่วนนี้และไม่ต้องรอคำตอบนานหลายชั่วโมงไฟล์ที่สั้นกว่าจะทำให้ฉันทำเช่นนั้น)

สมมติว่าคุณต้องการตัดและแยกไฟล์ 1 GB แรกจาก 150 ไฟล์:

ด้วยhead:

head -c 1G infile > outfile

โปรดทราบว่าGคำต่อท้ายสามารถถูกแทนที่ด้วยGBเพื่อจัดเรียงเป็น 1,000 แทน 1024

หรือด้วยdd:

dd if=infile of=outfile bs=1M count=1024

หรือเช่นเดียวกับใน Wumpus Q. คำตอบของ Wumble ddสามารถตัดทอนได้

หากต้องการตัดไฟล์เป็น 1 กิกะไบต์ให้ใช้truncateคำสั่ง:

truncate -s 1G file.xml

ผลลัพธ์ของการตัดจะไม่เป็นไฟล์ XML ที่ถูกต้อง แต่ฉันรวบรวมว่าคุณเข้าใจ

เอกสารสำหรับรุ่น GNU truncateอยู่ที่นี่และเอกสารสำหรับรุ่น BSD อยู่ที่นี่

ถ้าเป็นไปได้ฉันจะใช้truncateคำสั่งเหมือนในคำตอบของ John1024 มันไม่ใช่คำสั่ง unix มาตรฐานดังนั้นบางวันคุณอาจพบว่าตัวเองไม่สามารถใช้งานได้ ในกรณีนั้นddสามารถทำการตัดทอนในสถานที่ได้เช่นกัน

ddพฤติกรรมเริ่มต้นของการตัดทอนไฟล์ที่จุดสิ้นสุดการคัดลอกดังนั้นคุณเพียงแค่ให้ไฟล์อินพุต 0 ความยาวและบอกให้เริ่มเขียนที่จุดตัดทอนที่ต้องการ:

dd if=/dev/null of=filename bs=1048576 seek=1024

(นี่ไม่เหมือนกับการคัดลอกและตัดddในคำตอบของ multithr3at3d)

โปรดทราบว่าฉันใช้ 1048576 และ 1024 เพราะ 1048576 * 1024 เป็นขนาดที่ต้องการ ฉันหลีกเลี่ยง BS = 1m เพราะนี่คือ "พกพา" คำตอบและคลาสสิกddเท่านั้นที่รู้คำต่อท้ายk, และbw

ฉันไม่แน่ใจว่าสิ่งที่คุณถาม คุณต้องการกำจัด 149GB อื่น ๆ หรือคุณพยายามบีบอัด 150GB เป็น 1 GB หรือไม่? นี่อาจเป็นวิธีที่มีประโยชน์ในการทำสิ่งนี้ให้สำเร็จ

splitคำสั่งสามารถแยกไฟล์ใด ๆ ที่เป็นหลายชิ้น ดูคนแยก คุณสามารถระบุขนาดของไฟล์ไฟล์ที่คุณต้องการแบ่งออกเป็น-bตัวเลือก ตัวอย่างเช่น

$ split -b 1GB myfile.xml

โดยไม่มีตัวเลือกอื่น ๆ xนี้ควรสร้างหลายแฟ้มในไดเรกทอรีปัจจุบันเริ่มต้นด้วยตัวอักษร หากคุณต้องการปรับชื่อของไฟล์แยกดูที่หน้าคน

cat * > re-assembled.xmlอีกครั้งประกอบไฟล์เพียงแค่การใช้งาน

ตัวอย่าง:

[kent_x86.py@c7 split-test]$ ls -l opendocman*
-rw-rw-r--.  1 kent_x86.py kent_x86.py 2082602 Mar 31  2017 opendocman-1.3.5.tar.gz

[kent_x86.py@c7 split-test]$ split -b 100K opendocman-1.3.5.tar.gz 
[kent_x86.py@c7 split-test]$ ls
opendocman-1.3.5.tar.gz  xaa  xab  xac  xad  xae  xaf  xag  xah  xai  xaj  xak  xal  xam  xan  xao  xap  xaq  xar  xas  xat  xau
[kent_x86.py@c7 split-test]$ ll
total 4072
-rw-rw-r--. 1 kent_x86.py kent_x86.py 2082602 Jan  5 11:06 opendocman-1.3.5.tar.gz
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaa
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xab
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xac
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xad
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xae
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaf
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xag
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xah
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xai
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaj
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xak
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xal
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xam
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xan
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xao
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xap
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaq
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xar
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xas
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xat
-rw-rw-r--. 1 kent_x86.py kent_x86.py   34602 Jan  5 11:06 xau
[kent_x86.py@c7 split-test]$ cat xa* > opendoc-reassembled.tar.gz
[kent_x86.py@c7 split-test]$ ls -l opendoc-reassembled*
-rw-rw-r--. 1 kent_x86.py kent_x86.py 2082602 Jan  5 11:07 opendoc-reassembled.tar.gz

คุณสามารถใช้splitคำสั่ง

split -C 1G <filename>

สำหรับรายละเอียดเพิ่มเติมลองดูที่คำตอบ stackoverflowนี้

ในตอนท้ายฉันเพิ่งใช้sedเพื่อแยกจำนวนบรรทัดโดยพลการ:

sed -n 1,1000000p infile.xml>outfile.xml