เพิ่มบรรทัดไปยังจุดเริ่มต้นและจุดสิ้นสุดของไฟล์ขนาดใหญ่

ฉันมีสถานการณ์ที่จะเพิ่มบรรทัดในจุดเริ่มต้นและจุดสิ้นสุดของไฟล์ขนาดใหญ่

ฉันลองแล้วตามที่แสดงด้านล่าง

• สำหรับบรรทัดแรก:

  sed -i '1i\'"$FirstLine" $Filename

• สำหรับบรรทัดสุดท้าย:

  sed -i '$ a\'"$Lastline" $Filename  

แต่ปัญหาของคำสั่งนี้คือการผนวกบรรทัดแรกของไฟล์และทำการข้ามทั้งไฟล์ สำหรับบรรทัดสุดท้ายมันจะข้ามไฟล์ทั้งหมดอีกครั้งและต่อท้ายบรรทัดสุดท้าย เนื่องจากไฟล์มีขนาดใหญ่มาก (14GB) สิ่งนี้ใช้เวลานานมาก

ฉันจะเพิ่มบรรทัดไปยังจุดเริ่มต้นและอีกบรรทัดในตอนท้ายของไฟล์ขณะอ่านไฟล์เพียงครั้งเดียว

sed -iใช้ tempfiles เป็นรายละเอียดการใช้งานซึ่งเป็นสิ่งที่คุณกำลังประสบอยู่ อย่างไรก็ตามการเตรียมข้อมูลไปยังจุดเริ่มต้นของสตรีมข้อมูลโดยไม่ต้องเขียนทับเนื้อหาที่มีอยู่นั้นจำเป็นต้องเขียนไฟล์ซ้ำไม่มีวิธีใดที่จะแก้ไขได้แม้ว่าจะหลีกเลี่ยงsed -iก็ตาม

หากการเขียนไฟล์ใหม่ไม่ใช่ตัวเลือกคุณอาจพิจารณาจัดการไฟล์เมื่ออ่านเช่น:

{ echo some prepended text ; cat file ; } | command

นอกจากนี้ sed ยังใช้สำหรับแก้ไขสตรีม - ไฟล์ไม่ใช่สตรีม ใช้โปรแกรมที่มีไว้สำหรับวัตถุประสงค์นี้เช่น ed หรือ ex -iตัวเลือกในการ sed ไม่ได้เป็นเพียงไม่พกพาก็ยังจะทำลาย symlinks ใด ๆ กับไฟล์ของคุณเพราะมันเป็นหลักจะลบมันและสร้างมันซึ่งเป็นจุดหมาย

คุณสามารถทำได้ในคำสั่งเดียวด้วยedเช่น:

ed -s file << 'EOF'
0a
prepend these lines
to the beginning
.
$a
append these lines
to the end
.
w
EOF

โปรดทราบว่าขึ้นอยู่กับการนำไปใช้งานของ ed อาจใช้ไฟล์เพจจิ้งโดยกำหนดให้คุณมีพื้นที่ว่างอย่างน้อยที่สุด

โปรดทราบว่าหากคุณต้องการหลีกเลี่ยงการจัดสรรสำเนาทั้งหมดของไฟล์บนดิสก์คุณสามารถทำได้:

sed '
1i\
begin
$a\
end' < file 1<> file

ที่ใช้ความจริงที่ว่าเมื่อ stdin / stdout เป็นไฟล์ให้sed อ่านและเขียนโดย block ดังนั้นที่นี่ก็โอเคที่จะแทนที่ไฟล์ที่อ่านตราบเท่าที่บรรทัดแรกที่คุณเพิ่มมีขนาดเล็กกว่าsedขนาดบล็อก (ควรเป็นขนาด 4k หรือ 8k)

โปรดทราบว่าหากด้วยเหตุผลบางอย่างsedล้มเหลว (ถูกฆ่า, เกิดข้อขัดข้องของเครื่องจักร ... ) คุณจะพบว่าไฟล์ประมวลผลไปครึ่งหนึ่งซึ่งจะหมายถึงข้อมูลบางส่วนที่มีขนาดของบรรทัดแรกหายไปที่ไหนสักแห่งที่อยู่ตรงกลาง

นอกจากนี้โปรดทราบว่าหากคุณsedไม่ใช่ GNU sedนั่นจะไม่สามารถใช้งานกับข้อมูลไบนารีได้ (แต่เนื่องจากคุณใช้-iอยู่คุณกำลังใช้ GNU อยู่)

ต่อไปนี้เป็นตัวเลือก (ทั้งหมดนี้จะสร้างสำเนาใหม่ของไฟล์เพื่อให้แน่ใจว่าคุณมีพื้นที่เพียงพอสำหรับไฟล์นั้น):

• echo / cat ง่าย ๆ

  echo "first" > new_file; cat $File >> new_file; \
    echo "last" >> new_file; 

• awk / gawk เป็นต้น

  gawk 'BEGIN{print "first\n"}{print}END{print "last\n"}' $File > NewFile 

  awkและ ilk อ่านไฟล์ทีละบรรทัด BEGIN{}บล็อกจะถูกดำเนินการก่อนที่จะสายแรกและEND{}บล็อกหลังจากบรรทัดสุดท้าย ดังนั้นคำสั่งprint "first" at the beginning, then print every line in the file and print "last" at the endดังกล่าวหมายถึง

• Perl

  perl -ne 'BEGIN{print "first\n"} print;END{print "last\n"}' $File > NewFile

  นี่คือสิ่งเดียวกับเพ่งพิศเหนือเขียนเพียงใน Perl

ฉันชอบแบบที่เรียบง่ายกว่ามาก:

gsed -i '1s/^/foo\n/gm; $s/$/\nbar/gm' filename.txt

สิ่งนี้จะแปลงไฟล์:

asdf
qwer

ไปที่ไฟล์:

foo
asdf
qwer
bar

คุณสามารถใช้ Vim ในโหมด Ex:

ex -sc '1i|ALFA' -c '$a|BRAVO' -cx file

1. 1 เลือกบรรทัดแรก

2. i แทรกข้อความและขึ้นบรรทัดใหม่

3. $ เลือกบรรทัดสุดท้าย

4. a ต่อท้ายข้อความและขึ้นบรรทัดใหม่

5. x บันทึกและปิด

ไม่มีวิธีการแทรกข้อมูลที่จุดเริ่มต้นของไฟล์¹สิ่งที่คุณทำได้คือสร้างไฟล์ใหม่เขียนข้อมูลเพิ่มเติมและผนวกข้อมูลเก่า ดังนั้นคุณจะต้องเขียนไฟล์ใหม่ทั้งหมดอย่างน้อยหนึ่งครั้งเพื่อแทรกบรรทัดแรก คุณสามารถต่อท้ายบรรทัดสุดท้ายโดยไม่ต้องเขียนไฟล์ใหม่

sed -i '1i\'"$FirstLine" $Filename
echo "$LastLine" >>$Filename

หรือคุณสามารถรวมคำสั่งสองคำสั่งในหนึ่งคำสั่ง

sed -i -e '1i\'"$FirstLine" -e '$ a\'"$Lastline" $Filename

sed -iสร้างไฟล์เอาต์พุตใหม่จากนั้นย้ายไฟล์ทับไฟล์เก่า ซึ่งหมายความว่าในขณะที่ sed ทำงานอยู่มีสำเนาที่สองของไฟล์ที่ใช้พื้นที่ว่าง คุณสามารถหลีกเลี่ยงปัญหานี้ได้โดยการเขียนทับไฟล์แทนแต่ด้วยข้อ จำกัด ที่สำคัญ: บรรทัดที่คุณเพิ่มจะต้องเล็กกว่าบัฟเฟอร์ของ sed และหากระบบของคุณขัดข้องคุณจะพบไฟล์ที่เสียหายและเนื้อหาบางส่วนหายไปใน ตรงกลางดังนั้นฉันขอแนะนำอย่างยิ่ง

¹ _{Linux มีวิธีการแทรกข้อมูลลงในไฟล์ แต่สามารถแทรกบล็อกระบบไฟล์ได้เต็มจำนวนเท่านั้นโดยไม่สามารถแทรกสตริงที่มีความยาวตามอำเภอใจได้ มันมีประโยชน์สำหรับบางแอปพลิเคชันเช่นฐานข้อมูลและเครื่องเสมือน แต่ไม่มีประโยชน์สำหรับไฟล์ข้อความ}

$ (echo "Some Text" ; cat file1) > file2

เคอร์เนล Linux สมัยใหม่ (สูงกว่า 4.1 หรือ 4.2) สนับสนุนการแทรกข้อมูลที่จุดเริ่มต้นของไฟล์ผ่านการfallocate()เรียกระบบด้วยFALLOC_FL_INSERT_RANGEบนระบบไฟล์ ext4 และ xfs ในสาระสำคัญนี่คือการดำเนินการขยับเชิงตรรกะ: ข้อมูลจะถูกย้ายอย่างมีเหตุผลที่ออฟเซ็ตที่สูงขึ้น

มีข้อ จำกัด เกี่ยวกับความละเอียดของช่วงที่คุณต้องการแทรกที่จุดเริ่มต้นของไฟล์ แต่สำหรับไฟล์ข้อความคุณอาจจัดสรรได้มากกว่าที่ต้องการเล็กน้อย (จนถึงขอบเขตที่ละเอียด) และเติมด้วยช่องว่างหรือการขึ้นบรรทัดใหม่ แต่ขึ้นอยู่กับแอปพลิเคชันของคุณ

ฉันไม่รู้อรรถประโยชน์ใด ๆ ของ linux ที่พร้อมใช้งานที่จัดการไฟล์ส่วนขยาย แต่ก็ไม่ยากที่จะเขียน: รับไฟล์ descriptor และการโทรfallocate()ด้วยอาร์กิวเมนต์ที่เหมาะสม สำหรับรายละเอียดเพิ่มเติมโปรดดูหน้า man ของการfallocateเรียกระบบ: http://man7.org/linux/man-pages/man2/fallocate.2.html