วิธีเก็บเฉพาะทุก ๆ บรรทัดของไฟล์

ฉันมีไฟล์ CSV ที่มีขนาดค่อนข้างใหญ่ (75MB) ฉันแค่พยายามสร้างกราฟของมันดังนั้นฉันจึงไม่ต้องการข้อมูลทั้งหมด

Rewording: ฉันต้องการลบ n บรรทัดจากนั้นเก็บหนึ่งบรรทัดจากนั้นลบ n บรรทัดและอื่น ๆ

ดังนั้นหากไฟล์มีลักษณะเช่นนี้:

Line 1
Line 2
Line 3
Line 4
Line 5
Line 6

และ n = 2 ดังนั้นผลลัพธ์จะเป็น:

Line 3
Line 6

ดูเหมือนว่าsedจะสามารถทำสิ่งนี้ได้ แต่ฉันไม่สามารถหาวิธีได้ คำสั่ง bash เหมาะอย่างยิ่ง แต่ฉันเปิดรับการแก้ไขใด ๆ

~ $ awk 'NR == 1 || NR % 3 == 0' yourfile
Line 1
Line 3
Line 6

NR(จำนวนเรคคอร์ด) ตัวแปรคือบันทึกจำนวนบรรทัดเนื่องจากพฤติกรรมเริ่มต้นคือบรรทัดใหม่สำหรับRS(เรคคอร์ด seperator) 'pattern {actions}'รูปแบบและการกระทำที่จะเป็นตัวเลือกในรูปแบบเริ่มต้นของ awk เมื่อเราให้ส่วนรูปแบบเท่านั้นแล้วawkเขียนเขตข้อมูลทั้งหมด$0สำหรับtrueเงื่อนไขของรูปแบบของเรา

sed ยังสามารถทำสิ่งนี้:

$ sed -n '1p;0~3p' input.txt
Line 1
Line 3
Line 6

man sedอธิบาย~ว่า:

~ ขั้นตอนแรกจับคู่ทุกบรรทัดบรรทัดที่เริ่มต้นด้วยบรรทัดแรก ตัวอย่างเช่น `` sed -n 1 ~ 2p '' จะพิมพ์บรรทัดเลขคี่ทั้งหมดในอินพุตสตรีมและที่อยู่ 2 ~ 5 จะจับคู่ทุกบรรทัดที่ห้าเริ่มต้นด้วยบรรทัดที่สอง แรกสามารถเป็นศูนย์ ในกรณีนี้ sed ทำงานราวกับว่ามันเท่ากับขั้นตอน (นี่คือส่วนขยาย)

Perlสามารถทำได้เช่นกัน:

while (<>) {
    print  if $. % 3 == 1;
}

โปรแกรมนี้จะพิมพ์บรรทัดแรกของอินพุตและทุกบรรทัดที่สามหลังจากนั้น

เพื่ออธิบายมันหน่อย<>เป็นตัวดำเนินการอินพุตบรรทัดซึ่งวนข้ามบรรทัดอินพุตเมื่อใช้ในwhileลูปแบบนี้ ตัวแปรพิเศษ$.มีจำนวนบรรทัดที่อ่านจนถึงตอนนี้และ%เป็นตัวดำเนินการโมดูลัส

รหัสนี้สามารถเขียนได้มากขึ้นอย่างกะทัดรัดเป็นหนึ่งซับโดยใช้-nและ-eสวิตช์:

perl -ne 'print if $. % 3 == 1'  < input.txt  > output.txt

-eสวิทช์ใช้เวลาชิ้นส่วนของรหัส Perl ที่จะดำเนินการเป็นพารามิเตอร์บรรทัดคำสั่งในขณะที่-nสวิทช์โดยปริยาย wraps รหัสในwhileวงอย่างหนึ่งที่แสดงไว้ข้างต้น

แก้ไข: จริงได้รับสาย 1, 3, 6, 9, ... เช่นในตัวอย่างมากกว่าสาย 1, 4, 7, 10, ... เป็นครั้งแรกที่ผมสันนิษฐานว่าคุณอยากเปลี่ยนด้วย$. % 3 == 1$. == 1 or $. % 3 == 0

หากคุณต้องการทำด้วยสคริปต์Bashคุณสามารถลอง:

#!/bin/sh

echo Please enter the file name
read fname
echo Please enter the Nth lines that you want to keep
read n

exec<$fname
value=0
while read line
do
    if [ $(( $value % $n )) -eq 0 ] ; then
        echo -e "$line" >> new_file.txt
    fi
        let value=value+1 
done
echo "Check the 'new_file.txt' that has been created in this directory";

บันทึกเป็น "read_lines.sh" และอย่าลืมให้สิทธิ์ + x แก่ไฟล์ bash

chmod +x ./read_lines.sh

วิธีการแก้ปัญหาในทุบตีบริสุทธิ์ที่ไม่ได้วางไข่กระบวนการคือ:

{ for f in {1..2}; do read line; done;
  while read line; do
    echo $line;
    for f in {1..2}; do read line; done;
  done; } < file

บรรทัดแรกข้าม 2 บรรทัดที่จุดเริ่มต้นของไฟล์และwhileพิมพ์บรรทัดถัดไปและข้าม 2 บรรทัดอีกครั้ง

หากไฟล์ของคุณมีขนาดเล็กนี่เป็นวิธีที่มีประสิทธิภาพมากในการทำงานเนื่องจากไม่ได้เริ่มต้นกระบวนการ เมื่อไฟล์ของคุณมีขนาดใหญ่sedควรจะใช้มันเป็นมีประสิทธิภาพมากขึ้นในการจัดการ io bashกว่า

รุ่น Python (ทั้ง Python 2 และ Python 3):

python2 -c "print(''.join(open('file.txt').readlines()[::3]))"

แทนที่[::3]ด้วยพารามิเตอร์เริ่มต้นสิ้นสุดและขนาดขั้นตอนสำหรับการควบคุมเพิ่มเติม Eg แสดง[10:36:5]บรรทัดที่ 10,15, ... , 35

หมายเหตุเนื่องจากreadlines()เก็บรักษาที่สิ้นสุดบรรทัดเอาท์พุทของการโทรนี้อาจจบลงด้วยบรรทัดสุดท้ายที่ว่างเปล่าเว้นเสียแต่ว่าบรรทัดสุดท้ายดั้งเดิมจะถูกเอาออกโดยขนาดขั้นตอนที่เลือก

เวอร์ชันของสตรีมก็เป็นไปได้เช่นกัน

python -c "import sys;print(''.join(list(sys.stdin)[::3]))" < file.txt