วิธีลบบรรทัดที่ซ้ำกันในไฟล์ข้อความ?

ไฟล์ข้อความขนาดใหญ่ (มากถึง 2 GiB) ของฉันมีข้อมูลที่ซ้ำกันประมาณ 100 รายการทุกบรรทัดในนั้น (ไร้ประโยชน์ในกรณีของฉันเนื่องจากไฟล์เป็นตารางข้อมูลที่เหมือน CSV)

สิ่งที่ฉันต้องการคือการลบการทำซ้ำทั้งหมดในขณะที่ (โดยเฉพาะอย่างยิ่ง แต่สิ่งนี้สามารถเสียสละเพื่อเพิ่มประสิทธิภาพที่สำคัญ) การรักษาลำดับเดิม ในผลลัพธ์แต่ละบรรทัดจะต้องไม่ซ้ำกัน หากมี 100 เส้นเท่ากัน (โดยปกติรายการที่ซ้ำกันจะกระจายไปทั่วไฟล์และจะไม่เป็นเพื่อนบ้าน) จะต้องมีเพียงหนึ่งในประเภทที่เหลือ

ฉันได้เขียนโปรแกรมใน Scala (พิจารณาเป็น Java ถ้าคุณไม่ทราบเกี่ยวกับ Scala) เพื่อดำเนินการนี้ แต่บางทีมีเครื่องมือดั้งเดิมที่เขียนด้วยภาษา C เร็วกว่าสามารถทำสิ่งนี้ได้เร็วขึ้น?

อัปเดต: awk '!seen[$0]++' filenameดูเหมือนว่าโซลูชันจะทำงานได้ดีสำหรับฉันตราบใดที่ไฟล์อยู่ใกล้กับ 2 GiB หรือเล็กกว่า แต่ตอนนี้เมื่อฉันต้องล้างไฟล์ 8 GiB มันไม่ทำงานอีกต่อไป ดูเหมือนว่าจะไม่มีที่สิ้นสุดบน Mac ที่มี 4 GiB RAM และ 64-bit Windows 7 PC ที่มี 4 GiB RAM และ 6 GiB swap เพียงหน่วยความจำหมด และฉันไม่รู้สึกกระตือรือร้นกับการทดลองใช้บน Linux ด้วย 4 GiB RAM เนื่องจากประสบการณ์นี้

awkวิธีการแก้ปัญหาที่เห็นใน #bash (Freenode):

awk '!seen[$0]++' filename

มีวิธีง่าย ๆ (ซึ่งไม่ได้บอกชัดเจน) โดยใช้ยูทิลิตี้มาตรฐานซึ่งไม่ต้องการหน่วยความจำขนาดใหญ่ยกเว้นการรันsortซึ่งในการใช้งานส่วนใหญ่มีการปรับแต่งเฉพาะสำหรับไฟล์ขนาดใหญ่ (อัลกอริทึมการเรียงลำดับภายนอกที่ดี) ข้อได้เปรียบของวิธีนี้คือการวนซ้ำทุกบรรทัดในยูทิลิตีวัตถุประสงค์พิเศษไม่เคยอยู่ในภาษาที่ตีความ

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

หากทุกบรรทัดเริ่มต้นด้วยอักขระที่ไม่ใช่ช่องว่างคุณสามารถแจกจ่ายด้วยตัวเลือกบางอย่าง:

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

สำหรับการทำสำเนาจำนวนมากวิธีการที่ต้องเก็บสำเนาเดียวของแต่ละบรรทัดในหน่วยความจำจะทำงานได้ดีขึ้น ด้วยค่าใช้จ่ายในการตีความมีสคริปต์ awk ที่กระชับมากสำหรับเรื่องนั้น ( โพสต์แล้วโดย enzotib ):

<input awk '!seen[$0]++'

รัดกุมน้อยกว่า: !seen[$0] {print} {seen[$0] += 1}เช่นพิมพ์บรรทัดปัจจุบันหากยังไม่เห็นจากนั้นจึงเพิ่มตัวseenนับสำหรับบรรทัดนี้ (ตัวแปรที่ไม่กำหนดค่าเริ่มต้นหรือองค์ประกอบอาร์เรย์มีค่าตัวเลข 0)

สำหรับสายยาวคุณสามารถบันทึกหน่วยความจำได้โดยเก็บเฉพาะค่าเช็คซัมที่ไม่สามารถทำการปลอมแปลงได้ (เช่นตัวย่อการเข้ารหัส) ของแต่ละบรรทัด ตัวอย่างเช่นการใช้ SHA-1 คุณต้องการเพียง 20 ไบต์บวกค่าใช้จ่ายคงที่ต่อบรรทัด แต่การคำนวณย่อยค่อนข้างช้า วิธีนี้จะชนะก็ต่อเมื่อคุณมี CPU ที่รวดเร็ว (โดยเฉพาะอย่างยิ่งหนึ่งที่มีตัวเร่งความเร็วฮาร์ดแวร์เพื่อคำนวณการย่อย) และหน่วยความจำไม่มากเมื่อเทียบกับขนาดของไฟล์และบรรทัดที่มีความยาวเพียงพอ ไม่มียูทิลิตี้พื้นฐานช่วยให้คุณคำนวณการตรวจสอบสำหรับแต่ละบรรทัด คุณต้องแบกรับค่าใช้จ่ายการตีความของ Perl / Python / Ruby / ... หรือเขียนโปรแกรมรวบรวมเฉพาะ

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

โปรดทราบว่าไฟล์เอาต์พุตจะถูกเรียงลำดับ

สมมติว่าคุณสามารถเก็บได้มากเท่ากับไฟล์ที่ถูกทำซ้ำในหน่วยความจำ (ถ้าข้อมูลของคุณถูกทำซ้ำโดยปัจจัยที่ 100 นั่นควรจะอยู่ที่ประมาณ 20MiB + ค่าใช้จ่าย) คุณสามารถทำได้อย่างง่ายดายด้วย Perl

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

สิ่งนี้จะรักษาลำดับไว้เช่นกัน

คุณสามารถแยกจำนวนการเกิดขึ้นของแต่ละบรรทัดออกจาก%dupแฮชได้หากคุณต้องการเป็นโบนัสฟรีเพิ่ม

หากคุณต้องการawkสิ่งนี้ก็ควรทำเช่นเดียวกัน (ตรรกะเดียวกันกับรุ่น Perl, การสั่งซื้อเดียวกัน, ข้อมูลเดียวกันที่รวบรวมในdupตัวแปร):

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

เนื่องจากไม่มีคำตอบอื่นใดที่ให้การสนับสนุนแบบ inplace นี่คือข้อหนึ่ง:

gawk -i inplace '!a[$0]++' file

คุณสามารถใช้uniq http://www.computerhope.com/unix/uuniq.htm

uniq รายงานหรือกรองบรรทัดที่ซ้ำกันในไฟล์

Python One liners:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

ไม่มีคำตอบที่นี่สำหรับฉันบน Mac ของฉันดังนั้นฉันจึงเขียนสคริปต์ง่ายๆที่เหมาะกับฉัน ฉันไม่สนใจช่องว่างชั้นนำ / ต่อท้ายและไม่สนใจปริมาณการใช้หน่วยความจำ

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

บันทึกด้านบนเพื่อ unique.py และเรียกใช้ดังนี้:

python unique.py inputfile.txt outputfile.txt

ด้วย bash 4 สามารถใช้โซลูชันทุบตีบริสุทธิ์ซึ่งใช้ประโยชน์จากอาเรย์แบบเชื่อมโยงได้ นี่คือตัวอย่าง

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt