การเรียงลำดับที่ไม่ซ้ำกัน: เปลี่ยนเส้นทางเอาต์พุตไปยังไฟล์เดียวกัน

มีวิธีสั้น ๆ ในการบันทึกเอาต์พุตไปป์เป็นไฟล์เดียวกับที่ประมวลผลหรือไม่ ตัวอย่างเช่นนี่คือสิ่งที่ฉันกำลังทำอยู่

$ cat filename | sort | uniq > result
$ rm -f filename
$ mv result filename

ฉันสงสัยว่ามีวิธีที่จะทำได้ในหนึ่งบรรทัด (ไม่ต่อท้ายคำสั่งเหล่านั้นโดยใช้ &&)

นี่ไม่ใช่วิธี แต่จะได้รับความคิด

$ cat filename | sort | uniq > filename

คุณสามารถใช้spongeจากแพ็คเกจmoreutils :

LC_ALL=C sort -u filename | sponge filename

นอกจากนี้คุณยังไม่จำเป็นต้องใช้ไพพ์uniqเนื่องจากเมื่อsortมี-uตัวเลือกสำหรับบรรทัดที่ไม่ซ้ำกันเมื่อเรียงลำดับ

โปรดทราบว่าในระบบ GNU ที่มีโลแคล UTF-8 sort -uหรือsort | uniqไม่ได้ให้บรรทัดที่ไม่ซ้ำกัน แต่เป็นลำดับแรกจากลำดับของบรรทัดที่เรียงลำดับเดียวกันในโลแคลปัจจุบัน

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=en_US.utf8 sort | LC_ALL=en_US.utf8 uniq
①

①ให้คุณ การเปลี่ยนโลแคลเป็น C บังคับให้ลำดับการเรียงตามค่าไบต์:

$ export LC_ALL=C
$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C sort | LC_ALL=C uniq
①
②

คุณไม่ต้องการคำสั่งพิเศษใด ๆ เช่นcatและuniqโดยไม่ต้องใช้rmคำสั่งและmvคำสั่งเพื่อลบและเปลี่ยนชื่อไฟล์ เพียงใช้คำสั่งง่ายๆ

sort -u filename -o filename

 -u, --unique
        with -c, check for strict ordering; without -c, output only  the
        first of an equal run

 -o, --output=FILE
        write result to FILE instead of standard output

มันทำงานยังไง?

sortคำสั่งเรียงชื่อไฟล์ของคุณและมี-uตัวเลือกลบบรรทัดที่ซ้ำกันออกจากมัน จากนั้นด้วย-oตัวเลือกที่เขียนออกไปยังไฟล์เดียวกันกับวิธีการในสถานที่

ตัวอย่างที่แนะนำของคุณ (ด้านล่าง) ไม่ทำงานเนื่องจากคุณจะต้องอ่านและเขียนไฟล์เดียวกันพร้อมกัน

$ cat filename | sort | uniq > filename

แนวคิดที่มีไพพ์หรือการเปลี่ยนทิศทางคือคำสั่งทางด้านซ้ายและขวาของแต่ละไพพ์หรือการรีไดเร็กต์พร้อมกัน คำสั่งทางด้านขวาประมวลผลข้อมูลตามที่ได้รับจากคำสั่งทางด้านซ้ายในขณะที่คำสั่งทางด้านซ้ายยังคงทำงานอยู่

เพื่อให้สถานการณ์ของคุณทำงานคำสั่งที่อ่านจากไฟล์จะต้องทำให้เสร็จก่อนที่คำสั่งที่เขียนไปยังไฟล์จะเริ่มต้นขึ้น เพื่อให้สิ่งนี้ใช้งานได้คุณจะต้องเปลี่ยนเส้นทางเอาต์พุตไปยังตำแหน่งชั่วคราวก่อนจากนั้นเมื่อเสร็จแล้วให้ส่งมันจากตำแหน่งชั่วคราวกลับไปที่ไฟล์

วิธีที่ดีกว่าในการทำเช่นนี้โดยทั่วไปคือในตัวอย่างก่อนหน้าของคุณที่คุณเปลี่ยนเส้นทางไปยังไฟล์ชั่วคราวจากนั้นเปลี่ยนชื่อไฟล์นั้นกลับไปเป็นต้นฉบับ (ยกเว้นว่าคุณไม่จำเป็นต้องลบไฟล์ก่อนเนื่องจากการลบเป้าหมายที่มีอยู่แล้ว) .

$ cat filename | sort | uniq > result
$ mv -f result filename

คุณสามารถบันทึกลงในตัวแปรสตริงได้ยกเว้นว่าจะใช้งานได้เมื่อข้อมูลมีขนาดเล็กพอที่จะใส่ลงในหน่วยความจำพร้อมกันทั้งหมด

คุณสามารถใช้teeคำสั่ง:

sort -u filename | tee filename > /dev/null

teeคำสั่งอ่านจากอินพุตมาตรฐานและเขียนออกมาตรฐานและไฟล์

คุณสามารถใช้ Vim ในโหมด Ex:

ex -sc 'sort u|x' filename

1. sort u จัดเรียงที่ไม่ซ้ำกัน

2. x เขียนถ้ามีการเปลี่ยนแปลง (พวกเขามี) และออกจาก