ลบคำที่ซ้ำกันทั้งหมดออกจากสตริงโดยใช้เชลล์สคริปต์

ฉันมีสตริงเหมือน

"aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"

ฉันต้องการลบคำที่ซ้ำกันออกจากสตริงจากนั้นผลลัพธ์จะเป็นเช่นนั้น

"aaa,bbb,ccc"

ฉันลองรหัสนี้แหล่งที่มา

$ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

มันทำงานได้ดีกับค่าเดียวกัน แต่เมื่อฉันให้ค่าตัวแปรแล้วมันจะแสดงคำที่ซ้ำกันทั้งหมดด้วย

ฉันจะลบค่าที่ซ้ำกันได้อย่างไร

UPDATE

คำถามของฉันคือการเพิ่มค่าที่สอดคล้องกันทั้งหมดลงในสตริงเดียวถ้าผู้ใช้เหมือนกันฉันมีข้อมูลเช่นนี้ ->

   user name    | colour
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green

ในการเขียนโปรแกรมฉันดึงผู้ใช้ที่แตกต่างกันทั้งหมดจากนั้นฉันเชื่อมสตริงสีให้เรียบร้อยเพื่อที่ฉันใช้รหัส -

while read the records 

    if [ "$c" == "" ]; then  #$c I defined global
        c="$colour1"
    else
        c="$c,$colour1" 
    fi

เมื่อฉันพิมพ์ตัวแปร $ c นี้ฉันจะได้รับผลลัพธ์ (สำหรับผู้ใช้ AAA)

"red,black,blue,red,green,red,black,blue,red,green,"

ฉันต้องการลบสีที่ซ้ำกันผลลัพธ์ที่ต้องการควรเป็นเช่นนั้น

"red,black,blue,green"

สำหรับผลลัพธ์ที่ต้องการนี้ฉันใช้รหัสข้างต้น

 echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

แต่มันจะแสดงผลลัพธ์ที่มีค่าซ้ำกันเช่น

"แดง, ดำ, น้ำเงิน, แดง, เขียว, แดง, ดำ, น้ำเงิน, แดง, เขียว," ขอบคุณ

อีกหนึ่ง awk เพื่อความสนุกสนาน:

$ a="aaa bbb aaa bbb ccc aaa ddd bbb ccc"
$ echo "$a" | awk '{for (i=1;i<=NF;i++) if (!a[$i]++) printf("%s%s",$i,FS)}{printf("\n")}'
aaa bbb ccc ddd 

ยังไงก็ตามโซลูชันของคุณก็ทำงานได้ดีกับตัวแปร:

$ b="zebra ant spider spider ant zebra ant" 
$ echo "$b" | xargs -n1 | sort -u | xargs
ant spider zebra

ด้วยtr, sortและuniq

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq

หรือ

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq | xargs 

เพื่อรับหนึ่งบรรทัด

$ echo "zebra ant spider spider ant zebra ant"  | awk -v RS="[ \n]+" '!n[$0]++' 
zebra
ant
spider

ด้วย gnu sed:

sed ':s;s/\(\<\S*\>\)\(.*\)\<\1\>/\1\2/g;ts'

คุณสามารถเพิ่ม;s/ */ /gเพื่อลบพื้นที่สาธารณะออก

ฟังก์ชั่นเช่นนี้: หากคำเป็นครั้งที่สองในบรรทัดนี้ให้ลบออกและเริ่มต้นใหม่จนกว่าจะไม่พบการเผยแพร่ซ้ำอีกต่อไป

perl -lane '$,=$";print grep { ! $h{$_}++ } @F'

วิธีการแก้ปัญหาภาระผูกพัน:

$ echo "ant zebra ant spider spider ant zebra ant" | 
   awk -vRS=" " -vORS=" " '!a[$1] {a[$1]++} END{ for (x in a) print x;  } ' ; echo
zebra ant spider 

(สุดท้ายechoจะมีการขึ้นบรรทัดใหม่)

หลาม

ตัวเลือกที่ 1

#!/usr/bin/env python
# get_unique_words.py

import sys

l = []
for w in sys.argv[1].split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)

ทำให้ปฏิบัติการแล้วโทรจาก Bash:

$ ./get_unique_words.py "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"
aaa,bbb,ccc

หรือคุณสามารถใช้มันเป็นฟังก์ชั่นทุบตี แต่ไวยากรณ์ยุ่งเหยิง

get_unique_words(){
  python -c "
l = []
for w in '$1'.split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)"
}

ตัวเลือก 2

ตัวเลือกนี้อาจกลายเป็นหนึ่งซับถ้าจำเป็น:

#!/usr/bin/env python
# get_unique_words.py

import sys

s_in = sys.argv[1]
l_in = s_in.split(',') # Turn string into a list.
set_out = set(l_in) # Turning a list into a set removes duplicates items.
s_out = ','.join(set_out) 
print s_out

ใน Bash:

get_unique_words(){
  python -c "print ','.join(set('$1'.split(',')))"
}

cat filename | awk '{ delete a; for (i=1; i<=NF; i++) a[$i]++; n=asorti(a, b); for (i=1; i<=n; i++) printf b[i]" "; print "" }' > newfile

การใช้ข้อมูลแบบตารางดั้งเดิมในไฟล์ชื่อfile:

sed '1d' file | sort -u |
awk '{ color[$1] = ( color[$1] == "" ? $3 : color[$1] "," $3 ) }
     END { for (user in color) print user, color[user] }'

สิ่งนี้สร้างขึ้น

CCC red
BBB blue,red
AAA black,blue,green,red

ท่อสามขั้นตอน:

1. sedคำสั่งเอาบรรทัดแรกซึ่งเป็นส่วนหัวที่เราไม่ต้องการที่จะอ่าน

2. sortคำสั่งช่วยให้เรามีสายที่ไม่ซ้ำกัน ข้อมูลตัวอย่างหลังจากsortดูเหมือนว่า

   AAA         | black
   AAA         | blue
   AAA         | green
   AAA         | red
   BBB         | blue
   BBB         | red
   CCC         | red

3. awkคำสั่งต้องใช้ข้อมูลนี้และผลิตสตริงที่คั่นด้วยจุลภาคสำหรับผู้ใช้แต่ละคนในอาร์เรย์color(ที่ชื่อผู้ใช้เป็นสำคัญในอาร์เรย์) ในตอนท้าย (ในENDบล็อก) ข้อมูลที่รวบรวมทั้งหมดจะถูกส่งออก

a="aaa aaa aaa bbb bbb ccc bbb ccc"
for item in $a
do
   echo $item
done | sort -u | (while read i; do ans="$ans $i"; done ; echo $ans)