ฉันมีสคริปต์ ksh ที่คืนค่ารายการจำนวนมากบรรทัดใหม่คั่นและฉันต้องการเห็นเฉพาะค่าที่ไม่ซ้ำกัน / แตกต่างกัน เป็นไปได้ที่จะทำเช่นนี้?
ตัวอย่างเช่นสมมติว่าเอาต์พุตของฉันคือคำต่อท้ายไฟล์ในไดเรกทอรี:
tar gz java gz java tar class class
ฉันต้องการดูรายการที่ชอบ:
tar gz java class
คำตอบ:
คุณอาจต้องการดูuniqและsortแอปพลิเคชัน
./yourscript.ksh | จัดเรียง | UNIQ
(FYI, ใช่การเรียงลำดับเป็นสิ่งจำเป็นในบรรทัดคำสั่งนี้จะตัดuniqเฉพาะบรรทัดที่ซ้ำกันซึ่งอยู่ติดกันทันที)
แก้ไข:
ตรงกันข้ามกับสิ่งที่Aaron Digullaโพสต์เกี่ยวกับuniqตัวเลือกบรรทัดคำสั่ง:
รับอินพุตต่อไปนี้:
ชั้น โถ โถ โถ ถัง ถัง ชวา
uniq จะส่งออกทุกบรรทัดตรงครั้งเดียว:
ชั้น โถ ถัง ชวา
uniq -d จะเอาท์พุททุกบรรทัดที่ปรากฏมากกว่าหนึ่งครั้งและมันจะพิมพ์ครั้งเดียว:
โถ ถัง
uniq -u จะส่งออกทุกบรรทัดที่ปรากฏอย่างแน่นอนครั้งเดียวและจะพิมพ์ออกมาหนึ่งครั้ง:
ชั้น ชวา
sortมี-uรุ่นสำหรับให้ค่าที่ไม่เหมือนใครด้วย
uniqตะเข็บในการประมวลผลเพียงเส้นที่อยู่ติดกัน (อย่างน้อยค่าเริ่มต้น) ความหมายหนึ่งอาจป้อนข้อมูลก่อนที่จะให้อาหารsort uniq
./script.sh | sort -uนี่เป็นคำตอบเดียวกับคำตอบของ monoxide แต่ค่อนข้างสั้นกว่า
... | sort | uniqเพราะมันถูกแสดงในนัดเดียว
สำหรับชุดข้อมูลขนาดใหญ่ที่การเรียงลำดับอาจไม่ต้องการคุณสามารถใช้สคริปต์ perl ต่อไปนี้:
./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'นี่เป็นเพียงแค่จดจำทุกบรรทัดเอาท์พุทเพื่อที่จะไม่เอาท์พุทอีกครั้ง
มันมีข้อได้เปรียบเหนือsort | uniqวิธีแก้ปัญหาโดยที่ไม่ต้องเรียงลำดับล่วงหน้า
ด้วยzshคุณสามารถทำได้:
% cat infile
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
classหรือคุณสามารถใช้ AWK:
% awk '!_[$0]++' infile
tar
more than one word
gz
java
classawkโซลูชันที่ชาญฉลาด แต่มีความลับ(ดูstackoverflow.com/a/21200722/45375สำหรับคำอธิบาย) จะทำงานกับไฟล์ขนาดใหญ่ตราบใดที่จำนวนบรรทัดที่ไม่ซ้ำกันมีขนาดเล็กพอ (เนื่องจากบรรทัดที่ไม่ซ้ำกันจะถูกเก็บไว้ในหน่วยความจำ ) zshแก้ปัญหาการอ่านไฟล์ทั้งหมดในหน่วยความจำแรกซึ่งอาจจะไม่ได้เป็นตัวเลือกที่มีไฟล์ขนาดใหญ่ นอกจากนี้ตามที่เขียนจะมีการจัดการเฉพาะบรรทัดที่ไม่มีช่องว่างที่ฝังอยู่อย่างถูกต้อง เพื่อแก้ไขปัญหานี้ใช้IFS=$'\n' read -d '' -r -A u <file; print -l ${(u)u}แทน
(IFS=$'\n' u=($(<infile)); print -l "${(u)u[@]}")
[@]คำต่อท้ายเพื่ออ้างอิงองค์ประกอบทั้งหมดของอาเรย์ - ดูเหมือนว่า - อย่างน้อยเป็นเวอร์ชัน 5 - มันใช้งานได้โดยปราศจากมัน หรือคุณเพิ่งเพิ่มเพื่อความชัดเจน?
print -l "${(fu)$(<infile)}"
awkเอาต์พุตตัวอย่างด้วย
พวกเขาผ่านท่อและsort uniqสิ่งนี้จะลบรายการที่ซ้ำกันทั้งหมด
uniq -dให้ซ้ำuniq -uเท่านั้นให้เฉพาะที่ไม่ซ้ำกัน (แถบซ้ำกัน)
uniq -uไม่ได้เป็นพฤติกรรมเริ่มต้น (ดูแก้ไขในคำตอบของฉันสำหรับรายละเอียด)
ด้วย AWK คุณสามารถทำได้ฉันพบว่าเร็วกว่าการจัดเรียง
./yourscript.ksh | awk '!a[$0]++'ไม่ซ้ำกันตามที่ร้องขอ (แต่ไม่ได้จัดเรียง);
ใช้ทรัพยากรระบบน้อยลงสำหรับองค์ประกอบน้อยกว่า 70 รายการ (ตามเวลาที่ทดสอบ)
เขียนเพื่อรับอินพุตจาก stdin
(หรือแก้ไขและรวมไว้ในสคริปต์อื่น):
(Bash)
bag2set () {
# Reduce a_bag to a_set.
local -i i j n=${#a_bag[@]}
for ((i=0; i < n; i++)); do
if [[ -n ${a_bag[i]} ]]; then
a_set[i]=${a_bag[i]}
a_bag[i]=$'\0'
for ((j=i+1; j < n; j++)); do
[[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
done
fi
done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
a_bag[i]=$e
i=$i+1
done
bag2set
echo "${a_set[@]}"ฉันได้รับคำแนะนำที่ดีกว่าในการรับรายการที่ไม่ซ้ำกันในไฟล์
awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u