ค้นหา | xargs shasum สร้างการตรวจสอบของไฟล์ checksum เอง (ก่อนกำหนด) และล้มเหลวเมื่อตรวจสอบ

ปัญหาของฉัน (ในสคริปต์ด้วย#!/bin/sh) มีดังนี้: ฉันพยายามตรวจสอบไฟล์ทั้งหมดในไดเรกทอรีเพื่อการเก็บถาวร ไฟล์ checksum (ในกรณีของฉัน sha1) ที่มีชื่อไฟล์ทั้งหมดควรอยู่ในไดเรกทอรีเดียวกัน ช่วยบอกว่าเรามีไดเรกทอรี~/testพร้อมไฟล์f1และf2:

mkdir ~/test
cd ~/test
echo "hello" > f1
echo "world" > f2

ตอนนี้กำลังคำนวณ checksums ด้วย

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum

ทำตามที่ฉันต้องการทุกอย่างแสดงรายการไฟล์ทั้งหมดของไดเรกทอรีปัจจุบันเท่านั้นและคำนวณผลรวม sha1 (maxdepth อาจเปลี่ยนแปลงได้ในภายหลัง) เอาต์พุตบน STDOUT คือ:

f572d396fae9206628714fb2ce00f72e94f2258f  f1
9591818c07e900db7e1e0bc4b884c945e6a61b24  f2

น่าเสียดายที่เมื่อพยายามบันทึกไฟล์ลงในไฟล์ด้วย

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum > sums.sha1

ไฟล์ผลลัพธ์แสดงเช็กซัมสำหรับตัวมันเอง:

da39a3ee5e6b4b0d3255bfef95601890afd80709  sums.sha1
f572d396fae9206628714fb2ce00f72e94f2258f  f1
9591818c07e900db7e1e0bc4b884c945e6a61b24  f2  

และดังนั้นจึงล้มเหลวในภายหลังshasum --checkเนื่องจากปัญหาที่ชัดเจนของการแก้ไขไฟล์เพิ่มเติมเมื่อบันทึกผลรวมสุดท้าย

ฉันมองไปรอบ ๆ และใช้การ-pตั้งค่าสถานะสำหรับxargsฉันพบว่ามันสร้างไฟล์เอาต์พุตก่อนที่จะดำเนินการคำสั่ง find ดังนั้นจึงพบไฟล์เพิ่มเติมและจะตรวจสอบ ...

ฉันรู้ว่าเป็นวิธีแก้ปัญหาฉันสามารถบันทึกการตรวจสอบไปยังสถานที่อื่น (ไดเรกทอรีชั่วคราวผ่านmktemp) หรือยกเว้นในการค้นหาโดยเฉพาะ แต่ฉันต้องการที่จะเข้าใจว่าทำไมมันทำงานในแบบที่มัน - ซึ่งอยู่ในสายตาของฉันไม่มีประโยชน์ เช่นถ้าคำสั่งแรกจะตรวจสอบว่าไฟล์ที่ส่งออกอยู่บนดิสก์แล้วมันจะไม่ได้คำตอบที่ถูกต้อง ...

คุณสามารถป้องกันไฟล์จากการเข้าถึงxargsโดยใช้:

find . -maxdepth 1 -type f ! -name sums.sha1 -printf '%P\n' |
  xargs -r shasum -- > sums.sha1

เพื่อป้องกันปัญหาเกี่ยวกับชื่อไฟล์ที่มีช่องว่างหรือขึ้นบรรทัดใหม่หรือคำพูดหรือแบ็กสแลชฉันจะใช้:

find . -maxdepth 1 -type f ! -name sums.sha1 -printf '%P\0' |
  xargs -r0 shasum -- > sums.sha1

แทน.

คือการหลีกเลี่ยงปัญหาที่มีชื่อไฟล์ที่เริ่มต้นด้วย-- แต่มันจะไม่ช่วยให้สำหรับไฟล์ที่เรียกว่า- -หากคุณใช้-print0แทนคุณ-printf '%P\0'จะไม่จำเป็นต้องใช้--และจะไม่มีปัญหากับ-ไฟล์

เนื่องจากคุณใช้-maxdepth 1ฉันถือว่าคุณไม่ต้องการเรียกซ้ำ ถ้าเป็นเช่นนั้นเพียงแค่ทำมันในเปลือกแทน:

for f in ~/test/*; do
    shasum -- "$f"
done > sums.sha1

หากต้องการข้ามไดเรกทอรีคุณสามารถทำได้:

for f in ~/test/*; do
    [ ! -d "$f" ] && shasum -- "$f"
done > sums.sha1

หากคุณต้องการการสอบถามซ้ำและใช้งานbashให้ทำ:

shopt -s globstar
for f in ~/test/**; do
    [ ! -d "$f" ] && shasum -- "$f"
done > sums.sha1

โปรดทราบว่าวิธีการทั้งหมดนี้มีประโยชน์ในการทำงานกับชื่อไฟล์โดยพลการรวมถึงช่องว่างการขึ้นบรรทัดใหม่หรือสิ่งอื่นใด

ด้วยzsh:

shasum -- *(D.) > sums.sha1

วงกลมจะถูกขยายก่อนที่จะทำการเปลี่ยนเส้นทางดังนั้นsums.sha1จะไม่ถูกรวมหากไม่มีในตอนแรก

Dคือการรวมจุดไฟล์ (ไฟล์ที่ซ่อน) ตามที่findต้องการ .คือการเลือกไฟล์ปกติเท่านั้น (เช่นของคุณ-type f)

หากต้องการยกเว้นสิ่งsums.sha1ต่อไปในกรณีที่มีอยู่ในสถานที่แรก:

setopt extendedglob # best in ~/.zshrc
shasum -- ^sums.sha1(D.) > sums.sha1

โปรดทราบว่าผู้ที่วิ่งหนึ่งคำสั่ง shasum ดังนั้นคุณอาจจบลงด้วยการเห็น "รายการ Arg ยาวเกินไป" ข้อผิดพลาดถ้ารายการเป็นอย่างมาก ในการหลีกเลี่ยงสิ่งต่อไปนี้:

autoload zargs
zargs -e/ -- *(D.) / shasum > sums.sha1

ฉันจะแนะนำให้ใช้./*แทนเพื่อหลีกเลี่ยงปัญหาที่อาจเกิดขึ้นกับไฟล์ที่เรียกว่า*-

ตามที่คำตอบอื่น ๆ ระบุไว้ปัญหาคือเชลล์เปิดและสร้างsums.sha1ไฟล์ก่อนดำเนินการไพพ์ไลน์ของคุณ คุณสามารถใช้โปรแกรมspongeซึ่งเป็นส่วนหนึ่งของmoreutilsแพ็คเกจของการกระจายจำนวนมาก ตรงกันข้ามกับการเปลี่ยนเส้นทางของเชลล์spongeจะรอจนกว่าจะได้รับทุกอย่างก่อนเปิดไฟล์ โดยทั่วไปจะใช้เมื่อคุณต้องการเขียนไฟล์ที่คุณอ่านในขั้นตอนเดียวกัน

ในกรณีของคุณมันถูกใช้แบบนี้:

$ find -maxdepth 1 -type f -printf '%P\n' |xargs shasum |sponge sums.sha1
$ cat sums.sha1
31836aeaab22dc49555a97edb4c753881432e01d  B
7d157d7c000ae27db146575c08ce30df893d3a64  A

เป็นทางเลือกแทน find / xargs ฯลฯ คุณอาจต้องการ sha1deep มันอาจจะอยู่ในแพ็คเกจอื่น - บนกล่องของฉันมันมาในแพ็คเกจ md5deep

ดังที่คนอื่น ๆ บอกไว้ว่า sums.sha1 นั้นถูกสร้างขึ้นโดยเชลล์ก่อนที่การค้นหาจะเริ่มต้นขึ้น เคล็ดลับ! -name sums.sha1ในการที่findจะทำงานตามที่จะ

find -maxdepth 1 -type f -printf '%P\n' | xargs shasum | grep -v ' sums\.sha1$' > sums.sha1