มีวิธีดูความคืบหน้า tar ใด ๆ ต่อไฟล์หรือไม่?

ฉันมีไฟล์ขนาดใหญ่สองไฟล์ที่ฉันต้องการบีบอัด ฉันสามารถทำได้ด้วยตัวอย่างเช่น

tar cvfj big-files.tar.bz2 folder-with-big-files

ปัญหาคือฉันไม่เห็นความคืบหน้าใด ๆ ดังนั้นฉันจึงไม่รู้ว่าจะใช้เวลานานแค่ไหนหรืออะไรทำนองนั้น ใช้vฉันอย่างน้อยสามารถดูเมื่อแต่ละไฟล์เสร็จสมบูรณ์ แต่เมื่อไฟล์มีขนาดเล็กและใหญ่นี้ไม่ได้เป็นประโยชน์มากที่สุด

มีวิธีที่ฉันจะได้รับ tar เพื่อแสดงความคืบหน้าอย่างละเอียดมากขึ้น? ชอบเปอร์เซ็นต์ที่ทำหรือแถบความคืบหน้าหรือเวลาที่เหลืออยู่หรือบางสิ่งบางอย่างโดยประมาณ อาจเป็นไฟล์เดี่ยวหรือไฟล์ทั้งหมดหรือทั้งสองไฟล์

ฉันชอบผู้ดูแลผิวหน้าเช่นนี้:

tar cf - /folder-with-big-files -P | pv -s $(du -sb /folder-with-big-files | awk '{print $1}') | gzip > big-files.tar.gz

มันจะมีผลลัพธ์เช่นนี้:

4.69GB 0:04:50 [16.3MB/s] [==========================>        ] 78% ETA 0:01:21

สำหรับ OSX (จากคำตอบของเคนจิ)

tar cf - /folder-with-big-files -P | pv -s $(($(du -sk /folder-with-big-files | awk '{print $1}') * 1024)) | gzip > big-files.tar.gz

คุณสามารถใช้pvเพื่อให้ได้สิ่งนี้ ในการรายงานความคืบหน้าอย่างถูกต้องคุณpvจำเป็นต้องรู้จำนวนไบต์ที่คุณขว้างไป ดังนั้นขั้นตอนแรกคือการคำนวณขนาด (เป็น kbyte) นอกจากนี้คุณยังสามารถวางแถบความคืบหน้าได้อย่างสมบูรณ์และเพียงแค่pvบอกให้คุณทราบว่ามีกี่ไบต์ที่เห็น มันจะรายงานว่า 'ทำอย่างนั้นและรวดเร็ว'

% SIZE=`du -sk folder-with-big-files | cut -f 1`

แล้ว:

% tar cvf - folder-with-big-files | pv -p -s ${SIZE}k | \ 
     bzip2 -c > big-files.tar.bz2

แถบความคืบหน้าดีขึ้น ..

apt-get install pv dialog

(pv -n file.tgz | tar xzf - -C target_directory ) \
2>&1 | dialog --gauge "Extracting file..." 6 50

ตรวจสอบ--checkpointและ--checkpoint-actionตัวเลือกในหน้าข้อมูล tar (สำหรับการแจกจ่ายของฉัน, คำอธิบายสำหรับตัวเลือกเหล่านี้ไม่มีอยู่ใน man page → RTFI)

ดูhttps://www.gnu.org/software/tar/manual/html_section/tar_26.html

ด้วยสิ่งเหล่านี้ (และบางทีฟังก์ชันการทำงานเพื่อเขียนคำสั่งจุดตรวจของคุณเอง) คุณสามารถคำนวณเปอร์เซ็นต์ ...

แรงบันดาลใจจากคำตอบของผู้ช่วย

อีกวิธีคือใช้tarตัวเลือกเนทีฟ

FROMSIZE=`du -sk ${FROMPATH} | cut -f 1`;
CHECKPOINT=`echo ${FROMSIZE}/50 | bc`;
echo "Estimated: [==================================================]";
echo -n "Progess:   [";
tar -c --record-size=1K --checkpoint="${CHECKPOINT}" --checkpoint-action="ttyout=>" -f - "${FROMPATH}" | bzip2 > "${TOFILE}";
echo "]"

ผลลัพธ์ที่ได้คือ

Estimated: [==================================================]
Progess:   [>>>>>>>>>>>>>>>>>>>>>>>

ตัวอย่างที่สมบูรณ์ที่นี่

ใช้น้ำมันดินเท่านั้น

tarมีตัวเลือก (ตั้งแต่ v1.12) เพื่อพิมพ์ข้อมูลสถานะของสัญญาณที่ใช้--totals=$SIGNOเช่น:

tar --totals=USR1 -czf output.tar input.file
Total bytes written: 6005319680 (5.6GiB, 23MiB/s)

Total bytes written: [...]ข้อมูลได้รับการตีพิมพ์ในทุกสัญญาณ USR1 เช่น:

pkill -SIGUSR1 tar

ที่มา:

• gnu.org - GNU tar - 3.7 การตรวจสอบความคืบหน้าของ tar
• gnu.org - tar - ข่าว

เพิ่งสังเกตเห็นความคิดเห็นเกี่ยวกับ MacOS และในขณะที่ฉันคิดว่าวิธีแก้ปัญหาจาก @akira (และ pv) นั้นเป็นสิ่งที่เลวร้ายมากฉันคิดว่าฉันไล่ล่าลางสังหรณ์และเล่นรอบอย่างรวดเร็วในกล่อง MacOS ของฉันด้วยน้ำมันดินและส่งสัญญาณ SIGINFO สนุกมากพอมันทำงานได้ดี :) ถ้าคุณอยู่ในระบบที่เหมือน BSD สิ่งนี้น่าจะใช้ได้ แต่บนกล่อง Linux คุณอาจต้องส่ง SIGUSR1 และ / หรือtarอาจไม่ทำงานเหมือนกัน

ข้อเสียคือมันจะให้ผลลัพธ์ (ที่ stdout) เพียงแสดงให้คุณเห็นว่าไฟล์ปัจจุบันมันไกลแค่ไหนเนื่องจากฉันคิดว่ามันไม่รู้ว่ากระแสข้อมูลที่ได้รับนั้นใหญ่แค่ไหน

ดังนั้นใช่วิธีการทางเลือกคือการเผาไหม้น้ำมันดินและส่ง SIGINFOs เป็นระยะ ๆ เมื่อใดก็ตามที่คุณต้องการทราบว่ามันได้รับไปไกลแค่ไหน ทำอย่างไร

Ad-hoc แนวทางแบบแมนนวล

หากคุณต้องการตรวจสอบสถานะแบบเฉพาะกิจคุณสามารถกดcontrol-T(ตามที่ Brian Swift กล่าวถึง) ในหน้าต่างที่เกี่ยวข้องซึ่งจะส่งสัญญาณ SIGINFO ปัญหาหนึ่งที่มีก็คือมันจะส่งไปยังห่วงโซ่ทั้งหมดของคุณฉันเชื่อว่าดังนั้นหากคุณกำลังทำ:

% tar cvf - folder-with-big-files | bzip2 -c > big-files.tar.bz2

คุณจะเห็นรายงาน bzip2 เป็นสถานะพร้อมกับ tar:

a folder-with-big-files/big-file.imgload 0.79  cmd: bzip2 13325 running 
      14 0.27u 1.02s 

      adding folder-with-big-files/big-file.imgload (17760256 / 32311520)

วิธีนี้ใช้งานได้ดีถ้าคุณแค่ต้องการตรวจสอบว่าtarคุณกำลังติดอยู่หรือไม่ คุณอาจไม่ต้องกังวลเกี่ยวกับปัญหาการจัดรูปแบบในกรณีนี้มากนักเนื่องจากเป็นการตรวจสอบด่วนเท่านั้น ..

ประเภทของวิธีการอัตโนมัติ

หากคุณรู้ว่ามันต้องใช้เวลาสักครู่ แต่ต้องการบางอย่างเช่นตัวบ่งชี้ความคืบหน้าอีกทางเลือกหนึ่งคือปลดออกจากกระบวนการ tar ของคุณและในเทอร์มินัลเครื่องอื่นก็คือ PID แล้วโยนมันลงในสคริปต์ที่ส่งสัญญาณซ้ำ ๆ . ตัวอย่างเช่นหากคุณมี scriptlet ต่อไปนี้ (และเรียกใช้ตามที่พูดscript.sh PID-to-signal interval-to-signal-at):

#!/bin/sh

PID=$1
INTERVAL=$2
SIGNAL=29      # excuse the voodoo, bash gets the translation of SIGINFO, 
               # sh won't..

kill -0 $PID   # invoke a quick check to see if the PID is present AND that
               # you can access it..

echo "this process is $$, sending signal $SIGNAL to $PID every $INTERVAL s"
while [ $? -eq 0 ]; do
     sleep $INTERVAL;
     kill -$SIGNAL $PID;    # The kill signalling must be the last statement
                            # or else the $? conditional test won't work
done
echo "PID $PID no longer accessible, tar finished?"

หากคุณเรียกใช้วิธีนี้เนื่องจากคุณกำหนดเป้าหมายเท่านั้นtarคุณจะได้ผลลัพธ์ที่มากกว่านี้

a folder-with-big-files/tinyfile.1
a folder-with-big-files/tinyfile.2
a folder-with-big-files/tinyfile.3
a folder-with-big-files/bigfile.1
adding folder-with-big-files/bigfile.1 (124612 / 94377241)
adding folder-with-big-files/bigfile.1 (723612 / 94377241)
...

ซึ่งฉันยอมรับว่าเป็นคนที่ค่อนข้างสวย

สุดท้าย แต่ไม่ท้ายสุด - สคริปต์ของฉันมันช่างเป็นสนิมดังนั้นถ้าใครอยากเข้าไปข้างในและทำความสะอาด / แก้ไข / ปรับปรุงโค้ดให้ดีที่สุดเพื่อชีวิตของคุณ :)

แรงบันดาลใจจากคำตอบของ Noah Spurrier

function tar {
  local bf so
  so=${*: -1}
  case $(file "$so" | awk '{print$2}') in
  XZ) bf=$(xz -lv "$so" |
    perl -MPOSIX -ane '$.==11 && print ceil $F[5]/50688') ;;
  gzip) bf=$(gzip -l "$so" |
    perl -MPOSIX -ane '$.==2 && print ceil $F[1]/50688') ;;
  directory) bf=$(find "$so" -type f | xargs du -B512 --apparent-size |
    perl -MPOSIX -ane '$bk += $F[0]+1; END {print ceil $bk/100}') ;;
  esac
  command tar "$@" --blocking-factor=$bf \
    --checkpoint-action='ttyout=%u%\r' --checkpoint=1
}

แหล่ง

หากคุณรู้จักหมายเลขไฟล์แทนขนาดรวมทั้งหมด:

ทางเลือก (แม่นยำน้อยกว่า แต่เหมาะสม) คือการใช้ตัวเลือก -l และส่งชื่อไฟล์ไปยัง unix pipe แทนเนื้อหาข้อมูล

มามีไฟล์ 12345 ในmydirแล้วคำสั่งคือ:

[myhost@myuser mydir]$ tar cfvz ~/mytarfile.tgz .|pv -s 12345 -l > /dev/null 

คุณสามารถทราบค่าดังกล่าวล่วงหน้า (เนื่องจากกรณีการใช้งานของคุณ) หรือใช้คำสั่งบางอย่างเช่นfind + wcเพื่อค้นหา:

[myhost@myuser mydir]$ find | wc -l
12345

วิธีการตามtqdm :

tar -v -xf tarfile.tar -C TARGET_DIR | tqdm --total $(tar -tvf tarfile.tar | wc -l) > /dev/null

บนMacOSแรกให้แน่ใจว่าคุณมีคำสั่งทั้งหมดที่มีอยู่และติดตั้งคนที่ขาดหายไป (เช่นpv) โดยใช้ชง

หากคุณไม่ต้องการtar บีบอัดให้ไปที่:

tar -c folder-with-big-files | pv -s $[$(du -sk folder-with-big-files | awk '{print $1}') * 1024] > folder-with-big-files.tar

ถ้าคุณต้องการบีบอัดไปกับ:

tar cf - folder-with-big-files -P | pv -s $[$(du -sk folder-with-big-files | awk '{print $1}') * 1024] | gzip > folder-with-big-files.tar.gz

หมายเหตุ: อาจใช้เวลาสักครู่ก่อนที่แถบความคืบหน้าจะปรากฏขึ้น ลองใช้โฟลเดอร์ที่เล็กกว่าก่อนเพื่อให้แน่ใจว่าใช้งานได้แล้วย้ายไปยังโฟลเดอร์ที่มีไฟล์ขนาดใหญ่

ต่อไปนี้เป็นข้อมูลสำรองของโพรเมท (ข้อมูลเมทริก) บนเดเบียน / บัสเตอร์ AMD64:

root# cd /path/to/prometheus/
root# tar -cf - ./metrics | ( pv -p --timer --rate --bytes > prometheus-metrics.tar )

ยกเลิกงานนี้เนื่องจากมีพื้นที่ว่างในดิสก์ไม่เพียงพอ

การทดสอบด้วยzstdคอมเพรสเซอร์ในtarการตรวจสอบความคืบหน้าโดยใช้pv:

root# apt-get update
root# apt-get install zstd pv

root# tar -c --zstd -f - ./metrics | ( pv -p --timer --rate --bytes > prometheus-metrics.tar.zst )
10.2GiB 0:11:50 [14.7MiB/s]

root# du -s -h prometheus
62G    prometheus

root# du -s -h prometheus-metrics.tar.zst
11G    prometheus-metrics.tar.zst