ฉันต้องการคัดลอกไดเรกทอรีที่มีขนาดใหญ่มาก (พูดคุยเป็นเทราไบต์ที่นี่) และต้องการติดตามความคืบหน้า
ฉันพบว่าpvเป็นอรรถประโยชน์ที่ดี แต่ฉันจะใช้มันเพื่อคัดลอกไดเรกทอรีซ้ำได้อย่างไร ( pv src > dstไม่ทำงานเพราะเป็นไดเรกทอรี)
PS: ทำงานบน OS X Mountain Lion pvถูกติดตั้งจาก Mac Ports
คำตอบ:
ใช้ rsync --progress [SRC] [DST]
ตรวจสอบman rsyncหน้าเพราะมีตัวเลือกที่มีประโยชน์มากมาย -aสำหรับการเก็บถาวรเป็นการเริ่มต้นที่ดี แต่ขึ้นอยู่กับข้อกำหนดที่แน่นอนของคุณ
การคัดลอกไปป์จะทำให้กระบวนการคัดลอกช้าลงโดยไม่จำเป็นโดยเฉพาะอย่างยิ่งถ้าเป็นไฟล์ที่ใช้
คุณสามารถใช้tarหรือpaxหรือcpio:
mkdir -p dst &&
(cd src && tar cf - .) | pv -trb | (cd dst && tar xpf -)
vไปยังtarคำสั่งเพื่อดูชื่อไฟล์
tar cf -เอาต์พุตสตรีมที่มีไฟล์และข้อมูลเมตาของพวกเขาซึ่งถูกป้อนผ่านไพพ์ไปยัง pv ซึ่งฟีดมันจะไม่ถูกแตะต้องในtarขณะที่พิมพ์ตัวบ่งชี้ความคืบหน้าและอีกอันจะtarแยกข้อมูลในสตรีมนั้น ทั้งสามคำสั่งทำงานพร้อมกันและประมวลผลข้อมูลตามที่มาไม่มีสิ่งใดที่เก็บไว้ในดิสก์ไม่มีอะไรเก็บไว้ในหน่วยความจำอื่นนอกเหนือจากไพพ์บัฟเฟอร์และคำสั่งบัฟเฟอร์ภายในซึ่งเพียงไม่กี่กิโลไบต์
pvไม่มีวิธีที่จะรู้ว่ามีการถ่ายโอนข้อมูลเท่าไหร่ หากคุณมีการประมาณจำนวนเงินนั้นคุณสามารถส่งไปให้พร้อมกับ-sตัวเลือก (GNU du -sb srcจะให้การประมาณที่ดีถ้าไฟล์มีขนาดใหญ่พอ)
น้ำมันดิน
tar -cf - /var/log/ | pv | tar -C . -x
ตัวอย่าง:
# tar -cf - /var/log/ | pv | tar -C . -x
tar: Removing leading `/' from member names
58MB 0:00:05 [ 2.2MB/s] [ <=>
นี่คือคำสั่งบางส่วนที่จะคัดลอกไดเรกทอรีด้วยข้อมูลความคืบหน้า
หากมีไฟล์ขนาดเล็กจำนวนมาก:
cp -av sourcedir targetdir | pv -l -s filecount > logfile
สิ่งนี้จะรายงานความคืบหน้าตามจำนวนไฟล์ที่คัดลอก
คุณสามารถเปลี่ยนเส้นทางไปถ้าคุณไม่จำเป็นที่จะต้อง/dev/nulllogfile
ใช้คำสั่งต่อไปนี้เพื่อรับfilecount:
find sourcedir | wc -l
หากมีไฟล์ขนาดใหญ่จำนวนน้อย:
tar c sourcedir | pv -s size | tar x -C targetdir
สิ่งนี้จะรายงานความคืบหน้าตามจำนวนไบต์ที่ถูกคัดลอก
targetdir ต้องมีอยู่จริง
ใช้คำสั่งต่อไปนี้เพื่อรับsize:
du -sh sourcedir
หากคุณต้องการใช้ rsync:
rsync -ai sourcedir/ targetdir/ | pv -l -s filecount > logfile
รับfilecountตามที่แสดงด้านบน
หากคุณกำลังคัดลอกบนระบบเดียวกันแล้วเป็นจริงเช่นเดียวกับrsync -a cp -aข้อดีของ rsync คือเมื่อคุณคัดลอกผ่านเครือข่ายหรือหากคุณกำลังปรับปรุง (หรือเปรียบเทียบ) สำเนาก่อนหน้า
ดูที่นี่สำหรับรายละเอียดเพิ่มเติม:
คุณสามารถทำdu -b /directory/ทั้งบนต้นทางและปลายทางในขณะที่คำสั่งคัดลอกปกติอยู่ในระหว่างดำเนินการและเปรียบเทียบทั้งสอง นี่เป็นวิธีที่มีประสิทธิภาพและไม่ทำให้กระบวนการคัดลอกช้าลงโดยการผลักผ่านท่อ
find source-dir -print0 | xargs -0 -I % pv % > dest-dir/%