ฉันต้องการสร้างสำเนาใหม่ของไฟล์จำนวนมากจากไดรฟ์ภายในเครื่องไปยังอีกเครื่องหนึ่ง

ฉันอ่านแล้ว rsync ทำการเปรียบเทียบการตรวจสอบไฟล์เมื่อส่งข้อมูลไปยังเครื่องระยะไกลผ่านเครือข่าย

1. rsync จะทำการเปรียบเทียบเมื่อทำการคัดลอกไฟล์ระหว่างไดรฟ์ในเครื่องหรือไม่

2. ถ้ามันทำการตรวจสอบ - มันเป็นเดิมพันที่ปลอดภัยหรือไม่ หรือมันจะดีกว่าที่จะทำการเปรียบเทียบแบบไบต์ต่อไบต์?

rsync ใช้ checksums เสมอในการตรวจสอบว่าไฟล์ถูกถ่ายโอนอย่างถูกต้อง ถ้าแฟ้มปลายทางอยู่แล้ว rsync อาจข้ามการปรับปรุงแฟ้มถ้าปรับเปลี่ยนเวลาและขนาดตรงกับแฟ้มแหล่งที่มา แต่ถ้า rsync ตัดสินใจว่าข้อมูลที่จะต้องมีการโอน checksums จะเสมอใช้ในการส่งข้อมูลระหว่างการส่งและรับกระบวนการ rsync . สิ่งนี้จะตรวจสอบว่าข้อมูลที่ได้รับนั้นเป็นข้อมูลเดียวกันกับข้อมูลที่ส่งด้วยความน่าจะเป็นสูงโดยไม่ต้องมีค่าใช้จ่ายมากในการเปรียบเทียบระดับไบต์ผ่านเครือข่าย

เมื่อได้รับข้อมูลไฟล์แล้ว rsync จะเขียนข้อมูลลงในไฟล์และเชื่อมั่นว่าหากเคอร์เนลบ่งชี้ว่าการเขียนสำเร็จข้อมูลจะถูกเขียนโดยไม่มีความเสียหายไปยังดิสก์ rsync จะไม่อ่านข้อมูลซ้ำและเปรียบเทียบกับการตรวจสอบที่รู้จักกันว่าเป็นการตรวจสอบเพิ่มเติม

ในฐานะที่เป็นสำหรับการตรวจสอบของตัวเองสำหรับโปรโตคอล 30 และเกิน (ได้รับการสนับสนุนเป็นครั้งแรกใน 3.0.0) rsync ใช้MD5 สำหรับโปรโตคอลที่มีอายุมากกว่าการตรวจสอบที่ใช้MD4

ในขณะที่พิจารณามานานแล้วว่าล้าสมัยสำหรับการเข้ารหัสลับที่ปลอดภัย MD5 และ MD4 ยังคงเพียงพอสำหรับการตรวจสอบความเสียหายของไฟล์

แหล่งที่มา: หน้าคนและ eyeballing ซอร์สโค้ด rsync เพื่อตรวจสอบ

rsyncไม่ได้ทำการตรวจสอบการโพสต์สำเนาสำเนาไฟล์ท้องถิ่น คุณสามารถตรวจสอบว่าไม่ได้ใช้rsyncเพื่อคัดลอกไฟล์ขนาดใหญ่ไปยังไดรฟ์ช้า (เช่น USB) แล้วคัดลอกไฟล์เดียวกันด้วยcpเช่น:

time rsync bigfile /mnt/usb/bigfile

time cp bigfile /mnt/usb/bigfile

ทั้งสองคำสั่งใช้เวลาในระยะเวลาเท่ากันดังนั้นจึงrsyncไม่สามารถทำการตรวจสอบได้เนื่องจากจะเกี่ยวข้องกับการอ่านไฟล์ปลายทางอีกครั้งจากดิสก์ช้า

manหน้าเป็นที่น่าเสียดายที่ทำให้เข้าใจผิดเกี่ยวกับเรื่องนี้ ฉันยังตรวจสอบสิ่งนี้ด้วยstrace- หลังจากการคัดลอกเสร็จสมบูรณ์แล้วจะrsyncไม่มีการread()โทรออกไฟล์ปลายทางดังนั้นจึงไม่สามารถตรวจสอบได้ อีกหนึ่งคุณสามารถตรวจสอบได้ด้วยสิ่งที่ชอบiotop: คุณเห็นrsyncการอ่านและเขียนพร้อมกัน (คัดลอกจากต้นทางไปยังปลายทาง) จากนั้นออก หากตรวจสอบความถูกต้องแล้วจะมีเฟสแบบอ่านอย่างเดียว

rsyncทำการเปรียบเทียบการตรวจสอบก่อนที่จะคัดลอก (ในบางกรณี) เพื่อหลีกเลี่ยงการคัดลอกสิ่งที่มีอยู่แล้ว จุดของการเปรียบเทียบผลรวมตรวจสอบไม่ได้เพื่อตรวจสอบว่าสำเนาสำเร็จ นั่นคืองานของโครงสร้างพื้นฐานพื้นฐาน: ไดรเวอร์ระบบไฟล์ไดรเวอร์ดิสก์ไดรเวอร์เครือข่าย ฯลฯ แอปพลิเคชั่นส่วนบุคคลเช่นrsyncไม่จำเป็นต้องกังวลกับความบ้าคลั่งนี้ สิ่งที่rsyncต้องทำ (และทำ!) คือการตรวจสอบค่าส่งคืนของการเรียกของระบบเพื่อให้แน่ใจว่าไม่มีข้อผิดพลาด

คำตอบที่รวดเร็วและสกปรกโดยตรงกับคำถาม

ถาม: จะrsyncทำการเปรียบเทียบเมื่อคัดลอกไฟล์ระหว่างสองไดรฟ์ภายในหรือไม่ ตอบ: มันจะทำการเปรียบเทียบเพื่อค้นหาว่าจะคัดลอกอย่างไร

ถาม: ถ้ามันทำการตรวจสอบ - มันเป็นเดิมพันที่ปลอดภัยหรือไม่ หรือมันจะดีกว่าที่จะทำการเปรียบเทียบแบบไบต์ต่อไบต์? A: ปลอดภัยเท่ากับคณิตศาสตร์ที่อยู่เบื้องหลังการตรวจสอบ MD5 ของไฟล์ คุณสามารถลองทำการทดสอบอย่างง่าย ๆ เพื่อเรียนรู้และเชื่อถือเครื่องมือ

คำตอบยาว: ฉันเดาว่าคุณต้องการrsyncเปรียบเทียบไฟล์ (ทีละบิตหรือเช็คซัม) หลังจากคัดลอกไฟล์ หากคุณเป็นหนึ่งในไม่กี่คนที่ให้ความสำคัญกับความสมบูรณ์ของข้อมูลคุณอาจพบว่ามีประโยชน์ดังต่อไปนี้:

rsync -avh [source] [destination] && rsync -avhc [source] [destination] 

รหัสrsyncโฟลเดอร์ด้านบนไฟล์ในการทำงานครั้งแรกและหากเสร็จสมบูรณ์โดยไม่มีปัญหาจะทำงานrsyncอีกครั้งทันทีในขณะที่ทำการเปรียบเทียบชื่อไฟล์เดียวกันโดยใช้แฮชของไฟล์ทั้งหมด

การใช้ rsync เพื่อตรวจสอบความสมบูรณ์ของสำเนา

เพื่อรับประกันว่าการทดสอบนี้จะอ่านไฟล์จากสื่อไดรฟ์อีกครั้งฉันขอแนะนำให้ปิดไดรฟ์ทั้งสองและเริ่มต้นใหม่ก่อนที่จะทำการทดสอบนี้ นี่จะเป็นการล้างแคชภายในที่มีความผันผวน

หากยังไม่รีสตาร์ท Linux อย่างน้อยคุณควรปล่อยแคช ( * ) ด้วย:

sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'

จากนั้นให้อ่านต้นไม้ทั้งสองอีกครั้งและเปรียบเทียบ checksums ของพวกเขา:

rsync --dry-run --checksum --itemize-changes --archive SRC DEST

การตรวจสอบ rsync สมัยใหม่ใช้ MD5 ซึ่งเป็น 128 บิต ความน่าจะเป็นของความล้มเหลวนี้เพื่อตรวจหาข้อผิดพลาดในแฟ้มแต่ละ astronomically ต่ำ (การอภิปรายที่นี่ ) แต่ไม่เป็นไปไม่ได้