การทำสำเนาข้อมูลในสายคุ้มค่าหรือไม่เมื่อสำรองข้อมูลช่างภาพ


1

ฉันสร้างไฟล์ภาพ RAW พร้อมไฟล์ JPEG จำนวนเล็กน้อยที่ได้รับจากผู้เชี่ยวชาญ RAW JPEG ที่สร้างขึ้นครั้งเดียวนั้นแก้ไขได้ยากมาก แต่เมื่อพวกเขาถูกบีบอัดไฟล์ทั้งหมดจะเปลี่ยนไป เมื่อแก้ไขภาพ RAW ฉันใช้ซอฟต์แวร์ที่ทำให้การเปลี่ยนแปลงแบบไม่ทำลาย ไฟล์ตัวอย่างและไฟล์เมตา (XMP <40KB) ถูกสร้างขึ้นร่วมกับแคตตาล็อกที่ติดตามการเปลี่ยนแปลงร่วมกัน

ฉันจัดการการสำรองข้อมูลตัวอย่างและแคตาล็อกไฟล์ในระบบแยกต่างหากดังนั้นสำหรับคำถามนี้ฉันกังวลเฉพาะกับ RAWs, XMPs และ JPEG เท่านั้น

ฉันต้องการสำรองไฟล์ RAW, JPEG และ XMP ทั้งหมดนอกสถานที่ผ่านการเชื่อมต่อ WAN โดยอ้างอิงจากไฟล์ใหม่และไฟล์ที่ถูกแก้ไขบนระบบไฟล์ที่ถูกสแกนเพื่อทำการเปลี่ยนแปลงวันละครั้ง

การทำสำเนาซ้ำดูเหมือนว่าจะทำงานได้โดยการอ่านบางส่วนของไฟล์และสร้างแฮชที่อ่อนแอเพื่อเปรียบเทียบกับส่วนอื่น ๆ ของไฟล์ หากพบว่าแฮชเหมือนกับแฮชที่แข็งแกร่งกว่าจะถูกสร้างขึ้นและส่วนจะถูกเปรียบเทียบอีกครั้ง หากบางส่วนยังคงสร้างแฮชเดียวกันส่วนที่สองจะไม่ถูกอัปโหลด ระบบสำรองจะชี้ส่วนที่ซ้ำกันของไฟล์ไปที่สำเนาสำรองก่อนหน้านี้

คำถามของฉันคือ ...

  • หากไฟล์ RAW ไม่เปลี่ยนแปลงและ ...
  • JPEG จะไม่ค่อยเปลี่ยนแปลงและ ...
  • ไฟล์ XMP อาจมีการเปลี่ยนแปลงบางส่วนของไฟล์และ ...
  • ความต้องการ CPU / RAM สำหรับการทำซ้ำสูงมากและ ...
  • เนื่องจากข้อมูลซ้ำซ้อนสามารถลดปริมาณการส่งข้อมูล ...

…มันคุ้มค่าหรือไม่ที่จะทำสำเนาซ้ำ?


คุณใช้ระบบปฏิบัติการใดและเอฟเอสใดที่เตรียมไว้บ้าง? ฉันกำลังทำงานเป็นมือใหม่กับ btrfs ซึ่งมีโครงการduperemoveซึ่งให้บริการการลบข้อมูลซ้ำซ้อน (แต่ออนไลน์) หากคุณใช้สิ่งนี้กับระบบไฟล์ต้นทางก็ควรทำการสำรองข้อมูลโดยใช้ที่btrfs sendรวดเร็วกว่า (ฉันคิดว่า) ตรงกันข้ามถ้าคุณใช้rsyncฉันไม่คิดว่าการสำรองข้อมูลซ้ำซ้อนจะเร่งการสำรองข้อมูลของคุณได้เร็วขึ้น
gogoud

ฉันใช้ Synology NAS (ext4) และอัปโหลดไปยัง crashplan คนที่ใช้ crashplan มักจะแสดงความคิดเห็นในกระบวนการหิวทรัพยากรของการทำซ้ำเป็นปัจจัย จำกัด ในการสำรองข้อมูลความเร็ว ขอบคุณสำหรับคำตอบ
adrianlambert

1
นี่ไม่ใช่คำถามที่ไม่ดี แต่ปัญหาคือสิ่งนี้เป็นสิ่งที่น่าปวดหัวอย่างมากไม่ใช่แค่สำหรับคุณ แต่สำหรับผู้ใช้ทุกคนในระบบการจัดการสินทรัพย์ดิจิตอลและไม่มีใครสามารถเห็นด้วยกับวิธีที่ดีที่สุดในการจัดการกับแหล่งที่มา และ "การแก้ปัญหา" จริง ๆ แล้วมาลงในสิ่งที่ดีที่สุดสำหรับกระบวนการเฉพาะของคุณ ไม่มากนักที่สามารถตัดสินว่านอกนั้น
JakeGould

1
ฉันไม่คิดว่าคุณกำลังพิจารณาคำถามของฉันในแบบที่ฉันหวังไว้ ฉันต้องการสร้างการยกเลิกการทำซ้ำข้อมูลที่ไม่ค่อยจะมีประโยชน์กับปริมาณข้อมูลที่สามารถสำรองในช่วงเวลาที่กำหนดได้ดีที่สุด เช่นไหนเร็วกว่ากัน การเปิดใช้งานการยกเลิกการทำซ้ำหรือการทำซ้ำอย่างมีประสิทธิภาพถูกปิดใช้งานในระบบที่มีการลดความเร็วโดยกระบวนการยกเลิกการทำซ้ำ
adrianlambert
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.