วิธีใช้ btrfs ส่ง / รับสำหรับการส่งสแน็ปช็อตการสำรองข้อมูลผ่านการเชื่อมต่อเครือข่ายที่ช้าและไม่น่าเชื่อถือ?

ฉันต้องการใช้คุณลักษณะรับ / ส่งของ btrfs สำหรับการส่งสแน็ปช็อตการสำรองข้อมูลที่ค่อนข้างช้า (เมล็ดเริ่มต้นประมาณ 50-100GB, upstream bandwith ~ 1-2MBit / s) และการเชื่อมต่อที่ไม่น่าเชื่อถือ

ฉันเห็นข้อกำหนดดังต่อไปนี้:

• การถ่ายโอนที่เข้ารหัส (โดยปกติจะทำได้โดยใช้อุโมงค์ SSH)
• ความทนทานต่อการเชื่อมต่อที่ถูกขัดจังหวะ

ดูเหมือนว่าZFS จะสามารถดำเนินการถ่ายโอนต่อให้ถูกขัดจังหวะโดยอัตโนมัติอีกครั้งคล้ายกับวิธีการทำ rsync สิ่งนี้ใช้กับ BTRFS หรือไม่ หน้า wikiการส่ง / รับไม่มีประโยชน์สำหรับการถ่ายโอนขัดจังหวะ หาก btrfs จะกลับมาทำงานต่อการถ่ายโอนถูกขัดจังหวะสิ่งที่ฉันต้องทำคือใช้อุโมงค์ SSH และกลับมาทำงานต่อหากถูกขัดจังหวะ

ถ้าไม่ฉันจะต้องใช้บัฟเฟอร์บางอย่างในระหว่างนั้นตรวจสอบให้แน่ใจว่าการเชื่อมต่อ btrfs ยังคงอยู่อินเตอร์รัปต์หรือทำให้เซิร์ฟเวอร์ทั้งสองอยู่ใกล้กันเพื่อทำการ seed (ซึ่งจะเป็นปัญหาเกี่ยวกับการเพิ่มไฟล์ที่เก่งกว่าการส่งข้อมูลรายวัน ความจุและการส่งสแนปชอต)

ฉันต้องพิจารณาอะไรบ้างในการถ่ายทอดเมล็ดพันธุ์และสแนปชอต?

ฉันใช้ "btrfs send" เพื่อสำรองข้อมูลมาระยะหนึ่งแล้ว ไม่สามารถจัดการกับการถ่ายโอนที่เสียหายต่อได้ ฉันได้เขียนโปรแกรมอรรถประโยชน์ที่จะทำการถ่ายโอนต่อและซิงค์สแนปชอตในระบบไฟล์ btrfs ในระบบไปที่ Amazon S3 โดยอัตโนมัติ คุณสามารถลองใช้ดูว่ามีประโยชน์หรือไม่และฉันชอบความคิดเห็นใด ๆ ! เป็นทั้งใน GitHub ( https://github.com/AmesCornish/buttersink ) และ PyPi ( https://pypi.python.org/pypi/buttersink/ )

"ส่ง" ไปยังไฟล์หรือไปป์ "รับ" กับไฟล์หรือไปป์ที่ปลายอีกด้าน ด้วยการเชื่อมต่อที่น่าสงสัยคุณน่าจะทำได้ดีที่สุดกับไฟล์และการขนส่งเช่น rsync

นอกจากbuttersinkประวัติการทำงาน S3 แล้วยังbtrbkรองรับ:

ทำการสำรองข้อมูลต่อ (ถ้าเป้าหมายการสำรองข้อมูลไม่สามารถเข้าถึงได้ชั่วขณะหนึ่ง)

แก้ไข: ฉันได้เรียนรู้ว่าการถ่ายโอนสแน็ปช็อตแต่ละรายการไม่ได้ดำเนินการต่อbtrbkแต่จะจัดการกับเป้าหมายการสำรองข้อมูลที่จะออฟไลน์ (เริ่มการถ่ายโอนสแน็ปช็อตที่ถูกขัดจังหวะใหม่)