จะใช้ S3 เพื่อสำรองไฟล์อย่างมีประสิทธิภาพได้อย่างไร

ฉันเข้าใจว่า rsync ทำงานอย่างไรในระดับสูง แต่มี 2 ด้าน ด้วย S3 ไม่มีดีมอนที่จะพูดถึง - มี แต่โดยทั่วไปแล้วก็เป็นเพียง HTTP

มีวิธีการเล็กน้อย

s3rsync (แต่สิ่งนี้จะทำให้ rsync เป็น s3) ซื่อตรง ไม่แน่ใจว่าฉันต้องการพึ่งพาอะไรบางอย่างจากบุคคลที่สาม ฉันหวังว่า s3 เพิ่งรองรับ rsync

นอกจากนี้ยังมี 'โคลนนิ่ง' rsync บางส่วนที่เหมือนกันซึ่งซ้ำซ้อนที่อ้างว่าสนับสนุน s3 โดยไม่ต้องโบลต์ แต่จะทำเช่นนี้ได้อย่างไร พวกเขาเก็บไฟล์ดัชนีไว้ในเครื่องหรือไม่? ฉันไม่แน่ใจว่าจะมีประสิทธิภาพได้อย่างไร

เห็นได้ชัดว่าฉันต้องการใช้ s3 เพราะมันราคาถูกและเชื่อถือได้ แต่มีหลายสิ่งที่ rsync เป็นเครื่องมือสำหรับเช่นสำรองข้อมูลไดเรกทอรีภาพขนาดใหญ่

ตัวเลือกที่นี่มีอะไรบ้าง ฉันจะเสียอะไรโดยใช้ความซ้ำซ้อน + s3 แทน rsync + s3rsync + s3

เนื่องจากคำถามนี้ได้รับการตอบที่ผ่านมามีเป็นเครื่องมือบรรทัด AWS awsคำสั่งใหม่

มันสามารถซิงค์ , เหมือน rsync, ระหว่างที่จัดเก็บในตัวเครื่องและ s3 ตัวอย่างการใช้งาน:

aws s3 sync s3://mybucket /some/local/dir/

หากตั้งค่าสภาพแวดล้อมแบบหลามของระบบของคุณอย่างถูกต้องคุณสามารถติดตั้งไคลเอ็นต์ AWS โดยใช้pip:

pip install awscli

เครื่องมือ s3cmdมีดีsyncตัวเลือก ฉันใช้เพื่อซิงค์ข้อมูลสำรองในเครื่องโดยใช้สิ่งที่ชอบ:

s3cmd sync --skip-existing $BACKUPDIR/weekly/ s3://MYBACKUP/backup/mysql/

--skip-existingหมายความว่าจะไม่พยายามที่จะการตรวจสอบเปรียบเทียบไฟล์ที่มีอยู่ หากมีไฟล์ที่มีชื่อนั้นอยู่แล้วไฟล์จะข้ามไปอย่างรวดเร็ว นอกจากนี้ยังมี--delete-removedตัวเลือกที่จะลบไฟล์ที่ไม่มีอยู่ในเครื่อง แต่ฉันต้องการเก็บไว้ใน S3 แม้แต่ไฟล์ที่ฉันล้างข้อมูลในเครื่องดังนั้นฉันจึงไม่ใช้สิ่งนี้

ไม่ต้องการบอกใครว่าต้องทำอะไร แต่ฉันจะโบกธงเพื่อความซ้ำซ้อนได้หรือไม่? หรือโซลูชันสำรองข้อมูลเพิ่มเติมแบบอื่น การซิงค์เป็นอย่างดี แต่ถ้าคุณสำรองข้อมูลทุกคืนจะเกิดอะไรขึ้นถ้าคุณไม่สังเกตเห็นปัญหาเป็นเวลาสองวัน คำตอบ: มันสายเกินไปไฟล์ในเครื่องของคุณและการสำรองข้อมูลของคุณเป็นภาพสะท้อนซึ่งกันและกันและไม่มีข้อมูลที่คุณต้องการ คุณควรพิจารณาการสำรองข้อมูลเพิ่มเติมหรือสแนปชอตจริง ๆ เพื่อให้คุณสามารถกู้คืนในช่วงเวลาหนึ่งและเพื่อทำสิ่งนี้ได้อย่างมีประสิทธิภาพคุณต้องมีการสำรองข้อมูลเพิ่มเติม และหากการสูญเสียข้อมูลของคุณเป็นจุดสิ้นสุดของสถานการณ์โลกให้เก็บสำเนาไว้ที่ผู้ให้บริการที่แตกต่างกันอย่างที่คุณไม่เคยรู้มาก่อน

ฉันใช้ความซ้ำซ้อนและ s3 มันดี แต่ซีพียูเข้มข้น แต่มันจะสำรองข้อมูลที่เพิ่มขึ้น ในกรณีฉุกเฉินเมื่อคุณต้องการกู้คืนไฟล์ dir หรือไฟล์ใดไฟล์หนึ่งเนื่องจากมันเป็นวันพุธที่แล้วหรือเมื่อเดือนมกราคมที่ผ่านมาโดยไม่ต้องกู้คืนไฟล์อื่น ๆ ในพาร์ติชั่นเดียวกันคุณต้องสำรองข้อมูลเพิ่มเติมและเครื่องมือที่คุณต้องการ

ฉันมี cron ที่ทำงานเต็มทุก ๆ x เดือนมิฉะนั้นส่วนเพิ่มและลบที่เก่ากว่า x เดือนเพื่อเก็บ s3 ทั้งหมดลงในที่สุดสถานะการรวบรวมจึงได้รับสถานะทางไปรษณีย์ทุกเช้า คุณต้องจับตาดูมันเป็นประจำเพื่อให้คุณสังเกตเห็นเมื่อการสำรองข้อมูลของคุณไม่ทำงาน

มันต้องการพื้นที่ชั่วคราวในพื้นที่ที่สำคัญในการรักษาลายเซ็นของท้องถิ่นเพื่อให้การตั้งค่า temp dir อย่างระมัดระวัง การสำรองข้อมูลนี้ / mnt ไม่รวม dirs ต่างๆภายใน / mnt สิ่งนี้เป็นสิ่งที่ดีสำหรับการสำรองข้อมูลสำหรับพาร์ติชันระบบใช้เครื่องมือสร้างภาพ amazon หรือสแน็ปช็อต

สคริปต์ PHP:

# Duplicity Backups

$exclude  = "--exclude /mnt/ephemeral ".
            "--exclude /mnt/logs ".
            "--exclude /mnt/service ".
            "--exclude /mnt/mail ".
            "--exclude /mnt/mysql ";

$key = "PASSPHRASE=securegpgpassphrase";

$tmp = "/mnt/mytempdir";

system("mkdir -p $tmp");

# Amazon

$aws = "AWS_ACCESS_KEY_ID=xxxxxx ".
       "AWS_SECRET_ACCESS_KEY=xxxxxx ";

$ops = "-v5 --tempdir=$tmp --archive-dir=$tmp --allow-source-mismatch --s3-european-buckets --s3-use-new-style --s3-use-rrs";
$target = " s3://s3-eu-west-1.amazonaws.com/mybucket";

# Clean + Backup

system("$key $aws /usr/bin/duplicity $ops --full-if-older-than 2M $exclude /mnt $target");
system("$key $aws /usr/bin/duplicity $ops remove-older-than 6M --force $target");
system("$key $aws /usr/bin/duplicity $ops cleanup --force --extra-clean $target");
system("$key $aws /usr/bin/duplicity $ops collection-status $target")

S3 เป็นระบบจัดเก็บวัตถุวัตถุประสงค์ทั่วไปที่ให้ความยืดหยุ่นเพียงพอสำหรับคุณในการออกแบบวิธีการใช้งาน

ฉันไม่แน่ใจว่าคำถามของคุณเกี่ยวกับ rsync (นอกเหนือจากการจัดทำดัชนี) หรือปัญหาเกี่ยวกับเครื่องมือ 'บุคคลที่สาม' ที่คุณพบ

หากคุณมีไฟล์จำนวนมากที่มีโครงสร้างที่ดีคุณสามารถเรียกใช้การซิงค์ s3 หลายรายการในโฟลเดอร์ย่อยของคุณ

กลุ่มคนที่น่ารักที่ Amazon ยังอนุญาตให้คุณนำเข้า / ส่งออกจากฮาร์ดไดรฟ์แบบพกพาสำหรับการถ่ายโอนไฟล์ขนาดใหญ่ไปยัง S3 หรือ EBS - http://aws.amazon.com/importexport/ซึ่งคุณสามารถใช้สำหรับการอัพโหลดครั้งแรก

ดูแนวทางปฏิบัติที่ดีที่สุดของ Amazon s3 ได้ที่นี่ - http://aws.amazon.com/articles/1904

เท่าที่เครื่องมือที่แตกต่างลองพวกเขาและดูสิ่งที่ดีที่สุดสำหรับคุณ เกี่ยวกับการกำหนดราคามีการลดราคาซ้ำซ้อนหากเหมาะสมกับความต้องการของคุณ - http://aws.amazon.com/s3/pricing/

คำแนะนำทั่วไป - มี CPU แบบมัลติคอร์ที่รวดเร็วและเครือข่ายที่ดี

ปรับปรุง: พูดถึงเกี่ยวกับการตรวจสอบใน S3

เกี่ยวกับ S3 เก็บข้อมูลในคู่ค่าคีย์และไม่มีแนวคิดของไดเรกทอรี S3sync ตรวจสอบการตรวจสอบ (S3 มีกลไกในการส่งการตรวจสอบเป็นส่วนหัวสำหรับการตรวจสอบ - ส่วนหัวเนื้อหา -MD5) แนวปฏิบัติที่ดีที่สุดเชื่อมโยง Data Integrity ส่วนหนึ่งของมันมีรายละเอียด S3 ช่วยให้คุณสามารถส่ง / ตรวจสอบและดึง checksums มีผู้คนจำนวนมากที่ทำการสำรองข้อมูลเพิ่มเติมด้วยความซ้ำซ้อน แม้ว่าจะไม่มี rsync ที่ทำงานบน S3 คุณสามารถทำ checksums เหมือนที่ฉันพูดถึงที่นี่

rsync เป็นเครื่องมือที่ได้รับการพิสูจน์แล้วและเครื่องมือทันสมัยส่วนใหญ่ใช้อัลกอริทึมเดียวกันหรือไลบรารี rsync หรือการโทร rsync จากภายนอก

หรือคุณสามารถใช้ minio client aka mcการใช้คำสั่ง 'mc mirror' จะทำงานได้

$ mc mirror share/sharegain/ s3/MyS3Bucket/share/sharegain 

• mc: ไคลเอ็นต์ขนาดเล็ก
• share / sharegain: โลคอลไดเร็กทอรี
• s3: นามแฝงสำหรับhttps://s3.amazonaws.com
• MyS3Bucket: ที่เก็บข้อมูลระยะไกล S3 ของฉัน
• share / sharegain: My object บน s3

คุณสามารถเขียนสคริปต์ง่ายๆเป็น cronjob ซึ่งจะทำให้การซิงค์ในช่วงเวลาเป็นระยะ

หวังว่าจะช่วย

ฉันไม่แน่ใจว่า rsync ที่แท้จริงเหมาะสมกับ Amazon หรือไม่

ดังที่ฉันเข้าใจแล้วอัลกอริทึม rsync มาตรฐานหมายถึงไคลเอนต์คำนวณแฮชสำหรับแต่ละบล็อกของไฟล์และเซิร์ฟเวอร์คำนวณแฮชสำหรับการคัดลอกและส่งแฮชเหล่านั้นไปยังไคลเอนต์ซึ่งหมายความว่าไคลเอนต์สามารถกำหนดบล็อกที่มีการเปลี่ยนแปลง

นั่นเป็นสาเหตุของปัญหาสองประการของอเมซอนในเรื่องที่ว่ามีแฮ็ชจำนวนมากที่ต้องส่งผ่านอินเทอร์เน็ตและต้องใช้กำลังการประมวลผลในการคำนวณแฮชทั้งหมดที่จะเพิ่มค่าใช้จ่ายของอเมซอน - ซึ่งอาจเป็นเหตุผลว่าทำไมพวกเขา เสียค่าใช้จ่ายเพิ่มเติมสำหรับฟีเจอร์นั้น

สำหรับโคลนนิ่งพวกมันเห็นได้ชัดว่าเก็บแฮชที่ใดที่หนึ่งและที่ใดที่หนึ่งอาจแตกต่างกันไปขึ้นอยู่กับโคลนนิ่ง อาจเป็นไปได้ที่พวกเขาจะเก็บแฮชเป็นวัตถุแยกต่างหากต่อไฟล์ใน Amazon หรือเป็นฐานข้อมูลที่เก็บไว้ใน Amazon หรืออาจเก็บไว้ในเครื่องและจากระยะไกล

มีข้อดีและข้อเสียของการทำมันทั้งสองวิธี หากแฮชถูกเก็บไว้ในระยะไกลในแต่ละไฟล์มันอาจมีค่าใช้จ่ายสูงในการเรียกคืนไฟล์เหล่านั้นอย่างต่อเนื่อง หากแฮชถูกเก็บไว้ในฐานข้อมูลจากระยะไกลฐานข้อมูลนี้อาจมีขนาดใหญ่และอาจมีค่าใช้จ่ายสูงในการเรียกใช้และอัปเดตอย่างต่อเนื่อง หากแฮชถูกเก็บไว้ในเครื่องจะช่วยลดค่าใช้จ่าย แต่จะนำเสนอปัญหาและปัญหาอื่น ๆ

(แน่นอนว่า Amazon มีบริการอื่น ๆ ดังนั้นจึงเป็นไปได้ที่จะเก็บฐานข้อมูลใน Amazon DB)

ตัวอย่างเช่นฉันลองใช้ rsync ก่อนหนึ่งโคลนเมื่อหลายปีก่อน สิ่งนี้ไม่ได้ถูกเขียนขึ้นโดยคำนึงถึงโครงสร้างการกำหนดราคาของ Amazon และกำลังออก http จำนวนมากเพื่อรับการแฮชของแต่ละบล็อกและเนื่องจาก Amazon คิดค่าใช้จ่ายสำหรับการรับแต่ละครั้งนั่นหมายความว่าในขณะที่ส่วนการจัดเก็บของบิลของฉันลดลงอย่างรวดเร็ว ballooned

ฉันจะเสียอะไรโดยใช้ความซ้ำซ้อน + s3 แทน rsync + s3rsync + s3

คุณสูญเสียความจริงที่ว่าด้วย rsync คุณรู้ว่าคุณกำลังเปรียบเทียบไฟล์ต้นฉบับกับไฟล์สำรองของคุณ ด้วยความซ้ำซ้อนและโคลนอื่น ๆ คุณกำลังเปรียบเทียบไฟล์ต้นฉบับของคุณกับแฮชซึ่งถ่ายเมื่อทำการสำรองข้อมูล ตัวอย่างเช่นอาจเป็นไปได้ที่จะเข้าถึง S3 โดยตรงและแทนที่ไฟล์ใดไฟล์หนึ่งโดยไม่ต้องคำนวณแฮชใหม่หรืออัปเดตฐานข้อมูลแฮช

หลังจากเปรียบเทียบหลายตัวเลือกที่กล่าวถึงในหัวข้อนี้ฉันตัดสินใจที่จะใช้ S3fs อนุญาตให้คุณเมานต์ S3 เป็นระบบไฟล์โลคัล จากนั้นคุณสามารถดำเนินการต่อและใช้ rsync ในแบบที่คุณรู้จัก

นี่เป็นบทแนะนำที่ดีในการเริ่มต้น: Amazon S3 กับ Rsync

ผู้เขียนก่อนหน้านี้ใช้ s3sync ที่กล่าวถึง แต่จากนั้นเปลี่ยนเป็นตัวเลือกด้วย S3F ฉันชอบเพราะฉันยังมีโฟลเดอร์สำรองอื่น ๆ ที่ติดตั้งในเครื่องผ่าน SSHFS