ที่ฝากข้อมูล Rsync to AWS S3


26

สำหรับเซิร์ฟเวอร์ฉันโฮสต์เว็บไซต์ที่ฉันต้องการสำรองข้อมูลและการตั้งค่าไปยังที่ฝากข้อมูล S3 ฉันพบว่าคุณไม่สามารถใช้ rsync เพื่อสำรองข้อมูลใน S3 bucket ได้โดยตรง มีวิธีอื่นในการทำคำสั่ง rsync ต่อไปนี้เพื่อสำรองข้อมูลไปยังที่ฝากข้อมูล S3 หรือไม่?

rsync -­av ­/Data /s3bucket

ฉันต้องการสำรองฐานข้อมูล mysql บนเซิร์ฟเวอร์นั้นไปยังที่ฝากข้อมูล S3 อะไรคือวิธีที่ดีที่สุดในการบรรลุเป้าหมายนี้?

คำถามสุดท้ายถ้าฉันจัดการเพื่อสำรองข้อมูลทุกอย่างเพื่อ S3 อะไรคือวิธีที่ดีที่สุดในการกู้คืนเซิร์ฟเวอร์หากเซิร์ฟเวอร์ล้มเหลวหรือในกรณีที่เลวร้ายที่สุด ฉันต้องบันทึกการตั้งค่าเซิร์ฟเวอร์ด้วยตนเองและกำหนดค่าเซิร์ฟเวอร์ใหม่หรือมีวิธีสำรองข้อมูลด้วยหรือไม่

คำตอบ:


35

ในการสื่อสารกับ s3 คุณต้องมี 2 สิ่ง

  1. ข้อมูลรับรองผู้ใช้ IAM ที่มีสิทธิ์เข้าถึงการอ่าน - เขียนไปที่ถัง s3
  2. ไคลเอนต์เช่น aws-cli สำหรับ bash, boto library สำหรับ python และอื่น ๆ

เมื่อคุณมีทั้งคู่แล้วคุณสามารถถ่ายโอนไฟล์ใด ๆ จากเครื่องของคุณไปยัง s3 และจาก s3 ไปยังเครื่องของคุณ ด้านล่างนี้เป็นตัวอย่างสำหรับ aws-cli

  1. เพื่อซิงค์ไฟล์ทั้งหมดในโฟลเดอร์

    aws s3 sync source_folder s3://your_bucket_name/destination_folder/

  2. เพื่อคัดลอกหนึ่งไฟล์ไปยัง s3

    aws s3 cp source_file s3://your_bucket_name/destination_folder/

เพียงแค่แทนที่ต้นทางและปลายทางในคำสั่งเพื่อดาวน์โหลดไฟล์ใด ๆ จาก s3

สำหรับข้อมูลเพิ่มเติมติดตามเอกสาร aws


1
หมายเหตุ: คุณอาจต้องการเรียกใช้ "aws configure" ก่อนเพื่อจัดเก็บข้อมูลรับรองของคุณเพื่อที่คุณจะได้ไม่ต้องป้อนข้อมูลเหล่านั้นด้วยการซิงค์แต่ละครั้ง
Tim Burch

1
เป็นค่าที่ชี้ให้เห็นว่าrsyncคำนวณการตรวจสอบด้านลูกค้าและฝั่งเซิร์ฟเวอร์จากนั้นทำการเปรียบเทียบเพื่อตัดสินใจอย่างถูกต้องว่ามีการเปลี่ยนแปลงไฟล์หรือไม่ โดยที่aws s3 syncไม่ใช้ - ใช้ขนาดไฟล์และเวลาประทับ มีคนโปรดแก้ไขฉันไหมถ้าฉันผิด
Lqueryvg

13

คุณสามารถลองrclone

ตั้งค่า ( เอกสาร ):

rclone config

ซิงค์ ( เอกสาร ):

rclone sync /my/local/folder s3service:bucket-name

2
rcloneเป็นโปรแกรมเล็ก ๆ น้อย ๆ ที่ยอดเยี่ยม!
Andrew Odendaal

1
1+ rclone ฉันพบว่าโวลต์ใช้งานง่ายและนักพัฒนาดูเหมือนจะใช้งานและมีส่วนร่วมอย่างไม่น่าเชื่อ
adampski

ฟังดูดี แต่คุณสามารถอธิบายรายละเอียดเกี่ยวกับข้อดีที่มากกว่าการใช้ aws s3 หรือไม่
Kutzi

มันตอบสนองความต้องการของ OP ในการใช้ rsync ฉันไม่ได้ใช้การซิงค์ s3 หรือ rclone กับ s3 ดังนั้นฉันไม่รู้อะไรอีกแล้ว
Keith
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.