ฉันสามารถใช้ rsync เพื่อสำรองที่ Amazon S3 ได้หรือไม่

17

ฉันซื้อพื้นที่จาก evbackup ซึ่งให้ FTP, rsync และ SSH ให้ฉัน แต่ฉันได้อ่านแล้วว่า Amazon S3 ยังสามารถใช้เป็นข้อมูลสำรองได้อีกด้วย

ดังนั้นฉันจึงสับสนจริงๆที่ Amazon ให้สิทธิ์การเข้าถึง FTP เพื่ออัปโหลดไฟล์ไปยังการสำรองข้อมูล

ฉันจะดาวน์โหลดไฟล์เหล่านั้นได้อย่างไร

ฉันอ่านเว็บไซต์ของพวกเขาหลายครั้ง แต่ไม่เข้าใจว่าระบบทำงานได้อย่างไร ฉันแค่ต้องการสำรองไดเรกทอรีบ้านผู้ใช้ของฉัน

backup ftp amazon-s3

— ภาพลวงตา
แหล่งที่มา

24

ไม่คุณไม่สามารถใช้rsyncถ่ายโอนไฟล์ไปที่ Amazon มันใช้โปรโตคอลของตัวเองสำหรับบริการ แต่คุณสามารถเข้าถึงที่เก็บข้อมูลผ่านบริการของบุคคลที่สามเช่นwww.s3rsync.comจากนั้นคุณจะสามารถใช้งานrsyncได้และข้อมูลของคุณจะถูกถ่ายโอนไปยังที่เก็บข้อมูล S3 ในที่สุด

หรือคุณสามารถใช้ยูทิลิตี้พิเศษที่ออกแบบมาสำหรับการจัดเก็บ S3 มี: s3sync , s3command , s3cp , tarsnap (tarsnap เป็นบริการของบุคคลที่สามเช่น s3rsync)

อีกเครื่องมือที่คล้ายกับ rsync duplicityรองรับการจัดเก็บ S3 เป็นแบ็กเอนด์และแบ็กเอนด์สำรองอื่น ๆ อีกมากมายรวมถึง RackSpace Cloud Files (บริการจัดเก็บบนคลาวด์อีกบริการหนึ่งราคาคล้ายกับ Amazon S3)

สำรองไปยัง S3:

duplicity /home/me s3+http://bucketname/prefix

หรือไปยังไฟล์ Cloud ของ Rackspace:

duplicity /home/me cf+http://container_name

— sastanin
แหล่งที่มา

ขอบคุณที่ฉันไม่สามารถเข้าใจรูปแบบข้อมูลของพวกเขา ฉันกำลังตรวจสอบราคาของพวกเขาและพวกเขามักจะระบุแบนด์วิดธ์ เช่น 0.18 เซนต์ต่อ GB การถ่ายโอนข้อมูล สมมติว่าฉันอัปโหลดข้อมูล 50GB ที่นั่นสำหรับการสำรองข้อมูลและจากนั้นทำไม่ได้ แล้วพวกเขาคิดค่าบริการเท่าไรถ้าฉันไม่โอน ฉันไม่สามารถหาใด ๆ ที่พวกเขา staate ว่าพื้นที่ที่พวกเขาให้เหมือน $ 50 สำหรับฮาร์ดดิสก์ 50GB

— มิราจ

@Moorage: Amazon เรียกเก็บทั้งสองสำหรับการจัดเก็บ (จาก $ 0.14 / GB ต่อเดือน) และการโอน ($ 0.1 / GB สำหรับการโอนเข้า) ดังนั้นสำหรับ 50 GB คุณจะจ่าย $ 7 / เดือนถ้าคุณไม่เข้าถึงข้อมูลนี้ นอกจากนี้ยังมีRackSpace Cloud Filesซึ่งเป็นบริการที่คล้ายกัน

— sastanin

ความซ้ำซ้อนดูดีมาก ฉันหวังว่าฉันจะได้เห็นว่าก่อนที่จะเขียนโคลน rsync ของฉันเอง หากความซ้ำซ้อนนั้นซับซ้อนเกินไปสำหรับคุณลองดูคำว่า wrapper สำหรับ boto แบบเรียบง่ายของฉัน: github.com/seedifferently/boto_rsync

— Seth

1

ป.ล. ฉันไม่เคยใช้ความซ้ำซ้อน แต่เพื่อนคนหนึ่งของฉันรายงานว่ามีข้อมูลสำรองเสีย ใช้ด้วยความระมัดระวัง

— sastanin

คุณสามารถลองไคลเอนต์ minio [ github.com/minio/mc ] aka mc คุณสามารถใช้คำสั่ง [mc mirror] เพื่อทำมิเรอร์โฟลเดอร์ในเครื่องของคุณด้วย S3 bucket

— user52692

5

อินเตอร์เฟสบรรทัดคำสั่งอย่างเป็นทางการของ Amazon ทำงานได้ดีสำหรับฉัน สามารถซิงค์จากโลคัลกับที่ฝากข้อมูล S3 และซิงค์จากที่ฝากข้อมูล S3 กลับไปที่ไฟล์โลคอล

1) ติดตั้งอินเตอร์เฟสบรรทัดคำสั่งของ Amazon จากhttps://aws.amazon.com/cli/

2) จากเปลือก

export AWS_ACCESS_KEY_ID=(access key here)
export AWS_SECRET_ACCESS_KEY=(secret key here)
export AWS_DEFAULT_REGION=(region here)
cd dirtoupload
aws s3 sync . s3://nameOfBucket

ตัวเลือกที่มีประโยชน์มากขึ้นเช่น --dryrun และ --delete (กระจก) ของ บริษัท จดทะเบียนที่http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

— jmnben
แหล่งที่มา

4

คุณสามารถเมานต์ฝากข้อมูลในเครื่องโดยใช้s3fsจากนั้นใช้ rsync เพื่อคัดลอกไปยังจุดเมานต์นั้น

— จีเจ
แหล่งที่มา

2

นั่นฟังดูสนุก แต่มันจะต้องอ่านเฉพาะที่เพื่อเปรียบเทียบแฮชซึ่งเอาชนะวัตถุประสงค์ของ rsync ... ไม่?

— David Fraser

0

Jungle Diskเป็นวิธีที่ง่ายในการสำรองไฟล์ใน Amazon S3 (การสมัครสมาชิกรวมถึงบัญชี S3 แต่คุณสามารถใช้บัญชี AWS อื่น ๆ ได้) คุณอาจต้องการดู Super Flexible (ซอฟต์แวร์เท่านั้น)

— Paradroid
แหล่งที่มา