ทำสำเนาถัง s3 ได้เร็วขึ้น

ฉันได้รับการพยายามที่จะหาเครื่องมือบรรทัดคำสั่งที่ดีกว่าสำหรับการทำซ้ำบุ้งกี๋กว่าs3cmd s3cmdสามารถทำสำเนาที่เก็บข้อมูลได้โดยไม่ต้องดาวน์โหลดและอัปโหลดแต่ละไฟล์ คำสั่งปกติที่ฉันใช้เพื่อทำสำเนาที่เก็บข้อมูลโดยใช้ s3cmd คือ:

s3cmd cp -r --acl-public s3://bucket1 s3://bucket2

วิธีนี้ใช้งานได้ แต่จะช้ามากเนื่องจากคัดลอกไฟล์แต่ละไฟล์ผ่าน API ทีละไฟล์ ถ้าs3cmdสามารถทำงานในโหมดคู่ขนานได้ฉันจะดีใจมาก

มีตัวเลือกอื่น ๆ เป็นเครื่องมือบรรทัดคำสั่งหรือรหัสที่ผู้คนใช้เพื่อทำสำเนาที่เก็บข้อมูลที่เร็วกว่าs3cmdหรือไม่

แก้ไข: ดูเหมือนว่าs3cmd-modifiedคือสิ่งที่ฉันกำลังมองหา เสียดายที่ไม่ได้ผล มีทางเลือกอื่นอีกไหม?

AWS CLI ดูเหมือนจะทำงานได้อย่างสมบูรณ์แบบและมีโบนัสจากการเป็นเครื่องมือที่ได้รับการสนับสนุนอย่างเป็นทางการ

aws s3 sync s3://mybucket s3://backup-mybucket

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

รองรับการโอนพร้อมกันตามค่าเริ่มต้น ดูhttp://docs.aws.amazon.com/cli/latest/topic/s3-config.html#max-concurrent-requests

หากต้องการโอนไฟล์ขนาดเล็กจำนวนมากอย่างรวดเร็วให้เรียกใช้สคริปต์จากอินสแตนซ์ EC2 เพื่อลดเวลาในการตอบสนองและเพิ่มขึ้นmax_concurrent_requestsเพื่อลดผลกระทบของเวลาในการตอบสนอง เช่น:

aws configure set default.s3.max_concurrent_requests 200

หากคุณไม่สนใจที่จะใช้คอนโซล AWS คุณสามารถ:

1. เลือกไฟล์ / โฟลเดอร์ทั้งหมดในที่เก็บข้อมูลแรก
2. คลิกการดำเนินการ> คัดลอก
3. สร้างที่เก็บข้อมูลใหม่แล้วเลือก
4. คลิกการดำเนินการ> วาง

มันยังค่อนข้างช้า แต่คุณสามารถปล่อยให้มันอยู่คนเดียวและปล่อยให้มันทำสิ่งนั้นได้

ฉันได้ลองโคลนสองที่เก็บข้อมูลโดยใช้เว็บคอนโซลs3cmdAWS และ AWS CLI แม้ว่าวิธีการเหล่านี้จะใช้ได้ผลเกือบตลอดเวลา แต่ก็ช้าอย่างเจ็บปวด

จากนั้นฉันก็พบs3s3mirror: เครื่องมือพิเศษสำหรับการซิงค์ที่เก็บข้อมูล S3 สองชุด เป็นแบบมัลติเธรดและเร็วกว่าวิธีอื่น ๆ ที่ฉันเคยลองมามาก ฉันย้ายข้อมูล Giga-bytes จากภูมิภาค AWS หนึ่งไปยังอีกภูมิภาคหนึ่งอย่างรวดเร็ว

ลองดูได้ที่https://github.com/cobbzilla/s3s3mirrorหรือดาวน์โหลด Docker container จากhttps://registry.hub.docker.com/u/pmoust/s3s3mirror/

สำหรับโซลูชัน adhoc ใช้aws cliเพื่อซิงค์ระหว่างที่เก็บข้อมูล:

aws s3 syncความเร็วขึ้นอยู่กับ:
- เวลาในการตอบสนองสำหรับการเรียก API ไปยังปลายทาง S3
- จำนวนการเรียก API ที่ทำพร้อมกัน

ในการเพิ่มความเร็วในการซิงค์:
- เรียกใช้aws s3 syncจากอินสแตนซ์ AWS (c3.large บน FreeBSD ก็โอเค ;-))
- อัปเดต ~ / .aws / config ด้วย:
- max_concurrent_requests = 128
-max_queue_size = 8096

ด้วยการกำหนดค่าและประเภทอินสแตนซ์ต่อไปนี้ฉันสามารถซิงค์ที่เก็บข้อมูล (ไฟล์ 309GB, 72K, us-east-1) ภายใน 474 วินาที

สำหรับโซลูชันทั่วไปเพิ่มเติมโปรดพิจารณา - AWS DataPipeLine หรือ S3 การจำลองแบบข้ามภูมิภาค

เนื่องจากเป็นเรื่องแรกของ Google ในเรื่องนี้จึงเพิ่มข้อมูลเพิ่มเติม

'Cyno' สร้าง s3cmd-modified เวอร์ชันใหม่ซึ่งตอนนี้รองรับการซิงค์ที่เก็บข้อมูลต่อถังแบบขนาน สิ่งที่ฉันรอเช่นกัน

คำขอดึงอยู่ที่https://github.com/pcorliss/s3cmd-modification/pull/2เวอร์ชันของเขาที่https://github.com/pearltrees/s3cmd-modification

ฉันไม่รู้จักเครื่องมือบรรทัดคำสั่ง S3 อื่น ๆ แต่ถ้าไม่มีอะไรเกิดขึ้นที่นี่อาจเป็นวิธีที่ง่ายที่สุดในการเขียนของคุณเอง

เลือกภาษาใดก็ได้และ Amazon SDK / Toolkit ที่คุณต้องการ จากนั้นคุณเพียงแค่ต้องแสดงรายการ / ดึงเนื้อหาที่เก็บข้อมูลต้นทางและคัดลอกแต่ละไฟล์ (เห็นได้ชัดว่าขนานกัน)

เมื่อมองไปที่แหล่งที่มาของการปรับเปลี่ยน s3cmd (และฉันยอมรับว่าฉันไม่รู้อะไรเกี่ยวกับ python) ดูเหมือนว่าพวกเขาไม่ได้ขนานรหัสถังกับถัง แต่บางทีคุณอาจใช้รหัสคู่ขนานในการอัปโหลด / ดาวน์โหลดมาตรฐานเป็นจุดเริ่มต้น ทำเช่นนี้.

ง่าย ๆ ใช้aws s3 cp s3://[original-bucket] s3://[backup-bucket] --recursiveงานได้ดี (สมมติว่าคุณมีการตั้งค่า aws cli)