ย้ายไฟล์โดยตรงจากบัญชี S3 หนึ่งไปยังอีกบัญชีหนึ่งหรือไม่?

คำถามธรรมดา ๆ แต่ฉันไม่สามารถหาคำตอบได้ การใช้การขนส่งฉันสามารถ "ย้าย" ไฟล์จากที่เก็บข้อมูล S3 หนึ่งในบัญชี AWS หนึ่งไปยังที่เก็บข้อมูล S3 อื่นในบัญชี AWS อื่นได้ แต่สิ่งที่ทำได้จริงคือดาวน์โหลดไฟล์จากไฟล์แรกจากนั้นอัปโหลดไปยังที่สอง

มีวิธีย้ายไฟล์โดยตรงจากบัญชี S3 หนึ่งไปยังอีกบัญชีหนึ่งโดยไม่ต้องดาวน์โหลดระหว่างกันหรือไม่?

หากคุณกำลังมองหาโซลูชันสำเร็จรูปมีวิธีแก้ปัญหาบางอย่างที่สามารถทำได้ Bucket Explorerทำงานบน Mac และ Windows และสามารถคัดลอกข้ามบัญชีได้เช่นเดียวกับCloudberry S3 Explorer และS3 Browserแต่เป็น Windows เท่านั้นจึงอาจไม่เหมาะกับคุณ

ฉันสงสัยว่าคอนโซล AWSสามารถทำได้ด้วยการตั้งค่าสิทธิ์ที่เหมาะสม แต่ฉันยังไม่ได้ทดสอบ

คุณยังสามารถทำได้โดยใช้AWS APIตราบเท่าที่คุณให้บัญชี AWS ที่คุณใช้สิทธิ์การเขียนไปยังที่เก็บข้อมูลปลายทาง

ใช่มีวิธี และมันค่อนข้างเรียบง่ายแม้ว่าจะหายากก็ตาม 8)

ตัวอย่างเช่นสมมติว่าชื่อผู้ใช้บัญชีแรกของคุณคือ acc1@gmail.com และที่สองคือ acc2@gmail.com

เปิดAWS Management Consoleเป็น acc1 ไปที่คุณสมบัติที่เก็บข้อมูล Amazon S3 และในแท็บ "สิทธิ์" ให้คลิก "เพิ่มสิทธิ์เพิ่มเติม" จากนั้นเพิ่มรายการและสิทธิ์ดูสำหรับ "ผู้ใช้ที่พิสูจน์ตัวตน"

ถัดไปใน AWS IAM (สามารถเข้าถึงได้จากแท็บคอนโซล) ของ acc2 สร้างผู้ใช้ที่มีสิทธิ์เข้าถึงที่เก็บข้อมูล S3 แบบเต็ม (เพื่อให้ปลอดภัยยิ่งขึ้นคุณสามารถตั้งค่าการอนุญาตที่แน่นอนได้ แต่ฉันต้องการสร้างผู้ใช้ชั่วคราวสำหรับการถ่ายโอน แล้วลบออก)

จากนั้นคุณสามารถใช้s3cmd (โดยใช้ข้อมูลประจำตัวของผู้ใช้ที่สร้างขึ้นใหม่ใน acc2) เพื่อทำสิ่งต่างๆเช่น:

s3cmd cp s3://acc1_bucket/folder/ s3://acc2_bucket/folder --recursive

การโอนทั้งหมดจะดำเนินการในฝั่งของ Amazon

ใช้aws cli (ฉันใช้อินสแตนซ์ ubuntu 14 ec2) และเรียกใช้คำสั่งต่อไปนี้:

aws s3 sync s3://bucket1 s3://bucket2

คุณจะต้องระบุรายละเอียดบัญชีสำหรับบัญชีหนึ่งและมีสิทธิ์เข้าถึงการเขียนสาธารณะหรือการเข้าถึงแบบอ่านสาธารณะสำหรับอีกบัญชีหนึ่ง

การดำเนินการนี้จะซิงค์สองที่เก็บข้อมูล คุณสามารถใช้คำสั่งเดิมอีกครั้งในภายหลังเพื่อซิงค์อย่างรวดเร็ว ส่วนที่ดีที่สุดคือดูเหมือนว่าไม่ต้องการแบนด์วิดท์ใด ๆ (เช่นไฟล์ไม่ได้ส่งผ่านคอมพิวเตอร์ในเครื่อง)

botoทำงานได้ดี ดูกระทู้นี้ครับ การใช้ boto คุณจะคัดลอกวัตถุโดยตรงจากที่เก็บข้อมูลหนึ่งไปยังอีกที่หนึ่งแทนที่จะดาวน์โหลดลงในเครื่องภายในและอัปโหลดไปยังที่เก็บข้อมูลอื่น

บน Mac OS XI ใช้แอปส่งจาก Panic ฉันเปิดหน้าต่างเดียวสำหรับบัญชี S3 แต่ละบัญชี (โดยใช้คีย์ API และความลับ) จากนั้นฉันสามารถลากจากที่เก็บข้อมูลหนึ่งในหน้าต่างหนึ่งไปยังที่เก็บข้อมูลอื่นในหน้าต่างอื่นได้ ไม่จำเป็นต้องดาวน์โหลดไฟล์ในเครื่องก่อนไม่จำเป็นต้องดาวน์โหลดไฟล์ในประเทศเป็นครั้งแรก

แอนดรูถูกต้องส่งจะดาวน์โหลดไฟล์ในเครื่องจากนั้นอัปโหลดไฟล์

ย้ายไฟล์ S3 จากบัญชีหนึ่งไปยังบัญชีอื่น

ลองพิจารณาว่ามีบัญชีต้นทางสองบัญชีและบัญชีปลายทาง และสองถังsource-bucketและdestination bucket. เราต้องการที่จะย้ายไฟล์ทั้งหมดจากการsource-bucket destination-bucketเราสามารถทำได้ตามขั้นตอนต่อไปนี้:

1. aws configure
   • กำหนดค่าบัญชีปลายทางของคุณโดยใช้ข้อมูลรับรองหรือบทบาท IAM
2. สร้างนโยบายผู้ใช้สำหรับผู้ใช้บัญชีปลายทาง
3. ให้สิทธิ์ผู้ใช้ปลายทางในการเข้าถึงที่เก็บข้อมูลต้นทางโดยแก้ไขนโยบายที่เก็บข้อมูลต้นทางและเพิ่มนโยบายผู้ใช้ของบัญชีปลายทางเข้าไป ด้วยวิธีนี้ผู้ใช้ปลายทางจะมีสิทธิ์เข้าถึงที่เก็บข้อมูลต้นทาง
4. aws s3 ls s3://source-bucket/
   • การดำเนินการนี้จะตรวจสอบว่าบัญชีปลายทางมีการเข้าถึงที่เก็บข้อมูลต้นทางหรือไม่ เพียงเพื่อยืนยันให้ทำสิ่งนี้
5. aws s3 cp s3://source-bucket s3://destination-bucket --recursive
   • สิ่งนี้จะคัดลอกแหล่งที่มาของไฟล์ทั้งหมดไปยังที่เก็บข้อมูลปลายทาง ไฟล์ทั้งหมดถูกคัดลอกโดยใช้แฟล็ก --recursive
6. aws s3 mv s3://source-bucket s3://destination-bucket --recursive
   • สิ่งนี้จะย้ายไฟล์ทั้งหมดจากที่เก็บข้อมูลต้นทางไปยังที่เก็บข้อมูลปลายทาง

ทางเลือกอื่นที่คุณสามารถใช้คำสั่ง sync - aws s3 sync s3://source-bucket s3://detination-bucket

สำหรับคำอธิบายที่ดีกว่าให้ไปที่ลิงค์

CrossFTPสามารถคัดลอกไฟล์ S3 จากที่เก็บข้อมูลหนึ่งไปยังอีกที่หนึ่งได้โดยตรงโดยไม่ต้องดาวน์โหลด เป็นไคลเอนต์ GUI S3 ที่ทำงานบน Windows, Mac และ Linux

คุณสามารถใช้ Cyberduck (โอเพ่นซอร์ส)

สำหรับไฟล์ที่สร้างขึ้นใหม่ (ไม่ใช่วัตถุที่มีอยู่) คุณสามารถใช้ประโยชน์จากฟังก์ชันใหม่จาก AWS เป็นการจำลองแบบข้ามภูมิภาค (ภายใต้ "การกำหนดเวอร์ชัน" สำหรับที่เก็บข้อมูล S3) คุณสามารถสร้างนโยบายที่จะอนุญาตให้คุณจำลองออบเจ็กต์ใหม่ไปยังที่เก็บข้อมูลในบัญชีอื่นได้

สำหรับวัตถุที่มีอยู่คุณจะยังคงต้องคัดลอกวัตถุของคุณโดยใช้วิธีการอื่นเว้นแต่ AWS จะแนะนำฟังก์ชันดั้งเดิมสำหรับสิ่งนี้ในอนาคต

สามารถทำได้ด้วยการทำงานต่อไปนี้:

aws s3 mv (sync for keeping buckets in sync) s3://source-bucket s3://destination-bucket --recursive

1. แนบนโยบายที่เก็บข้อมูลกับที่เก็บข้อมูลต้นทางในบัญชีต้นทาง

2. แนบนโยบาย AWS Identity and Access Management (IAM) กับผู้ใช้หรือบทบาทในบัญชีปลายทาง

3. ใช้ผู้ใช้ IAM หรือบทบาทในบัญชีปลายทางเพื่อทำการย้ายข้ามบัญชี