คำถามติดแท็ก amazon-s3

สำหรับเซิร์ฟเวอร์ฉันโฮสต์เว็บไซต์ที่ฉันต้องการสำรองข้อมูลและการตั้งค่าไปยังที่ฝากข้อมูล S3 ฉันพบว่าคุณไม่สามารถใช้ rsync เพื่อสำรองข้อมูลใน S3 bucket ได้โดยตรง มีวิธีอื่นในการทำคำสั่ง rsync ต่อไปนี้เพื่อสำรองข้อมูลไปยังที่ฝากข้อมูล S3 หรือไม่? rsync -­av ­/Data /s3bucket ฉันต้องการสำรองฐานข้อมูล mysql บนเซิร์ฟเวอร์นั้นไปยังที่ฝากข้อมูล S3 อะไรคือวิธีที่ดีที่สุดในการบรรลุเป้าหมายนี้? คำถามสุดท้ายถ้าฉันจัดการเพื่อสำรองข้อมูลทุกอย่างเพื่อ S3 อะไรคือวิธีที่ดีที่สุดในการกู้คืนเซิร์ฟเวอร์หากเซิร์ฟเวอร์ล้มเหลวหรือในกรณีที่เลวร้ายที่สุด ฉันต้องบันทึกการตั้งค่าเซิร์ฟเวอร์ด้วยตนเองและกำหนดค่าเซิร์ฟเวอร์ใหม่หรือมีวิธีสำรองข้อมูลด้วยหรือไม่

26 backup  amazon-web-services  rsync  amazon-s3 

ฉันพยายามที่จะติดตั้งง่าย Amazon AWS S3 เว็บไซต์ตามตามที่อธิบายไว้ที่นี่ ฉันได้ตั้งค่า S3 bucket (simples3websitetest.com) แล้วให้สิทธิ์ที่ถูกต้อง (หวังว่า): { "Version": "2012-10-17", "Statement": [ { "Sid": "AddPerm", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::simples3websitetest.com/*" ] } ] } ฉันอัปโหลด index.html ตั้งค่าการเข้าถึงเว็บไซต์และเข้าถึงได้ผ่านhttp://simples3websitetest.com.s3-website-us-west-2.amazonaws.com/index.html ดีมากตอนนี้ฉันต้องการตั้งค่าการเข้าถึง Amazon Route53 และนี่คือที่ฉันติดอยู่ ฉันตั้งค่าโซนโฮสต์บนโดเมนที่ฉันเป็นเจ้าของ (resourcesbox.net) และคลิก "สร้างชุดบันทึก" และไปที่ขั้นตอน "ตั้งชื่อแทน" …

21 amazon-web-services  website  amazon-s3  alias  amazon-route53 

ฉันต้องคัดลอกไฟล์ 400G จากไดรฟ์ข้อมูลที่เก็บบล็อกแบบยืดหยุ่นไปยังที่เก็บข้อมูล s3 ... ไฟล์เหล่านี้มีขนาดประมาณ 300k ไฟล์ ~ 1Mb ฉันลองs3cmdและs3fuseทั้งสองอย่างช้ามาก .. s3cmd วิ่งมาทั้งวันกล่าวว่าการคัดลอกเสร็จสิ้นและเมื่อฉันตรวจสอบที่ฝากข้อมูลไม่มีอะไรเกิดขึ้น (อย่างน้อยฉันคิดว่ามีบางอย่างผิดปกติ แต่อย่างน้อย s3cmd ไม่เคยบ่นอะไรเลย) S3Fuse กำลังทำงานตลอดทั้งวันและคัดลอกไฟล์น้อยกว่า 10% ... มีวิธีแก้ปัญหาที่ดีกว่านี้หรือไม่? ฉันใช้งาน Linux (ubuntu 12.04) แน่นอน

21 amazon-ec2  amazon-web-services  amazon-s3 

เราใช้ S3 เพื่อเก็บรายการนับล้านใน webapp ของเราตอนนี้เราย้ายสิ่งทั้งหมดไปยัง EC2 เซิร์ฟเวอร์ EU และเราต้องการย้ายข้อมูล S3 ไปยังสหภาพยุโรป แต่ที่ฝากข้อมูลที่เราใช้อยู่ในสหรัฐอเมริกาและดูเหมือนว่าไม่มีเครื่องมือในการย้ายเนื้อหาที่ฝากข้อมูลทั้งหมดไปยังที่เก็บข้อมูลอื่น นอกจากนี้ยังมีปัญหาเกี่ยวกับวิธีการซิงโครไนซ์ข้อมูลในภายหลังเมื่อเราสลับไปที่ที่ฝากข้อมูลของสหภาพยุโรปข้อมูลที่จะสร้างขึ้นในขณะที่การย้ายข้อมูลกำลังทำงานอยู่

20 amazon-ec2  amazon-s3 

ฉันมีนโยบาย IAM ต่อไปนี้สำหรับผู้ใช้ { "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1395161912000", "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:PutObject", "s3:*" ], "Resource": [ "arn:aws:s3:::bucketname" ] }, { "Sid": "list", "Effect": "Allow", "Action": [ "s3:ListAllMyBuckets" ], "Resource": [ "arn:aws:s3:::*" ] } ] } เป้าหมายคือเพื่อให้ผู้ใช้อัปโหลดไฟล์ไปยังที่ฝากข้อมูล แต่ไม่เขียนทับหรือลบ มันสำหรับการสำรองข้อมูล ฉันเริ่มต้นด้วยListBucketและPutObjectแต่เพิ่ม*เมื่อมันไม่ทำงาน ไม่ได้ช่วยให้ผู้ใช้อัปโหลดไฟล์เพียงแค่ได้รับ*Access Denied เมื่อฉันลองใช้ Simulator มันจะกลับDenied - …

19 amazon-s3  amazon-iam 

ฉันมีเว็บไซต์โฮสต์บน Amazon S3 เป็นเว็บไซต์เก่ารุ่นใหม่ที่โฮสต์ใน WordPress ฉันได้ตั้งค่าบางไฟล์ด้วยข้อมูลเมตาWebsite Redirect Locationเพื่อจัดการตำแหน่งเก่าและเปลี่ยนเส้นทางไปยังหน้าเว็บไซต์ใหม่ ตัวอย่างเช่นฉันมีhttp://www.mysite.com/solutionสิ่งที่ฉันต้องการที่จะเปลี่ยนเส้นทางhttp://mysite.s3-website-us-east-1.amazonaws.com/product.htmlดังนั้นฉันจึงสร้างไฟล์ว่างที่มีชื่อsolutionในที่เก็บข้อมูลของฉันด้วยข้อมูลเมตาที่ถูกต้อง: Website Redirect Location= /product.html ข้อมูลเมตาการเปลี่ยนเส้นทาง S3 นั้นเทียบเท่ากับ301 Moved Permanentlyที่ดีสำหรับ SEO วิธีนี้ใช้งานได้ดีเมื่อเข้าถึง URL โดยตรงจากโดเมน S3 ฉันยังตั้งค่าการกระจาย CloudFront ตามที่ฝากข้อมูลของเว็บไซต์ และเมื่อฉันพยายามเข้าถึงผ่านการแจกจ่ายการเปลี่ยนเส้นทางไม่ทำงานเช่น: http://xxxx123.cloudfront.net/solution ไม่เปลี่ยนเส้นทาง แต่ดาวน์โหลดไฟล์ว่างเปล่าแทน ดังนั้นคำถามของฉันคือวิธีการเปลี่ยนเส้นทางผ่านการกระจาย CloudFront? หรือแนวคิดใด ๆ เกี่ยวกับวิธีจัดการการเปลี่ยนเส้นทางโดยไม่ทำให้ SEO เสื่อมลง? ขอบคุณ

18 amazon-s3  amazon-cloudfront 

ฉันมีอินสแตนซ์ EC2 ที่เรียกใช้เว็บเซิร์ฟเวอร์ที่เก็บไฟล์ที่ผู้ใช้อัพโหลดไปยัง S3 ไฟล์จะถูกเขียนหนึ่งครั้งและไม่เคยเปลี่ยนแปลง แต่จะถูกเรียกใช้เป็นครั้งคราวโดยผู้ใช้ เราน่าจะสะสมข้อมูลประมาณ 200-500GB ต่อปี เราต้องการให้แน่ใจว่าข้อมูลนี้ปลอดภัยโดยเฉพาะอย่างยิ่งจากการลบโดยไม่ตั้งใจและต้องการให้สามารถกู้คืนไฟล์ที่ถูกลบโดยไม่คำนึงถึงเหตุผล ฉันได้อ่านเกี่ยวกับฟีเจอร์การกำหนดรุ่นสำหรับที่เก็บ S3 แล้ว แต่ฉันไม่พบว่าการกู้คืนเป็นไปได้สำหรับไฟล์ที่ไม่มีประวัติการแก้ไขหรือไม่ ดูเอกสาร AWS ที่นี่เกี่ยวกับการกำหนดเวอร์ชัน: http://docs.aws.amazon.com/AmazonS3/latest/dev/ObjectVersioning.html ในตัวอย่างเหล่านั้นพวกเขาจะไม่แสดงสถานการณ์ที่ข้อมูลถูกอัปโหลด แต่ไม่เคยแก้ไขแล้วลบออก ไฟล์ถูกลบในสถานการณ์นี้กู้คืนได้หรือไม่? จากนั้นเราคิดว่าเราสามารถสำรองไฟล์ S3 ไปยัง Glacier โดยใช้การจัดการวงจรชีวิตของวัตถุ: http://docs.aws.amazon.com/AmazonS3/latest/dev/object-lifecycle-mgmt.html แต่ดูเหมือนว่าสิ่งนี้จะไม่ได้ผลสำหรับเราเนื่องจากไม่ได้คัดลอกวัตถุไฟล์ไปยังกลาเซียร์ แต่ย้ายไปยังกลาเซียร์ (ยิ่งแม่นยำยิ่งขึ้นดูเหมือนว่ามันเป็นคุณลักษณะของวัตถุที่เปลี่ยนแปลงแต่ทว่า ... ) ดังนั้นจึงดูเหมือนว่าไม่มีวิธีโดยตรงในการสำรองข้อมูล S3 และการถ่ายโอนข้อมูลจาก S3 ไปยังเซิร์ฟเวอร์ในพื้นที่อาจใช้เวลานานและอาจมีค่าใช้จ่ายในการโอนที่สำคัญตลอดเวลา สุดท้ายเราคิดว่าเราจะสร้างที่เก็บข้อมูลใหม่ทุกเดือนเพื่อทำหน้าที่สำรองข้อมูลเต็มรูปแบบทุกเดือนและคัดลอกข้อมูลของที่เก็บข้อมูลต้นฉบับไปที่ที่เก็บข้อมูลใหม่ในวันที่ 1 จากนั้นใช้สิ่งที่ซ้ำซ้อน ( http://duplicity.nongnu.org/) ) เราจะซิงโครไนซ์ถังสำรองทุกคืน ในตอนท้ายของเดือนเราจะใส่เนื้อหาของฝากข้อมูลสำรองลงในที่เก็บข้อมูลของ Glacier และสร้างที่เก็บข้อมูลสำรองใหม่โดยใช้สำเนาใหม่ปัจจุบันของที่เก็บข้อมูลต้นฉบับ ... และทำซ้ำขั้นตอนนี้ ดูเหมือนว่าจะใช้งานได้และลดค่าใช้จ่ายในการจัดเก็บ …

16 backup  amazon-web-services  amazon-s3 

สมมติว่าฉันเปิดใช้งานการกำหนดรุ่น S3 สำหรับที่เก็บข้อมูลของฉันแล้ว: http://docs.aws.amazon.com/AmazonS3/latest/dev/Versioning.html สมมติว่ามีคน (ตัวอย่างเช่นพนักงานระดับต้น) ทำหน้าที่ยุ่งเกี่ยวกับ S3 bucket (ลบไฟล์บางไฟล์โดยไม่ตั้งใจ) ฉันจะกู้คืนที่ฝากข้อมูลเวอร์ชันทั้งหมดไปยังจุดใดเวลาหนึ่งได้อย่างไร ฉันเชื่อว่านี่น่าจะเป็นไปได้เมื่อใช้ API ของ S3 แต่ฉันไม่ต้องการเขียนสคริปต์ตัวเองเพราะกลัวว่าจะพลาดบางสิ่ง (ฉันไม่ใช่ผู้เชี่ยวชาญ AWS) มีวิธีแก้ปัญหาที่ดีสำหรับปัญหานี้หรือไม่? ฉันใช้ S3 S3 เป็นที่เก็บรูปภาพสำหรับแอพ Rails ของฉันดังนั้นสิ่งที่ใช้ Ruby ซึ่งฉันสามารถใช้เป็นงานคราดก็เหมาะอย่างยิ่ง

16 amazon-web-services  ruby-on-rails  amazon-s3 

ฉันกำลังโฮสต์อิมเมจผลิตภัณฑ์ 200 GB ที่ S3 (นี่คือโฮสต์ไฟล์หลักของฉัน) ฉันจำเป็นต้องสำรองข้อมูลนั้นไว้ที่อื่นหรือไม่ S3 ปลอดภัยเหมือนเดิมหรือไม่ ฉันกำลังทดลองติดตั้งที่ฝากข้อมูล S3 กับอินสแตนซ์ EC2 จากนั้นทำการสำรองข้อมูล rsync ทุกคืน ปัญหาคือไฟล์มีประมาณ 3 ล้านไฟล์ดังนั้นจึงใช้เวลาสักครู่ในการสร้างความต้องการ rsync ที่แตกต่างกัน การสำรองข้อมูลจริงใช้เวลาประมาณ 3 วันจึงจะเสร็จสมบูรณ์ ความคิดใดจะทำสิ่งนี้ได้ดีกว่ากัน? (ถ้าจำเป็นด้วยซ้ำ)

16 backup  amazon-s3 

ฉันต้องการที่จะสามารถลบไฟล์หลายพันหรือหลายหมื่นชุดในคราวเดียวบน S3 แต่ละไฟล์จะอยู่ที่ใดก็ได้ตั้งแต่ 1MB ถึง 50MB โดยปกติฉันไม่ต้องการให้ผู้ใช้ (หรือเซิร์ฟเวอร์ของฉัน) รออยู่ขณะที่ไฟล์กำลังถูกลบ ดังนั้นคำถาม: S3 จัดการกับการลบไฟล์อย่างไรโดยเฉพาะเมื่อทำการลบไฟล์จำนวนมาก? มีวิธีที่มีประสิทธิภาพในการทำสิ่งนี้และทำให้ AWS ทำงานส่วนใหญ่ได้หรือไม่? ด้วยประสิทธิภาพฉันหมายถึงการทำให้คำขอน้อยที่สุดสำหรับ S3 และใช้เวลาน้อยที่สุดโดยใช้ทรัพยากรจำนวนน้อยที่สุดในเซิร์ฟเวอร์ของฉัน

16 amazon-s3  batch-processing 

ฉันมีปัญหาในการแสดงสินทรัพย์คงที่ให้กับ Firefox โดยใช้ AWS Cloudfront Chrome ใช้งานได้ดี แต่ Firefox คืนข้อผิดพลาด CORS ถ้าฉันดำเนินการ curl ฉันจะได้รับ: HTTP/1.1 200 OK Content-Type: application/x-font-opentype Content-Length: 39420 Connection: keep-alive Date: Mon, 11 Aug 2014 21:53:50 GMT Cache-Control: public, max-age=31557600 Expires: Sun, 09 Aug 2015 01:28:02 GMT Last-Modified: Fri, 08 Aug 2014 19:28:05 GMT ETag: "9df744bdf9372cf4cff87bb3e2d68fc8" Accept-Ranges: …

15 amazon-web-services  amazon-s3  firefox  amazon-cloudfront  cors 

ความแตกต่างระหว่างBucketsและFoldersใน Amazon S3 คืออะไร? เป็นสิ่งที่Folderมีอยู่ใน Amazon S3 หรือไม่? หรือเฉพาะลูกค้า S3 ที่นำเสนอFoldersเพื่อการจัดการที่ดีกว่า

15 amazon-s3 

มีวิธีง่าย ๆ ในการตั้งค่า bucket ใน s3 เพื่อลบไฟล์ที่เก่ากว่า x วันโดยอัตโนมัติหรือไม่?

15 amazon-s3 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ปิดให้บริการใน6 ปีที่ผ่านมา ล็อคแล้ว คำถามและคำตอบของคำถามนี้ถูกล็อคเนื่องจากคำถามอยู่นอกหัวข้อ แต่มีความสำคัญทางประวัติศาสตร์ ขณะนี้ไม่ยอมรับคำตอบหรือการโต้ตอบใหม่ คุณแนะนำให้ใช้ซอฟต์แวร์ใดในการใช้ Amazon S3 เป็นตัวยึดตำแหน่งสำหรับการสำรองข้อมูลรายวัน ฉันต้องการให้เป็นแบบอัตโนมัติอย่างสมบูรณ์และกู้คืนข้อมูลได้ง่าย

15 backup  amazon-s3 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นไปตามหัวข้อสำหรับข้อบกพร่องของเซิร์ฟเวอร์ ปิดให้บริการใน5 ปีที่ผ่านมา มีใครพบกับระบบจัดเก็บข้อมูลวัตถุที่เข้ากันได้กับ Amazon S3 RESTful API เกือบ 100% หรือไม่? สิ่งที่ฉันเป็นหลังจากนั้นคือเลเยอร์ที่อยู่ด้านบนของระบบไฟล์ (ควรเป็น POSIX) ที่มี API RESTful API ของ Amazon S3 ในการจัดเก็บ ( PUT), ดึง ( GET), สถิติ ( HEAD) และลบ ( DELETE) พร้อมการรับรองความถูกต้องที่เหมาะสม ยินดีต้อนรับโครงการ / แนวคิดเชิงพาณิชย์ด้วย บันทึก: ฉันเคยลองยูคาลิปตัสและคิวมูลัสมาแล้ว ยูคาลิปตัสตัวใดที่ดูเหมือนจะสุ่มสี่สุ่มห้าเรียกตนเองว่าเข้ากันได้กับ S3 เอกสาร XML การตอบกลับไม่สามารถใช้งานร่วมกันได้และสามารถแก้ไขได้ในบางสถานที่โดยไม่มีเอกสาร XML เลย …

14 storage  amazon-s3  cloud-storage  network-storage