คำถามติดแท็ก amazon-s3

ฉันต้องการวาดกราฟขนาด (เป็นไบต์และจำนวนรายการ) ของที่เก็บ Amazon S3 และกำลังมองหาวิธีที่มีประสิทธิภาพในการรับข้อมูล s3cmdเครื่องมือให้วิธีการที่จะได้รับขนาดไฟล์ทั้งหมดใช้s3cmd du s3://bucket_nameแต่ฉันกังวลเกี่ยวกับความสามารถในการปรับขนาดตั้งแต่ดูเหมือนว่ามันจะเรียกข้อมูลเกี่ยวกับไฟล์ทุกไฟล์และคำนวณผลรวมของตัวเอง เนื่องจาก Amazon เรียกเก็บเงินจากผู้ใช้ในหน่วย GB- เดือนดูเหมือนว่าแปลกที่พวกเขาไม่ได้เปิดเผยค่านี้โดยตรง แม้ว่าREST API ของ Amazonจะคืนค่าจำนวนรายการในที่เก็บข้อมูลแต่ดูเหมือนว่าs3cmdจะไม่เปิดเผย ฉันทำได้s3cmd ls -r s3://bucket_name | wc -lแต่ดูเหมือนว่าจะเป็นแฮ็ค ไลบรารีRuby AWS :: S3ดูมีแนวโน้ม แต่ให้รายการ # ของที่ฝากข้อมูลไม่ใช่ขนาดที่เก็บทั้งหมด มีใครรู้บ้างเกี่ยวกับเครื่องมือบรรทัดคำสั่งหรือไลบรารีอื่น ๆ (เช่น Perl, PHP, Python หรือ Ruby) ที่ให้วิธีการรับข้อมูลนี้หรือไม่?

289 amazon-s3  amazon-web-services 

เราพยายามแจกจ่าย S3 S3 ผ่าน Cloudfront แต่ด้วยเหตุผลบางอย่างคำตอบเดียวคือเอกสาร AccessDenied XML ดังต่อไปนี้: <Error> <Code>AccessDenied</Code> <Message>Access Denied</Message> <RequestId>89F25EB47DDA64D5</RequestId> <HostId>Z2xAduhEswbdBqTB/cgCggm/jVG24dPZjy1GScs9ak0w95rF4I0SnDnJrUKHHQC</HostId> </Error> นี่คือการตั้งค่าที่เราใช้: และนี่คือนโยบายสำหรับที่เก็บข้อมูล { "Version": "2008-10-17", "Id": "PolicyForCloudFrontPrivateContent", "Statement": [ { "Sid": "1", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::cloudfront:user/CloudFront Origin Access Identity *********" }, "Action": "s3:GetObject", "Resource": "arn:aws:s3:::x***-logos/*" } ] }

91 permissions  amazon-web-services  amazon-s3  amazon-cloudfront 

ชื่อค่อนข้างชัดเจน แต่ฉันเพิ่งลบ s3 bucket เนื่องจากอยู่ในภูมิภาคที่ไม่ถูกต้องและต้องการสร้างใหม่ในพื้นที่ที่ถูกต้องด้วยชื่อเดียวกับที่เพิ่งลบไป มีเอกสารของประสบการณ์นี้หรือผู้ใช้หรือไม่?

63 amazon-s3  provisioning 

ฉันกำลังสับสนอยู่ใน AWS พยายามคิดว่าฉันพลาดอะไรบ้างที่นี่ ฉันต้องการทำให้เป็นเช่นนั้นเพื่อให้ผู้ใช้ IAM สามารถดาวน์โหลดไฟล์จากที่เก็บข้อมูล S3 - โดยไม่เพียง แต่ทำให้ไฟล์เป็นแบบสาธารณะทั้งหมด แต่ฉันถูกปฏิเสธการเข้าถึง หากใครสามารถเห็นสิ่งที่ปิดฉันจะถูก stoked สิ่งที่ฉันทำไปแล้ว: สร้างผู้ใช้ชื่อ my-user (เพื่อเป็นตัวอย่าง) สร้างคีย์การเข้าถึงสำหรับผู้ใช้และวางไว้ใน ~ / .aws บนอินสแตนซ์ EC2 สร้างนโยบายฝากข้อมูลที่ฉันต้องการให้สิทธิ์การเข้าถึงแก่ผู้ใช้ของฉัน เรียกใช้คำสั่ง aws s3 cp --profile my-user s3://my-bucket/thing.zip . นโยบายถัง: { "Id": "Policy1384791162970", "Statement": [ { "Sid": "Stmt1384791151633", "Action": [ "s3:GetObject" ], "Effect": "Allow", "Resource": "arn:aws:s3:::my-bucket/*", "Principal": …

57 amazon-s3  aws-cli 

"เราขอแนะนำอย่างยิ่งให้คุณไม่อนุญาตให้บุคคลทั่วไปเข้าถึง S3 กลุ่มของคุณ" ฉันได้ตั้งนโยบายสาธารณะที่ละเอียดมาก (s3: GetObject) สำหรับที่เก็บข้อมูลหนึ่งที่ฉันใช้เพื่อโฮสต์เว็บไซต์ Route53 รองรับนามแฝง bucket อย่างชัดเจนเพื่อวัตถุประสงค์นี้ คำเตือนนี้ซ้ำซ้อนหรือฉันกำลังทำอะไรผิดหรือเปล่า?

52 security  amazon-web-services  amazon-s3  amazon-route53 

ฉันมีไฟล์หลายล้านไฟล์ในที่ฝากข้อมูล Amazon S3 และฉันต้องการย้ายไฟล์เหล่านี้ไปยังที่เก็บข้อมูลและโฟลเดอร์อื่น ๆ ด้วยค่าใช้จ่ายขั้นต่ำหรือไม่มีค่าใช้จ่ายหากเป็นไปได้ ถังทั้งหมดอยู่ในโซนเดียวกัน ฉันจะทำมันได้อย่างไร

44 storage  cloud  files  amazon-s3 

มีวิธีการกู้คืนจากการลบของ Amazon S3 Bucket โดยไม่ตั้งใจหรือไม่? เรามีข้อมูลสำคัญในถังของเราและฉันต้องการลดความเสี่ยงของการลบถังโดยไม่ตั้งใจหรือไม่ดี ฉันรู้ว่าฉันสามารถซิงค์ที่ฝากข้อมูลทั้งหมดในเครื่องได้ แต่นี่ไม่ได้ผลจริงถ้าขนาดที่ฝากข้อมูลของฉันคือ 100GB ความคิดใด ๆ เกี่ยวกับกลยุทธ์การสำรองข้อมูล?

43 backup  amazon-s3 

ฉันเข้าใจว่า rsync ทำงานอย่างไรในระดับสูง แต่มี 2 ด้าน ด้วย S3 ไม่มีดีมอนที่จะพูดถึง - มี แต่โดยทั่วไปแล้วก็เป็นเพียง HTTP มีวิธีการเล็กน้อย s3rsync (แต่สิ่งนี้จะทำให้ rsync เป็น s3) ซื่อตรง ไม่แน่ใจว่าฉันต้องการพึ่งพาอะไรบางอย่างจากบุคคลที่สาม ฉันหวังว่า s3 เพิ่งรองรับ rsync นอกจากนี้ยังมี 'โคลนนิ่ง' rsync บางส่วนที่เหมือนกันซึ่งซ้ำซ้อนที่อ้างว่าสนับสนุน s3 โดยไม่ต้องโบลต์ แต่จะทำเช่นนี้ได้อย่างไร พวกเขาเก็บไฟล์ดัชนีไว้ในเครื่องหรือไม่? ฉันไม่แน่ใจว่าจะมีประสิทธิภาพได้อย่างไร เห็นได้ชัดว่าฉันต้องการใช้ s3 เพราะมันราคาถูกและเชื่อถือได้ แต่มีหลายสิ่งที่ rsync เป็นเครื่องมือสำหรับเช่นสำรองข้อมูลไดเรกทอรีภาพขนาดใหญ่ ตัวเลือกที่นี่มีอะไรบ้าง ฉันจะเสียอะไรโดยใช้ความซ้ำซ้อน + s3 แทน rsync + s3rsync + s3

42 rsync  amazon-s3  duplicity 

ฉันสนใจที่จะใช้ Amazon S3 เพื่อสำรองข้อมูลอิมเมจเซิร์ฟเวอร์ของเรา ~ 100gb (สร้างผ่านเครื่องมือสำรองข้อมูลของ Acronis) เห็นได้ชัดว่าการอัปโหลดไฟล์ S3 ทุกคืนจะมีราคาแพงทั้งในแง่ของแบนด์วิดท์และค่าใช้จ่าย ฉันกำลังพิจารณาใช้ rsync กับ S3 และเจอs3rsync ฉันแค่สงสัยว่าใครมีประสบการณ์ใช้งานนี้หรือยูทิลิตี้อื่น ๆ ?

39 rsync  amazon-s3 

ฉันมีปัญหาในการทำความเข้าใจกับใบเรียกเก็บเงิน S3 ขนาดใหญ่ของฉันและคิดว่าฉันจะถามที่นี่ก่อนที่จะลดลง $ 30 เมื่อ AWS สนับสนุนรายเดือน โดยทั่วไปฉันมีอินสแตนซ์Amazon EC2ที่ทำให้ API เป็นการแลกเปลี่ยน cryptocurrency ที่แตกต่างกันและบันทึกการตอบสนองต่อ HD อินสแตนซ์ การโทรจะทำทุกๆ 5 นาทีวัตถุตอบสนองจะอยู่ที่ประมาณ 100 kb อ่านโดยสคริปต์Rและเพิ่มลงในไฟล์ CSVทุก ๆ 8 นาที ไฟล์ CSV นั้นจะถูกซิงโครไนซ์กับที่ฝากข้อมูลAmazon S3ทุก ๆ 15 นาที ไฟล์ CSV มักจะมีขนาด 10 MB หรือประมาณ 15 cryptocurrencies ทุกๆ 15 นาที ดังนั้นเมื่อมองในถัง Amazon S3 อาจจะมีพื้นที่ว่างมากที่สุด 0.5 GB …

37 amazon-web-services  amazon-s3 

ฉันต้องการใช้ cls AWS S3 เพื่อคัดลอกโครงสร้างไดเรกทอรีแบบเต็มไปยังที่ฝากข้อมูล S3 ถึงตอนนี้ทุกสิ่งที่ฉันได้ลองคัดลอกไฟล์ไปยังที่ฝากข้อมูล แต่โครงสร้างไดเรกทอรีถูกยุบ (เพื่อบอกอีกวิธีหนึ่งไฟล์แต่ละไฟล์จะถูกคัดลอกไปยังไดเรกทอรีรากของที่เก็บข้อมูล) คำสั่งที่ฉันใช้คือ: aws s3 cp --recursive ./logdata/ s3://bucketname/ ฉันยังได้ลองทิ้งเครื่องหมายทับต่อท้ายที่ชื่อแหล่งที่มาของฉัน (เช่นสำเนาจากอาร์กิวเมนต์) ฉันยังใช้สัญลักษณ์แทนเพื่อกำหนดไฟล์ทั้งหมด ... แต่ละสิ่งที่ฉันลองคัดลอกไฟล์บันทึกไปยังไดเรกทอรีรากของที่เก็บข้อมูล

37 amazon-web-services  amazon-s3 

ฉันมี S3 bucket เป็นทรัพยากรในเทมเพลต CloudFormation ของฉัน ด้วยการกำหนดให้DeletionPolicy Retainวิธีนี้ทำงานได้ตามที่คาดไว้เมื่อลบสแต็ก อย่างไรก็ตามเมื่อฉันพยายามที่จะสร้างสแต็คอีกครั้งการสร้างล้มเหลวในขณะที่พยายามสร้างที่เก็บข้อมูลเดียวกันอีกครั้งโดยมีข้อความแสดงข้อผิดพลาดบ่นว่ามีอยู่แล้ว ฉันต้องเพิ่มอะไรในเทมเพลต CloudFormation ของฉันเพื่อไม่ให้ลองสร้างทรัพยากรที่มีอยู่แล้ว? เทมเพลตของฉันที่เกี่ยวข้องมีดังนี้: "Resources": { "SomeS3Bucket" : { "Type" : "AWS::S3::Bucket", "DeletionPolicy" : "Retain", "Properties": { "BucketName": "SomeS3Bucket" } }

32 amazon-web-services  amazon-s3  amazon-cloudformation 

ฉันมีหน้าเว็บ ( https://smartystreets.com/contact ) ที่ใช้ jQuery เพื่อโหลดไฟล์ SVG บางไฟล์จาก S3 ผ่านทาง CloudFront CDN ใน Chrome ฉันจะเปิดหน้าต่างไม่ระบุตัวตนรวมถึงคอนโซล จากนั้นฉันจะโหลดหน้า เมื่อโหลดหน้าเว็บปกติฉันจะได้รับข้อความ 6 ถึง 8 ข้อความในคอนโซลที่มีลักษณะคล้ายกับสิ่งนี้: XMLHttpRequest cannot load https://d79i1fxsrar4t.cloudfront.net/assets/img/feature-icons/documentation.08e71af6.svg. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'https://smartystreets.com' is therefore not allowed access. หากฉันทำการโหลดหน้ามาตรฐานซ้ำหลายครั้งฉันจะได้รับข้อผิดพลาดเดิมต่อไป ถ้าฉันทำCommand+Shift+Rมากที่สุดและบางครั้งทั้งหมดของภาพจะโหลดโดยไม่มีXMLHttpRequestข้อผิดพลาด บางครั้งแม้หลังจากโหลดรูปภาพฉันจะรีเฟรชและรูปภาพอย่างน้อยหนึ่งภาพจะไม่โหลดและส่งคืนXMLHttpRequestข้อผิดพลาดนั้นอีกครั้ง ฉันได้ตรวจสอบเปลี่ยนแปลงและตรวจสอบการตั้งค่าบน S3 และ Cloudfront อีกครั้ง …

30 amazon-s3  amazon-cloudfront  google-chrome  cors  jquery 

เราเพิ่งย้ายไปที่ Amazon AWS ขณะนี้เรามีอินสแตนซ์ EC2 ที่ทำงานได้ดี กำลังเรียกใช้ Nginx อยู่ข้างหน้าและ Apache อยู่ข้างหลัง นั่นก็ทำงานได้ดีเช่นกัน ไซต์ทั้งหมดได้รับการเปิดใช้งานอย่างถูกต้องและมีส่วนหัวของ Cache-Control สำหรับไฟล์ที่ให้บริการจาก EC2 มีปัญหากับไฟล์แบบคงที่ทั้งหมดที่เราวางไว้ในAmazon S3ที่ถูกเข้าถึงได้ผ่านCloudFront CDN เราสามารถเข้าถึงไฟล์ได้ดี (และไม่มีปัญหากับ CORS) แต่เห็นได้ชัดว่าCloudFront ไม่ให้บริการไฟล์ที่มีส่วนหัวของ Cache-Control เราต้องการใช้ประโยชน์จากการแคชเบราว์เซอร์ วิธีที่ฉันเห็นอินสแตนซ์ EC2 ไม่ได้มีบทบาทที่นี่เนื่องจากไฟล์สแตติกถูกให้บริการโดยตรงโดย S3 + CloudFront คำขอไม่ได้ไปที่เว็บเซิร์ฟเวอร์ใน EC2 ฉันกำลังหลงทางอยู่ คำถาม: 1) ฉันจะตั้งค่า Cache-Control ได้อย่างไร? 2) เป็นไปได้ไหมที่จะตั้งค่า Cache-Control? จาก S3 หรือ CloudFront หมายเหตุ: ฉันกดไปสองสามหน้าใน Google …

27 amazon-web-services  cache  amazon-s3  cdn  amazon-cloudfront 

ใช้ CloudFormation ฉันต้องการตั้งค่าคุณสมบัติบางอย่างในAWS :: S3 :: Bucketบนฝากข้อมูลที่มีอยู่ กล่าวอีกนัยหนึ่งฉันไม่ต้องการสร้างที่เก็บข้อมูลฉันเพียงต้องการบังคับใช้การตั้งค่าบางอย่าง นี่เป็นตัวอย่างของ JSON ของฉัน "websitePreviewBucket": { "Type": "AWS::S3::Bucket", "Properties": { "AccessControl": "PublicRead", "VersioningConfiguration": { "Status": "Suspended" }, "BucketName": "preview.website.com", "WebsiteConfiguration": { "IndexDocument": "index.html", "ErrorDocument": "error.html" } } }, ไม่น่าแปลกใจที่สิ่งนี้ล้มเหลวในคอนโซลของ cloudformation: The following resource(s) failed to create: [websitePreviewBucket]. preview.website.com already exists ฉันสร้าง bucket preview.website.com …

27 amazon-s3  amazon-cloudformation