คำถามติดแท็ก amazon-s3

ฉันมี DataFrame แพนด้าที่ต้องการอัปโหลดไปยังไฟล์ CSV ใหม่ ปัญหาคือฉันไม่ต้องการบันทึกไฟล์ในเครื่องก่อนที่จะโอนไปยัง s3 มีวิธีใดเช่น to_csv สำหรับเขียน dataframe ไปยัง s3 โดยตรงหรือไม่? ฉันใช้ boto3 นี่คือสิ่งที่ฉันมีจนถึงตอนนี้: import boto3 s3 = boto3.client('s3', aws_access_key_id='key', aws_secret_access_key='secret_key') read_file = s3.get_object(Bucket, Key) df = pd.read_csv(read_file['Body']) # Make alterations to DataFrame # Then export DataFrame to CSV through direct transfer to s3

126 python  csv  amazon-s3  dataframe  boto3 

ฉันทำตามคำแนะนำจากคำตอบนี้เพื่อสร้างนโยบายที่เก็บข้อมูล S3: { "Id": "Policy1495981680273", "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1495981517155", "Action": [ "s3:GetObject" ], "Effect": "Allow", "Resource": "arn:aws:s3:::surplace-audio", "Principal": "*" } ] } ฉันได้รับข้อผิดพลาดต่อไปนี้กลับมา: การดำเนินการใช้ไม่ได้กับทรัพยากรใด ๆ ในคำสั่ง ฉันขาดอะไรจากนโยบายของฉัน?

124 amazon-web-services  amazon-s3 

ฉันจะสร้างโฟลเดอร์ภายใต้ที่เก็บข้อมูลโดยใช้ไฟล์ botoไลบรารีสำหรับ Amazon s3 ได้อย่างไร ฉันทำตามคู่มือและสร้างคีย์โดยได้รับอนุญาตข้อมูลเมตา ฯลฯ แต่ไม่มีที่ใดในเอกสารของ boto ที่อธิบายวิธีสร้างโฟลเดอร์ภายใต้ที่เก็บข้อมูลหรือสร้างโฟลเดอร์ภายใต้โฟลเดอร์ในที่เก็บข้อมูล

123 amazon-s3  boto 

ฉันมีที่เก็บข้อมูลง่ายๆที่ดูเหมือนimages.mysite.comใน S3 ของฉันและที่เก็บข้อมูลอื่น ๆ ที่มีการสำรองข้อมูล ฯลฯ ฉันต้องการอนุญาตให้ผู้ใช้บางรายสามารถเข้าถึงที่images.mysite.comเก็บข้อมูลเพื่ออัปโหลดภาพ อย่างไรก็ตามฉันไม่ต้องการให้เขาเห็นถังอื่น ๆ ไม่ใช่ว่ามีอยู่จริง ฉันไม่สามารถกำหนดนโยบายที่ทำเช่นนี้ได้ ทุกครั้งที่ฉันลองสิ่งที่ จำกัด มันจะลงเอยด้วยการบล็อกรายชื่อของที่เก็บข้อมูลใด ๆ

123 amazon-s3  policy  bucket 

ฉันใช้ NodeJS AWS SDK เพื่อสร้าง S3 URL ที่กำหนดไว้ล่วงหน้า เอกสารนี้ให้ตัวอย่างของการสร้าง URL ที่กำหนดไว้ล่วงหน้า นี่คือรหัสที่แน่นอนของฉัน (โดยละเว้นข้อมูลที่ละเอียดอ่อน): const AWS = require('aws-sdk') const s3 = new AWS.S3() AWS.config.update({accessKeyId: 'id-omitted', secretAccessKey: 'key-omitted'}) // Tried with and without this. Since s3 is not region-specific, I don't // think it should be necessary. // AWS.config.update({region: 'us-west-2'}) const myBucket …

123 node.js  amazon-web-services  amazon-s3  aws-sdk-js 

ฉันตระหนักถึงการมีอยู่ของhttps://wiki.apache.org/hadoop/AmazonS3และคำต่อไปนี้: S3 Native FileSystem (URI Scheme: s3n) ระบบไฟล์เนทีฟสำหรับการอ่านและเขียนไฟล์ปกติบน S3 ข้อดีของระบบไฟล์นี้คือคุณสามารถเข้าถึงไฟล์บน S3 ที่เขียนด้วยเครื่องมืออื่น ๆ ในทางกลับกันเครื่องมืออื่น ๆ สามารถเข้าถึงไฟล์ที่เขียนโดยใช้ Hadoop ข้อเสียคือขีด จำกัด 5GB สำหรับขนาดไฟล์ที่กำหนดโดย S3 S3A (โครงร่าง URI: s3a) ตัวต่อจาก S3 Native, s3n fs, S3a: ระบบใช้ไลบรารีของ Amazon เพื่อโต้ตอบกับ S3 สิ่งนี้ช่วยให้ S3a รองรับไฟล์ขนาดใหญ่ (ไม่ จำกัด 5GB) การทำงานที่มีประสิทธิภาพสูงขึ้นและอื่น ๆ ระบบไฟล์มีจุดมุ่งหมายเพื่อแทนที่ / สืบต่อจาก S3 Native: อ็อบเจ็กต์ทั้งหมดที่เข้าถึงได้จาก …

121 amazon-web-services  amazon-s3  aws-sdk 

ฉันมีข้อผิดพลาดความแตกต่างระหว่างเวลาขอและเวลาปัจจุบันมีขนาดใหญ่เกินไปเมื่อวิธีการโทร amazons3.ListObjects ListObjectsRequest request = new ListObjectsRequest() { BucketName = BucketName, Prefix = fullKey }; using (ListObjectsResponse response = s3Client.ListObjects(request)) { bool result = response.S3Objects.Count > 0; return result; } มันจะเป็นอะไร?

119 amazon-s3 

$ aws s3 ls Could not connect to the endpoint URL: "https://s3.us-east-1a.amazonaws.com/" อะไรคือปัญหา?

118 amazon-web-services  amazon-s3 

ฉันกำลังทำงานกับเว็บแอปเล็ก ๆ (ฝั่งไคลเอ็นต์ทั้งหมด) ฉันต้องการโฮสต์บน Amazon S3 ฉันพบคำแนะนำหลายอย่างเกี่ยวกับเรื่องนี้และได้จัดการสร้างที่เก็บข้อมูล (ชื่อเดียวกับโดเมนของฉัน) ตั้งเป็นเว็บไซต์และอัปโหลดเนื้อหาบางส่วน สิ่งที่ฉันกำลังดิ้นรนและเมื่อเอกสารทั้งหมดเริ่มคลุมเครือเล็กน้อยคือวิธีกำหนดค่า DNS ของฉันอย่างถูกต้อง ผู้รับจดทะเบียนทั้งหมดของฉัน ( 123-reg ) สามารถแนะนำได้คือการส่งต่อเว็บซึ่งทำให้ฉันมี mydomain.com.s3.amazonaws.com ฉันต้องกำหนดค่าอะไรและที่ไหน (เช่น 123-reg / Amazon) ฉันจะได้รับ URL ที่สะอาด

117 dns  amazon-s3  amazon-web-services  hosting 

ฉันมีปัญหา*ในการใช้AWS CLI เพื่อเลือกไฟล์ย่อยจากที่เก็บข้อมูลบางส่วน การเพิ่ม*เส้นทางเช่นนี้ดูเหมือนจะไม่ได้ผล aws s3 cp s3://data/2016-08* .

116 amazon-web-services  amazon-s3  aws-cli 

หากฉันต้องการดาวน์โหลดเนื้อหาทั้งหมดของไดเร็กทอรีบน S3 ลงในเครื่องพีซีของฉันฉันควรใช้ cp หรือ sync คำสั่งใด ความช่วยเหลือใด ๆ จะได้รับการชื่นชมอย่างมาก ตัวอย่างเช่น, ถ้าฉันต้องการดาวน์โหลดเนื้อหาทั้งหมดของ "โฟลเดอร์นี้" ไปยังเดสก์ท็อปของฉันจะมีลักษณะเช่นนี้หรือไม่ aws s3 sync s3://"myBucket"/"this folder" C:\\Users\Desktop

116 windows  amazon-web-services  amazon-s3 

ฉันมีบัญชี AWS ฉันใช้ S3 เพื่อจัดเก็บข้อมูลสำรองจากเซิร์ฟเวอร์ที่แตกต่างกัน คำถามคือมีข้อมูลใด ๆ ในคอนโซล AWS เกี่ยวกับพื้นที่ดิสก์ที่ใช้ใน S3 cloud ของฉันหรือไม่

113 amazon-s3  amazon-web-services 

ฉันมองหาเครื่องมือที่จะช่วยฉันคัดลอกเนื้อหาของที่เก็บข้อมูล AWS S3 ไปยังที่เก็บข้อมูล AWS S3 ที่สองโดยไม่ต้องดาวน์โหลดเนื้อหาไปยังระบบไฟล์ภายในเครื่องก่อน ฉันได้พยายามใช้ตัวเลือกการคัดลอกคอนโซล AWS S3 แต่ส่งผลให้ไฟล์ที่ซ้อนกันบางไฟล์หายไป ฉันได้ลองใช้แอป Transmit (โดย Panic) คำสั่งที่ซ้ำกันจะดาวน์โหลดไฟล์ไปยังระบบโลคัลก่อนจากนั้นอัปโหลดกลับไปที่ที่เก็บข้อมูลที่สองซึ่งค่อนข้างไม่มีประสิทธิภาพ

112 amazon-s3  copy  amazon-web-services 

ฉันทำตามตัวอย่างในhttp://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_examples.html#iam-policy-example-s3สำหรับวิธีให้สิทธิ์ผู้ใช้เข้าถึงที่เก็บข้อมูลเดียว จากนั้นฉันทดสอบการกำหนดค่าโดยใช้ปลั๊กอิน W3 Total Cache Wordpress การทดสอบล้มเหลว ฉันยังลองจำลองปัญหาโดยใช้ไฟล์ aws s3 cp --acl=public-read --cache-control='max-age=604800, public' ./test.txt s3://my-bucket/ และล้มเหลวด้วย upload failed: ./test.txt to s3://my-bucket/test.txt A client error (AccessDenied) occurred when calling the PutObject operation: Access Denied ทำไมฉันไม่สามารถอัปโหลดไปยังที่เก็บข้อมูลของฉันได้

109 amazon-s3 

ใน boto ฉันเคยระบุข้อมูลประจำตัวของฉันเมื่อเชื่อมต่อกับ S3 ด้วยวิธีดังกล่าว: import boto from boto.s3.connection import Key, S3Connection S3 = S3Connection( settings.AWS_SERVER_PUBLIC_KEY, settings.AWS_SERVER_SECRET_KEY ) จากนั้นฉันสามารถใช้ S3 เพื่อดำเนินการได้ (ในกรณีของฉันคือการลบวัตถุออกจากที่เก็บข้อมูล) ด้วย boto3 ตัวอย่างทั้งหมดที่ฉันพบมีดังนี้: import boto3 S3 = boto3.resource( 's3' ) S3.Object( bucket_name, key_name ).delete() ฉันไม่สามารถระบุข้อมูลรับรองของฉันได้ดังนั้นความพยายามทั้งหมดจึงล้มเหลวด้วยInvalidAccessKeyIdข้อผิดพลาด ฉันจะระบุข้อมูลรับรองด้วย boto3 ได้อย่างไร?

109 python  amazon-web-services  amazon-s3  boto3