คำถามติดแท็ก amazon-s3

ฉันเริ่มสคริปต์ทุบตีซึ่งจะใช้เส้นทางใน S3 (ตามที่ระบุไปยังคำสั่ง lsคำสั่ง) stdoutและการถ่ายโอนเนื้อหาของทั้งหมดของวัตถุไฟล์เพื่อ โดยเฉพาะอย่างยิ่งผมอยากที่จะทำซ้ำcat /path/to/files/*ยกเว้น S3 s3cat '/bucket/path/to/files/*'เช่น ความชอบแรกของฉันมองไปที่ตัวเลือกคือการใช้cpคำสั่งไปยังแฟ้มชั่วคราวแล้วcatว่า มีใครลองสิ่งนี้หรือคล้ายกันหรือมีคำสั่งที่ฉันไม่พบคำสั่งใดบ้าง

93 bash  amazon-web-services  amazon-s3  aws-cli 

ฉันกำลังมองหาคำแนะนำหรือแนวทางปฏิบัติที่ดีที่สุดในการสำรองข้อมูลถัง S3 วัตถุประสงค์ของการสำรองข้อมูลจาก S3 คือเพื่อป้องกันข้อมูลสูญหายเนื่องจากสิ่งต่อไปนี้: ปัญหา S3 ปัญหาที่ฉันลบข้อมูลนี้ออกจาก S3 โดยไม่ได้ตั้งใจ หลังจากการตรวจสอบแล้วฉันพบตัวเลือกต่อไปนี้: ใช้การกำหนดเวอร์ชันhttp://docs.aws.amazon.com/AmazonS3/latest/dev/Versioning.html คัดลอกจากที่เก็บข้อมูล S3 หนึ่งไปยังอีกถังหนึ่งโดยใช้ AWS SDK สำรองข้อมูลไปที่ Amazon Glacier http://aws.amazon.com/en/glacier/ สำรองข้อมูลไปยังเซิร์ฟเวอร์ที่ใช้งานจริงซึ่งสำรองไว้เอง ฉันควรเลือกตัวเลือกใดและการจัดเก็บข้อมูลเฉพาะใน S3 จะปลอดภัยเพียงใด ต้องการรับฟังความคิดเห็นของคุณ ลิงค์ที่มีประโยชน์: เอกสารการปกป้องข้อมูล คำถามที่พบบ่อยเกี่ยวกับการปกป้องข้อมูล

93 amazon-web-services  amazon-s3  backup  amazon-glacier 

มีการพึ่งพาระหว่างSparkและHadoopหรือไม่? ถ้าไม่มีคุณสมบัติใดบ้างที่ฉันจะพลาดเมื่อเรียกใช้Sparkโดยไม่มีHadoop ?

93 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

ฉันกำลังกำหนดค่าโครงการ Django ที่ใช้ระบบไฟล์เซิร์ฟเวอร์เพื่อจัดเก็บไฟล์คงที่ของแอป ( STATIC_ROOT) และไฟล์ที่ผู้ใช้อัปโหลด ( MEDIA_ROOT) ตอนนี้ฉันต้องการโฮสต์เนื้อหาทั้งหมดใน S3 ของ Amazon ดังนั้นฉันจึงสร้างที่เก็บข้อมูลสำหรับสิ่งนี้ เมื่อใช้django-storagesกับbotoแบ็กเอนด์ที่เก็บข้อมูลฉันจัดการเพื่ออัปโหลดสถิติที่รวบรวมไปยังที่เก็บ S3: MEDIA_ROOT = '/media/' STATIC_ROOT = '/static/' DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage' AWS_ACCESS_KEY_ID = 'KEY_ID...' AWS_SECRET_ACCESS_KEY = 'ACCESS_KEY...' AWS_STORAGE_BUCKET_NAME = 'bucket-name' STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage' จากนั้นฉันพบปัญหา: MEDIA_ROOTและSTATIC_ROOTไม่ได้ใช้ภายในที่เก็บข้อมูลดังนั้นที่เก็บข้อมูลรูทจึงมีทั้งไฟล์คงที่และเส้นทางที่ผู้ใช้อัปโหลด ดังนั้นฉันจึงสามารถตั้งค่า: S3_URL = 'http://s3.amazonaws.com/%s' % AWS_STORAGE_BUCKET_NAME STATIC_URL = S3_URL + STATIC_ROOT MEDIA_URL …

92 django  amazon-s3  django-settings  static-files  django-storage 

ฉันมีอินสแตนซ์ของ Amazon AWS ที่ทำงานอยู่หน้าทดสอบขึ้น ฉันกำลังพยายาม SFTP ไฟล์ไปยังเซิร์ฟเวอร์เพื่อแสดงเว็บไซต์ของฉัน ฉันมี Filezilla ที่เชื่อมต่อกับเซิร์ฟเวอร์ AWS แต่เมื่อฉันพยายามย้ายไฟล์จากเครื่องในระบบของฉันไปยังไดเร็กทอรี / var / www / html มันแจ้งว่าการอนุญาตถูกปฏิเสธ ฉันเพิ่งรู้ว่าฉันสามารถย้ายไฟล์ไปยังไดเร็กทอรี / home / ec2-user ได้ ดังนั้นไฟล์ของฉันจึงอยู่บนเซิร์ฟเวอร์ฉันเดา แต่เมื่อฉันพยายามย้ายจากที่นั่นไปยังไดเร็กทอรี / var / www / html มันก็ยังไม่ย้ายพวกเขาปฏิเสธการอนุญาต ฉันค้นคว้าเรื่องนี้มาประมาณ 2 ชั่วโมงแล้ว แต่ยังไม่พบคำตอบของเรื่องนี้ ความช่วยเหลือใด ๆ ที่ชื่นชมอย่างมากฉันใกล้แล้ว! ฮ่า ๆ ขอบคุณ อัปเดต

92 amazon-web-services  amazon-s3  amazon-ec2  webserver 

ฉันต้องการเขียนโค้ดใน python ซึ่งจะลบไฟล์ที่ต้องการออกจากที่เก็บข้อมูล Amazon s3 ฉันสามารถเชื่อมต่อกับที่เก็บข้อมูล Amazon s3 และยังบันทึกไฟล์ได้ แต่ฉันจะลบไฟล์ได้อย่างไร

92 python  amazon-s3  bucket 

ฉันต้องการคัดลอกไฟล์บางไฟล์จากที่เก็บข้อมูลการผลิตไปยังที่เก็บข้อมูลการพัฒนาทุกวัน ตัวอย่างเช่นคัดลอก productionbucket / feed / feedname / date ไปยัง developmentbucket / feed / feedname / date เนื่องจากไฟล์ที่ฉันต้องการอยู่ลึกมากในโครงสร้างโฟลเดอร์การไปที่แต่ละโฟลเดอร์และคัดลอก / วางจึงใช้เวลานานเกินไป ฉันได้เล่นกับการติดตั้งไดรฟ์ไปยังแต่ละที่เก็บข้อมูลและเขียนสคริปต์แบตช์ Windows แต่มันช้ามากและดาวน์โหลดไฟล์ / โฟลเดอร์ทั้งหมดไปยังเซิร์ฟเวอร์ภายในเครื่องโดยไม่จำเป็นและสำรองข้อมูลอีกครั้ง

91 amazon-s3 

คำถามธรรมดา ๆ แต่ฉันไม่สามารถหาคำตอบได้ การใช้การขนส่งฉันสามารถ "ย้าย" ไฟล์จากที่เก็บข้อมูล S3 หนึ่งในบัญชี AWS หนึ่งไปยังที่เก็บข้อมูล S3 อื่นในบัญชี AWS อื่นได้ แต่สิ่งที่ทำได้จริงคือดาวน์โหลดไฟล์จากไฟล์แรกจากนั้นอัปโหลดไปยังที่สอง มีวิธีย้ายไฟล์โดยตรงจากบัญชี S3 หนึ่งไปยังอีกบัญชีหนึ่งโดยไม่ต้องดาวน์โหลดระหว่างกันหรือไม่?

90 file  amazon-s3  amazon-web-services  transfer 

ปิด. คำถามนี้ไม่เป็นไปตามหลักเกณฑ์กองมากเกิน ขณะนี้ยังไม่ยอมรับคำตอบ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นหัวข้อสำหรับ Stack Overflow ปิดให้บริการใน2 ปีที่ผ่านมา ปรับปรุงคำถามนี้ ฉันต้องการโฮสต์เว็บไซต์แบบคงที่เฉพาะ HTTPS โดยใช้ Amazon S3 และ CloudFront นี่คือสิ่งที่ฉันได้ทำไปแล้ว: ตั้งค่าบัคเก็ต S3 สำหรับการโฮสต์เว็บไซต์แบบคงที่และใส่ไฟล์เว็บไซต์ของฉัน สร้างการกระจาย CloudFront และชี้ไปที่ที่เก็บข้อมูล S3 เพิ่มระเบียน CNAME ในเนมเซิร์ฟเวอร์ของโดเมนของฉันสำหรับwwwโดเมนย่อยที่ชี้ไปที่ที่เก็บข้อมูล CloudFront จนถึงตอนนี้ดีมาก - ฉันสามารถเข้าถึงเว็บไซต์ของฉันได้โดยใช้ที่www.example.comอยู่ อย่างไรก็ตามฉันต้องการให้ไซต์พร้อมใช้งานผ่าน HTTPS เท่านั้นซึ่งฉันซื้อใบรับรอง SSL จาก GoDaddy ตอนนี้คำถามคือ: มีวิธีติดตั้งใบรับรอง SSL ของบุคคลที่สามนี้บนเว็บไซต์ที่โฮสต์ S3 ของฉันหรือไม่ มีวิธีเปลี่ยนเส้นทาง http เป็น https อัตโนมัติด้วยการตั้งค่านี้หรือไม่

90 ssl  https  amazon-s3  amazon-cloudfront 

ฉันมีโครงสร้างโฟลเดอร์ต่อไปนี้ใน S3 มีวิธีลบไฟล์ทั้งหมดซ้ำ ๆ ในโฟลเดอร์บางโฟลเดอร์หรือไม่ (พูดfoo/bar1 or foo or foo/bar2/1.. ) foo/bar1/1/.. foo/bar1/2/.. foo/bar1/3/.. foo/bar2/1/.. foo/bar2/2/.. foo/bar2/3/..

90 amazon-s3  amazon-web-services 

ในโปรเจ็กต์ Node.js ฉันพยายามดึงข้อมูลกลับจาก S3 เมื่อฉันใช้getSignedURLทุกอย่างทำงานได้: aws.getSignedUrl('getObject', params, function(err, url){ console.log(url); }); พารามิเตอร์ของฉันคือ: var params = { Bucket: "test-aws-imagery", Key: "TILES/Level4/A3_B3_C2/A5_B67_C59_Tiles.par" หากฉันนำเอาต์พุต URL ไปยังคอนโซลและวางในเว็บเบราว์เซอร์จะดาวน์โหลดไฟล์ที่ฉันต้องการ อย่างไรก็ตามหากฉันพยายามใช้getObjectฉันจะพบพฤติกรรมแปลก ๆ ทุกประเภท ฉันเชื่อว่าฉันใช้มันไม่ถูกต้อง นี่คือสิ่งที่ฉันได้ลอง: aws.getObject(params, function(err, data){ console.log(data); console.log(err); }); ผลลัพธ์: { AcceptRanges: 'bytes', LastModified: 'Wed, 06 Apr 2016 20:04:02 GMT', ContentLength: '1602862', ETag: '9826l1e5725fbd52l88ge3f5v0c123a4"', ContentType: …

90 javascript  node.js  amazon-s3  aws-sdk  aws-sdk-nodejs 

AWS มีสถานที่จัดเก็บหลายแห่งและอินสแตนซ์ EC2 ให้ทำงานโดยมีราคาที่แตกต่างกัน ฉันจะทราบได้อย่างไรว่าสถานที่ใดเหมาะสมที่สุดสำหรับภูมิภาคหนึ่ง ๆ ใช้งานง่ายหรือไม่ (ใกล้เคียงกับพื้นที่ให้บริการของคุณมากที่สุดดีที่สุด) หรือมีข้อกังวลด้านความน่าเชื่อถือ (สถานที่ตั้ง AWS โดยเฉพาะที่ประสบปัญหาขัดข้องมากกว่าพื้นที่อื่น ๆ ) มีข้อมูลสำหรับการตัดสินใจดังกล่าวหรือไม่? ฉันกำลังพัฒนาแอปพลิเคชันที่มุ่งเน้นไปที่ลูกค้าชาวอินเดียเป็นหลัก ดังนั้นฉันกำลังพิจารณาสิงคโปร์หรือโตเกียวเป็นตัวเลือก

90 amazon-s3  amazon-ec2  amazon-web-services 

ไม่มีใครรู้วิธีการทำเช่นนี้? จนถึงตอนนี้ฉันยังไม่พบสิ่งที่เป็นประโยชน์ผ่านทาง Google ฉันต้องการตั้งค่า repo ในเครื่องและใช้git pushเพื่อเผยแพร่ไปยัง S3 โดยมีแนวคิดที่จะให้เวอร์ชันท้องถิ่นควบคุมเนื้อหา แต่มีพื้นที่เก็บข้อมูลระยะไกลบน S3 สามารถทำได้หรือไม่และถ้าทำได้อย่างไร

89 git  amazon-s3 

ฉันต้องการตรวจสอบว่ามีคีย์อยู่ในที่เก็บข้อมูลโดยใช้ Java หรือไม่ ฉันดู API แต่ไม่มีวิธีการใดที่เป็นประโยชน์ ฉันพยายามใช้getObjectแต่มันมีข้อยกเว้น

88 java  amazon-web-services  amazon-s3  aws-sdk 

ฉันสร้างโฟลเดอร์ใน s3 ชื่อ "test" แล้วดัน "test_1.jpg", "test_2.jpg" เป็น "test" ฉันจะใช้ boto เพื่อลบโฟลเดอร์ "test" ได้อย่างไร?

87 python  amazon-s3  boto