ใน boto 2 คุณสามารถเขียนไปยังวัตถุ S3 โดยใช้วิธีการเหล่านี้:

• Key.set_contents_from_string ()
• Key.set_contents_from_file ()
• Key.set_contents_from_filename ()
• Key.set_contents_from_stream ()

มี boto 3 เทียบเท่าหรือไม่? วิธี boto3 ในการบันทึกข้อมูลไปยังวัตถุที่จัดเก็บบน S3 คืออะไร?

ใน boto 3 เมธอด 'Key.set_contents_from_' ถูกแทนที่ด้วย

• Object.put ()

• Client.put_object ()

ตัวอย่างเช่น:

import boto3

some_binary_data = b'Here we have some data'
more_binary_data = b'Here we have some more data'

# Method 1: Object.put()
s3 = boto3.resource('s3')
object = s3.Object('my_bucket_name', 'my/key/including/filename.txt')
object.put(Body=some_binary_data)

# Method 2: Client.put_object()
client = boto3.client('s3')
client.put_object(Body=more_binary_data, Bucket='my_bucket_name', Key='my/key/including/anotherfilename.txt')

หรืออีกวิธีหนึ่งข้อมูลไบนารีอาจมาจากการอ่านไฟล์ตามที่อธิบายไว้ในเอกสารทางการเปรียบเทียบ boto 2 และ boto 3 :

การจัดเก็บข้อมูล

การจัดเก็บข้อมูลจากไฟล์สตรีมหรือสตริงทำได้ง่าย:

# Boto 2.x
from boto.s3.key import Key
key = Key('hello.txt')
key.set_contents_from_file('/tmp/hello.txt')

# Boto 3
s3.Object('mybucket', 'hello.txt').put(Body=open('/tmp/hello.txt', 'rb'))

boto3 ยังมีวิธีการอัพโหลดไฟล์โดยตรง:

s3.Bucket('bucketname').upload_file('/local/file/here.txt','folder/sub/path/to/s3key')

http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Bucket.upload_file

คุณไม่จำเป็นต้องแปลงเนื้อหาเป็นไบนารีอีกต่อไปก่อนที่จะเขียนลงไฟล์ใน S3 ตัวอย่างต่อไปนี้สร้างไฟล์ข้อความใหม่ (เรียกว่า newfile.txt) ในที่เก็บข้อมูล S3 ที่มีเนื้อหาสตริง:

import boto3

s3 = boto3.resource(
    's3',
    region_name='us-east-1',
    aws_access_key_id=KEY_ID,
    aws_secret_access_key=ACCESS_KEY
)
content="String content to write to a new S3 file"
s3.Object('my-bucket-name', 'newfile.txt').put(Body=content)

นี่เป็นเคล็ดลับที่ดีในการอ่าน JSON จาก s3:

import json, boto3
s3 = boto3.resource("s3").Bucket("bucket")
json.load_s3 = lambda f: json.load(s3.Object(key=f).get()["Body"])
json.dump_s3 = lambda obj, f: s3.Object(key=f).put(Body=json.dumps(obj))

ตอนนี้คุณสามารถใช้json.load_s3และjson.dump_s3กับ API เช่นเดียวกับloadและdump

data = {"test":0}
json.dump_s3(data, "key") # saves json to s3://bucket/key
data = json.load_s3("key") # read json from s3://bucket/key

เวอร์ชันที่สะอาดและกระชับซึ่งฉันใช้เพื่ออัปโหลดไฟล์ได้ทันทีไปยังที่เก็บข้อมูล S3 และโฟลเดอร์ย่อยที่กำหนด -

import boto3

BUCKET_NAME = 'sample_bucket_name'
PREFIX = 'sub-folder/'

s3 = boto3.resource('s3')

# Creating an empty file called "_DONE" and putting it in the S3 bucket
s3.Object(BUCKET_NAME, PREFIX + '_DONE').put(Body="")

หมายเหตุ : คุณควรใส่ข้อมูลรับรอง AWS ของคุณ ( aws_access_key_idและaws_secret_access_key) ไว้ในไฟล์แยกต่างหากเสมอเช่น -~/.aws/credentials

ควรค่าแก่การกล่าวถึงสมาร์ทโอเพ่นที่ใช้boto3เป็นแบ็คเอนด์

smart-openเป็นดรอปแทนสำหรับหลามopenที่สามารถเปิดไฟล์จากs3เช่นเดียวกับftp, httpและโปรโตคอลอื่น ๆ อีกมากมาย

ตัวอย่างเช่น

from smart_open import open
import json
with open("s3://your_bucket/your_key.json", 'r') as f:
    data = json.load(f)

ข้อมูลประจำตัว aws ถูกโหลดผ่านข้อมูลประจำตัว boto3โดยปกติจะเป็นไฟล์ใน~/.aws/dir หรือตัวแปรสภาพแวดล้อม

คุณสามารถใช้โค้ดด้านล่างในการเขียนตัวอย่างเช่นรูปภาพไปยัง S3 ในปี 2019 เพื่อให้สามารถเชื่อมต่อกับ S3 ได้คุณจะต้องติดตั้ง AWS CLI โดยใช้คำสั่งpip install awscliจากนั้นป้อนข้อมูลรับรองโดยใช้คำสั่งaws configure:

import urllib3
import uuid
from pathlib import Path
from io import BytesIO
from errors import custom_exceptions as cex

BUCKET_NAME = "xxx.yyy.zzz"
POSTERS_BASE_PATH = "assets/wallcontent"
CLOUDFRONT_BASE_URL = "https://xxx.cloudfront.net/"


class S3(object):
    def __init__(self):
        self.client = boto3.client('s3')
        self.bucket_name = BUCKET_NAME
        self.posters_base_path = POSTERS_BASE_PATH

    def __download_image(self, url):
        manager = urllib3.PoolManager()
        try:
            res = manager.request('GET', url)
        except Exception:
            print("Could not download the image from URL: ", url)
            raise cex.ImageDownloadFailed
        return BytesIO(res.data)  # any file-like object that implements read()

    def upload_image(self, url):
        try:
            image_file = self.__download_image(url)
        except cex.ImageDownloadFailed:
            raise cex.ImageUploadFailed

        extension = Path(url).suffix
        id = uuid.uuid1().hex + extension
        final_path = self.posters_base_path + "/" + id
        try:
            self.client.upload_fileobj(image_file,
                                       self.bucket_name,
                                       final_path
                                       )
        except Exception:
            print("Image Upload Error for URL: ", url)
            raise cex.ImageUploadFailed

        return CLOUDFRONT_BASE_URL + id