ตรวจสอบว่ามีกุญแจอยู่ในที่ฝากข้อมูลใน s3 โดยใช้ boto3

ฉันต้องการทราบว่ามีรหัสใน boto3 หรือไม่ ฉันสามารถวนเนื้อหาที่ฝากข้อมูลและตรวจสอบคีย์ถ้าตรงกัน

แต่ดูเหมือนว่านานกว่าและเกินเลยไป เอกสารอย่างเป็นทางการของ Boto3 ระบุวิธีการทำเช่นนี้อย่างชัดเจน

ฉันอาจจะหายไปอย่างชัดเจน ใครช่วยชี้ให้ฉันดูว่าฉันสามารถบรรลุสิ่งนี้ได้อย่างไร

boto.s3.key.Keyวัตถุของ Boto 2 เคยใช้existsวิธีการตรวจสอบว่ามีกุญแจอยู่บน S3 โดยทำการร้องขอ HEAD และดูผลลัพธ์ แต่ดูเหมือนว่าไม่มีอยู่อีกต่อไป คุณต้องทำมันเอง:

import boto3
import botocore

s3 = boto3.resource('s3')

try:
    s3.Object('my-bucket', 'dootdoot.jpg').load()
except botocore.exceptions.ClientError as e:
    if e.response['Error']['Code'] == "404":
        # The object does not exist.
        ...
    else:
        # Something else has gone wrong.
        raise
else:
    # The object does exist.
    ...

load() ทำการร้องขอ HEAD สำหรับคีย์เดียวซึ่งเร็วแม้ว่าวัตถุที่มีปัญหาจะมีขนาดใหญ่หรือคุณมีวัตถุจำนวนมากในที่เก็บข้อมูลของคุณ

แน่นอนคุณอาจตรวจสอบว่ามีวัตถุอยู่หรือไม่เพราะคุณวางแผนที่จะใช้มัน หากเป็นกรณีนี้คุณสามารถลืมload()และทำget()หรือdownload_file()โดยตรงจากนั้นจัดการกรณีข้อผิดพลาดที่นั่น

ฉันไม่ใช่แฟนตัวยงของการใช้ข้อยกเว้นสำหรับโฟลว์การควบคุม นี่เป็นวิธีทางเลือกที่ใช้งานได้ใน boto3:

import boto3

s3 = boto3.resource('s3')
bucket = s3.Bucket('my-bucket')
key = 'dootdoot.jpg'
objs = list(bucket.objects.filter(Prefix=key))
if any([w.key == path_s3 for w in objs]):
    print("Exists!")
else:
    print("Doesn't exist")

วิธีที่ง่ายที่สุดที่ฉันพบ (และอาจมีประสิทธิภาพมากที่สุด) คือ:

import boto3
from botocore.errorfactory import ClientError

s3 = boto3.client('s3')
try:
    s3.head_object(Bucket='bucket_name', Key='file_path')
except ClientError:
    # Not found
    pass

ใน Boto3 หากคุณกำลังตรวจสอบโฟลเดอร์ (คำนำหน้า) หรือไฟล์โดยใช้ list_objects คุณสามารถใช้การดำรงอยู่ของ 'เนื้อหา' ใน dict การตอบสนองเป็นการตรวจสอบว่าวัตถุมีอยู่ เป็นอีกวิธีหนึ่งในการหลีกเลี่ยงการลอง / ยกเว้นการจับตามที่ @EvilPuppetMaster แนะนำ

import boto3
client = boto3.client('s3')
results = client.list_objects(Bucket='my-bucket', Prefix='dootdoot.jpg')
return 'Contents' in results

ไม่เพียงclientแต่bucketด้วย:

import boto3
import botocore
bucket = boto3.resource('s3', region_name='eu-west-1').Bucket('my-bucket')

try:
  bucket.Object('my-file').get()
except botocore.exceptions.ClientError as ex:
  if ex.response['Error']['Code'] == 'NoSuchKey':
    print('NoSuchKey')

คุณสามารถใช้S3Fซึ่งเป็นตัวห่อหุ้มรอบ boto3 ที่แสดงการดำเนินงานสไตล์ระบบไฟล์โดยทั่วไป:

import s3fs
s3 = s3fs.S3FileSystem()
s3.exists('myfile.txt')

import boto3
client = boto3.client('s3')
s3_key = 'Your file without bucket name e.g. abc/bcd.txt'
bucket = 'your bucket name'
content = client.head_object(Bucket=bucket,Key=s3_key)
    if content.get('ResponseMetadata',None) is not None:
        print "File exists - s3://%s/%s " %(bucket,s3_key) 
    else:
        print "File does not exist - s3://%s/%s " %(bucket,s3_key)

FWIW นี่คือฟังก์ชั่นที่ง่ายมากที่ฉันใช้

import boto3

def get_resource(config: dict={}):
    """Loads the s3 resource.

    Expects AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY to be in the environment
    or in a config dictionary.
    Looks in the environment first."""

    s3 = boto3.resource('s3',
                        aws_access_key_id=os.environ.get(
                            "AWS_ACCESS_KEY_ID", config.get("AWS_ACCESS_KEY_ID")),
                        aws_secret_access_key=os.environ.get("AWS_SECRET_ACCESS_KEY", config.get("AWS_SECRET_ACCESS_KEY")))
    return s3


def get_bucket(s3, s3_uri: str):
    """Get the bucket from the resource.
    A thin wrapper, use with caution.

    Example usage:

    >> bucket = get_bucket(get_resource(), s3_uri_prod)"""
    return s3.Bucket(s3_uri)


def isfile_s3(bucket, key: str) -> bool:
    """Returns T/F whether the file exists."""
    objs = list(bucket.objects.filter(Prefix=key))
    return len(objs) == 1 and objs[0].key == key


def isdir_s3(bucket, key: str) -> bool:
    """Returns T/F whether the directory exists."""
    objs = list(bucket.objects.filter(Prefix=key))
    return len(objs) > 1

สมมติว่าคุณต้องการตรวจสอบว่ามีกุญแจอยู่หรือไม่ (แทนที่จะเขียนทับมันอย่างเงียบ ๆ ) ให้ทำการตรวจสอบนี้ก่อน:

import boto3

def key_exists(mykey, mybucket):
  s3_client = boto3.client('s3')
  response = s3_client.list_objects_v2(Bucket=mybucket, Prefix=mykey)
  if response:
      for obj in response['Contents']:
          if mykey == obj['Key']:
              return True
  return False

if key_exists('someprefix/myfile-abc123', 'my-bucket-name'):
    print("key exists")
else:
    print("safe to put new bucket object")
    # try:
    #     resp = s3_client.put_object(Body="Your string or file-like object",
    #                                 Bucket=mybucket,Key=mykey)
    # ...check resp success and ClientError exception for errors...

สิ่งนี้สามารถตรวจสอบทั้งคำนำหน้าและคีย์และดึงได้ไม่เกิน 1 คีย์

def prefix_exits(bucket, prefix):
    s3_client = boto3.client('s3')
    res = s3_client.list_objects_v2(Bucket=bucket, Prefix=prefix, MaxKeys=1)
    return 'Contents' in res

ลองง่าย ๆ

import boto3
s3 = boto3.resource('s3')
bucket = s3.Bucket('mybucket_name') # just Bucket name
file_name = 'A/B/filename.txt'      # full file path
obj = list(bucket.objects.filter(Prefix=file_name))
if len(obj) > 0:
    print("Exists")
else:
    print("Not Exists")

หากคุณมีน้อยกว่า 1,000 ในไดเรคทอรีหรือที่ฝากข้อมูลคุณสามารถรับชุดของพวกเขาและหลังจากตรวจสอบว่าคีย์ดังกล่าวในชุดนี้:

files_in_dir = {d['Key'].split('/')[-1] for d in s3_client.list_objects_v2(
Bucket='mybucket',
Prefix='my/dir').get('Contents') or []}

รหัสดังกล่าวใช้งานได้แม้ว่าmy/dirจะไม่มีอยู่

http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Client.list_objects_v2

S3_REGION="eu-central-1"
bucket="mybucket1"
name="objectname"

import boto3
from botocore.client import Config
client = boto3.client('s3',region_name=S3_REGION,config=Config(signature_version='s3v4'))
list = client.list_objects_v2(Bucket=bucket,Prefix=name)
for obj in list.get('Contents', []):
    if obj['Key'] == name: return True
return False

สำหรับ boto3 สามารถใช้ObjectSummaryเพื่อตรวจสอบว่ามีวัตถุอยู่หรือไม่

มีข้อมูลสรุปของวัตถุที่เก็บอยู่ในที่ฝากข้อมูล Amazon S3 วัตถุนี้ไม่ได้มีข้อมูลเมตาแบบเต็มของวัตถุหรือเนื้อหาใด ๆ ของมัน

import boto3
from botocore.errorfactory import ClientError
def path_exists(path, bucket_name):
    """Check to see if an object exists on S3"""
    s3 = boto3.resource('s3')
    try:
        s3.ObjectSummary(bucket_name=bucket_name, key=path).load()
    except ClientError as e:
        if e.response['Error']['Code'] == "404":
            return False
        else:
            raise e
    return True

path_exists('path/to/file.html')

ในObjectSummary.load

โทร s3.Client.head_object เพื่ออัพเดตคุณสมบัติของทรัพยากร ObjectSummary

นี้แสดงให้เห็นว่าคุณสามารถใช้ObjectSummaryแทนถ้าคุณกำลังวางแผนในการไม่ได้ใช้Object ฟังก์ชั่นไม่เรียกวัตถุที่มันได้รับการสรุปget()load()

นี่คือทางออกที่เหมาะกับฉัน ข้อแม้หนึ่งคือฉันรู้รูปแบบที่แน่นอนของคีย์ล่วงหน้าดังนั้นฉันจึงแสดงรายการไฟล์เดียว

import boto3

# The s3 base class to interact with S3
class S3(object):
  def __init__(self):
    self.s3_client = boto3.client('s3')

  def check_if_object_exists(self, s3_bucket, s3_key):
    response = self.s3_client.list_objects(
      Bucket = s3_bucket,
      Prefix = s3_key
      )
    if 'ETag' in str(response):
      return True
    else:
      return False

if __name__ == '__main__':
  s3  = S3()
  if s3.check_if_object_exists(bucket, key):
    print "Found S3 object."
  else:
    print "No object found."

คุณสามารถใช้ Boto3 สำหรับสิ่งนี้

import boto3
s3 = boto3.resource('s3')
bucket = s3.Bucket('my-bucket')
objs = list(bucket.objects.filter(Prefix=key))
if(len(objs)>0):
    print("key exists!!")
else:
    print("key doesn't exist!")

ที่นี่สำคัญคือเส้นทางที่คุณต้องการตรวจสอบว่ามีอยู่หรือไม่

มันง่ายมากด้วยget()วิธีการ

import botocore
from boto3.session import Session
session = Session(aws_access_key_id='AWS_ACCESS_KEY',
                aws_secret_access_key='AWS_SECRET_ACCESS_KEY')
s3 = session.resource('s3')
bucket_s3 = s3.Bucket('bucket_name')

def not_exist(file_key):
    try:
        file_details = bucket_s3.Object(file_key).get()
        # print(file_details) # This line prints the file details
        return False
    except botocore.exceptions.ClientError as e:
        if e.response['Error']['Code'] == "NoSuchKey": # or you can check with e.reponse['HTTPStatusCode'] == '404'
            return True
        return False # For any other error it's hard to determine whether it exists or not. so based on the requirement feel free to change it to True/ False / raise Exception

print(not_exist('hello_world.txt')) 

มีวิธีหนึ่งง่ายๆที่เราสามารถตรวจสอบว่ามีไฟล์อยู่หรือไม่ในถัง S3 เราไม่จำเป็นต้องใช้ข้อยกเว้นสำหรับสิ่งนี้

sesssion = boto3.Session(aws_access_key_id, aws_secret_access_key)
s3 = session.client('s3')

object_name = 'filename'
bucket = 'bucketname'
obj_status = s3.list_objects(Bucket = bucket, Prefix = object_name)
if obj_status.get('Contents'):
    print("File exists")
else:
    print("File does not exists")

หากคุณค้นหาคีย์ที่เทียบเท่ากับไดเรกทอรีคุณอาจต้องการแนวทางนี้

session = boto3.session.Session()
resource = session.resource("s3")
bucket = resource.Bucket('mybucket')

key = 'dir-like-or-file-like-key'
objects = [o for o in bucket.objects.filter(Prefix=key).limit(1)]    
has_key = len(objects) > 0

สิ่งนี้ใช้ได้สำหรับคีย์หลักหรือคีย์ที่เท่ากับไฟล์หรือคีย์ที่ไม่มีอยู่ ฉันลองใช้วิธีที่ชอบด้านบนและล้มเหลวในคีย์หลัก

ฉันสังเกตเห็นว่าเพียงแค่จับข้อยกเว้นโดยใช้botocore.exceptions.ClientErrorเราจำเป็นต้องติดตั้ง botocore botocore ใช้พื้นที่ดิสก์สูงถึง 36M นี่เป็นสิ่งที่กระทบโดยเฉพาะอย่างยิ่งถ้าเราใช้ฟังก์ชั่น aws lambda ถ้าเราใช้ข้อยกเว้นเราสามารถข้ามโดยใช้ไลบรารีพิเศษ!

• ฉันกำลังตรวจสอบว่านามสกุลไฟล์เป็น '.csv'
• สิ่งนี้จะไม่ส่งข้อยกเว้นหากไม่มีที่เก็บข้อมูล!
• สิ่งนี้จะไม่ส่งข้อยกเว้นหากที่เก็บข้อมูลมีอยู่ แต่ไม่มีวัตถุ!
• สิ่งนี้จะทำให้เกิดข้อยกเว้นถ้าที่เก็บข้อมูลว่างเปล่า!
• สิ่งนี้ทำให้เกิดข้อยกเว้นถ้าที่ฝากข้อมูลไม่มีสิทธิ์!

รหัสมีลักษณะเช่นนี้ กรุณาแบ่งปันความคิดของคุณ:

import boto3
import traceback

def download4mS3(s3bucket, s3Path, localPath):
    s3 = boto3.resource('s3')

    print('Looking for the csv data file ending with .csv in bucket: ' + s3bucket + ' path: ' + s3Path)
    if s3Path.endswith('.csv') and s3Path != '':
        try:
            s3.Bucket(s3bucket).download_file(s3Path, localPath)
        except Exception as e:
            print(e)
            print(traceback.format_exc())
            if e.response['Error']['Code'] == "404":
                print("Downloading the file from: [", s3Path, "] failed")
                exit(12)
            else:
                raise
        print("Downloading the file from: [", s3Path, "] succeeded")
    else:
        print("csv file not found in in : [", s3Path, "]")
        exit(12)

ใครก็ตามสามารถสรุปได้ว่าอันไหนเป็นวิธีที่มีประสิทธิภาพที่สุดในการตรวจสอบว่ามีวัตถุอยู่ใน S3 หรือไม่?

ฉันคิดว่า head_object อาจชนะเพราะตรวจสอบข้อมูลเมตาที่เบากว่าวัตถุจริง

จากhttps://www.peterbe.com/plog/fastest-way-to-find-out-if-a-file-exists-in-s3สิ่งนี้ชี้ให้เห็นว่าเป็นวิธีที่เร็วที่สุด:

import boto3

boto3_session = boto3.session.Session()
s3_session_client = boto3_session.client("s3")
response = s3_session_client.list_objects_v2(
    Bucket=bc_df_caches_bucket, Prefix=s3_key
)
for obj in response.get("Contents", []):
    if obj["Key"] == s3_key:
        return True
return False

เช็คเอาท์

bucket.get_key(
    key_name, 
    headers=None, 
    version_id=None, 
    response_headers=None, 
    validate=True
)

ตรวจสอบเพื่อดูว่ามีคีย์เฉพาะอยู่ในที่เก็บข้อมูลหรือไม่ วิธีนี้ใช้การร้องขอ HEAD เพื่อตรวจสอบการมีอยู่ของคีย์ คืนค่า: อินสแตนซ์ของวัตถุคีย์หรือไม่มี

จากBoto S3 Docs

คุณสามารถเรียก bucket.get_key (ชื่อคีย์) และตรวจสอบว่าวัตถุที่ส่งคืนเป็น None หรือไม่