Amazon S3 boto - จะลบโฟลเดอร์ได้อย่างไร

ฉันสร้างโฟลเดอร์ใน s3 ชื่อ "test" แล้วดัน "test_1.jpg", "test_2.jpg" เป็น "test"

ฉันจะใช้ boto เพื่อลบโฟลเดอร์ "test" ได้อย่างไร?

ขณะนี้ไม่มีโฟลเดอร์ใน S3 แต่คีย์จะสร้างเนมสเปซแบบแบน อย่างไรก็ตามคีย์ที่มีเครื่องหมายทับในชื่อจะแสดงเป็นพิเศษในบางโปรแกรมรวมถึงคอนโซล AWS (ดูตัวอย่างเช่นAmazon S3 boto - จะสร้างโฟลเดอร์ได้อย่างไร )

แทนที่จะลบ "ไดเรกทอรี" คุณสามารถ (และต้อง) แสดงรายการไฟล์ตามคำนำหน้าและลบ ในสาระสำคัญ:

for key in bucket.list(prefix='your/directory/'):
    key.delete()

อย่างไรก็ตามคำตอบอื่น ๆ ที่ประสบความสำเร็จในหน้านี้มีแนวทางที่มีประสิทธิภาพมากกว่า

สังเกตว่าคำนำหน้าถูกค้นหาโดยใช้การค้นหาสตริงจำลอง ถ้าคำนำหน้าเป็นyour/directory, ที่อยู่, your/directory-that-you-wanted-to-remove-is-definitely-not-t‌​his-oneโดยไม่ต้องเฉือนท้ายท้ายโปรแกรมจะยังมีความสุขลบ

สำหรับข้อมูลเพิ่มเติมโปรดดูที่ปุ่มรายการ S3 boto บางครั้งส่งคืนคีย์ไดเรกทอรี

นี่คือเวอร์ชัน 2018 (เกือบ 2019):

s3 = boto3.resource('s3')
bucket = s3.Bucket('mybucket')
bucket.objects.filter(Prefix="myprefix/").delete()

ฉันรู้สึกว่ามันเป็นเวลานานแล้วและ boto3 ก็มีวิธีต่างๆในการบรรลุเป้าหมายนี้ การดำเนินการนี้จะถือว่าคุณต้องการลบ"โฟลเดอร์" ทดสอบและวัตถุทั้งหมดนี่เป็นวิธีหนึ่ง:

s3 = boto3.resource('s3')
objects_to_delete = s3.meta.client.list_objects(Bucket="MyBucket", Prefix="myfolder/test/")

delete_keys = {'Objects' : []}
delete_keys['Objects'] = [{'Key' : k} for k in [obj['Key'] for obj in objects_to_delete.get('Contents', [])]]

s3.meta.client.delete_objects(Bucket="MyBucket", Delete=delete_keys)

สิ่งนี้ควรส่งคำขอสองครั้งรายการหนึ่งเรียกวัตถุในโฟลเดอร์รายการที่สองเพื่อลบวัตถุทั้งหมดในโฟลเดอร์ดังกล่าว

https://boto3.readthedocs.org/en/latest/reference/services/s3.html#S3.Client.delete_objects

คุณสามารถใช้bucket.delete_keys ()กับรายการคีย์ (ด้วยคีย์จำนวนมากฉันพบว่านี่เป็นลำดับขนาดที่เร็วกว่าการใช้ key.delete)

สิ่งนี้:

delete_key_list = []
for key in bucket.list(prefix='/your/directory/'):
    delete_key_list.append(key)
    if len(delete_key_list) > 100:
        bucket.delete_keys(delete_key_list)
        delete_key_list = []

if len(delete_key_list) > 0:
    bucket.delete_keys(delete_key_list)

การปรับปรุงโซลูชันของ Patrick เล็กน้อย ดังที่คุณอาจทราบแล้วทั้งสองอย่างlist_objects()และdelete_objects()มีขีด จำกัด ของวัตถุที่ 1,000 นี่คือเหตุผลที่คุณต้องแบ่งหน้ารายการและลบเป็นชิ้น ๆ นี้เป็นสากลสวยและคุณสามารถให้Prefixการpaginator.paginate()ไดเรกทอรีย่อยลบ / เส้นทาง

client = boto3.client('s3', **credentials)
paginator = client.get_paginator('list_objects_v2')
pages = paginator.paginate(Bucket=self.bucket_name)

delete_us = dict(Objects=[])
for item in pages.search('Contents'):
    delete_us['Objects'].append(dict(Key=item['Key']))

    # flush once aws limit reached
    if len(delete_us['Objects']) >= 1000:
        client.delete_objects(Bucket=bucket, Delete=delete_us)
        delete_us = dict(Objects=[])

# flush rest
if len(delete_us['Objects']):
    client.delete_objects(Bucket=bucket, Delete=delete_us)

หากเปิดใช้งานการกำหนดเวอร์ชันบนที่เก็บ S3:

s3 = boto3.resource('s3')
bucket = s3.Bucket('mybucket')
bucket.object_versions.filter(Prefix="myprefix/").delete()

หากจำเป็นต้องกรองตามเนื้อหาวัตถุอย่างที่ฉันทำสิ่งต่อไปนี้คือพิมพ์เขียวสำหรับตรรกะของคุณ:

def get_s3_objects_batches(s3: S3Client, **base_kwargs):
    kwargs = dict(MaxKeys=1000, **base_kwargs)
    while True:
        response = s3.list_objects_v2(**kwargs)
        # to yield each and every file: yield from response.get('Contents', [])
        yield response.get('Contents', [])
        if not response.get('IsTruncated'):  # At the end of the list?
            break
        continuation_token = response.get('NextContinuationToken')
        kwargs['ContinuationToken'] = continuation_token


def your_filter(b):
   raise NotImplementedError()


session = boto3.session.Session(profile_name=profile_name)
s3client = session.client('s3')
for batch in get_s3_objects_batches(s3client, Bucket=bucket_name, Prefix=prefix):
    to_delete = [{'Key': obj['Key']} for obj in batch if your_filter(obj)]
    if to_delete:
        s3client.delete_objects(Bucket=bucket_name, Delete={'Objects': to_delete})