วิธีสร้าง 10,000 ไฟล์ใน S3 สาธารณะ

ฉันมีโฟลเดอร์ในที่เก็บข้อมูล 10,000 ไฟล์ ดูเหมือนว่าจะไม่มีวิธีใดในการอัปโหลดและทำให้เป็นแบบสาธารณะทันที ดังนั้นฉันจึงอัปโหลดทั้งหมดเป็นแบบส่วนตัวและฉันต้องทำให้เป็นแบบสาธารณะทั้งหมด

ฉันได้ลองใช้คอนโซล aws แล้วมันทำให้เกิดข้อผิดพลาด (ทำงานได้ดีกับโฟลเดอร์ที่มีไฟล์น้อยกว่า)

ฉันได้ลองใช้ S3 จัดระเบียบใน Firefox เหมือนกัน

มีซอฟต์แวร์หรือสคริปต์บางตัวที่ฉันสามารถเรียกใช้เพื่อทำให้สิ่งเหล่านี้เป็นสาธารณะได้หรือไม่

คุณสามารถสร้างนโยบายที่เก็บข้อมูล (ดูตัวอย่างด้านล่าง) ซึ่งให้สิทธิ์เข้าถึงไฟล์ทั้งหมดในที่เก็บข้อมูล คุณสามารถเพิ่มนโยบายที่เก็บข้อมูลลงในที่เก็บข้อมูลผ่านคอนโซล AWS

{
    "Id": "...",
    "Statement": [ {
        "Sid": "...",
        "Action": [
            "s3:GetObject"
        ],
        "Effect": "Allow",
        "Resource": "arn:aws:s3:::bucket/*",
        "Principal": {
            "AWS": [ "*" ]
        }
    } ]
}

ดูที่เครื่องมือสร้างนโยบายต่อไปนี้ที่จัดทำโดย Amazon

http://awspolicygen.s3.amazonaws.com/policygen.html

หากคุณกำลังอัปโหลดเป็นครั้งแรกคุณสามารถตั้งค่าไฟล์เป็นสาธารณะเมื่ออัปโหลดบนบรรทัดคำสั่ง:

aws s3 sync . s3://my-bucket/path --acl public-read

ตามที่ระบุไว้ในการใช้คำสั่ง s3 ระดับสูงกับ AWS Command Line Interface

น่าเสียดายที่จะใช้ ACL เมื่ออัปโหลดไฟล์เท่านั้น มันไม่ (ในการทดสอบของฉัน) ใช้ ACL กับไฟล์ที่อัปโหลดแล้ว

หากคุณต้องการอัปเดตวัตถุที่มีอยู่คุณเคยสามารถซิงค์ที่เก็บข้อมูลกับตัวเองได้ แต่ดูเหมือนว่าจะหยุดทำงาน

[ไม่ทำงานอีกต่อไป] สามารถทำได้จากบรรทัดคำสั่ง:

aws s3 sync s3://my-bucket/path s3://my-bucket/path --acl public-read

(ดังนั้นสิ่งนี้จึงไม่ตอบคำถามอีกต่อไป แต่ทิ้งคำตอบไว้สำหรับการอ้างอิงตามที่เคยใช้ได้ผล)

ฉันต้องเปลี่ยนวัตถุหลายแสนชิ้น ฉันยิงอินสแตนซ์ EC2 ขึ้นเพื่อเรียกใช้สิ่งนี้ซึ่งทำให้ทุกอย่างเร็วขึ้น คุณจะต้องติดตั้งไฟล์aws-sdkอัญมณีก่อน

นี่คือรหัส:

require 'rubygems'
require 'aws-sdk'


# Change this stuff.
AWS.config({
    :access_key_id => 'YOURS_HERE',
    :secret_access_key => 'YOURS_HERE',
})
bucket_name = 'YOUR_BUCKET_NAME'


s3 = AWS::S3.new()
bucket = s3.buckets[bucket_name]
bucket.objects.each do |object|
    puts object.key
    object.acl = :public_read
end

ฉันมีปัญหาเดียวกันการแก้ปัญหาโดย @DanielVonFange ล้าสมัยเนื่องจาก SDK เวอร์ชันใหม่หมด

การเพิ่มข้อมูลโค้ดที่เหมาะกับฉันในตอนนี้ด้วย AWS Ruby SDK:

require 'aws-sdk'

Aws.config.update({
  region: 'REGION_CODE_HERE',
  credentials: Aws::Credentials.new(
    'ACCESS_KEY_ID_HERE',
    'SECRET_ACCESS_KEY_HERE'
  )
})
bucket_name = 'BUCKET_NAME_HERE'

s3 = Aws::S3::Resource.new
s3.bucket(bucket_name).objects.each do |object|
  puts object.key
  object.acl.put({ acl: 'public-read' })
end

เพียงแค่ต้องการเพิ่มสิ่งนั้นด้วย S3 Console ใหม่คุณสามารถเลือกโฟลเดอร์ของคุณและเลือกที่Make publicจะทำให้ไฟล์ทั้งหมดในโฟลเดอร์เป็นสาธารณะ ทำงานเป็นงานพื้นหลังดังนั้นจึงควรจัดการไฟล์จำนวนเท่าใดก็ได้

การใช้ cli:

aws s3 ls s3://bucket-name --recursive > all_files.txt && grep .jpg all_files.txt > files.txt && cat files.txt | awk '{cmd="aws s3api put-object-acl --acl public-read --bucket bucket-name --key "$4;system(cmd)}'

หากสิ่งนี้ต้องการตัวเอง แต่จำนวนไฟล์ทำให้ช้าในการทำแบบอนุกรม ดังนั้นฉันจึงเขียนสคริปต์ที่ไม่ได้อยู่บนiron.io 's ช่างเหล็กบริการชั่วโมงการคำนวณฟรี 500 ชั่วโมงต่อเดือนของพวกเขาเพียงพอที่จะจัดการกับที่เก็บข้อมูลขนาดใหญ่ได้ (และหากคุณทำเกินราคาก็สมเหตุสมผล) เนื่องจากมันทำแบบขนานมันจะเสร็จสิ้นภายในเวลาไม่ถึงหนึ่งนาทีสำหรับวัตถุ 32,000 ชิ้นที่ฉันมี นอกจากนี้ฉันเชื่อว่าเซิร์ฟเวอร์ของพวกเขาทำงานบน EC2 ดังนั้นการสื่อสารระหว่างงานและ S3 จึงรวดเร็ว

ทุกคนสามารถใช้สคริปต์ของฉันตามความต้องการของตนเองได้

ดูBucketExplorerซึ่งจัดการการดำเนินงานจำนวนมากได้เป็นอย่างดีและเป็นไคลเอนต์ S3 ที่มั่นคง

คุณคิดว่าพวกเขาจะให้คนทั่วไปอ่านพฤติกรรมเริ่มต้นใช่ไหม :) ฉันแบ่งปันความไม่พอใจของคุณในขณะที่สร้าง API ที่กำหนดเองเพื่อเชื่อมต่อกับ S3 จากโซลูชัน C # นี่คือตัวอย่างข้อมูลที่อัปโหลดอ็อบเจ็กต์ S3 และตั้งค่าเป็นการเข้าถึงแบบอ่านสาธารณะโดยค่าเริ่มต้น:

public void Put(string bucketName, string id, byte[] bytes, string contentType, S3ACLType acl) {
     string uri = String.Format("https://{0}/{1}", BASE_SERVICE_URL, bucketName.ToLower());
     DreamMessage msg = DreamMessage.Ok(MimeType.BINARY, bytes);
     msg.Headers[DreamHeaders.CONTENT_TYPE] = contentType;
     msg.Headers[DreamHeaders.EXPECT] = "100-continue";
     msg.Headers[AWS_ACL_HEADER] = ToACLString(acl);
     try {
        Plug s3Client = Plug.New(uri).WithPreHandler(S3AuthenticationHeader);
        s3Client.At(id).Put(msg);
     } catch (Exception ex) {
        throw new ApplicationException(String.Format("S3 upload error: {0}", ex.Message));
     }
}

ผลตอบแทนที่ได้ ToACLString (ACL) ฟังก์ชั่นที่สาธารณะอ่าน , BASE_SERVICE_URL เป็นs3.amazonaws.comและคง AWS_ACL_HEADER คือX-AMZ-ACL สิ่งต่างๆของปลั๊กและ DreamMessage อาจดูแปลกสำหรับคุณเนื่องจากเราใช้ Dream framework เพื่อปรับปรุงการสื่อสาร http ของเรา โดยพื้นฐานแล้วเรากำลังทำ http PUT ด้วยส่วนหัวที่ระบุและลายเซ็นส่วนหัวพิเศษตามข้อกำหนดของ aws (ดูหน้านี้ในเอกสาร awsสำหรับตัวอย่างวิธีสร้างส่วนหัวการอนุญาต)

หากต้องการเปลี่ยน ACL ของออบเจ็กต์ 1,000 รายการที่มีอยู่คุณสามารถเขียนสคริปต์ได้ แต่อาจจะง่ายกว่าถ้าใช้เครื่องมือ GUI เพื่อแก้ไขปัญหาเฉพาะหน้า สิ่งที่ดีที่สุดที่ฉันเคยใช้มาจาก บริษัท ชื่อcloudberryสำหรับ S3; ดูเหมือนว่าพวกเขามีการทดลองใช้ฟรี 15 วันสำหรับผลิตภัณฑ์อย่างน้อยหนึ่งอย่าง ฉันเพิ่งตรวจสอบแล้วว่าจะช่วยให้คุณสามารถเลือกหลายวัตถุพร้อมกันและตั้งค่า ACL เป็นสาธารณะผ่านเมนูบริบท สนุกกับคลาวด์!