S3 จำกัด เฉพาะออบเจ็กต์ในที่เก็บข้อมูล


85

ไม่มีใครทราบว่ามีการ จำกัด จำนวนวัตถุที่ฉันสามารถใส่ลงในถัง S3 ได้หรือไม่? ฉันสามารถใส่เงินเป็นล้าน 10 ล้านและอื่น ๆ ในถังเดียวได้หรือไม่?


1
ทำไมไม่วางล้านหรือ 10 ล้านแล้วหาคำตอบ?
PurplePilot

27
คำขอ 10,000 รายการสำหรับ $ .01 อาจมีราคาแพงในการค้นหาขีด จำกัด ภายนอก ขอบคุณสำหรับคำพูดด้านล่าง
Quotient

1
20,000 สำหรับ 0.01 เหรียญตอนนี้
Petah

คำตอบ:


92

ตาม Amazon:

เขียนอ่านและลบอ็อบเจ็กต์ที่มีข้อมูลตั้งแต่ 0 ไบต์ถึง 5 เทราไบต์ คุณสามารถจัดเก็บวัตถุได้ไม่ จำกัด จำนวน

ที่มา: http://aws.amazon.com/s3/details/ณ วันที่ 3 กันยายน 2558


3
หมายเหตุ: สูงสุด 5GB สำหรับแต่ละ PUT หากคุณต้องการอัปโหลดวัตถุ 5TB คุณจะต้องเปิดการอัปโหลด multipart
whiteshooz

แม้ว่า 5 TB จะเป็นขนาดไฟล์สูงสุด แต่คุณยังสามารถจัดเก็บวัตถุที่มีขนาด 0 ไบต์ได้ ที่มา: ถาม: ฉันสามารถจัดเก็บข้อมูลใน Amazon S3 ได้เท่าใด
Norbert

17

ดูเหมือนขีด จำกัด จะเปลี่ยนไป คุณสามารถจัดเก็บ 5TB สำหรับวัตถุเดียว

ปริมาณข้อมูลและจำนวนวัตถุทั้งหมดที่คุณสามารถจัดเก็บได้ไม่ จำกัด ออบเจ็กต์ Amazon S3 แต่ละชิ้นสามารถมีขนาดตั้งแต่ขั้นต่ำ 0 ไบต์ไปจนถึงสูงสุด 5 เทราไบต์ วัตถุที่ใหญ่ที่สุดที่สามารถอัพโหลดได้ใน PUT เดียวคือ 5 กิกะไบต์ สำหรับวัตถุที่มีขนาดใหญ่กว่า 100 เมกะไบต์ลูกค้าควรพิจารณาใช้ความสามารถในการอัปโหลดหลายส่วน

http://aws.amazon.com/s3/faqs/#How_much_data_can_I_store


11
  • ไม่มีการ จำกัด วัตถุต่อที่เก็บข้อมูล
  • จำกัด 100 ที่เก็บข้อมูลต่อบัญชี (คุณต้องขอ amazon หากต้องการมากกว่านี้)
  • ไม่มีประสิทธิภาพลดลงแม้ว่าคุณจะเก็บวัตถุนับล้านไว้ในที่เก็บข้อมูลเดียว

จากเอกสาร

ไม่มีการ จำกัด จำนวนออบเจ็กต์ที่สามารถจัดเก็บในที่เก็บข้อมูลและประสิทธิภาพไม่แตกต่างกันไม่ว่าคุณจะใช้ที่เก็บข้อมูลจำนวนมากหรือเพียงไม่กี่ชิ้น คุณสามารถจัดเก็บวัตถุทั้งหมดของคุณในที่เก็บข้อมูลเดียวหรือคุณสามารถจัดระเบียบวัตถุเหล่านั้นในหลายถัง

ณ เดือน ส.ค. 2559


3
คำนำหน้าองค์กร / คีย์ของออบเจ็กต์ในที่เก็บข้อมูลสามารถสร้างความแตกต่างได้เมื่อคุณทำงานกับออบเจ็กต์นับล้าน ดูaws.amazon.com/blogs/aws/…
เทรนตัน

docs.aws.amazon.com/AmazonS3/latest/dev/… กล่าวว่า "คุณไม่จำเป็นต้องสุ่มการตั้งชื่อคำนำหน้าเพื่อประสิทธิภาพอีกต่อไป" แต่ไม่ชัดเจนจากเอกสารว่า S3 ทำดัชนีอย่างไร (แฮช? b-tree?) และสามารถแสดงรายการวัตถุที่ตรงกับคำนำหน้าได้อย่างมีประสิทธิภาพหรือไม่ เอกสารที่ล้าสมัยต่อไปนี้มีคำแนะนำบางประการaws.amazon.com/blogs/aws/…
Don Smith

7

แม้ว่าคุณจะสามารถจัดเก็บไฟล์ / ออบเจ็กต์ได้ไม่ จำกัด จำนวนในที่เก็บข้อมูลเดียว แต่เมื่อคุณไปที่รายการ "ไดเรกทอรี" ในที่เก็บข้อมูลจะให้ไฟล์ / วัตถุ 1,000 รายการแรกในที่เก็บข้อมูลนั้นตามค่าเริ่มต้นเท่านั้น หากต้องการเข้าถึงไฟล์ทั้งหมดใน "ไดเร็กทอรี" ขนาดใหญ่เช่นนี้คุณต้องทำการเรียก API หลายครั้ง


2

ไม่มีการ จำกัด จำนวนออบเจ็กต์ที่คุณสามารถจัดเก็บในที่เก็บข้อมูล S3 ของคุณ AWS อ้างว่ามีพื้นที่เก็บข้อมูลไม่ จำกัด อย่างไรก็ตามมีข้อ จำกัด บางประการ -

  1. โดยค่าเริ่มต้นลูกค้าสามารถจัดเตรียมที่เก็บข้อมูลได้สูงสุด 100 ถังต่อบัญชี AWS อย่างไรก็ตามคุณสามารถเพิ่มขีด จำกัด ที่เก็บข้อมูล Amazon S3 ได้โดยไปที่ AWS Service Limits
  2. วัตถุสามารถมีขนาด 0 ไบต์ถึง 5TB
  3. วัตถุที่ใหญ่ที่สุดที่สามารถอัพโหลดได้ใน PUT เดียวคือ 5 กิกะไบต์
  4. สำหรับวัตถุที่มีขนาดใหญ่กว่า 100 เมกะไบต์ลูกค้าควรพิจารณาใช้ความสามารถในการอัปโหลดหลายส่วน

ดังที่กล่าวไว้หากคุณมีวัตถุจำนวนมากที่จะเก็บไว้ในถัง S3 ให้พิจารณาสุ่มคำนำหน้าชื่อวัตถุของคุณเพื่อปรับปรุงประสิทธิภาพ

เมื่อเวิร์กโหลดของคุณเป็นประเภทคำขอผสมกันแนะนำการสุ่มให้กับชื่อคีย์โดยการเพิ่มสตริงแฮชเป็นคำนำหน้าชื่อคีย์ ด้วยการแนะนำการสุ่มให้กับชื่อคีย์ของคุณการโหลด I / O จะถูกกระจายไปตามพาร์ติชันดัชนีหลายตัว ตัวอย่างเช่นคุณสามารถคำนวณแฮช MD5 ของลำดับอักขระที่คุณวางแผนจะกำหนดเป็นคีย์และเพิ่มอักขระ 3 หรือ 4 ตัวจากแฮชเป็นคำนำหน้าชื่อคีย์

รายละเอียดเพิ่มเติม - https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/

- ข้อมูล ณ เดือนมิถุนายน 2561


0

"คุณสามารถจัดเก็บวัตถุได้มากเท่าที่คุณต้องการในที่เก็บข้อมูลและเขียนอ่านและลบวัตถุในที่เก็บข้อมูลของคุณวัตถุมีขนาดได้สูงสุด 5 เทราไบต์"

จากhttp://aws.amazon.com/s3/details/ (ข้อมูล ณ วันที่ 4 มีนาคม 2015)


-1

@ Acyra- ประสิทธิภาพของการส่งวัตถุจากถังเดียวจะขึ้นอยู่กับชื่อของวัตถุในนั้นเป็นอย่างมาก

หากชื่อไฟล์อยู่ห่างกันโดยใช้อักขระแบบสุ่มตำแหน่งทางกายภาพของพวกเขาจะถูกกระจายต่อไปบนฮาร์ดแวร์ AWS แต่ถ้าคุณตั้งชื่อทุกอย่างเป็น 'common-x.jpg', 'common-y.jpg' วัตถุเหล่านั้นจะถูกจัดเก็บไว้ด้วยกัน

การดำเนินการนี้อาจทำให้การส่งไฟล์ช้าลงหากคุณร้องขอพร้อมกัน แต่ไม่เพียงพอที่จะทำให้คุณกังวลความเสี่ยงที่มากขึ้นมาจากการสูญหายของข้อมูลหรือการหยุดทำงานเนื่องจากอ็อบเจ็กต์เหล่านี้ถูกจัดเก็บไว้ด้วยกันซึ่งจะสูญหายหรือไม่พร้อมใช้งานร่วมกัน


คุณมีข้อมูลอ้างอิงสำหรับสิ่งนี้หรือเป็นการคาดเดาที่มีการศึกษาหรือไม่? ฉันสามารถคาดเดาว่าวัตถุ S3 จะ sharded / ถกกันโดยชื่อหรือฉันสามารถคาดเดาสิ่งที่เพิ่มเติม randomising เหมือน sha1 / md5 หรือสิ่งที่ถูกนำมาใช้ ... แต่ไม่มีวัสดุที่มาฉันไม่จริงรู้
fazy
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.