ระบบจัดเก็บข้อมูลวัตถุที่เข้ากันได้กับ S3 [ปิด]

มีใครพบกับระบบจัดเก็บข้อมูลวัตถุที่เข้ากันได้กับ Amazon S3 RESTful API เกือบ 100% หรือไม่?

สิ่งที่ฉันเป็นหลังจากนั้นคือเลเยอร์ที่อยู่ด้านบนของระบบไฟล์ (ควรเป็น POSIX) ที่มี API RESTful API ของ Amazon S3 ในการจัดเก็บ ( PUT), ดึง ( GET), สถิติ ( HEAD) และลบ ( DELETE) พร้อมการรับรองความถูกต้องที่เหมาะสม

ยินดีต้อนรับโครงการ / แนวคิดเชิงพาณิชย์ด้วย

บันทึก:

ฉันเคยลองยูคาลิปตัสและคิวมูลัสมาแล้ว ยูคาลิปตัสตัวใดที่ดูเหมือนจะสุ่มสี่สุ่มห้าเรียกตนเองว่าเข้ากันได้กับ S3 เอกสาร XML การตอบกลับไม่สามารถใช้งานร่วมกันได้และสามารถแก้ไขได้ในบางสถานที่โดยไม่มีเอกสาร XML เลย คิวมูลัสมีการจัดการเพื่อให้เอกสารตอบสนองค่อนข้างคล้ายกัน แต่ดูเหมือนว่าจะลืมเกี่ยวกับความถูกต้องของข้อมูล!

ให้ฉันอธิบายส่วนหลัง: ทั้งยูคาลิปตัสและคิวมูลัสไม่สนับสนุนการตรวจสอบความสมบูรณ์ที่ Amazon S3 เสนอ สิ่งที่คุณสามารถทำได้กับ S3 คือคุณสามารถให้ Base64 (MD5 (FILE)) พร้อมกับคำขอ PUT ซึ่งจะได้รับการยืนยันโดย S3 ก่อนที่พวกเขาจะตอบสนองด้วยความสำเร็จ ยูคาลิปตัสและคิวมูลัสไม่สนับสนุนสิ่งนี้ ด้วยยูคาลิปตัสอย่างน้อยเราก็สามารถหลีกเลี่ยงสิ่งนี้ได้โดยการตรวจสอบ MD5 ที่ให้ไว้ในเอกสารตอบกลับ (ไม่ใช่พฤติกรรมที่เข้ากันได้กับ S3) ในคิวมูลัสสิ่งนี้เป็นไปไม่ได้เพราะไม่ตอบสนองอะไรเลย (เช่น S3) มันทำให้แย่ลงโดย Cumulus โดยไม่ให้ ETag ในการHEADร้องขอ

Swiftเป็นเครื่องมือเก็บข้อมูลวัตถุของ OpenStack และในการเปิดตัว Bexar ในเดือนกุมภาพันธ์ 2554มันอ้างว่าเป็นมิดเดิลแวร์ที่รองรับ S3 ได้ ในฐานะที่เป็น OpenStack กำลังได้รับความสนใจเป็นอย่างมาก (Canonical กำลังเปลี่ยน Ubuntu ไปเป็นยูคาลิปตัสในเดือนตุลาคมนี้) อาจเป็นสิ่งที่ควรค่าแก่การดู

ในท้ายที่สุดฉันต้องก้าวไปข้างหน้ากับยูคาลิปตัสวอลรัส แม้ว่าฉันจะพบปัญหาพื้นฐานบางอย่างแล้วพวกเขาก็มีวิธีแก้ไขที่เป็นไปได้

ขอบคุณทุกคนสำหรับการป้อนข้อมูลที่มีค่าของคุณ!

[การปฏิเสธความรับผิด: ฉันทำงานเพื่อ Scality]

อเมซอนยังคงใช้งานได้ดีกับผลิตภัณฑ์ AWS ของพวกเขาและทำการเพิ่มและเปลี่ยนแปลง / ปรับปรุง API ของพวกเขาบ่อยครั้งมาก มันยากที่จะหาผลิตภัณฑ์ที่ใช้งานร่วมกันได้ใกล้ 100% (โดยเฉพาะในผลิตภัณฑ์เชิงพาณิชย์ผลิตภัณฑ์ OSS อาจจะมีปฏิกิริยาตอบสนองต่อการเปลี่ยนแปลงมากขึ้น) ผู้ค้าที่เก็บวัตถุ / คลาวด์หลายคนกำลังเล่นกับโปรโตคอลของตัวเองมาระยะหนึ่งแล้ว (Atmos, DDN แม้แต่ OpenStack ของ swift .. ) แต่พวกเขาส่วนใหญ่ทิ้งแนวคิดของโพรโทคอลของตัวเองที่ใช้กันอย่างแพร่หลายเช่น S3 พวกเขาทั้งหมด (เกือบ?) ประกาศอินเทอร์เฟซที่ใช้งานได้กับ S3 ตอนนี้หรือในอีกไม่กี่เดือนข้างหน้า มันอยู่ภายใต้มาตรฐานอุตสาหกรรมโดยแท้จริงคู่แข่งที่เหลืออยู่อาจเป็น CDMI เพียงเพราะลักษณะที่เป็นมาตรฐานและความจริงที่มาจาก SNIA ซึ่งเป็นองค์กรที่ไม่หวังผลกำไรและไม่ใช่ผู้ขาย แต่มัน'

มีตัวเลือกไม่กี่ตัวที่อินเทอร์เฟซที่ใช้งานร่วมกับ S3 ได้เช่น Mezeo ตัวเลือกที่คุณพูดถึง (Eucalyptus และ Cumulus), OpenStack (แม้ว่ามันจะยังไม่ออกก็ตาม) Scality เป็นอีกหนึ่งในนั้น

การติดตั้ง S3 ของ Scality (เรียกว่า RS2 - REST Storage Service) นั้นใกล้เคียงกับ S3 มากว่าคำขอ / คำตอบของเรานั้นสอดคล้องกับสิ่งที่คุณได้รับจาก S3 ฟังก์ชั่นบางอย่างที่เชื่อมโยงกับโครงสร้างพื้นฐานของ S3 ไม่ปรากฏขึ้นด้วยเหตุผลที่ชัดเจน (เช่นการเลือกภูมิภาคเป็นต้น) แต่มีคำสั่งที่จำเป็น: GET / PUT / DELETE วัตถุสร้างที่เก็บข้อมูลและรายการ และตอบสนองเช่นเดียวกับ S3

ฉันจะเพิ่มเพื่อตอบปัญหาที่สองของคุณว่าผลิตภัณฑ์ของ Scality คือ RING เป็นแพลตฟอร์มที่จัดเก็บวัตถุซอฟต์แวร์ที่แก้ปัญหาความสมบูรณ์ของข้อมูลที่คุณอ้างถึงโดยการตรวจสอบและทำการตรวจสอบความสมบูรณ์ของวัตถุทั้งหมดที่จัดเก็บใน RING การจัดเก็บวัตถุนั้นเป็นแบบสอบถามแบบทรานแซคชันและเมื่อวัตถุได้รับการอ้างว่าเป็น "การจัดเก็บที่สำเร็จ" มันจะคงอยู่ตลอดไปด้วยการตรวจสอบความสมบูรณ์อย่างต่อเนื่อง (ทุกครั้งที่อ่านตัวอย่าง)

ฉันจะไม่ลงรายละเอียด คุณสามารถไปที่เว็บไซต์ของเราเพื่อทำความเข้าใจวิธีที่เราบรรเทาผู้ดูแลระบบจัดเก็บข้อมูลจากฝันร้ายการจัดการข้อมูลทั่วไปและให้พวกเขานอนหลับตอนกลางคืนโดยรู้ว่ามีข้อมูลของพวกเขาอยู่ เสมอ. :)

ดีที่สุด Marc Villemade @mastachand

Ceph ของ Newdream มีเกตเวย์ fastcgi ที่เข้ากันได้กับ S3 ซึ่งใช้ระบบจัดเก็บข้อมูลวัตถุเดียวกับระบบไฟล์ Ceph ( http://ceph.newdream.net/wiki/RADOS_Gateway ) ยังไม่พร้อมสำหรับการผลิต แต่ทำการอัปเดตเป็นประจำ

ฉันพบว่าที่เก็บอ็อบเจ็กต์ของ Openstack น่าเชื่อถือมากขึ้นในการทดสอบของฉัน แต่ไม่สามารถใช้งานได้กับ S3 s3 ไลบรารีที่ฉันใช้หรือจริง ๆ กับไคลเอนต์ java ของ rackspace สำหรับบริการจัดเก็บ cloudfiles (ซึ่งใช้เวอร์ชั่นของตัวเองอย่างรวดเร็ว) แม้ว่าโปรเจ็กต์ jclouds ซึ่งมีทั้ง s3 และ Swift รองรับก็ใช้ได้สำหรับฉัน

คุณสามารถดู Cloud Foundry vBlob: https://github.com/cloudfoundry/vblob

มันเป็นแอพ node.js (ที่มี Ruby wrapper สำหรับการรวม CF) ที่ใช้ chunk ที่เป็นธรรมของโปรโตคอล S3 ที่ด้านบนของระบบไฟล์ใด ๆ ที่ VM สามารถ "ดู"

ทั้งs3ql (GNU GPL v3) และs3backer (GNU GPL v2) ทำสิ่งที่คุณต้องการ

คำถามเก่า / ตอบแล้ว แต่https://github.com/basho/riak_csเพิ่งเปิดมาที่https://github.com/basho/riak_cs : "Riak CS เป็นระบบจัดเก็บวัตถุที่สร้างขึ้นบน Riak มันอำนวยความสะดวก การจัดเก็บวัตถุขนาดใหญ่ใน Riak และนำเสนออินเทอร์เฟซที่เข้ากันได้กับ S3 นอกจากนี้ยังมีคุณสมบัติการเปลี่ยนแปลงที่หลากหลายเช่นบัญชีผู้ใช้การพิสูจน์ตัวตนกลไกการควบคุมการเข้าถึงและการรายงานการใช้งานต่อบัญชี

ฉันแน่ใจว่าคุณมีตัวเลือกมากมายดังกล่าวข้างต้นคุณควรตรวจสอบ OpenStack Swift ซึ่งเป็น OpenSource Object Storage และรองรับ S3 ที่เข้ากันได้กับ API มันใช้เป็นโซลูชั่นการจัดเก็บวัตถุสำหรับ Rackspace, Hpcloud Korea Telecom และอื่น ๆ อีกมากมาย

เอกสารประกอบhttp://docs.openstack.org/developer/swift/associated_projects.html Swift3 https://github.com/fujita/swift3 Swift3 Middleware สำหรับ OpenStack Swift ช่วยให้สามารถเข้าถึง OpenStack Swift ผ่าน Amazon S3 API

หวังว่ามันจะช่วย

[การปฏิเสธความรับผิด: ฉันทำงานให้กับ Cloudian]

ซอฟต์แวร์เก็บข้อมูลวัตถุ Cloudian HyperStore รองรับ Amazon S3 API ได้ 100% มันใช้ S3 APIs ทั้งหมดลงไปที่รหัสข้อผิดพลาดและคุณสมบัติทั้งหมดที่ Amazon S3 มี

เพื่อแสดงรายการ Cloudian HyperStore รองรับการอัปโหลดหลายส่วน, การกำหนดเวอร์ชันวัตถุ, ACL ที่เข้ากันได้ S3, การปรับระดับอัตโนมัติเป็น S3 และกลาเซียร์, S3 การแชร์ทรัพยากรข้ามแหล่งกำเนิด (CORS), การเข้ารหัส S3, ข้อ จำกัด สถานที่และอีกมากมาย

และใช่ด้วย Cloudian คุณสามารถให้ Base64 (MD5 (FILE)) พร้อมกับคำขอ PUT ซึ่งจะได้รับการตรวจสอบก่อนที่จะตอบสนองกับความสำเร็จ

สำหรับข้อมูลเพิ่มเติมตรวจสอบบล็อกโพสต์นี้http://www.cloudian.com/blog/?p=64และเว็บไซต์ Cloudian ที่http://www.cloudian.com/products/cloudian-hyperstore.php

คุณตรวจสอบs3fs แล้วหรือยัง ไม่มีคุณสมบัติการตรวจสอบ MD5 ที่คุณต้องการ ( http://code.google.com/p/s3fs/issues/detail?id=37&q=md5 ) แต่ฉันคิดว่าคงไม่ยากที่จะใช้งาน สิ่งที่ควรทราบคือในที่สุดก็สอดคล้องกัน