การปรับปรุงประสิทธิภาพ S3fs หรือทางเลือก?

11

ฉันได้รับการพยายามที่จะใช้ s3fs บนเซิร์ฟเวอร์ EC2 แต่มันก็เป็นจริงๆช้า ฉันใช้เวลา 5 ชั่วโมงสุดท้ายในการอัปโหลดไฟล์ขนาดเล็ก 100MB

มีอะไรที่ฉันสามารถทำได้เพื่อปรับปรุงประสิทธิภาพหรือเป็นสิ่งที่เกี่ยวข้องกับ S3fs หรือไม่? ถ้าไม่เป็นเช่นนั้นฉันสามารถใช้อะไรได้อีกบ้าง

amazon-ec2 s3fs

— MB
แหล่งที่มา

กำหนดไฟล์ขนาดเล็ก 1K? 500bytes? 1MB?

— thinice

ประมาณ ~ 200K ...

— MB

ขึ้นอยู่กับความต้องการพื้นที่เก็บข้อมูลของคุณคุณอาจต้องการใช้ EBS ยกเว้นว่าคุณต้องการเข้าถึงจากระบบอื่นพร้อมกันซึ่งในกรณีนี้การตั้งค่า NAS เสมือนด้วย EBS อาจเป็นตัวเลือกที่ดีกว่า

— Tracker1

7

S3FS อาจไม่ใช่ตัวเลือกที่ดีที่สุดสำหรับไฟล์ขนาดเล็กจำนวนมาก ค่าโสหุ้ยด้วย S3FS นั้นค่อนข้างสูงเช่นกัน ฉันขอแนะนำให้ใช้บางอย่างเช่นS3Curl

คุณสามารถรับส่งแบบขนานได้ เพียงจำไว้ว่ามันจะไม่เร็วเหมือน EBS / ที่เก็บข้อมูลในเครื่อง

หากคุณต้องการให้มันเป็นที่เก็บข้อมูลแบบติดตั้งได้ทางเลือกเดียวสำหรับ S3FS ที่ฉันรู้จักคือS3Backerหรือs3ql

— thinice
แหล่งที่มา

1

ฉันกำลังมองหาบางสิ่งที่ฉันสามารถเมานต์เป็นระบบไฟล์ได้

— MB

ความคิดใด ๆ เกี่ยวกับs3ql?

— ewwhite

ฉันจะลอง S3Backer และ S3Sql ขอบคุณ

— MB

5 ชั่วโมงนั้นช้ามากสำหรับไฟล์ ~ 500, 200KB แม้ใช้กับ S3FS มีบางอย่างที่อาจแยกตัวประกอบในฉันไม่ทราบถึง S3FS ที่ปรับได้ซึ่งจะช่วยได้

— thinice

6

ฉันเพิ่งเปรียบเทียบ riofs เปรียบเทียบกับ s3fs กรณีทดสอบของฉันเป็นสคริปต์ทุบตีที่ค่อนข้างง่ายซึ่งใช้ pngquant ในแต่ละ. png ที่พบ ในชุดทดสอบที่มีรูปภาพประมาณ 70 ภาพซึ่งมี 20 ภาพที่ png (กระจายไปทั่วไดเรกทอรีย่อยจำนวนมากซึ่งปัญหาช้าลง) ผลลัพธ์ที่:

s3fs: 3m54
riofs: 15.9s

ดังนั้นสำหรับ riof ของ testcase นี้จะเร็วขึ้น ~ 15x! การติดตั้งก็ง่ายมากแม้ว่าเอกสารจะค่อนข้างสั้น

เกี่ยวกับความจริงที่ว่าสคริปต์ยังคงใช้เวลา 15.9s: มันไม่ได้มีประสิทธิภาพมากนัก แต่ที่จริงแล้วการรัน pngquant กับ png นั้นเป็นกระบวนการที่ใช้ซีพียูอย่างเข้มข้น

— ไมโลเดอไวริส
แหล่งที่มา

น่าเสียดายที่ riofs ล้มเหลวด้วยAWS message: The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.

— lrkwz

2

เพียงเพิ่มriofsลงในส่วนผสม ฉันไม่เห็นมาตรฐานใด ๆ ในตอนนี้ แต่มีปัญหา / คำขอที่ทุกคนสามารถทำได้

— F01
แหล่งที่มา

2

ฉันเพิ่งเปิดตัว v0.0.1 จากhttps://github.com/kahing/goofysซึ่งเป็นแรงบันดาลใจบางส่วนจากปัญหาประสิทธิภาพใน s3fs ความเร็วในการสร้างไฟล์คือ 3-6x และเวลาในการไบต์แรกคือ 58x ข้อเสนอแนะยินดีต้อนรับ!

— KHC
แหล่งที่มา

2

ตั้งแต่วันที่ 2019 - Goofys เป็นตัวเลือกที่แนะนำ Riotfs ยังไม่ได้รับการปรับปรุงในขณะที่

— timofey.com

1

ฉันใช้ [1] และมันก็ดีมาก มันมีคำสั่งมากมายและทำให้การเข้าถึง aws และ s3 ง่ายขึ้นมาก

http://timkay.com/aws/

— Amit
แหล่งที่มา

1

ยินดีต้อนรับสู่ Server Fault! ในขณะที่สิ่งนี้อาจตอบคำถามในทางทฤษฎีมันก็ควรที่จะรวมส่วนสำคัญของคำตอบที่นี่และให้ลิงค์สำหรับการอ้างอิง

— Scott Pack

1

ฉันเปรียบเทียบ s3fs กับ riofs และเกือบเปลี่ยนไปเพราะประสิทธิภาพที่ดีขึ้นอย่างเห็นได้ชัด ปัญหา riofs ยังไม่ได้รับการปรับปรุงเป็นลายเซ็น v4 ซึ่งหมายความว่ามันจะไม่ทำงานกับแฟรงค์เฟิร์ตหรือถัง s3 จีน เจ้าของแจ้งว่ามีการอัปเดต หากคุณไม่ได้ใช้แฟรงค์เฟิร์ตหรือจีนการจลาจลเป็นตัวเลือกที่ดีกว่า

— สตีฟ
แหล่งที่มา

ไม่สามารถใช้งานได้จาก eu-central-1 เช่นกัน

— lrkwz

1

นี่เก่ามาก แต่อาจช่วยผู้ที่มาที่นี่

ฉันใช้ aws cli และใช้งานได้ดีมาก (3 Mb / s)

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/

— mariomol
แหล่งที่มา