Geoserver พร้อมที่ฝากข้อมูล Amazon s3


13

ฉันมี Apache ที่ใช้ Geoserver ในอินสแตนซ์เสมือนจริงของฉันและฉันสงสัยว่าไดเรกทอรีข้อมูล Geoserver สามารถชี้ไปที่ที่ฝากข้อมูล Amazon S3 ได้หรือไม่ เป็นไปได้ไหม สิ่งนี้มีผลต่อประสิทธิภาพอย่างไร

หาก S3 เป็นการตั้งค่าที่ไม่ดีสำหรับไดเรกทอรีข้อมูลของ Geoserver มีคำแนะนำสำหรับการเพิ่มข้อมูลจำนวนมากในไดเรกทอรีข้อมูล Geoserver หรือไม่? ไดเรกทอรีข้อมูลอาจสูงถึง 100 จาก GB หรืออาจมากกว่านั้น ฉันควรรับเซิร์ฟเวอร์ที่มีฮาร์ดไดรฟ์ขนาดใหญ่หรือเชื่อมต่อกับโซลูชันที่ปรับขนาดได้มากขึ้นเช่นที่ฝากข้อมูล Amazon S3 หรือไม่


ข้อมูลคืออะไร? ฉันเดาภาพ แต่คุณได้ปูกระเบื้องไหม อาจเป็นฐานข้อมูลสำหรับผู้ชนะแรสเตอร์ :-)
BradHards

1
หากข้อมูลของคุณเป็นแบบแรสเตอร์และจะถูกอ่านและประมวลผลสำหรับ WMS S3 แบบอินเทอร์แอคทีฟอาจช้าลง คำแนะนำจากประสบการณ์ที่ผ่านมาคุณอาจต้องการดู glusterfs + EBS
simogeo

1
ฉันสนใจที่จะใช้ S3 เป็นที่เก็บข้อมูลที่ใช้ร่วมกันสำหรับกลุ่ม GeoServers ที่ยืดหยุ่นได้ในแนวนอน ฉันกำลังตรวจสอบการใช้ S3Fuse เพื่อเมานต์ระบบไฟล์สำหรับสิ่งนี้ มันจะเป็นการดีหากได้ยินความสำเร็จ / ความล้มเหลวอื่น ๆ ในพื้นที่นี้
8bitjunkie

ประสบการณ์ใด ๆ ในเรื่องนี้?
geogeek

คำตอบ:


10

การชี้ "โดยตรง" ไปยังถัง S3 (เช่นการใช้ s3fs) คือ "คงเป็น" ความคิดที่ไม่ดี เช่น/programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS นั้นเป็นสถานที่ที่เหมาะสมในการจัดเก็บข้อมูลสำหรับการเข้าถึงโดย GeoServer

100 GB นั้นจัดการได้ง่ายมากตามมาตรฐาน EBS (ขนาดเสียงสูงสุดคือ 16 เทราไบต์!)

ฉันอาจแนะนำให้เก็บข้อมูลต้นฉบับใน S3 จากนั้นทำซ้ำบนอินสแตนซ์ของคุณตามต้องการโดยใช้เครื่องมือ AWS CLI เพื่อซิงค์เนื้อหาของโฟลเดอร์ S3 กับอินสแตนซ์ในเครื่องของคุณด้วยคำสั่งเดียว http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ) S3 เป็นเนื้อหาที่ซ้ำซ้อน แต่ฉันพบว่ามันเพิ่มความยืดหยุ่นและความสะดวกสบาย

หมายเหตุด้านข้าง: หากคุณวางแผนที่จะใช้อินสแตนซ์แบบมัลติคอร์ขนาดใหญ่อยู่แล้วและคุณรู้ว่าปริมาณข้อมูลไม่น่าจะเพิ่มขึ้นอย่างไม่คาดคิดและคุณสามารถสร้างอินสแตนซ์ของคุณโดยอัตโนมัติได้จริง ๆ ) เนื่องจากข้อมูลต้นฉบับของคุณจะปลอดภัยใน S3 คุณสามารถประหยัดค่าธรรมเนียม EBS และการจัดเก็บอินสแตนซ์อาจเร็วกว่า EBS เล็กน้อยในบางกรณี


1
นี่คือคำตอบที่ครอบคลุม ไม่มีขอบเขตมีข้อมูลเล็ก ๆ น้อย ๆ ที่นี่: boundlessgeo.com/2013/04/…
อเล็กซ์ลี ธ

คุณใช้อะไรเพื่อเปิดคำสั่ง AWS จาก pyQGIS Processing.call? boto3 ดูเหมือนจะไม่ทำงาน มันทำงานใน Osgeo เปลือก python2 แต่ไม่ 3 ...
สิงห์

0

เป็นไปได้: สามารถทำได้สำหรับข้อมูลที่เหมาะกับรูปแบบ GeoTIFF โดยใช้ Geoserver s3 สำหรับโมดูล Geotiff Community - https://docs.geoserver.org/latest/en/user/community/s3-geotiff/index .html

สิ่งนี้มีผลต่อประสิทธิภาพอย่างไร นี่เป็นคำตอบที่ยาก แต่ฉันพบว่าประสิทธิภาพเทียบเท่ากับพื้นที่จัดเก็บข้อมูล EBS / EFS ในราคาเพียงเล็กน้อย

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.