ทรัพยากรการประมวลผลของกลุ่มจำเป็นสำหรับ DEM 50 Gb หรือไม่

สำหรับ "วัตถุประสงค์การเช่า" ฉันต้องระบุทรัพยากรการคำนวณที่ฉันต้องการจากศูนย์คอมพิวเตอร์ที่มหาวิทยาลัยของฉัน ฉันมีความคิดน้อยมากว่าจะขออะไร

เมื่อพิจารณาข้อมูลด้านล่างคุณอาจแนะนำอะไร

นี่คือคลัสเตอร์การคำนวณ: "เซิร์ฟเวอร์สิบเบลดกับแต่ละเบลดประกอบด้วย 2 Quad Core Intel Xeon 2.33 Ghz ซีพียูที่มีหน่วยความจำ 16 GB รวม 80 CPUs และ 160 GB หน่วยความจำบัญชีบนระบบดิสก์ 2 TB Linux 64 บิต "

ด้วยการบีบอัดข้อมูลแบบไม่สูญเสียข้อมูลดั้งเดิมคือไฟล์ขนาด 50GB หนึ่งไฟล์ ในบางช่วงเวลาฉันจะทำงานกับหลาย ๆ ไฟล์ (สูงสุดสิบไฟล์) ขนาด 50GB

ฉันจะใช้ GDAL, Python scripting และ C ++ scripting หากได้รับอนุญาตฉันจะใช้ซอฟต์แวร์เช่น Grass GIS และ Saga GIS นอกจากนี้ภาษา R กับห้องสมุดอวกาศ ฉันจะได้รับพารามิเตอร์ภูมิประเทศปกติพยายามใช้อัลกอริธึมเชิงวัตถุสำหรับการแยกคุณลักษณะเฉพาะ (ธรณีสัณฐาน) และใช้การวิเคราะห์เชิงสถิติเพื่อวัตถุประสงค์เชิงพรรณนาและการสร้างแบบจำลอง

ดังนั้นจะเป็นการดีถ้ามีไอเดียเกี่ยวกับหมายเลข ของตัวประมวลผลและจำนวนหน่วยความจำที่อนุญาตให้ทำการเมทริกซ์พีชคณิตอย่างง่าย (A * 0.1 + B + C / 50)

ตามที่ DavidF ระบุไว้ในความคิดเห็นที่สำคัญกว่านั้นคือ stategy ไม่ต้องสนใจเครื่องจักรคุณไม่สามารถเรียกใช้ (หรือไม่ใช่ความคิดที่ดีที่จะเรียกใช้) พีชคณิตเมทริกซ์ 50GB พร้อมเมทริกซ์ทั้งหมดในครั้งเดียวเนื่องจากแนวคิดหมายความว่าเมทริกซ์ทั้งหมด จะต้องถูกเขียนไปยังหน่วยความจำ

กลยุทธ์ที่ดีรวดเร็วง่ายและมีประสิทธิภาพคือการใช้gdal_calcอ่านและเขียนแรสเตอร์เป็นชิ้น ๆ ดังนั้นจึงมีหน่วยความจำที่มีประสิทธิภาพมาก

ตัวอย่างเช่น: gdal_calc.py -A input.tif -B input2.tif --outfile = result.tif --calc = "(A + B) / 2"

ลองใช้มีโอกาสมากที่คุณสามารถเรียกใช้การประมวลผลในเดสก์ท็อปของคุณแล้วคุณอาจต้องใช้เครื่องจักรที่ดีกว่าเพื่อเร่งกระบวนการหรือไม่

Obs: คุณต้องสแปมหลายกระบวนการ gdal_calc เพื่อใช้ประโยชน์จากโปรเซสเซอร์แบบมัลติคอร์