คำถามติดแท็ก io

ฉันมีแอปพลิเคชันที่สามารถทำให้ขนานกันเล็กน้อย แต่ประสิทธิภาพของมันคือขอบเขต I / O ขนาดใหญ่ แอปพลิเคชันอ่านอาร์เรย์อินพุตเดียวที่เก็บอยู่ในไฟล์ที่โดยทั่วไปมีขนาด 2-5 GB (แต่ฉันคาดว่าจำนวนนี้จะเพิ่มขึ้นในอนาคต) การคำนวณทั่วไปใช้การดำเนินการเดียวกันกับแต่ละแถวหรือคอลัมน์ของอาร์เรย์นั้น สำหรับการทำงานหนักของ CPU ฉันได้รับการปรับขนาดที่ดีมากถึงโปรเซสเซอร์ 100 ตัว แต่สำหรับการดำเนินการที่ช้าลง I / O และการสื่อสารที่เกี่ยวข้อง (การเข้าถึง NFS) นั้นครองและฉันไม่สามารถใช้ตัวประมวลผลได้อย่างมีประสิทธิภาพ ตัวเลือกใดที่มีประสิทธิภาพและพกพา (มีประสิทธิภาพในการพกพา) สำหรับสถานการณ์เช่นนี้? Parallel HDF5 ดูเหมือนว่าจะมีแนวโน้ม ไม่มีใครมีประสบการณ์ชีวิตจริงกับมันหรือไม่? MPI-I / O จะเป็นสิ่งที่ควรพิจารณาหรือไม่ มันสามารถทำงานได้อย่างมีประสิทธิภาพกับรูปแบบไฟล์ที่กำหนดหรือฉันต้องปรับทุกอย่าง?

20 io  parallel-computing  mpi 

การจำลองพลศาสตร์พลาสมาของเรามักจะสร้างข้อมูลมากเกินไป ในระหว่างการจำลองเราบันทึกคุณสมบัติทางกายภาพต่าง ๆ บนกริด (x, y, z, t) ที่มีขนาดใหญ่เท่ากับ (8192x1024x1024x1500) เป็นเวลาอย่างน้อย 10 คุณสมบัติ ข้อมูลนี้จะถูกประมวลผลหลังจากการจำลองเสร็จสมบูรณ์ กับเรา ทำภาพยนตร์ของคุณสมบัติ ทำการวิเคราะห์ฟูริเยร์ คำนวณคุณสมบัติเฉลี่ย การทุ่มตลาดอย่างง่ายของข้อมูลมากที่สุดเท่าที่จะทำได้ดีเมื่อเราศึกษาระบบขนาดเล็ก สิ่งนี้ทำให้เรามีความยืดหยุ่นในการโต้ตอบกับผลลัพธ์และตัดสินใจในภายหลังว่าเราต้องการทำอะไรกับมัน นอกจากนี้ยังช่วยให้เราจัดสรรทรัพยากรการคำนวณของเรา (เวลา CPU) เพียงแค่เรียกใช้การจำลอง เราได้เริ่มกระบวนการของการทำการวิเคราะห์ฟูริเยร์ได้ทันทีและกรองเฉพาะสเกลความยาวที่เลือกเท่านั้น ด้วยเหตุผลเชิงตัวเลขบางครั้งเราจำเป็นต้องแก้ไขสเกลความยาวที่เล็กกว่าที่เราสนใจจริง ๆ ดังนั้นในกรณีเหล่านี้ตัวกรองนี้ช่วยได้อย่างมาก นอกจากนี้เรายังมีการสำรวจห้องสมุดขนาน IO ต่างๆเช่นขนาน I / O ตัวเลือกใน HDF5 มีกลวิธีใดบ้างที่จะช่วยให้การประมวลผลข้อมูลมีประสิทธิภาพสูงสุด? มีประโยชน์ในการทำการวิเคราะห์ทั้งหมด (ไม่รวมการโพสต์เช่นภาพยนตร์และแปลง) ได้ทันทีหรือไม่ ฉันจินตนาการได้ว่าปัญหานี้กำลังเกิดขึ้นในงานวิจัยด้านอื่น ตัวอย่างเช่นคุณอาจมีการจำลองพลวัตของโมเลกุลที่ต้องพัฒนาเป็นเวลานาน แต่คุณสนใจในช่วงเวลาสั้น ๆ เมื่อมีบางสิ่งที่น่าสนใจเกิดขึ้น หรือใน CFD การพัฒนาครั้งแรกอาจช้า แต่เมื่อความปั่นป่วนเกิดขึ้นคุณอาจต้องใช้ความละเอียดเวลาสูงกว่าในการตรวจสอบพลวัต มีตัวอย่างของการรวบรวมผลลัพธ์ที่ซับซ้อนจากแบบจำลองหรือไม่?

14 performance  io  data-management