คำถามติดแท็ก hpc

คำเตือน: โพสต์นี้ค่อนข้างยาวเพราะฉันพยายามให้ข้อมูลการกำหนดค่าที่เกี่ยวข้องทั้งหมด สถานะและปัญหา: ฉันยอมรับคลัสเตอร์ gpu และฉันต้องการใช้ slurm สำหรับการจัดการงาน โชคไม่ดีที่ฉันไม่สามารถร้องขอ GPU ได้โดยใช้ปลั๊กอินทรัพยากรทั่วไปที่เกี่ยวข้องของ slurm หมายเหตุ: test.sh เป็นสคริปต์ขนาดเล็กที่พิมพ์ตัวแปรสภาพแวดล้อม CUDA_VISIBLE_DEVICES การรันงานด้วย--gres=gpu:1ไม่สมบูรณ์ แสดงsrun -n1 --gres=gpu:1 test.shผลลัพธ์ในข้อผิดพลาดต่อไปนี้: srun: error: Unable to allocate resources: Requested node configuration is not available เข้าสู่ระบบ: gres: gpu state for job 83 gres_cnt:4 node_cnt:0 type:(null) _pick_best_nodes: job 83 never runnable _slurm_rpc_allocate_resources: Requested …

10 cluster  hpc  job-scheduler 

เรามีสภาพแวดล้อมของผู้ใช้ไม่กี่พันคนที่ใช้งานแอพพลิเคชั่นบนเครือข่ายประมาณ 40 กลุ่มตั้งแต่ขนาด 20 โหนดไปจนถึง 98,000 โหนด ผู้ใช้ในระบบเหล่านี้สร้างไฟล์ขนาดใหญ่ (บางครั้ง> 1PB) ควบคุมโดยสิทธิ์ unix แบบดั้งเดิม (โดยทั่วไปจะไม่สามารถใช้งานหรือใช้งานได้จริงเนื่องจากลักษณะเฉพาะของระบบไฟล์) ขณะนี้เรามีโปรแกรมที่เรียกว่า "ให้" ซึ่งเป็นโปรแกรม suid-root ที่อนุญาตให้ผู้ใช้ "มอบ" ไฟล์ให้กับผู้ใช้รายอื่นเมื่อสิทธิ์กลุ่มไม่เพียงพอ ดังนั้นผู้ใช้จะพิมพ์สิ่งต่อไปนี้เพื่อให้ไฟล์แก่ผู้ใช้รายอื่น: > give username-to-give-to filename-to-give ... ผู้ใช้ที่ได้รับจากนั้นสามารถใช้คำสั่งที่เรียกว่า "ใช้" (ส่วนหนึ่งของโปรแกรมให้) เพื่อรับไฟล์: > take filename-to-receive สิทธิ์ของไฟล์จะถูกถ่ายโอนไปยังผู้ใช้ที่ได้รับอย่างมีประสิทธิภาพ โปรแกรมนี้มีมานานหลายปีและเราต้องการที่จะทบทวนสิ่งต่าง ๆ จากมุมมองด้านความปลอดภัยและการใช้งาน แผนปฏิบัติการปัจจุบันของเราคือการลบบิตเน่าในการดำเนินการ "ให้" ปัจจุบันของเราและบรรจุมันเป็นแอพโอเพนซอร์ซก่อนที่เราจะนำมันไปใช้ในการผลิตอีกครั้ง ใครบ้างมีวิธีอื่นที่พวกเขาใช้ในการถ่ายโอนไฟล์ที่มีขนาดใหญ่มากระหว่างผู้ใช้เมื่อมีสิทธิ์ unix แบบดั้งเดิมเท่านั้นที่สามารถใช้ได้?

10 linux  filesystems  hpc