14
วิธีการป้องกันไม่ให้แรงดึงไหลเวียนของการจัดสรรจำนวนรวมของหน่วยความจำ GPU?
ฉันทำงานในสภาพแวดล้อมที่ใช้ทรัพยากรการคำนวณร่วมกันนั่นคือเรามีเครื่องเซิร์ฟเวอร์สองสามเครื่องที่มี Nvidia Titan X GPU แต่ละตัว สำหรับรุ่นขนาดเล็กถึงขนาดกลาง Titan X ขนาด 12 GB นั้นเพียงพอสำหรับผู้ใช้ 2-3 คนในการฝึกอบรมพร้อมกันบน GPU เดียวกัน หากแบบจำลองมีขนาดเล็กพอที่แบบจำลองเดียวไม่ได้ใช้ประโยชน์เต็มที่จากหน่วยคำนวณทั้งหมดของ GPU สิ่งนี้อาจส่งผลให้เกิดการเร่งความเร็วเมื่อเทียบกับกระบวนการฝึกอบรมแบบหนึ่ง แม้ว่าในกรณีที่การเข้าถึง GPU พร้อมกันนั้นทำให้เวลาการฝึกอบรมของแต่ละบุคคลช้าลง แต่ก็ยังดีที่มีความยืดหยุ่นในการมีผู้ใช้หลายคนพร้อมฝึกฝนบน GPU ปัญหาของ TensorFlow ก็คือโดยปกติแล้วมันจะจัดสรรหน่วยความจำ GPU เต็มจำนวนเมื่อเปิดตัว แม้สำหรับเครือข่ายประสาทสองชั้นขนาดเล็กฉันก็เห็นว่าหน่วยความจำ GPU ทั้งหมด 12 GB หมดลง มีวิธีในการทำให้ TensorFlow จัดสรรเท่านั้นพูดว่าหน่วยความจำ GPU 4 GB หรือไม่ถ้าใครรู้ว่านี่เพียงพอสำหรับรุ่นที่กำหนดหรือไม่