ฉันควรใช้ GPU หรือ CPU ในการอนุมาน

ฉันใช้เครือข่ายประสาทการเรียนรู้อย่างลึกซึ้งที่ได้รับการฝึกฝนโดย GPU ตอนนี้ฉันต้องการปรับใช้กับโฮสต์หลายแห่งเพื่ออนุมาน คำถามคือเงื่อนไขในการตัดสินใจว่าฉันควรใช้ GPU หรือซีพียูในการอนุมานคืออะไร?

การเพิ่มรายละเอียดเพิ่มเติมจากความคิดเห็นด้านล่าง

ฉันยังใหม่กับสิ่งนี้ดังนั้นคำแนะนำจะได้รับการชื่นชม

• หน่วยความจำ : GPU คือ K80

• Framework : Cuda และ cuDNN

• ขนาดข้อมูลต่อเวิร์กโหลด : 20G

• การคำนวณโหนดเพื่อใช้งาน : หนึ่งรายการต่องานแม้ว่าจะต้องการพิจารณาตัวเลือกเครื่องชั่ง

• ราคา : ฉันสามารถจ่ายค่าตัวเลือก GPU ได้หากเหตุผลนั้นสมเหตุสมผล

• การปรับใช้ : การทำงานบนเซิร์ฟเวอร์โลหะเปลือยที่โฮสต์อยู่ไม่ใช่ในคลาวด์

ตอนนี้ฉันทำงานบน CPU เพียงเพราะแอปพลิเคชันทำงานได้ดี แต่ด้วยเหตุผลดังกล่าวฉันไม่แน่ใจว่าทำไมถึงมีคนพิจารณา GPU ด้วยซ้ำ

@Dan @ SmallChess ฉันไม่เห็นด้วยอย่างสมบูรณ์ มันเป็นความจริงที่ว่าสำหรับการฝึกอบรมการทำ parallalization จำนวนมากนั้นสามารถใช้ประโยชน์จาก GPU ได้ทำให้เกิดการฝึกฝนที่รวดเร็วยิ่งขึ้น สำหรับการอนุมานการอนุมานแบบนี้อาจน้อยกว่านี้อย่างไรก็ตามซีเอ็นเอ็นจะยังคงได้รับประโยชน์จากสิ่งนี้ทำให้การอนุมานเร็วขึ้น ตอนนี้คุณแค่ต้องถามตัวเองว่าการอนุมานเร็วกว่าสำคัญไหม ฉันต้องการการเพิ่มพิเศษนี้หรือไม่ (เป็น GPU ที่ดีไฟล์ที่ถูกต้องและอื่น ๆ )

หากความเร็วไม่เป็นปัญหาให้ไปที่ CPU อย่างไรก็ตามโปรดทราบว่า GPU ของสามารถทำให้ลำดับของขนาดเร็วขึ้นในประสบการณ์ของฉัน

การใช้การอนุมานบน GPU แทนที่จะเป็น CPU จะทำให้คุณใกล้เคียงกับการเร่งความเร็วแบบเดียวกับที่ใช้ในการฝึกอบรม

อย่างไรก็ตามอย่างที่คุณบอกว่าแอพพลิเคชั่นนั้นทำงานได้ดีบน CPU หากคุณไปถึงจุดที่ความเร็วการอนุมานเป็นปัญหาคอขวดในแอปพลิเคชันการอัปเกรดเป็น GPU จะช่วยลดปัญหาคอขวดนั้น

คุณจะใช้ GPU เพื่อการฝึกอบรมเท่านั้นเพราะการเรียนรู้อย่างลึกล้ำต้องการการคำนวณจำนวนมากเพื่อให้ได้โซลูชั่นที่ดีที่สุด แต่คุณไม่จำเป็นต้องมีเครื่อง GPU สำหรับการใช้งาน

ลองยกตัวอย่าง iPhone X ใหม่ของ Apple iPhone X ใหม่มีอัลกอริทึมการเรียนรู้ของเครื่องจักรขั้นสูงสำหรับการตรวจจับแบบหน้าจอ พนักงานของ Apple จะต้องมีกลุ่มของเครื่องจักรสำหรับการฝึกอบรมและการตรวจสอบ แต่ iPhone X ของคุณไม่ต้องการ GPU เพียงแค่รันโมเดล