วิธีเพิ่มประสิทธิภาพ EC2 ให้สูงสุด

ข้อจำกัดความรับผิดชอบ: ฉันเป็นนักพัฒนาที่ดีที่สุดในโลกแห่งเซิร์ฟเวอร์

สวัสดีพวกคุณ ฉันมีอินสแตนซ์ของเซิร์ฟเวอร์บน EC2 c5d.9xlargeซึ่งมีสเปคคือ:

• ระบบ: Ubuntu 18.04
• vCPU: 36 เธรด / แกน
• หน่วยความจำ: 72 GB
• ที่เก็บข้อมูล: 900 GB NVMe SSD
• แบนด์วิดธ์ EBS เฉพาะ: 7,000 Mbps
• ประสิทธิภาพเครือข่าย: 10 Gbps

สถานการณ์จำลอง:ฉันใช้เซิร์ฟเวอร์นี้เพื่ออัปโหลดวิดีโอขนาดใหญ่ (4K, 1+ ชม.) และประมวลผลโดยใช้ FFMPEG แต่เปรียบเทียบกับเซิร์ฟเวอร์ UpCloud ก่อนหน้าของฉันที่มี 12 คอร์และ RAM 48 GB ของเซิร์ฟเวอร์ EC2 นี้ใช้เวลาอัปโหลดและประมวลผลนานขึ้น 1.5 เท่า ซึ่งฉันคิดว่าไม่ควรเป็นอย่างนั้น

คำถาม:ฉันจะให้ประสิทธิภาพสูงสุดสำหรับสิ่งที่ฉันจ่ายได้อย่างไร

ของคุณc5d.9xlargeมาพร้อมกับพื้นที่เก็บข้อมูลอินสแตนซ์ 900GB (หรือที่เก็บชั่วคราว ) - คุณใช้เพื่อจัดเก็บและประมวลผลไฟล์หรือไม่? ในขณะที่อินสแตนซ์ของคุณมีแบนด์วิดธ์ EBS เฉพาะบางส่วนที่เก็บข้อมูลบนอินสแตนซ์ SSD จะยังเร็วกว่ามาก ฉันแนะนำให้คุณใช้ไฟล์นั้นกับไฟล์ต้นฉบับและไฟล์ชั่วคราวทั้งหมดและเก็บผลลัพธ์ไว้ที่ EBS เท่านั้น

มีบางประการที่มีการจัดเก็บอินสแตนซ์แม้ว่า:

1. คุณต้องจัดรูปแบบและติดตั้งก่อนจึงจะสามารถใช้งานได้ อ้างถึงคำตอบนี้สำหรับรายละเอียดเพิ่มเติม: ติดตั้งที่เก็บอินสแตนซ์ SSD บน AWS EC2 โดยอัตโนมัติใน Ubuntu 16.04

2. เนื้อหาจะถูกลบเมื่อคุณหยุดและเริ่มต้นอินสแตนซ์อีกครั้ง มันยังมีชีวิตอยู่รีบูต แต่ไม่หยุด / เริ่ม

อัปเดต:ตามค่าเริ่มต้น SSD จะไม่ถูกเมาท์ - คุณจะต้องทำตามขั้นตอนในคำตอบที่เชื่อมโยงข้างต้นเพื่อใช้ประโยชน์จากมัน ในการกำหนดค่ามาตรฐานหลังจากบูตคุณจะใช้ EBS ซึ่งช้ากว่า SSD

จากนั้นคุณจะต้องตรวจสอบให้แน่ใจว่าคุณกำลังจริงใช้มัน - ตั้งค่าอัปโหลด , ทำงานและไดเรกทอรีชั่วคราวที่ SSD จุดติด

หรือดียิ่งขึ้น - เนื่องจากคุณมี RAM 72 GB - สร้าง RAM disk และใช้เป็นไฟล์ชั่วคราว นั่นจะเร็วกว่า SSD (หากไฟล์พอดี)

ก่อนอื่นไม่คำนึงถึงความเร็วในการอัปโหลดและเพิ่มประสิทธิภาพการประมวลผล - อัปโหลดไฟล์ไปยัง EBS และกำหนดเวลาการประมวลผลจากนั้นอัปโหลดไปยัง SSD และตั้งเวลาและจากนั้นไปยังดิสก์ RAM และเวลาในการประมวลผล ดูว่าพวกเขาแตกต่างกันมากแค่ไหน

ความเร็วในการอัปโหลดจะได้รับผลกระทบจากหลายด้านรวมถึงระยะทางและเวลาแฝงระหว่างคุณและภูมิภาค AWS ที่คุณกำลังอัปโหลด คุณใช้พื้นที่ AWS ใกล้กับคุณหรือไม่

เรื่องประสิทธิภาพของ CPU - คุณได้มี 36 ซีพียูที่มีอยู่ แต่ในแต่ละแกนเดียวอาจจะช้ากว่าที่แกนในก่อนหน้านี้เครื่อง 12 หลักของคุณ ขึ้นอยู่กับสถาปัตยกรรมของ CPU และความเร็วสัญญาณนาฬิกา อย่างไรก็ตามหากคุณสามารถทำการประมวลผลวิดีโอแบบคู่ขนานใน 36 เธรดคุณควรจะดีกว่าในกรณีนี้ หากคุณใช้เธรดเดี่ยวคุณอาจไม่ได้ประสิทธิภาพที่ต้องการ

หวังว่าจะช่วย :)

มีขอบเขตที่จะพิจารณาทางเลือกอื่นหรือไม่? สำหรับค่าใช้จ่ายของ a c5d.9xlargeถึงแม้ว่าคุณจะได้รับส่วนลดมากมายในตลาดเซิร์ฟเวอร์เฉพาะคุณอาจมีเครื่องจักรที่เทียบเท่าหรือดีกว่าหลายเครื่อง

การใช้คลาวด์สำหรับปัญหาที่ปรับขนาดในแนวดิ่งนี้เป็นสูตรสำหรับการจ่ายเงินมากเกินไปและอย่างที่คุณเห็นประสิทธิภาพที่แย่

ขออภัยที่ไม่ใช่คำตอบ แต่ฉันมีตัวแทนไม่เพียงพอที่จะแสดงความคิดเห็น