คำถามติดแท็ก batch-processing

ฉันได้เขียนซอฟต์แวร์แบบมัลติเธรดชิ้นหนึ่งที่ทำแบบจำลองวันละครั้ง นี่เป็นงานที่ใช้ CPU มากและฉันใช้งานโปรแกรมนี้กับบริการคลาวด์ซึ่งมักจะมีการกำหนดค่าเช่น 1GB ต่อคอร์ ฉันใช้CentOS 6.7 และ/proc/cpuinfoทำให้ฉันรู้ว่าสี่คอร์ VPS ของฉันคือ 2.5GHz processor : 3 vendor_id : GenuineIntel cpu family : 6 model : 63 model name : Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz stepping : 2 microcode : 1 cpu MHz : 2499.992 cache size : 30720 KB …

34 performance  vps  centos6  performance-tuning  batch-processing 

ตามหน้า man, xargs จะออกหากหนึ่งในบรรทัดการดำเนินการออกจากกับข้อผิดพลาด 255: หากการเรียกใช้คำสั่งออกจากสถานะ 255, xargs จะหยุดทันทีโดยไม่ต้องอ่านอินพุตเพิ่มเติมใด ๆ ข้อความแสดงข้อผิดพลาดออกมาใน stderr เมื่อเกิดเหตุการณ์นี้ ฉันจะได้รับ xargs เพื่อไม่ทำเช่นนี้ได้อย่างไร ฉันมีงานแบ็ตช์แบบ 1500 หรือมากกว่านั้นที่ฉันต้องการรันครั้งละ 50 บรรทัด ฉันพบว่ามันกำลังจะตายในบางบรรทัดและไม่ได้ทำงานให้เสร็จ ไม่ดี! คำถามที่ดียิ่งขึ้นคำถามที่อธิบายสิ่งที่ฉันพยายามทำคือ: ฉันจะรันสคริปต์แบทช์ 1,500 บรรทัดได้ครั้งละ 50 บรรทัดเพื่อที่จะไม่ออกจากงานที่อยู่ตรงกลางและเพื่อให้ผลลัพธ์ถูกจับไปยังไฟล์บันทึกบางชนิด?

27 bash  command-line-interface  batch-processing  xargs 

ฉันต้องการที่จะสามารถลบไฟล์หลายพันหรือหลายหมื่นชุดในคราวเดียวบน S3 แต่ละไฟล์จะอยู่ที่ใดก็ได้ตั้งแต่ 1MB ถึง 50MB โดยปกติฉันไม่ต้องการให้ผู้ใช้ (หรือเซิร์ฟเวอร์ของฉัน) รออยู่ขณะที่ไฟล์กำลังถูกลบ ดังนั้นคำถาม: S3 จัดการกับการลบไฟล์อย่างไรโดยเฉพาะเมื่อทำการลบไฟล์จำนวนมาก? มีวิธีที่มีประสิทธิภาพในการทำสิ่งนี้และทำให้ AWS ทำงานส่วนใหญ่ได้หรือไม่? ด้วยประสิทธิภาพฉันหมายถึงการทำให้คำขอน้อยที่สุดสำหรับ S3 และใช้เวลาน้อยที่สุดโดยใช้ทรัพยากรจำนวนน้อยที่สุดในเซิร์ฟเวอร์ของฉัน

16 amazon-s3  batch-processing