คำถามติดแท็ก parallel-processing

เป็นไปได้ไหมที่จะใช้ RAM จากคอมพิวเตอร์เครื่องอื่นเพื่อช่วยในการคำนวณแบบขนาน Mathematica Light Grid Server 7 ถ้าเป็นเช่นนั้นได้อย่างไร

2 mathematica  parallel-processing 

Gnu parallel เป็นเครื่องมืออันทรงพลังที่ฉันใช้เพื่อรันคำสั่ง BASH อิสระจำนวนมากเป็นชุดเดียวในแบบคู่ขนาน ฉันต้องการเรียกใช้คำสั่งเดียวกัน SEQUENTIALLY โดยไม่มีการเปลี่ยนแปลงคำสั่งที่ฉันใช้อย่างมีนัยสำคัญ ฉันรู้ว่ามีสวิตช์ที่บังคับให้ส่งออกที่จะถูกส่งกลับเป็น THOUGH ทำงานแบบเรียงลำดับ แต่ฉันต้องการให้ Gnuparallel RUN ทำงานจริงตามลำดับ เหตุผลของฉันคือเพื่อวัตถุประสงค์ในการทดสอบบนเครื่องที่มีแนวโน้มว่าจะร้อนเกินไปการแก้ปัญหาฮาร์ดแวร์ของฉันไม่ใช่ตัวเลือกนอกจากนี้เรายังสามารถจินตนาการถึงการทดสอบอื่น ๆ ที่ใช้ gnuparallel ตามลำดับจะเป็นประโยชน์ ดังนั้น. มีวิธีเรียกใช้ gnuparallel ตามลำดับหรือฉันต้องการแยกคำสั่ง gnuparallel ด้วยตนเองที่กำหนดไว้ในคำสั่งส่วนประกอบและเรียกใช้งานตามลำดับหรือไม่

2 linux  bash  parallel-processing  gnu-parallel 

ฉันมีไฟล์ไพ ธ อนเช่น my_functions.py และภายในไฟล์นั้นเป็นฟังก์ชั่น def func(a,b): result = does_some_stuff(a,b) return result มี bash one-liner ที่จะเปิดเซสชัน N python และเรียกใช้ฟังก์ชันนี้โดยระบุอาร์กิวเมนต์ a และ b หรือไม่? ฉันคิดว่าจะใช้สิ่งนี้ในการประมวลผลแบบคู่ขนานของชายยากจนเนื่องจากมีการสุ่มใน func การโทรทั้งหมดจะไม่ทำสิ่งเดียวกันแม้จะมีข้อโต้แย้ง a และ b เดียวกัน

linux  bash  python  parallel-processing 

ฉันสงสัยว่า: ถ้าฉันมีไดเรกทอรี/a/b/c/และอยู่ภายใต้cX threads สร้างไดเรกทอรีย่อยและไฟล์และลบพวกเขา (พวกเขาเป็นไดเรกทอรีชั่วคราวและไฟล์เป็นขั้นตอนกลางของการประมวลผล) ทำ X กระทู้ / กระบวนการอย่างใดรบกวนกัน? เช่นล็อคกันและกันหรือผลข้างเคียงอื่น ๆ ? เพื่อล้าง: ยกเว้นไดเรกทอรีหลัก/a/b/c/ไม่มีการแชร์ไดเร็กทอรี / ไฟล์อื่นระหว่างกระบวนการใด ๆ ภายใต้พาเรนต์ไดเร็กทอรีนี้แต่ละไดเร็กทอรีจะสร้างไดเร็กทอรีและไฟล์ที่ไม่ซ้ำกันชั่วคราวและลบทิ้งหลังจากผ่านไประยะหนึ่ง นอกจากนี้ยังมีประโยชน์ใด ๆ ในการใช้ HD เฉพาะรุ่นสำหรับการดำเนินการเช่นนั้นอีกหรือไม่?

linux  hard-drive  filesystems  process  parallel-processing 

ฉันมีเซิร์ฟเวอร์ในประเทศจีนและลูกค้าในยุโรปและต้องการดาวน์โหลดไฟล์ขนาดใหญ่ (50-100 GB) โดยเร็วที่สุด การเชื่อมต่อไปยังประเทศจีนเป็นสิ่งที่ดีที่สุดและช้ามาก วิธีในการหลีกเลี่ยงปัญหานี้คือการเชื่อมต่อและดาวน์โหลดไฟล์แบบขนาน ฉันสงสัยว่าเป็นไปได้หรือไม่ที่ใช้โปรโตคอล bittorrent? เท่าที่ฉันทราบการดาวน์โหลดไฟล์เดียวจาก seeder หนึ่งไปยังไคลเอนต์หนึ่งเป็นการเชื่อมต่อเดียว แต่มีวิธีแก้ไขปัญหานี้หรือไม่ ใช้ไคลเอนต์เริ่มต้นหลายเซิร์ฟเวอร์บนเซิร์ฟเวอร์อาจ? หรือไคลเอนต์ตัวรับสัญญาณที่เชื่อมโยงหลายตัวทางฝั่งผู้รับ มีตัวเลือกอะไรบ้าง? หมายเหตุไฟล์เหล่านี้ไม่ใช่ไฟล์สาธารณะมีอยู่ในที่เดียวเท่านั้นและจะถูกถ่ายโอนไปยังที่เดียวเท่านั้น คอมพิวเตอร์ทั้งสองเครื่องใช้ Windows อัปเดต: ลองใช้โซลูชันของ @ SpiderPig หลายตัว file.pizza ใช้งานได้กับไฟล์ที่เล็กกว่า แต่ฉายาบนไฟล์ที่มีขนาดใหญ่มาก (ดูเหมือนว่าเว็บเบราว์เซอร์จะอ่านไฟล์ทั้งหมดในหน่วยความจำ) aria2 สามารถทำการเชื่อมต่อหลาย ๆ ครั้งไปยังเซิร์ฟเวอร์เดียวกันสำหรับไฟล์เดียวกัน แต่เมื่อการเชื่อมต่อหนึ่งหลุดการเชื่อมต่อก็ไม่ได้เชื่อมต่อใหม่ดังนั้นจึงช้าลงและช้าลงตามเวลา หนังสติ๊กให้ความเร็วในการดาวน์โหลดที่สมเหตุสมผล แต่บางครั้งมันก็หยุดส่งและจะไม่รีสตาร์ทโดยไม่มีการแทรกแซง

networking  bittorrent  parallel-processing 

ฉันต้องการทดสอบระบบแบบกระจายด้วยรีโมตเซิร์ฟเวอร์หลายตัวดังนั้นฉันจึงใช้ pssh ในเซิร์ฟเวอร์หลักเพื่อควบคุมผู้อื่น ที่นี่จำเป็นต้องเรียกใช้หลายเซิร์ฟเวอร์ด้วยคำสั่งที่แตกต่างกันตัวอย่างเช่น ในเซิร์ฟเวอร์ 201 จำเป็นต้องเรียกใช้ java -jar test.jar 9001 **.**.**.** 9001 java -jar test.jar 9001 **.**.**.** 9002 ในเซิร์ฟเวอร์ 202 จำเป็นต้องเรียกใช้ java -jar test.jar 9001 **.**.**.** 9003 java -jar test.jar 9001 **.**.**.** 9004 ในเซิร์ฟเวอร์ 203 ต้องเรียกใช้ java -jar test.jar 9001 **.**.**.** 9005 java -jar test.jar 9001 **.**.**.** 9006 ... …

linux  ssh  multiple-instances  parallel-processing 

คำถามนี้มีคำตอบอยู่ที่นี่แล้ว: ความแตกต่างระหว่าง GPU และ CPU 4 คำตอบ ในขณะที่เราทุกคนรู้ว่า GPU เป็นสัตว์ร้ายที่หลับ และเรายังคุ้นเคยกับเทคโนโลยี Turbo Boost ของ Intel ซึ่งยอดเยี่ยมมาก แต่เทคโนโลยี Turbo Boost ของ Intel จะทำงานเฉพาะกับ CPU โดยการโอเวอร์คล็อกซีพียูโดยอัตโนมัติเมื่อมีการโอเวอร์โหลด ฉันสงสัยว่ามันจะดีถ้าเราสามารถใช้ GPU โดยอัตโนมัติเพื่อรองรับ CPU เมื่อใดก็ตามที่มีการโอเวอร์โหลด ฉันไม่รู้ว่ามีการวิจัยเกิดขึ้นในหัวข้อนี้หรือไม่เพราะฉันไม่พบสิ่งใดเลย (อาจเป็นเพราะฉันไม่ได้ใช้คำหลักที่เหมาะสม) ดังนั้นโปรดแจ้งให้เราทราบหากเป็นไปได้

-1 cpu  gpu  parallel-processing