คำถามติดแท็ก parallel-processing

ขณะนี้ฉันมีสคริปต์ปัจจุบัน #!/bin/bash # script.sh for i in {0..99}; do script-to-run.sh input/ output/ $i done ฉันต้องการรันแบบขนานโดยใช้ xargs ฉันเหนื่อย script.sh | xargs -P8 แต่การดำเนินการข้างต้นจะดำเนินการเพียงครั้งเดียวในเวลานั้น ไม่มีโชคกับ -n8 ด้วย การเพิ่ม & ที่ท้ายบรรทัดเพื่อดำเนินการในสคริปต์สำหรับลูปจะพยายามเรียกใช้สคริปต์ 99 ครั้งพร้อมกัน ฉันจะดำเนินการลูปเพียง 8 ครั้งในขณะนั้นได้อย่างไรรวมถึง 100

86 bash  parallel-processing  xargs 

ถ้าฉันไม่ผิดฉันสามารถทำให้std::transformการดำเนินการในสถานที่ โดยใช้ช่วงเดียวกับ input และ output iterator สมมติว่าฉันมีstd::vectorวัตถุvecแล้วฉันจะเขียน std::transform(vec.cbegin(),vec.cend(),vec.begin(),unary_op) unary_opโดยใช้การดำเนินการที่เหมาะสมเอก ด้วยการใช้มาตรฐาน C ++ 17 ฉันต้องการดำเนินการแปลงแบบขนานโดยการใส่std::execution::parเข้าไปในนั้นเป็นอาร์กิวเมนต์แรก นี้จะทำให้ฟังก์ชั่นการเดินทางจากการโอเวอร์โหลด (1) (2) ในบทความ cppreference std::transformบน อย่างไรก็ตามความคิดเห็นที่เกินพิกัดนี้พูดว่า: unary_op[... ] ต้องไม่ทำให้ตัววนซ้ำใด ๆ รวมถึงตัววนซ้ำสิ้นสุดหรือแก้ไของค์ประกอบใด ๆ ของช่วงที่เกี่ยวข้อง (ตั้งแต่ C ++ 11) "แก้ไของค์ประกอบใด ๆ " จริงๆหมายถึงฉันไม่สามารถใช้อัลกอริทึมในสถานที่หรือกำลังพูดถึงรายละเอียดที่แตกต่างที่ฉันตีความผิด?

11 c++  parallel-processing  stl  c++17 

ฉันกำลังจัดการกับ Pandas DataFrame ขนาดใหญ่ - ชุดข้อมูลของฉันคล้ายกับการdfตั้งค่าต่อไปนี้: import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # .repeat( repeats = [ R3, R4 ] ) R4 = …

9 python  pandas  apache-spark  parallel-processing  dask 

รูปแบบที่ฉันเจอหลายครั้งตอนนี้เป็นสิ่งที่รายการค่าต้องตรวจสอบโดยการทำแผนที่การทดสอบบางอย่างและดูว่าองค์ประกอบใด ๆ หรือทั้งหมดผ่าน การแก้ปัญหาโดยทั่วไปเป็นเพียงการใช้งานที่สะดวก built-ins และallany ปัญหาคือสิ่งเหล่านี้ประเมินในอนุกรม ในหลายกรณีมันจะมากได้เร็วขึ้นในการประเมินในแบบคู่ขนานกับกระบวนการเป็นครั้งเดียวที่สมบูรณ์ใด ๆด้ายพบ "เท็จ" สำหรับallหรือ "ทรู" anyสำหรับ ฉันค่อนข้างแน่ใจว่าพฤติกรรมการลัดวงจรไม่สามารถใช้งานได้โดยใช้ Control.Parallel เนื่องจากต้องใช้การสื่อสารระหว่างกระบวนการและฉันยังไม่เข้าใจที่ใดก็ตามที่อยู่ใกล้ Control.Concurrent พอที่จะใช้งานได้ มันเป็นรูปแบบที่ค่อนข้างธรรมดาในวิชาคณิตศาสตร์ (เช่น Miller-Rabin Primality) ดังนั้นฉันรู้สึกว่ามีบางคนอาจคิดหาวิธีแก้ปัญหานี้อยู่แล้ว แต่ด้วยเหตุผลที่ชัดเจนในการค้นหา google สำหรับ "ขนานหรือ / และ / ใด ๆ / ทั้งหมดในรายการ Haskell "ไม่แสดงผลลัพธ์ที่เกี่ยวข้องหลายรายการ

9 haskell  testing  concurrency  parallel-processing  any