คำถามติดแท็ก parallel

ฉันมีโปรแกรมการสร้างแบบจำลองและการให้คะแนนที่ใช้ประโยชน์จากDataFrame.isinฟังก์ชั่นของหมีแพนด้าอย่างหนักโดยค้นหาจากรายการบันทึกของ Facebook "ชอบ" ของผู้ใช้แต่ละคนสำหรับแต่ละหน้าไม่กี่พันหน้า นี่คือส่วนที่ใช้เวลานานที่สุดของโปรแกรมมากกว่าการสร้างแบบจำลองหรือให้คะแนนชิ้นส่วนเพียงเพราะมันทำงานบนแกนเดียวเท่านั้นในขณะที่ส่วนที่เหลือทำงานบนสองสามโหลพร้อมกัน แม้ว่าฉันจะรู้ว่าฉันสามารถแบ่งดาต้าเฟรมออกเป็นชิ้น ๆ และดำเนินการแบบขนานได้เองมีวิธีที่ตรงไปตรงมาในการทำสิ่งนั้นโดยอัตโนมัติหรือไม่? กล่าวอีกนัยหนึ่งมีแพ็คเกจประเภทใดบ้างที่จะรับรู้ว่าฉันกำลังใช้งานที่ได้รับมอบหมายอย่างง่ายดายและแจกจ่ายโดยอัตโนมัติหรือไม่ บางทีนั่นอาจจะขอมากเกินไป แต่ฉันก็รู้สึกประหลาดใจมากพอในอดีตโดยสิ่งที่มีอยู่ใน Python ดังนั้นฉันคิดว่ามันคุ้มค่าที่จะถาม ข้อเสนอแนะอื่น ๆ เกี่ยวกับวิธีการนี้อาจสำเร็จ (แม้ว่าจะไม่ใช่แพ็คเกจยูนิคอร์นเวทมนตร์) ก็จะได้รับการชื่นชมเช่นกัน ส่วนใหญ่เพียงแค่พยายามหาวิธีกำจัด 15-20 นาทีต่อการวิ่งโดยไม่ต้องใช้เวลาพอสมควรในการเข้ารหัสโซลูชัน

25 performance  python  pandas  parallel 

ความแตกต่างระหว่างการคำนวณแบบขนานและแบบกระจายคืออะไร เมื่อพูดถึงความสามารถในการปรับขนาดและประสิทธิภาพมันเป็นเรื่องธรรมดามากที่จะเห็นโซลูชันที่เกี่ยวข้องกับการคำนวณในกลุ่มของเครื่องจักรและบางครั้งมันถูกเรียกว่าการประมวลผลแบบขนานหรือการประมวลผลแบบกระจาย ในบางวิธีการคำนวณดูเหมือนจะขนานกันเสมอเนื่องจากมีสิ่งต่าง ๆ ที่ทำงานพร้อมกัน แต่การคำนวณแบบกระจายนั้นเกี่ยวข้องกับการใช้มากกว่าหนึ่งเครื่องหรือมีความเฉพาะเจาะจงเพิ่มเติมใด ๆ ที่ทำให้การประมวลผลทั้งสองประเภทนี้แตกต่างกันหรือไม่? มันจะไม่ซ้ำซ้อนที่จะพูดเช่นการคำนวณที่ขนานและกระจาย ?

15 definitions  parallel  distributed 

ทำงานกับสิ่งที่มักเรียกว่าโครงการ "ข้อมูลขนาดกลาง" ฉันสามารถทำให้ขนานรหัสของฉัน (ส่วนใหญ่สำหรับการสร้างแบบจำลองและการทำนายใน Python) ในระบบเดียวจาก 4 ถึง 32 แกน ตอนนี้ฉันกำลังมองหาการปรับขนาดของกลุ่มบน EC2 (อาจเป็นกับ StarCluster / IPython แต่เปิดให้มีคำแนะนำอื่น ๆ เช่นกัน) และได้รับการงงงวยโดยวิธีการกระทบยอดการกระจายงานข้ามแกนในกรณีเทียบกับอินสแตนซ์ในคลัสเตอร์ มันยังใช้งานได้จริงในการขนานระหว่างอินสแตนซ์และข้ามคอร์ในแต่ละอินสแตนซ์หรือไม่? ถ้าเป็นเช่นนั้นทุกคนสามารถให้ข้อดีข้อเสียอย่างรวดเร็วของการเรียกใช้อินสแตนซ์จำนวนมากที่มีคอร์ไม่กี่คอร์แต่ละตัวเทียบกับคอร์ที่มีหลายคอร์ได้หรือไม่ มีกฎง่ายๆในการเลือกอัตราส่วนที่ถูกต้องของอินสแตนซ์ต่อคอร์ต่ออินสแตนซ์หรือไม่? แบนด์วิดท์และแรมเป็นข้อกังวลเล็กน้อยในโครงการของฉัน แต่มันง่ายที่จะมองเห็นเมื่อสิ่งเหล่านั้นเป็นปัญหาคอขวดและปรับใหม่ ฉันคิดว่าจะยากกว่าในการเปรียบเทียบการผสมผสานแกนที่ถูกต้องกับอินสแตนซ์โดยไม่ต้องทำการทดสอบซ้ำและโครงการของฉันแตกต่างกันมากเกินไปสำหรับการทดสอบใด ๆ ที่จะนำไปใช้กับทุกสถานการณ์ ขอบคุณล่วงหน้าและถ้าฉันเพิ่งจะ google ไม่ถูกต้องอย่าลังเลที่จะชี้ให้ฉันเห็นคำตอบที่ถูกที่อื่น!

12 parallel  clusters  aws 

ขณะนี้ฉันกำลังเขียนบทความเกี่ยวกับ Big Data ที่ทำให้เราใช้ R เป็นอย่างมากในการวิเคราะห์ข้อมูล ฉันมี GTX1070 ในพีซีของฉันเพราะเหตุผลด้านการเล่นเกม ดังนั้นฉันคิดว่ามันจะเจ๋งจริง ๆ ถ้าฉันสามารถใช้มันเพื่อเร่งการประมวลผลสำหรับบางสิ่งที่อาจารย์ของฉันทำไว้ แต่มันไม่ง่ายเลยที่จะทำสิ่งนี้ ฉันได้ติดตั้ง gpuR, CUDA, Rtools และบิตและบ็อบอีกสองสามตัวและฉันสามารถสร้างวัตถุ gpuMatrix จากข้อมูลการแสดงออกทางจีโนม แต่ฉันยังไม่พบฟังก์ชั่นที่ใช้งานได้กับวัตถุ gpuMatrix และยังให้ความแตกต่างที่เห็นได้ชัดเจนในประสิทธิภาพ บางทีนี่อาจเกี่ยวข้องกับข้อ จำกัด ที่มีอยู่ในแพคเกจ gpuR - แพ็คเกจอื่น ๆ ดูเหมือนจะพูดถึงการมีฟังก์ชั่นที่ฟังดูเหมือนพวกเขาจะเหมือนกับสิ่งที่ฉันกำลังมองหา แพคเกจเหล่านั้นเกือบทั้งหมดมีเฉพาะสำหรับ Linux มันยากที่จะใช้ GPU รองรับ R ใน windows หรือไม่ หรือมีเหตุผลอื่นอีกไหมที่มีแพคเกจจำนวนน้อยที่มีให้ทำใน Windows ในแง่หนึ่งฉันแค่อยากรู้อยากเห็น แต่มันก็เจ๋งมากที่จะทำให้มันทำงานได้จริง มันทำให้ฉันประหลาดใจที่มี Windows เล็ก ๆ น้อย ๆ …

11 r  gpu  parallel 

ฉันกำลังทำงานกับโมเดล Seq2Seqโดยใช้ LSTM จาก Keras (โดยใช้พื้นหลัง Theano) และฉันต้องการที่จะทำให้กระบวนการเป็นคู่ขนานกันเพราะแม้แต่ข้อมูลไม่กี่ MB ก็ต้องใช้เวลาฝึกอบรมหลายชั่วโมง เป็นที่ชัดเจนว่า GPU นั้นดีกว่าในการขนานมากกว่า CPU ในขณะนี้ฉันมี CPU เท่านั้นที่จะทำงานได้ ฉันสามารถเข้าถึง 16 CPUs (2 เธรดต่อคอร์ X 4 คอร์ต่อซ็อกเก็ต X 2 ซ็อกเก็ต) จากเอกสารของการสนับสนุนมัลติคอร์ใน Theano ฉันจัดการเพื่อใช้ทั้งสี่คอร์ของซ็อกเก็ตเดียว ดังนั้นโดยทั่วไปซีพียูจะใช้งานที่ 400% เมื่อใช้ 4CPU และส่วนที่เหลืออีก 12 CPU ก็ยังไม่ได้ใช้งาน ฉันจะใช้ประโยชน์จากพวกเขาได้อย่างไร Tensorflow สามารถใช้แทนพื้นหลัง Theano ได้หากใช้งานได้

11 tensorflow  keras  theano  parallel