คำถามติดแท็ก dask

เมื่อวันที่สิงหาคม 2017, นุ่นDataFame.apply ()เป็นที่น่าเสียดายที่ยังมีข้อ จำกัด ในการทำงานร่วมกับแกนเดียวหมายความว่าเครื่องแบบ multi-core df.apply(myfunc, axis=1)จะเสียส่วนใหญ่ของการคำนวณเวลาเมื่อคุณเรียกใช้ คุณจะใช้คอร์ทั้งหมดของคุณเพื่อรันใช้กับดาต้าเฟรมแบบขนานได้อย่างไร

111 pandas  dask 

ฉันกำลังจัดการกับ Pandas DataFrame ขนาดใหญ่ - ชุดข้อมูลของฉันคล้ายกับการdfตั้งค่าต่อไปนี้: import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # .repeat( repeats = [ R3, R4 ] ) R4 = …

9 python  pandas  apache-spark  parallel-processing  dask