ความเข้ากันได้ pyarrow ข้ามรุ่น
การเคลื่อนไหวโดยรวมนั้นเป็นการทำที่แคบ / ขนนก แต่ฉันมีความท้าทายกับ pyarrow กับชั่วคราวในสเปคข้อมูลต่อเนื่องกับ pyarrow 0.15.1 ไม่สามารถ deserialized กับ 0.16.0 ลูกศร-7961 ฉันใช้การทำให้เป็นอนุกรมเพื่อใช้ redis ดังนั้นต้องใช้การเข้ารหัสไบนารี
ฉันได้ลองตัวเลือกต่าง ๆ อีกครั้ง (โดยใช้สมุดบันทึก jupyter)
import sys, pickle, zlib, warnings, io
class foocls:
def pyarrow(out): return pa.serialize(out).to_buffer().to_pybytes()
def msgpack(out): return out.to_msgpack()
def pickle(out): return pickle.dumps(out)
def feather(out): return out.to_feather(io.BytesIO())
def parquet(out): return out.to_parquet(io.BytesIO())
warnings.filterwarnings("ignore")
for c in foocls.__dict__.values():
sbreak = True
try:
c(out)
print(c.__name__, "before serialization", sys.getsizeof(out))
print(c.__name__, sys.getsizeof(c(out)))
%timeit -n 50 c(out)
print(c.__name__, "zlib", sys.getsizeof(zlib.compress(c(out))))
%timeit -n 50 zlib.compress(c(out))
except TypeError as e:
if "not callable" in str(e): sbreak = False
else: raise
except (ValueError) as e: print(c.__name__, "ERROR", e)
finally:
if sbreak: print("=+=" * 30)
warnings.filterwarnings("default")
ด้วยผลลัพธ์ต่อไปนี้สำหรับ data frame ของฉัน (ในoutตัวแปร jupyter)
pyarrow before serialization 533366
pyarrow 120805
1.03 ms ± 43.9 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
pyarrow zlib 20517
2.78 ms ± 81.8 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
=+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+=
msgpack before serialization 533366
msgpack 109039
1.74 ms ± 72.8 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
msgpack zlib 16639
3.05 ms ± 71.7 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
=+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+=
pickle before serialization 533366
pickle 142121
733 µs ± 38.3 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
pickle zlib 29477
3.81 ms ± 60.4 µs per loop (mean ± std. dev. of 7 runs, 50 loops each)
=+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+=
feather ERROR feather does not support serializing a non-default index for the index; you can .reset_index() to make the index into column(s)
=+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+=
parquet ERROR Nested column branch had multiple children: struct<x: double, y: double>
=+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+==+=
ขนนกและปาร์เก้ไม่ทำงานกับกรอบข้อมูลของฉัน ฉันจะใช้ pyarrow ต่อไป อย่างไรก็ตามฉันจะเสริมด้วยดอง (ไม่มีการบีบอัด) เมื่อเขียนไปยังแคชร้านค้ารูปแบบ pyarrow และดองต่อเนื่อง เมื่ออ่านจากแคชทางเลือกในการดองถ้า pyram deserialisation ล้มเหลว
