การบีบอัดข้อมูลทศนิยม

มีเครื่องมือใดที่ออกแบบมาเป็นพิเศษสำหรับการบีบอัดข้อมูลทางวิทยาศาสตร์จุดลอยตัวหรือไม่?

หากฟังก์ชั่นราบรื่นมีความสัมพันธ์กันอย่างชัดเจนระหว่างตัวเลขที่แสดงถึงฟังก์ชันนั้นดังนั้นข้อมูลควรบีบอัดได้ดี Zipping / gzipping ข้อมูลเลขทศนิยมแบบไบนารีไม่ได้บีบอัดข้อมูล ฉันสงสัยว่ามีวิธีที่พัฒนาขึ้นเป็นพิเศษสำหรับการบีบอัดข้อมูลจุดลอย

ที่ต้องการ:

• การบีบอัดแบบไม่สูญเสียข้อมูลหรือความเป็นไปได้ในการระบุจำนวนตัวเลขขั้นต่ำที่จะเก็บ (สำหรับบางแอปพลิเคชันdoubleอาจมากกว่าสิ่งที่เราต้องการในขณะที่floatอาจมีความแม่นยำไม่เพียงพอ)

• เครื่องมือการทำงานที่ผ่านการทดสอบเป็นอย่างดี (ไม่ใช่แค่กระดาษที่อธิบายวิธีการทางทฤษฎี)

• เหมาะสำหรับการบีบอัดข้อมูลตัวเลข 1D (เช่นอนุกรมเวลา)

• ข้ามแพลตฟอร์ม (ต้องทำงานบน Windows)

• มันจะต้องเร็ว --- โดยเฉพาะอย่างยิ่งไม่ช้ากว่า gzip ฉันพบว่าหากฉันมีตัวเลขที่เก็บไว้เป็น ASCII การบีบอัดไฟล์สามารถเพิ่มความเร็วในการอ่านและประมวลผล (เนื่องจากการดำเนินการอาจเป็น I / O ที่ถูกผูกไว้)

โดยเฉพาะอย่างยิ่งฉันต้องการได้ยินจากผู้ที่ใช้เครื่องมือดังกล่าว

ลองBlosc มันมีอยู่ในหลายกรณีได้เร็วกว่า memcopy ลองคิดดูสักครู่ . . ชั่วร้าย

มันมีเสถียรภาพมากตรวจสอบข้ามแพลตฟอร์มและทำงานเหมือนแชมป์

ฉันได้ผลลัพธ์ที่ดีโดยใช้HDF5และตัวกรอง GZIP

HDF5 ยังมีตัวกรองSZIPซึ่งให้ผลลัพธ์ที่ดีกว่าสำหรับชุดข้อมูลวิทยาศาสตร์บางชุด

จากประสบการณ์ของฉันการเลือกการบีบอัดขึ้นอยู่กับชนิดของข้อมูลและการเปรียบเทียบอาจเป็นวิธีเดียวที่จะทำให้เป็นทางเลือกที่ดี

BTW, ฟิลเตอร์บุคคลที่สามสำหรับ HDF5 ประกอบด้วย BLOSC, BZIP2, LZO, LZF, MAFISC

$[-1,1]$

ขึ้นอยู่กับฟังก์ชั่นพื้นฐานคุณอาจจะพอดีกับข้อมูลในรูปแบบการทำงานโดยไม่มีข้อผิดพลาดต้องการค่าสัมประสิทธิ์น้อยลงเพื่ออธิบายรูปแบบการทำงานกว่าที่คุณมีจุดข้อมูล (นำไปสู่การบีบอัด) ผลการค้นหาข้อผิดพลาดที่มีอยู่สำหรับบางส่วนของวิธีการเหล่านี้ แต่ผมไม่ทราบว่าถ้าใด ๆ ของพวกเขาจะทำให้คุณเบื้องต้น (หรือposteriori ) ขอบเขตหรือประมาณการเกี่ยวกับข้อผิดพลาด

นอกจากนี้คุณยังสามารถดูวิธีการที่พัฒนาขึ้นโดยเฉพาะสำหรับการบีบอัดของตัวเลขทศนิยมเช่น FPC และอัลกอริทึมที่เกี่ยวข้อง ดูเอกสารที่นี่ , ที่นี่ , ที่นี่ , ที่นี่และที่นี่พร้อมกับหน้าเว็บที่มีรหัสที่มาเก่าที่นี่

HDF5 สามารถใช้อัลกอริทึม "สับ" โดยที่ไบต์สำหรับตัวเลขทศนิยมที่มีการจัดเรียงใหม่เพื่อให้ไบต์แรกของตัวเลข N มาก่อนแล้วอันดับที่ 2 และอื่น ๆ สิ่งนี้จะสร้างอัตราส่วนการบีบอัดที่ดีขึ้นหลังจากใช้ gzip เนื่องจากมีแนวโน้มที่จะสร้างลำดับที่ยาวกว่าของค่าเดียวกัน ดูที่นี่สำหรับมาตรฐานบางอย่าง

SZ (พัฒนาโดย Argonne ในปี 2559) อาจเป็นทางเลือกที่ดี

SZ: คอมเพรสเซอร์ข้อมูลจุดลอยตัวข้อผิดพลาดอย่างรวดเร็วสำหรับการใช้งานทางวิทยาศาสตร์ https://collab.cels.anl.gov/display/ESR/SZ

วิธีการที่เป็นไปได้ที่สามารถใช้สำหรับการบีบอัดเลขทศนิยม:

• Transpose 4xN สำหรับ float และ 8xN สำหรับ double + lz77
  การใช้งาน: การบีบอัดจุดลอยตัวใน TurboTranspose
  ดูการบีบอัด lossy ที่มีข้อผิดพลาด

• Predictor (เช่นวิธีบริบท จำกัด ) + การเข้ารหัส (เช่น "การบีบอัดจำนวนเต็ม")
  การใช้งาน: การบีบอัดจุดลอยตัวใน TurboPFor
  รวมถึงการบีบอัดพิเศษสำหรับอนุกรมเวลา

• เมื่อเป็นไปได้ให้แปลงตัวเลขทศนิยมทั้งหมดเป็นจำนวนเต็ม (เช่น 1.63 -> 163) จากนั้นใช้การบีบอัดจำนวนเต็ม

• คุณสามารถทดสอบวิธีการเหล่านี้กับข้อมูลของคุณโดยใช้ เครื่องมือicappสำหรับ linux และ windows

เราใช้ZFPกับ HDF5 สำหรับข้อมูลภาพทางการแพทย์ของเรา มันถูกสร้างขึ้นมาเพื่อการสูญเสียการบีบอัดจุดลอย

เราใช้งานทุกสิ่งอย่างแท้จริงและมีการจัดเก็บข้อมูลมากกว่า 40TB (และถูกใช้!) มันเร็วพอที่จะบันทึกข้อมูลของเราตามเวลาจริงและเราสามารถระบุความแม่นยำที่ต้องการดังนั้นในขณะที่รูปแบบสูญเสียเราไม่เห็นความแตกต่างในผลลัพธ์สุดท้ายของเรา

หากฟังก์ชั่นราบรื่นมีความสัมพันธ์กันอย่างชัดเจนระหว่างตัวเลขที่แสดงถึงฟังก์ชันนั้นดังนั้นข้อมูลควรบีบอัดได้ดี

บางทีรูปแบบที่คุณต้องการจำเป็นต้องจัดเก็บเพียงแค่ออฟเซ็ตจากค่าเป็นค่าใกล้เคียง

หรือคุณอาจใช้ประโยชน์จากโดเมนความถี่หรือแม้กระทั่งการบันทึกค่าเหล่านี้เป็นไฟล์เสียงแบบไม่สูญเสียเช่น "flac lossless" เนื่องจากคุณต้องใช้คุณสมบัติเดียวกันกับเสียง

อย่างไรก็ตามฉันจะใช้วิธีการที่แตกต่างกันในการพยายามตอบคำถามที่ฉันหวังว่าจะสามารถช่วยเหลือได้ สิ่งที่คุณพูดคือความยาวของคำอธิบายขั้นต่ำในการแสดงข้อมูลนี้น้อยกว่าการให้จุดข้อมูลทั้งหมด

https://en.wikipedia.org/wiki/Minimum_description_length

โปรแกรมคอมพิวเตอร์อย่างมีประสิทธิภาพเป็นตัวอย่างที่ดี และถ้าคุณไม่คิดว่าสิ่งใดที่ข้อมูลส่วนใหญ่ทำงานโดยการดำเนินการและเป็นรหัสแล้วคุณสามารถบีบอัดค่าจุดลอยตัวของคุณเป็นสิ่งต่าง ๆ เช่นฟังก์ชั่นหรือ formuli

การทำสิ่งนี้โดยอัตโนมัติเป็นอย่างดีและในจำนวนที่คำนวณได้จริงนั้นยากเกินกว่าที่จะทำได้ อย่างไรก็ตามภาษา Wolfram มีฟังก์ชั่นบางอย่างเพื่อลอง:

https://reference.wolfram.com/language/ref/FindSequenceFunction.html https://reference.wolfram.com/language/ref/FindGeneratingFunction.html https://reference.wolfram.com/language/ref/FindFormula HTML

https://reference.wolfram.com/language/ref/RSolve.html

ทำไมไม่เพียงแค่บันทึก float32 / float16 ในจำนวนมาก

A.astype( np.float32 )  # 100M: 200 msec imac
A.astype( np.float16 )  # 100M: 700 msec

สิ่งเหล่านี้จะไม่ทำถ้าคุณจำลองเอ ฟเฟกต์ของผีเสื้อในทฤษฎีความโกลาหล แต่พวกมันสามารถเข้าใจได้พกพาได้ "ไม่ต้องการงานใด ๆ ในส่วนของฉัน" และการบีบอัด 2: 1/4: 1 บน float64 นั้นยากที่จะเอาชนะ :)

หมายเหตุ:

"ไม่รองรับประเภท float16 ในอาร์เรย์ใน np.linalg"; คุณจะต้องขยายเป็น 32 หรือ 64 หลังจากอ่านมัน

หากต้องการดูว่าพารามิเตอร์จุดลอยตัวแตกต่างกันอย่างไร

import numpy as np
for f in [np.float64, np.float32, np.float16]:
    print np.finfo(f)

สำหรับพล็อตของกรณีทดสอบเล็กน้อยเมื่อเทียบลอย 64 32 และ 16 ให้ดู ที่นี่