วิธีที่ดีที่สุดในการเก็บข้อมูลเพื่อการวิเคราะห์ทางสถิติใน R [ปิด]

ฉันใช้ไฟล์ข้อความเพื่อจัดเก็บข้อมูลของฉันสำหรับ R โดยไม่มีปัญหามาระยะหนึ่งแล้ว แต่สำหรับโครงการเมื่อเร็ว ๆ นี้ขนาดของไฟล์จะใหญ่เกินไปสำหรับไฟล์ข้อความแบบดิบที่จะจัดการ ทางเลือกง่ายๆที่ดีที่สุดคืออะไร

วิธีการวิจัยมาตรฐานคือการใช้และsave loadหากคุณรันsaveบน data frame หลังจากนำเข้าและเพิ่มความคิดเห็นคุณสามารถระบุcompress=TRUEและคุณจะประหลาดใจกับการบีบอัดและloadเวลาที่รวดเร็ว วิธีนี้ใช้งานได้ดีโดยเฉพาะถ้าขนาดวัตถุน้อยกว่า 400MB มิฉะนั้นลองดูคำแนะนำด้านบนหรือffแพ็คเกจอันทรงพลังใน R

Hmiscแพคเกจมีห่อเล็ก ๆ น้อย ๆSaveและLoadจะทำให้เจ็บปวดข้างต้นมากขึ้น:

mydata <- csv.get(...)  # Hmisc package, has several options
Save(mydata)   # writes mydata.rda to current working directory
....
Load(mydata)   # reads mydata.rda and creates mydata data frame

ดูฐานข้อมูล SQLite3 แต่ละฐานข้อมูลเป็นไฟล์ดังนั้นจึงไม่จำเป็นต้องตั้งค่าเซิร์ฟเวอร์ฐานข้อมูล

วิธีสร้างฐานข้อมูล:

$ sqlite3 my_db.db3
> CREATE TABLE my_table ( col1 TEXT );

สำหรับใช้กับ R, https://gist.github.com/lynaghk/1062939

มีตัวเลือกทั่วไปจำนวนมาก

• คุณสามารถบีบอัดข้อความ
• คุณสามารถไปที่ไบนารีบนข้อความไม่ใช่เขียนใน ascii

การบีบอัดที่ยอดเยี่ยมขึ้นอยู่กับข้อมูล

การเดาของฉัน (และคุณไม่ได้ระบุดังนั้นฉันต้องเดา) คือคุณต้องการเก็บข้อมูลเหมือนสเปรดชีตในสิ่งอื่นนอกเหนือจาก csv (คั่นด้วยจุลภาค)

หนึ่งในรูปแบบที่ฉันชอบ (ฉันชอบ MatLab) คือ hdf

นี่คือข้อมูลที่เกี่ยวข้องกับ R เกี่ยวกับ HDF:

• เข้าถึงได้ผ่านแพคเกจ hdf5, h5r, bioconductor's rhdf5, RNetCDF, ncdf และ ncdf4
• http://www.hdfgroup.org/HDF5/whatishdf5.html

มันเป็นรูปแบบการจัดเก็บข้อมูลซูเปอร์คอมพิวเตอร์ที่มีความหนาแน่นสูง สามารถรวดเร็วและมีประสิทธิภาพ นอกจากนี้ยังมีความหนาแน่นมากกว่าข้อความซิป

ฟังก์ชั่นการอ่านไฟล์มาตรฐานใน R ตอนนี้จะอ่านไฟล์ gzipped โดยอัตโนมัติ ดังนั้นเพียงแค่เรียกใช้การบีบอัด gzip อย่างง่าย ๆ กับข้อมูลของคุณและอ่านเช่นเคยราวกับว่าเป็นข้อความธรรมดา

read.table('myfile.gz')