ฉันต้องแยกคอลัมน์ข้อมูลจากไฟล์ที่มีขนาดใหญ่มาก & gt; 100GB
ฉันรู้วิธีใช้ awk และ cut คำสั่งทำ แต่ต้องการทราบว่ามีประสิทธิภาพมากกว่า (จากมุมมองความเร็ว) สำหรับภารกิจดังกล่าวหรือไม่
ถ้า
—
Michael Vehrs
cut สามารถใช้มันควรจะเร็วกว่าเนื่องจากมันง่ายกว่าและมีความสามารถน้อยกว่า
grep -o "\w*pattern\w*" /path/to/file. คุณอาจต้องการอ่านด้วยparallelสำหรับการใช้หลาย ๆgrepอยู่ในกลุ่มของไฟล์นั้น