ทำไม wc จึงช้า

ทำไมยูทิลิตี wc จึงช้า?

เมื่อฉันเรียกใช้บนไฟล์ขนาดใหญ่จะใช้เวลานานกว่า md5sum ประมาณ 20 เท่า:

MyDesktop:/tmp$ dd if=/dev/zero bs=1024k count=1024 of=/tmp/bigfile
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.687094 s, 1.6 GB/s

MyDesktop:/tmp$ time wc /tmp/bigfile 
         0          0 1073741824 /tmp/bigfile

real    0m45.969s
user    0m45.424s
sys     0m0.424s

MyDesktop:/tmp$ time md5sum /tmp/bigfile 
cd573cfaace07e7949bc0c46028904ff  /tmp/bigfile

real    0m2.520s
user    0m2.196s
sys     0m0.316s

มันไม่ใช่แค่เงื่อนไขขอบแปลก ๆ ที่เกิดจากไฟล์ที่เต็มไปด้วยค่า Null แต่ฉันเห็นความแตกต่างของประสิทธิภาพแม้ว่าไฟล์จะเต็มไปด้วยข้อมูลแบบสุ่มหรือเป็นไฟล์ข้อความ

(นี่คือ Ubuntu 13.04, 64 บิต)

ดังนั้นฉันไปที่แหล่งข้อมูลและดูเหมือนว่าความช้าในการจัดการอักขระไบต์คู่ โดยพื้นฐานแล้วสำหรับตัวละครทุกตัวที่อ่านนั้นจำเป็นต้องเรียกmbrtowc()ให้พยายามแปลงเป็นอักขระตัวกว้างจากนั้นอักขระตัวกว้างจะถูกทดสอบเพื่อดูว่าเป็นตัวคั่นคำตัวแยกบรรทัด ฯลฯ

แน่นอนถ้าฉันเปลี่ยนLANGตัวแปรโลแคลของฉันจากค่าเริ่มต้นen_US.UTF-8(UTF-8 เป็นชุดอักขระหลายไบต์) และตั้งเป็น " C" (ชุดอักขระไบต์เดี่ยวแบบง่าย) wcสามารถใช้การปรับให้เหมาะสมแบบไบต์เดียวซึ่งเพิ่มความเร็วได้มาก ใช้เวลาประมาณหนึ่งในสี่นานเท่าที่เคยมีมา

นอกจากนี้จะต้องตรวจสอบตัวละครแต่ละตัวหากนับจำนวนคำ ( -w) ความยาวบรรทัด ( -L) หรือตัวอักษร ( -m) ถ้ามันเป็นเพียงการทำไบต์และ / หรือการนับเส้นก็สามารถข้ามการจัดการตัวกว้างและจากนั้นมันจะทำงานได้อย่างรวดเร็วมาก - md5sumเร็วกว่า

ฉันวิ่งมันผ่านgprofและฟังก์ชั่นที่ใช้ในการจัดการตัวอักษรสัญลักษณ์นี้ ( mymbsinit(), mymbrtowc(), myiswprint()ฯลฯ ) มีการขึ้นประมาณ 30% ของเวลาดำเนินการเพียงอย่างเดียวและรหัสที่ขั้นตอนผ่านบัฟเฟอร์ที่ซับซ้อนมากขึ้นเพราะมีการ จัดการขั้นตอนขนาดผันแปรผ่านบัฟเฟอร์สำหรับอักขระขนาดผันแปรตลอดจนการบรรจุอักขระที่เสร็จสมบูรณ์บางส่วนที่ขยายบัฟเฟอร์กลับไปที่จุดเริ่มต้นของบัฟเฟอร์เพื่อให้สามารถจัดการได้ในครั้งถัดไป

ตอนนี้ฉันรู้ว่าควรมองหาอะไรฉันพบโพสต์สองสามข้อความที่พูดถึง utf-8 slowness ด้วยยูทิลิตี้บางตัว:

/programming/13913014/grepping-a-huge-file-80gb-any-way-to-speed-it-up http://dtrace.org/blogs/brendan/2011/12/08 / 2000x ประสิทธิภาพชนะ /

แค่เดา ​​แต่คุณเป็นประเภทเปรียบเทียบแอปเปิ้ลกับส้มด้วยความเคารพต่อสิ่งที่wcทำกับสิ่งที่md5sumกำลังทำ

งานของ md5sum

เมื่อmd5sumประมวลผลไฟล์มันจะเปิดไฟล์เป็นสตรีมแล้วเริ่มเรียกใช้สตรีมผ่านฟังก์ชันการตรวจสอบ MD5ซึ่งต้องการหน่วยความจำน้อยมาก โดยพื้นฐานแล้ว CPU & disk I / O ถูกผูกไว้

งานของ wc

เมื่อwcเรียกใช้มันทำงานได้มากขึ้นแล้วเพียงแยกวิเคราะห์ไฟล์อักขระในแต่ละครั้ง มันจะต้องวิเคราะห์โครงสร้างของไฟล์บรรทัดในแต่ละครั้งเพื่อกำหนดว่าขอบเขตระหว่างตัวละครอยู่ที่ใดและเป็นขอบเขตของคำหรือไม่

ตัวอย่าง

ลองนึกถึงสตริงต่อไปนี้และวิธีที่อัลกอริธึมแต่ละอันจะต้องเคลื่อนผ่านมันอย่างไร

“Hello! Greg”
“Hello!Greg”
“Hello\nGreg”
“A.D.D.”
“Wow, how great!”
“wow     \n\n\n    great”
“it was a man-eating shark.”

สำหรับ MD5 นั้นจะเคลื่อนผ่านอักขระเหล่านี้ทีละตัว เพราะwcจะต้องตัดสินใจว่าอะไรคือขอบเขตของคำและบรรทัดและติดตามจำนวนการเกิดขึ้นที่เห็น

การสนทนา wc เพิ่มเติม

ฉันพบความท้าทายในการเขียนโค้ดจากปี 2549ที่กล่าวถึงการนำไปใช้wcใน. NET ความยากลำบากนั้นค่อนข้างชัดเจนเมื่อคุณดูรหัสหลอกบางอย่างดังนั้นสิ่งนี้อาจช่วยให้คุณเริ่มเข้าใจถึงสาเหตุwcที่ทำให้ช้ากว่าการดำเนินการอื่น ๆ