Grep -E, Sed -E - ประสิทธิภาพต่ำเมื่อใช้ '[x] {1,9999}' แต่ทำไม?

เมื่อgrepหรือsedใช้กับตัวเลือก--extended-regexpและรูปแบบ{1,9999}เป็นส่วนหนึ่งของ regexp ที่ใช้ประสิทธิภาพของคำสั่งเหล่านี้จะต่ำ เพื่อให้ชัดเจนยิ่งขึ้นมีการทดสอบด้านล่างสองสามข้อ ^{[1] [2]}

• ผลการดำเนินงานของญาติgrep -E, egrepและsed -Eเกือบจะเท่ากันดังนั้นเฉพาะการทดสอบที่ได้ทำกับgrep -Eที่มีให้

ทดสอบ 1

$ time grep -E '[0-9]{1,99}' < /dev/null

real    0m0.002s

ทดสอบ 2

$ time grep -E '[0-9]{1,9999}' < /dev/null

> real    0m0.494s

ทดสอบ 3

$ time grep -E '[0123456789] {1,9999}' </ dev / null

> 21m43.947s จริง

ทดสอบ 4

$ time grep -E '[0123456789]+' < /dev/null
$ time grep -E '[0123456789]*' < /dev/null
$ time grep -E '[0123456789]{1,}' < /dev/null
$ time grep -P '[0123456789]{1,9999}' < /dev/null

real    0m0.002s       

อะไรคือเหตุผลของความแตกต่างที่สำคัญของประสิทธิภาพ

โปรดทราบว่าไม่ใช่การจับคู่ที่ต้องใช้เวลา แต่เป็นการสร้าง RE คุณจะพบว่ามันใช้ RAM ค่อนข้างมากเช่นกัน:

$ valgrind grep -Eo '[0-9]{1,9999}' < /dev/null
==6518== HEAP SUMMARY:
==6518==     in use at exit: 1,603,530,656 bytes in 60,013 blocks
==6518==   total heap usage: 123,613 allocs, 63,600 frees, 1,612,381,621 bytes allocated
$ valgrind grep -Eo '[0-9]{1,99}' < /dev/null
==6578==     in use at exit: 242,028 bytes in 613 blocks
==6578==   total heap usage: 1,459 allocs, 846 frees, 362,387 bytes allocated
$ valgrind grep -Eo '[0-9]{1,999}' < /dev/null
==6594== HEAP SUMMARY:
==6594==     in use at exit: 16,429,496 bytes in 6,013 blocks
==6594==   total heap usage: 12,586 allocs, 6,573 frees, 17,378,572 bytes allocated

จำนวนของเอกสารทั้งหมดนั้นมีความสัมพันธ์กับจำนวนการวนซ้ำโดยประมาณ แต่หน่วยความจำที่จัดสรรนั้นดูเหมือนจะเพิ่มขึ้นแบบทวีคูณ

นั่นเป็นวิธีการใช้ regexps ของ GNU หากคุณคอมไพล์ GNU grepด้วยCPPFLAGS=-DDEBUG ./configure && makeและเรียกใช้คำสั่งเหล่านั้นคุณจะเห็นเอฟเฟกต์แบบเอ็กซ์โปเนนเชียล การลงลึกไปกว่านั้นจะหมายถึงการผ่านทฤษฎีมากมายเกี่ยวกับ DFA และดำน้ำในการนำ gnulib regexp ไปปฏิบัติ

ที่นี่คุณสามารถใช้แทน PCREs ที่ไม่ได้ดูเหมือนจะมีปัญหาเดียวกัน: grep -Po '[0-9]{1,65535}'(สูงสุด แต่คุณสามารถทำสิ่งที่ต้องการ[0-9](?:[0-9]{0,10000}){100}สำหรับ 1 ถึง 1,000,001 ซ้ำ) grep -Po '[0-9]{1,2}'ไม่ต้องใช้เวลามากหรือหน่วยความจำมากกว่า