มีเครื่อง "เล็ก" ที่สามารถจับคู่นิพจน์ปกติได้อย่างมีประสิทธิภาพหรือไม่

30

เป็นที่ทราบกันดีว่านิพจน์ทั่วไปสามารถรับรู้ได้โดย nondterministic finite automaton ที่มีขนาดตามสัดส่วนกับ expression ปกติหรือโดย FA ที่กำหนดขึ้นซึ่งอาจมีขนาดใหญ่ขึ้นแทน นอกจากนี้เมื่อพิจารณาจากสตริงและนิพจน์ทั่วไป NFA สามารถทดสอบการเป็นสมาชิกในสัดส่วนเวลากับและ DFA สามารถทดสอบการเป็นสมาชิกในเวลาตามสัดส่วนกับ $s$ $r$ $|s| \cdot |r|$ $|s|$ . การชะลอตัวของ NFA เกิดขึ้นจากความจริงที่ว่าเราจำเป็นต้องติดตามชุดของสภาวะที่เป็นไปได้ที่หุ่นยนต์สามารถอยู่ได้ NFA

เป็นไปได้ไหมที่จะมีประสิทธิภาพ (กล่าวคือในเวลาดีกว่าและพื้นที่ที่ดีกว่า ) รู้จักการแสดงออกปกติถ้าเราอนุญาตให้ใช้เครื่องจักรที่ทรงพลังกว่าออโต จำกัด (ตัวอย่างเช่นมีความชัดเจนในการรับรู้ภาษาปกติด้วยการกดลงอัตโนมัติหรือเครื่องตอบโต้หรือไม่) $O(|r| \cdot |s|)$ $O(2^{|r|})$

fl.formal-languages automata-theory regular-expressions

— Neel Krishnaswami
แหล่งที่มา

2

เมื่อคุณพูดว่า "NFA สามารถทดสอบการเป็นสมาชิกในเวลาตามสัดส่วนกับ

" คุณหมายถึงว่าเครื่อง RAM (กำหนดขึ้น) ที่จำลอง NFA ในแบบที่เห็นได้ชัดต้องใช้เวลานานมาก? หรือมีวิธีอื่นในการกำหนด "เวลาทำงานของ NFA" ที่ไม่ได้อ้างถึงรูปแบบการคำนวณอื่น ๆ ? (นอกเหนือจากคำจำกัดความที่สมเหตุสมผล แต่ไม่มีประโยชน์มากซึ่งระบุว่าการรันไทม์ของ NFA ใด ๆ สำหรับสตริง

คือ

.)

| s | \cdot | r |

$|s|\cdot|r|$

s

$s$

| s |

$|s|$

— Radu GRIGore

ใช่นั่นคือการตีความที่ถูกต้องสำหรับคำถามของฉัน

— Neel Krishnaswami

2

จากนั้นฉันก็ดูเหมือนเป็นธรรมชาติมากขึ้นที่จะถามสิ่งนี้: มีอัลกอริทึม (บนเครื่อง RAM) ที่ตัดสินใจว่าสตริง

อยู่ในภาษาที่กำหนดโดยนิพจน์ปกติ

ที่ทำงานใน

เวลาและพื้นที่

? (โดยเฉพาะอย่างยิ่งถ้าคุณกำหนดรันไทม์ของออโตมาตาแบบกดลงในแง่ของเครื่องแรม)

s

$s$

r

$r$

o (| s | \cdot | r |)

$o(|s|\cdot|r|)$

o (2^{| r |})

$o(2^{|r|})$

— Radu GRIGore

1

ฉันไม่เข้าใจปัญหาอย่างแน่นอน อินพุตเป็นสตริง s และนิพจน์ทั่วไป r และปัญหาคือการตัดสินใจว่า s อยู่ในภาษาที่กำหนดโดยนิพจน์ทั่วไป r หรือไม่?

— Robin Kothari

@ Robin: ใช่นั่นแหละ ฉันต้องการทราบว่าคุณสามารถจับคู่นิพจน์ทั่วไปได้อย่างมีประสิทธิภาพมากกว่าออโต้ จำกัด โดยสามารถใช้กำลังการคำนวณได้มากขึ้นหรือคุณสมบัติพิเศษ (เช่นสแต็กแรม) ไม่ช่วยอะไรเลย

— Neel Krishnaswami

20

มันง่ายพอที่จะแลกเปลี่ยนเวลาสำหรับพื้นที่ดังต่อไปนี้

$r$ $O(rs)$ $O(2^r)$

$k$ $S_i$ $\lceil r/k\rceil$ $S_i$ $A_i$ $S_i$ $0$ $2^{\lceil r/k\rceil}-1$

$T[i,j,c,A_i]$ $i$ $j$ $k-1$ $c$ $A_i$ $S_i$ $S_j$ $y$ $T[i,j,c,A_i]$ $y$ $S_j$ $A_i$ $y$ $c$

$k$ $S_i$ $A_i$ $S_i$ $c$ $i,j$ $S_j$ $A_i$ $c$ $S_j$ $O(k^2)$ $O(sk^2)$

$O(k^2 2^{r/k})$

$k$ $O(rs)$ $O(r^2 s)$

$k$

— David Eppstein
แหล่งที่มา

a^{k}

$a^k$

@Neel: หากวิธีการแก้ปัญหาของ David เป็นเครื่องที่ดีที่สุดที่หน่วยความจำสามารถทำได้จากนั้นสแต็คเคาน์เตอร์ ฯลฯ จะไม่ช่วย (แต่แน่นอนว่าเขาให้ขอบเขตสูงกว่าเท่านั้นไม่ จำกัด ขอบเขต)

— Radu GRIGore

1

เท่าที่ฉันสามารถบอกได้โซลูชันของฉันใช้ "กำลังเพิ่มเติม": ขึ้นอยู่กับการค้นหาตารางและดัชนีจำนวนเต็มบางอย่างที่ไม่สามารถใช้ได้ในรุ่น DFA หรือ NFA ดังนั้นฉันจึงไม่เข้าใจจริงๆว่ามันไม่ได้ตอบคำถามส่วนนั้นอย่างไร

— David Eppstein

w

$w$

w \geq \lg r

$w \ge \lg r$

O (s r^{2})

$O(s r^2)$

O (r / w)

$O(r/w)$

r \geq w

$r \ge w$

k \approx ⌈ r / w ⌉

$k \approx \lceil r/w \rceil$

O (s r^{2} / w^{2})

$O(sr^2/w^2)$

2^{w}

$2^w$

4

นี่ไม่ใช่คำตอบ แต่นานเกินไปสำหรับความคิดเห็น ฉันพยายามอธิบายว่าทำไมคำถามดังกล่าวอาจเข้าใจยาก

มีสองวิธีที่จะกำหนดความซับซ้อนของคอมพิวเตอร์สำหรับอุปกรณ์ที่มีX

วิธีแรกและเป็นธรรมชาติมากที่สุดคือที่แท้จริง หนึ่งในความต้องการที่จะบอกว่าอุปกรณ์Xใช้การป้อนข้อมูลเพื่อให้เราต่อมาอาจจะดูที่วิธีการขนาดnของท่านมีผลต่อเวลาการทำงานของอุปกรณ์ เราต้องบอกว่าการดำเนินการเป็นอย่างไร(หรือขั้นตอน ) จากนั้นเราก็ปล่อยให้อุปกรณ์ทำงานบนอินพุตและการดำเนินการนับ

$O(f(n))$ $f(n)$

ตัวอย่างเช่นคำจำกัดความที่แท้จริงสำหรับ NFA บอกว่ามันใช้เวลาnขั้นตอนในการประมวลผลสตริงที่มีความยาวn ; นิยามภายนอกที่ใช้เครื่องแรมเป็นอุปกรณ์Yกล่าวว่าขอบเขตบนที่รู้จักกันดีที่สุดน่าจะเป็นสิ่งที่ David Eppstein ตอบ (มิฉะนั้นมันจะแปลกที่ (1) การดำเนินการในทางปฏิบัติที่ดีที่สุดชี้ไปในคำตอบอื่น ๆ ที่ไม่ได้ใช้ทางเลือกที่ดีและ (2) ไม่มีใครที่นี่ที่ระบุไว้เป็นทางเลือกที่ดีกว่า.) ยังทราบว่าพูดอย่างเคร่งครัดอุปกรณ์ของคุณXคือการแสดงออกปกติ แต่เนื่องจาก NFA มีขนาดเท่ากันจึงปลอดภัยที่จะถือว่าเป็นอุปกรณ์X ที่คุณกำลังดู

$\Omega(f(n))$

ดังนั้นในแง่หนึ่งคำตอบที่ดีที่สุดที่คุณสามารถคาดหวังได้ก็คือข้อพิสูจน์ในบางสิ่งเช่นโมเดลโพรบเซลล์ที่จำลอง NFA นั้นต้องใช้ระยะเวลาพอสมควร (โปรดทราบว่าหากคุณคำนึงถึงการแปลง NFA เป็น DFA คุณต้องใช้เวลาในการจดบันทึก DFA ขนาดใหญ่ดังนั้นหน่วยความจำไม่ใช่เพียงปัญหาเดียวเท่านั้น)

— Radu GRIGore
แหล่งที่มา

4

แม้ว่าคุณจะเชื่อว่าไม่มีอะไรใหม่หรือเก่าที่จะได้เรียนรู้เกี่ยวกับการจับคู่การแสดงออกปกติให้ตรวจสอบหนึ่งในเอกสารที่สวยที่สุดที่ฉันเคยเจอมานาน: การเล่นในการแสดงออกปกติโดย S Fischer, F Huch และ T Wilke, ICFP 2010

(MMT Chakravarty สมควรได้รับเครดิตสำหรับการแนะนำบทความนี้)

แก้ไข: เหตุผลที่กระดาษนี้มีความเกี่ยวข้องคือมันอธิบายเทคนิคใหม่ (ขึ้นอยู่กับ Glushkov's จากยุค 60) ที่หลีกเลี่ยงการสร้าง NFA แบบเต็ม (นับ แต่ DFA) ที่สอดคล้องกับ RE สิ่งที่ทำจะคล้ายกับการเรียกใช้อัลกอริธึมการทำเครื่องหมายคล้ายกับที่รู้จักกันดีสำหรับการตัดสินใจยอมรับคำโดย NFA บนโครงสร้างไวยากรณ์ของ RE การวัดประสิทธิภาพแสดงให้เห็นว่าสิ่งนี้สามารถแข่งขันได้แม้จะมีไลบรารี re2 ที่เผยแพร่เมื่อเร็ว ๆ นี้ของ Google

— ไก่
แหล่งที่มา

กระดาษที่ดีในการอ่าน !!

— Hsien-Chih Chang 張顯之

1

ลองดูที่บทความนี้โดยรัสค็อกซ์ มันอธิบายวิธีการตาม NFA โดยลูกจ้างคนแรกของ Ken Thompson ซึ่งสตริงอินพุตsสามารถจับคู่กับนิพจน์ทั่วไปrในเวลา O (| s |. c ) และ space O (| r |. d ) โดยที่cและdเป็นค่าคงที่ขอบเขตบน บทความนี้ยังมีรายละเอียดการใช้งาน C ของเทคนิค

2

ฉันไม่มั่นใจว่าเป็นคำอธิบายที่ถูกต้องของบทความ ดูเหมือนว่าจะสร้าง DFA จาก NFA บนพื้นฐานที่จำเป็นและแคชผลลัพธ์ แต่ขนาดแคชอาจเป็นเลขชี้กำลังเป็น r

— David Eppstein