ANTLR: มีตัวอย่างง่ายๆหรือไม่?


230

ฉันต้องการเริ่มต้นด้วย ANTLR แต่หลังจากใช้เวลาสองสามชั่วโมงในการตรวจสอบตัวอย่างที่ไซต์antlr.orgฉันยังคงไม่เข้าใจกระบวนการไวยากรณ์กับ Java อย่างชัดเจน

มีตัวอย่างง่ายๆบางอย่างเช่นเครื่องคิดเลขสี่การดำเนินการที่ใช้กับ ANTLR ผ่านการแยกวิเคราะห์คำนิยามและไปจนถึงซอร์สโค้ด Java หรือไม่?


2
ตัวอย่างที่แม่นยำนั้นถูกใช้เป็นบทช่วยสอนในไซต์ของ Antlr ซึ่งฉันตรวจสอบครั้งสุดท้าย
Cory Petosky

1
@Cory Petosky: จัดหาลิงค์ของคุณ?
Eli

ฉันเพิ่งโพสต์ส่วนแรกของวิดีโอสอนบน ANTLR ดูjavadude.com/articles/antlr3xtutหวังว่าคุณจะพบว่ามีประโยชน์!
Scott Stanchfield

2
ฉันแบ่งปันการค้นหาของคุณด้วย
พอลเดรเปอร์

1
คำตอบที่ดีที่สุดสำหรับ ANTLR 4 คือซื้อหนังสือของ Parr "The Definitive ANTLR 4 Reference"
james.garriss

คำตอบ:


447

หมายเหตุ : คำตอบนี้สำหรับANTLR3 ! หากคุณกำลังมองหาANTLR4เช่นนั้นนี้Q & Aแสดงให้เห็นถึงวิธีการสร้างแยกวิเคราะห์การแสดงออกง่ายและประเมินโดยใช้ANTLR4


คุณสร้างไวยากรณ์ก่อน ด้านล่างเป็นไวยากรณ์ขนาดเล็กที่คุณสามารถใช้เพื่อประเมินนิพจน์ที่สร้างขึ้นโดยใช้ตัวดำเนินการทางคณิตศาสตร์พื้นฐาน 4 ตัว ได้แก่ +, -, * และ / คุณยังสามารถจัดกลุ่มนิพจน์โดยใช้วงเล็บ

โปรดทราบว่าไวยากรณ์นี้เป็นเพียงพื้นฐานมาก: มันไม่ได้จัดการตัวดำเนินการ unary (ลบใน: -1 + 9) หรือทศนิยมเช่น 0.99 (ไม่มีหมายเลขนำหน้า) เพื่อชื่อเพียงข้อบกพร่องที่สอง นี่เป็นเพียงตัวอย่างที่คุณสามารถทำได้ด้วยตัวเอง

นี่คือเนื้อหาของไฟล์ไวยากรณ์Exp.g :

grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

(กฎตัวแยกวิเคราะห์เริ่มต้นด้วยตัวอักษรตัวพิมพ์เล็กและกฎตัวเล็กเริ่มต้นด้วยตัวพิมพ์ใหญ่)

หลังจากสร้างไวยากรณ์คุณจะต้องสร้าง parser และ lexer จากมัน ดาวน์โหลดANTLR jarและเก็บไว้ในไดเรกทอรีเดียวกับไฟล์ไวยากรณ์ของคุณ

ดำเนินการคำสั่งต่อไปนี้บน shell / command prompt:

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

ไม่ควรสร้างข้อความแสดงข้อผิดพลาดใด ๆและควรสร้างไฟล์ExpLexer.java , ExpParser.javaและExp.tokens

เพื่อดูว่ามันใช้งานได้ดีหรือไม่ให้สร้างคลาสทดสอบนี้:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

และรวบรวมมัน:

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

จากนั้นเรียกใช้:

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

หากทุกอย่างเป็นไปด้วยดีไม่มีอะไรถูกพิมพ์ไปที่คอนโซล นี่หมายความว่าโปรแกรมแยกวิเคราะห์ไม่พบข้อผิดพลาดใด ๆ เมื่อคุณเปลี่ยน"12*(5-6)"เป็น"12*(5-6"จากนั้นทำการคอมไพล์และรันมันควรจะพิมพ์ต่อไปนี้:

line 0:-1 mismatched input '<EOF>' expecting ')'

ตกลงตอนนี้เราต้องการเพิ่มโค้ด Java ลงในไวยากรณ์เพื่อให้ parser ทำสิ่งที่มีประโยชน์จริง ๆ การเพิ่มรหัสสามารถทำได้โดยการวาง{และ}ภายในไวยากรณ์ของคุณด้วยรหัส Java ธรรมดาบางอย่างภายใน

แต่ก่อนอื่น: กฎ parser ทั้งหมดในไฟล์ไวยากรณ์ควรส่งคืนค่า double ดั้งเดิม คุณสามารถทำได้โดยเพิ่มreturns [double value]หลังจากแต่ละกฎ:

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

ซึ่งต้องการคำอธิบายเล็กน้อย: ทุกกฎคาดว่าจะคืนค่าสองเท่า ตอนนี้เพื่อ "โต้ตอบ" กับค่าที่ส่งคืนdouble value(ซึ่งไม่ได้อยู่ในบล็อกโค้ด Java แบบธรรมดา{...}) จากภายในบล็อกโค้ดคุณจะต้องเพิ่มเครื่องหมายดอลลาร์ด้านหน้าvalue:

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;

// ...

นี่คือไวยากรณ์ แต่ตอนนี้เพิ่มรหัส Java:

grammar Exp;

eval returns [double value]
    :    exp=additionExp {$value = $exp.value;}
    ;

additionExp returns [double value]
    :    m1=multiplyExp       {$value =  $m1.value;} 
         ( '+' m2=multiplyExp {$value += $m2.value;} 
         | '-' m2=multiplyExp {$value -= $m2.value;}
         )* 
    ;

multiplyExp returns [double value]
    :    a1=atomExp       {$value =  $a1.value;}
         ( '*' a2=atomExp {$value *= $a2.value;} 
         | '/' a2=atomExp {$value /= $a2.value;}
         )* 
    ;

atomExp returns [double value]
    :    n=Number                {$value = Double.parseDouble($n.text);}
    |    '(' exp=additionExp ')' {$value = $exp.value;}
    ;

Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

และเนื่องจากevalกฎของเราคืนค่าเป็นสองเท่าให้เปลี่ยน ANTLRDemo.java ของคุณเป็น:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

อีกครั้ง (ใหม่) สร้าง lexer และ parser ใหม่จากไวยากรณ์ของคุณ (1), รวบรวมคลาสทั้งหมด (2) และเรียกใช้ ANTLRDemo (3):

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3

// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

และตอนนี้คุณจะเห็นผลลัพธ์ของนิพจน์ที่12*(5-6)พิมพ์ไปยังคอนโซลของคุณ!

อีกครั้ง: นี่เป็นคำอธิบายสั้น ๆ ฉันขอแนะนำให้คุณเรียกดูวิกิ ANTLRและอ่านบทช่วยสอนและ / หรือเล่นกับสิ่งที่ฉันเพิ่งโพสต์

โชคดี!

แก้ไข:

โพสต์นี้แสดงวิธีการขยายตัวอย่างด้านบนเพื่อให้Map<String, Double>สามารถจัดเตรียมที่เก็บตัวแปรในนิพจน์ที่จัดให้

ในการทำให้โค้ดนี้ทำงานกับ Antlr เวอร์ชันปัจจุบัน (มิถุนายน 2014) ฉันต้องทำการเปลี่ยนแปลงเล็กน้อย ANTLRStringStreamจำเป็นต้องเป็นANTLRInputStreamค่าที่ส่งคืนซึ่งจำเป็นต้องเปลี่ยนจากparser.eval()เป็นparser.eval().valueและฉันต้องการลบWSส่วนท้ายเนื่องจากค่าแอตทริบิวต์เช่น$channelไม่ได้รับอนุญาตให้ปรากฏในการดำเนินการ lexer อีกต่อไป


1
การดำเนินการparser.eval()เกิดขึ้นที่ไหน? ไม่ชัดเจนที่นี่หรือใน ANTLR3 Wiki!

1
@ Jarrod เอ่อขอโทษฉันไม่เข้าใจคุณจริงๆ evalเป็นกฎ parser doubleซึ่งส่งกลับ จึงมีeval()วิธีการที่คุณสามารถโทรหาตัวอย่างของการเป็นนักการเช่นเดียวกับที่ผมแสดงให้เห็นในExpParser ANTLRDemo.main(...)หลังจากสร้าง lexer / parser เพียงแค่เปิดไฟล์ExpParser.javaและคุณจะเห็นว่ามีวิธีกลับeval() double
Bart Kiers

@Bart ฉันได้ทำการค้นคว้าสิ่งนี้เป็นเวลาหนึ่งสัปดาห์ - นี่เป็นตัวอย่างแรกที่มีรายละเอียดและเพียงพอที่จะทำงานครั้งแรกและฉันคิดว่าฉันเข้าใจ ฉันเกือบจะยอมแพ้ ขอบคุณ!
Vineel Shah

13

ANTLR mega tutorialโดย Gabriele Tomassetti มีประโยชน์มาก

มันมีตัวอย่างไวยากรณ์ตัวอย่างของผู้เข้าชมในภาษาต่างๆ (Java, JavaScript, C # และ Python) และอื่น ๆ อีกมากมาย แนะนำเป็นอย่างยิ่ง

แก้ไข: บทความที่มีประโยชน์อื่น ๆ โดย Gabriele Tomassetti บน ANTLR


เยี่ยมมาก!
Manish Patel

ตอนนี้ Antlr มี cpp เป็นภาษาเป้าหมายด้วย มีแบบฝึกหัดที่มีตัวอย่างใน cpp หรือไม่?
เถาวัลย์

ผู้ชายคนเดียวกันทำการสอนสำหรับ ANTLR ใน C ++ tomassetti.me/getting-started-antlr-cppฉันเดาว่าคุณกำลังจะค้นหาสิ่งที่คุณกำลังมองหาที่นี่หรือในการกวดวิชาที่ยิ่งใหญ่
เดี่ยว

7

สำหรับ Antlr 4 กระบวนการสร้างโค้ด Java อยู่ด้านล่าง: -

java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g

อัพเดตชื่อ jar ของคุณใน classpath ตามลำดับ


2

ที่https://github.com/BITPlan/com.bitplan.antlrคุณจะพบไลบรารี Java ANTLR พร้อมคลาสตัวช่วยที่มีประโยชน์และตัวอย่างที่สมบูรณ์บางส่วน พร้อมใช้งานกับ maven และถ้าคุณชอบ eclipse และ maven

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4

เป็นภาษา Expression ที่สามารถทำการคูณและเพิ่มการดำเนินการได้ https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.javaมีการทดสอบหน่วยที่สอดคล้องกัน

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4เป็นตัวแยกวิเคราะห์ IRI ที่แบ่งออกเป็นสามส่วน:

  1. ตัวแยกวิเคราะห์ไวยากรณ์
  2. ไวยากรณ์ lexer
  3. นำเข้า LexBasic ไวยากรณ์

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.java มีการทดสอบหน่วยสำหรับมัน

โดยส่วนตัวแล้วฉันพบว่านี่เป็นส่วนที่ยุ่งยากที่สุดในการทำให้ถูกต้อง ดูhttp://wiki.bitplan.com/index.php/ANTLR_maven_plugin

https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr

มีตัวอย่างอีกสามตัวอย่างที่สร้างขึ้นสำหรับปัญหาด้านประสิทธิภาพของ ANTLR4 ในรุ่นก่อนหน้า ในระหว่างนี้ปัญหานี้ได้รับการแก้ไขแล้วในฐานะ testcase https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.javaแสดง


2

รุ่น 4.7.1 แตกต่างกันเล็กน้อย: สำหรับการนำเข้า:

import org.antlr.v4.runtime.*;

สำหรับกลุ่มหลัก - บันทึก CharStreams:

CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.