質問
ANTLR を使い始めたいのですが、数時間かけてサンプルを確認した後、 antlr.org サイトを参照しても、文法から Java プロセスまでを明確に理解することができません。
パーサー定義を通過して Java ソース コードに至るまで、ANTLR で実装された 4 演算の計算機のような単純な例はありますか?
解決
注記:この答えは ANTLR3!お探しの場合は、 ANTLR4 たとえば、それからこれ Q&A 単純な式パーサーとエバリュエーターを作成する方法を示します。 ANTLR4.
まず文法を作成します。以下は、4 つの基本的な数学演算子を使用して構築された式を評価するために使用できる簡単な文法です。+、-、*、/。括弧を使用して式をグループ化することもできます。
この文法は非常に基本的なものであることに注意してください。単項演算子 (次のマイナス記号) は処理しません。欠点を 2 つだけ挙げると、-1+9) または .99 のような小数点 (先頭の数字なし) です。これは、自分で取り組むことができるほんの一例です。
文法ファイルの内容は次のとおりです 実験g:
grammar Exp;
/* This will be the entry point of our parser. */
eval
: additionExp
;
/* Addition and subtraction have the lowest precedence. */
additionExp
: multiplyExp
( '+' multiplyExp
| '-' multiplyExp
)*
;
/* Multiplication and division have a higher precedence. */
multiplyExp
: atomExp
( '*' atomExp
| '/' atomExp
)*
;
/* An expression atom is the smallest part of an expression: a number. Or
when we encounter parenthesis, we're making a recursive call back to the
rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
: Number
| '(' additionExp ')'
;
/* A number: can be an integer value, or a decimal value */
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
/* We're going to ignore all white space characters */
WS
: (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
;
(パーサー ルールは小文字で始まり、レクサー ルールは大文字で始まります)
文法を作成したら、そこからパーサーとレクサーを生成する必要があります。ダウンロード ANTLR ジャー そしてそれを文法ファイルと同じディレクトリに保存します。
シェル/コマンド プロンプトで次のコマンドを実行します。
java -cp antlr-3.2.jar org.antlr.Tool Exp.g
エラーメッセージは生成されず、ファイルは ExpLexer.java, ExpParser.java そして 経験値トークン が生成されるはずです。
すべてが正しく動作するかどうかを確認するには、次のテスト クラスを作成します。
import org.antlr.runtime.*;
public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
parser.eval();
}
}
それをコンパイルします:
// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java
// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java
そしてそれを実行します:
// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo
// Windows
java -cp .;antlr-3.2.jar ANTLRDemo
すべてがうまくいけば、コンソールには何も出力されません。これは、パーサーがエラーを見つけられなかったことを意味します。変化するとき "12*(5-6)"
の中へ "12*(5-6"
再コンパイルして実行すると、次のように出力されるはずです。
line 0:-1 mismatched input '<EOF>' expecting ')'
さて、ここで文法に Java コードを少し追加して、パーサーが実際に何か役立つことをできるようにしたいと思います。コードの追加は、 {
そして }
文法の中にプレーンな Java コードが含まれています。
でもまず:文法ファイル内のすべてのパーサー ルールは、プリミティブ double 値を返す必要があります。追加することでそれを行うことができます returns [double value]
各ルールの後:
grammar Exp;
eval returns [double value]
: additionExp
;
additionExp returns [double value]
: multiplyExp
( '+' multiplyExp
| '-' multiplyExp
)*
;
// ...
これについてはほとんど説明の必要はありません。すべてのルールは double 値を返すことが期待されます。次に戻り値と「対話」します。 double value
(これはプレーンな Java コード ブロック内にはありません {...}
) コード ブロック内からは、前にドル記号を追加する必要があります。 value
:
grammar Exp;
/* This will be the entry point of our parser. */
eval returns [double value]
: additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
;
// ...
文法は次のとおりですが、Java コードが追加されています。
grammar Exp;
eval returns [double value]
: exp=additionExp {$value = $exp.value;}
;
additionExp returns [double value]
: m1=multiplyExp {$value = $m1.value;}
( '+' m2=multiplyExp {$value += $m2.value;}
| '-' m2=multiplyExp {$value -= $m2.value;}
)*
;
multiplyExp returns [double value]
: a1=atomExp {$value = $a1.value;}
( '*' a2=atomExp {$value *= $a2.value;}
| '/' a2=atomExp {$value /= $a2.value;}
)*
;
atomExp returns [double value]
: n=Number {$value = Double.parseDouble($n.text);}
| '(' exp=additionExp ')' {$value = $exp.value;}
;
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
WS
: (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
;
そして私たちの以来 eval
ルールは double を返すようになりました。ANTLRDemo.java を次のように変更します。
import org.antlr.runtime.*;
public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
System.out.println(parser.eval()); // print the value
}
}
もう一度 (再) 文法から新しいレクサーとパーサーを生成し (1)、すべてのクラスをコンパイルし (2)、ANTLRDemo を実行します (3)。
// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java // 2
java -cp .:antlr-3.2.jar ANTLRDemo // 3
// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java // 2
java -cp .;antlr-3.2.jar ANTLRDemo // 3
式の結果が表示されます 12*(5-6)
コンソールに出力されます!
また:これは非常に簡単な説明です。を閲覧することをお勧めします ANTLR ウィキ いくつかのチュートリアルを読んだり、私が投稿したものを少し遊んだりしてください。
幸運を!
編集:
この郵便受け は、上記の例を拡張して、 Map<String, Double>
提供された式に変数を保持するものを提供できます。
このコードを Antlr の現在のバージョン (2014 年 6 月) で動作させるには、いくつかの変更を加える必要がありました。 ANTLRStringStream
なるために必要な ANTLRInputStream
, 、から変更する必要がある戻り値 parser.eval()
に parser.eval().value
, を削除する必要がありました。 WS
句の最後に、次のような属性値があるため、 $channel
レクサーアクションに含めることはできなくなりました。
他のヒント
ANTLR メガ チュートリアル ガブリエレ・トマセッティ著はとても役に立ちます
文法の例、さまざまな言語 (Java、JavaScript、C#、Python) での訪問者の例、その他多くのものが含まれています。強くお勧めします。
編集:Gabriele Tomassetti による ANTLR に関するその他の役立つ記事
ANTLR 4のJavaコード生成処理は以下である: -
java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g
に応じてクラスパスにjarファイル名を更新します。
で https://github.com/BITPlan/com.bitplan.antlr いくつかの便利なヘルパー クラスといくつかの完全な例を備えた ANTLR Java ライブラリが見つかります。Eclipse と Maven が好きであれば、Maven で使用する準備ができています。
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4
は、乗算と加算の演算を実行できる単純な式言語です。https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.java 対応する単体テストがあります。
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4 は、次の 3 つの部分に分割された IRI パーサーです。
- パーサー文法
- レクサー文法
- インポートされた LexBasic 文法
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.javaそのための単体テストがあります。
個人的には、これが正しく理解するのが最も難しい部分であると感じました。見る http://wiki.bitplan.com/index.php/ANTLR_maven_plugin
https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr
には、以前のバージョンの ANTLR4 のパフォーマンスの問題のために作成されたさらに 3 つの例が含まれています。それまでの間、この問題はテストケースとして修正されました https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.java を示しています。
バージョン4.7.1は、わずかに異なっていました。 インポートます:
import org.antlr.v4.runtime.*;
主セグメントの- CharStreamsに注意してください。
CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);