АНТЛР:Есть ли простой пример?
https://stackoverflow.com/questions/1931307
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
Я хотел бы начать работу с ANTLR, но, потратив несколько часов на просмотр примеров на antlr.org сайт, я до сих пор не могу получить четкое представление о грамматике процесса Java.
Есть ли какой-нибудь простой пример, что-то вроде калькулятора с четырьмя операциями, реализованного с помощью ANTLR, проходящего через определение парсера и вплоть до исходного кода Java?
Решение
Примечание:этот ответ для ANTLR3!Если вы ищете ANTLR4 пример, то это Вопросы и ответы демонстрирует, как создать простой анализатор выражений и оценщик с использованием ANTLR4.
Сначала вы создаете грамматику.Ниже приведена небольшая грамматика, которую вы можете использовать для вычисления выражений, построенных с использованием четырех основных математических операторов:+, -, * и /.Вы также можете группировать выражения, используя круглые скобки.
Обратите внимание, что эта грамматика является очень простой:он не обрабатывает унарные операторы (минус в:-1+9) или десятичные дроби, такие как 0,99 (без начального числа), и это лишь два недостатка.Это всего лишь пример, над которым вы можете поработать.
Вот содержимое файла грамматики Эксп.г:
grammar Exp;
/* This will be the entry point of our parser. */
eval
: additionExp
;
/* Addition and subtraction have the lowest precedence. */
additionExp
: multiplyExp
( '+' multiplyExp
| '-' multiplyExp
)*
;
/* Multiplication and division have a higher precedence. */
multiplyExp
: atomExp
( '*' atomExp
| '/' atomExp
)*
;
/* An expression atom is the smallest part of an expression: a number. Or
when we encounter parenthesis, we're making a recursive call back to the
rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
: Number
| '(' additionExp ')'
;
/* A number: can be an integer value, or a decimal value */
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
/* We're going to ignore all white space characters */
WS
: (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
;
(Правила парсера начинаются со строчной буквы, а правила лексера — с заглавной буквы)
После создания грамматики вам понадобится сгенерировать из нее парсер и лексер.Загрузите ANTLR банка и сохраните его в том же каталоге, что и файл грамматики.
Выполните следующую команду в командной строке/оболочке:
java -cp antlr-3.2.jar org.antlr.Tool Exp.g
Он не должен выдавать никаких сообщений об ошибках, а файлы ExpLexer.java, ExpParser.java и Жетоны опыта теперь должен быть сгенерирован.
Чтобы проверить, все ли работает правильно, создайте этот тестовый класс:
import org.antlr.runtime.*;
public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
parser.eval();
}
}
и скомпилируйте его:
// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java
// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java
а затем запустите его:
// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo
// Windows
java -cp .;antlr-3.2.jar ANTLRDemo
Если все идет хорошо, на консоль ничего не выводится.Это означает, что парсер не обнаружил никакой ошибки.Когда ты меняешь "12*(5-6)" в "12*(5-6" а затем перекомпилировать и запустить его, должно быть напечатано следующее:
line 0:-1 mismatched input '<EOF>' expecting ')'
Хорошо, теперь мы хотим добавить в грамматику немного Java-кода, чтобы парсер действительно делал что-то полезное.Добавление кода можно выполнить, поместив { и } внутри вашей грамматики с простым Java-кодом внутри нее.
Но сначала:все правила синтаксического анализатора в файле грамматики должны возвращать примитивное двойное значение.Вы можете сделать это, добавив returns [double value] после каждого правила:
grammar Exp;
eval returns [double value]
: additionExp
;
additionExp returns [double value]
: multiplyExp
( '+' multiplyExp
| '-' multiplyExp
)*
;
// ...
что требует небольшого объяснения:ожидается, что каждое правило вернет двойное значение.Теперь «взаимодействовать» с возвращаемым значением double value (который НЕ находится внутри простого блока кода Java {...}) изнутри блока кода вам нужно будет добавить знак доллара перед value:
grammar Exp;
/* This will be the entry point of our parser. */
eval returns [double value]
: additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
;
// ...
Вот грамматика, но теперь с добавленным кодом Java:
grammar Exp;
eval returns [double value]
: exp=additionExp {$value = $exp.value;}
;
additionExp returns [double value]
: m1=multiplyExp {$value = $m1.value;}
( '+' m2=multiplyExp {$value += $m2.value;}
| '-' m2=multiplyExp {$value -= $m2.value;}
)*
;
multiplyExp returns [double value]
: a1=atomExp {$value = $a1.value;}
( '*' a2=atomExp {$value *= $a2.value;}
| '/' a2=atomExp {$value /= $a2.value;}
)*
;
atomExp returns [double value]
: n=Number {$value = Double.parseDouble($n.text);}
| '(' exp=additionExp ')' {$value = $exp.value;}
;
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
WS
: (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
;
и поскольку наш eval правило теперь возвращает двойное значение, измените свой ANTLRDemo.java на это:
import org.antlr.runtime.*;
public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
System.out.println(parser.eval()); // print the value
}
}
Снова (пере) сгенерируйте новый лексер и парсер из вашей грамматики (1), скомпилируйте все классы (2) и запустите ANTLRDemo (3):
// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java // 2
java -cp .:antlr-3.2.jar ANTLRDemo // 3
// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java // 2
java -cp .;antlr-3.2.jar ANTLRDemo // 3
и теперь вы увидите результат выражения 12*(5-6) распечатано на вашей консоли!
Снова:это очень краткое объяснение.Я советую вам просмотреть ANTLR вики и прочитайте несколько руководств и/или немного поиграйте с тем, что я только что опубликовал.
Удачи!
РЕДАКТИРОВАТЬ:
Эта почта показано, как расширить приведенный выше пример, чтобы Map<String, Double> может быть предоставлено, что содержит переменные в предоставленном выражении.
Чтобы этот код работал с текущей версией Antlr (июнь 2014 г.), мне нужно было внести несколько изменений. ANTLRStringStream нужно было стать ANTLRInputStream, возвращаемое значение необходимо изменить с parser.eval() к parser.eval().value, и мне нужно было удалить WS в конце, поскольку значения атрибутов, такие как $channel больше не разрешено появляться в действиях лексера.
Другие советы
Мега-учебник по ANTLR автор Габриэле Томассетти очень полезен
Там есть примеры грамматики, примеры посетителей на разных языках (Java, JavaScript, C# и Python) и многое другое.Настоятельно рекомендуется.
РЕДАКТИРОВАТЬ:другие полезные статьи Габриэле Томассетти на ANTLR
Для Antlr 4 процесс генерации кода Java приведен ниже:
java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g
Соответственно обновите имя jar в пути к классам.
В https://github.com/BITPlan/com.bitplan.antlr вы найдете Java-библиотеку ANTLR с некоторыми полезными вспомогательными классами и несколькими полными примерами.Он готов к использованию с maven и, если вам нравятся eclipse и maven.
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4
— это простой язык выражений, который может выполнять операции умножения и сложения.https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.java имеет соответствующие модульные тесты для него.
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4 — это анализатор IRI, разделенный на три части:
- парсер грамматики
- лексическая грамматика
- импортированная грамматика LexBasic
https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.javaдля этого есть модульные тесты.
Лично я нашел это самой сложной частью, чтобы сделать все правильно.Видеть http://wiki.bitplan.com/index.php/ANTLR_maven_plugin
https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr
содержит еще три примера, созданных для устранения проблем с производительностью ANTLR4 в более ранней версии.Тем временем эти проблемы были исправлены в качестве тестового примера. https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.java шоу.
версия 4.7.1 немного отличалась:для импорта:
import org.antlr.v4.runtime.*;
для основного сегмента — обратите внимание на CharStreams:
CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
