Ошибка при использовании ANTLR, Java Опции

[smartchecker]

Где ошибка?

package com.guap.syssoft.lab02;

import org.antlr.runtime.*;

import org.eclipse.swt.widgets.Text;

public class Test1 {
    public static void main(String[] args) {
        try {
            CharStream input = new ANTLRStringStream("asdasd xor ( 0adh");
            MyLang lexer = new MyLang(input);
            Token token;
            
            while ((token = lexer.nextToken()) != Token.EOF_TOKEN) {
              System.out.println("Token: " + token.getText());
            }
         } catch(Throwable t) {
            System.out.println("Exception: " + t);
            t.printStackTrace();
         }        
    }
}

Код выводит лексеммы, а потом продолжает фигачить

Token: <EOF>
Token: <EOF>
Token: <EOF>

Главный вопрос - почему не останавливается?

[ViGOur]

По моему было бы правильней и наглядней писать так:

do {
            token = lexer.nextToken()
            System.out.println("Token: " + token.getText());
}while( token  != Token.EOF_TOKEN );

[Iron Bug]

я не пишу на жабе вообще, но, судя по примерам на сайте ANTLR, нужно делать как-то так:

String input = "бла-бла-бла";
CharStream cs = new ANTLRStringStream(input);
JavaParserLexer lexer = new JavaParserLexer(cs);
CommonTokenStream tokens = new CommonTokenStream();
tokens.setTokenSource(lexer);

а дальше у CommonTokenStream есть метод LT:

Token org.antlr.runtime.CommonTokenStream.LT ( int k )

Get Token at current input pointer + i ahead where i=1 is next Token. i<0 indicates tokens in the past. So -1 is previous token and -2 is two tokens ago. LT(0) is undefined. For i>=n, return Token.EOFToken. Return null for LT(0) and any index that results in an absolute address that is negative.

Сообщение отредактировал Iron Bug - 9.12.2012, 10:43

[smartchecker]

Спасибо, разобрался.
Надо так:

             String input = "asdasd xor XoR ( 0adh";
             CharStream charStream = new ANTLRStringStream(input);
             MyLang lexer = new MyLang(charStream);

            Token token;
            
            do {
                token = lexer.nextToken();
                System.out.println("Token: " + token.getText() + " type: " + token.getType());
            } while (token.getType() != Token.EOF);

Теперь какбы откопать название токенов, как они названы в файле грамматики?
В коде они генерятся так

public class MyLang extends Lexer {
    public static final int EOF=-1;
    public static final int AND=4;
    public static final int ASSIGN=5;
    public static final int COMMA=6;
    public static final int COMMENT=7;
    public static final int DIGIT=8;
    public static final int HEXDIGIT=9;
    public static final int HEXNUM=10;
    public static final int ID=11;
    public static final int LETTER=12;
    public static final int LPAREN=13;
    public static final int NOT=14;
    public static final int OR=15;
    public static final int RPAREN=16;
    public static final int RULE=17;
    public static final int SEMI=18;
    public static final int WS=19;
    public static final int XOR=20;

Вот мне бы имена переменных, т.е. token.getType() возвращает число, а мне бы имя.

[Iron Bug]

token.getType() возвращает число, а мне бы имя.

пиши обработку своих лексем:
http://stackoverflow.com/questions/2228810...ream-with-antlr

P.S. это всё банально находится в гугле за пару минут.