我是ANTLR的新手,我正在尝试使用C语言目标(antler3C)编写一个简单的解析器。 语法很简单,我想让每个规则返回一个值,例如:
number returns [long value] : ( INT {$value = $INT.ivalue;} | HEX {$value = $HEX.hvalue;} ) ; HEX returns [long hvalue] : '0' 'x' ('0'..'9'|'a'..'f'|'A'..'F')+ {$hvalue = strtol((char*)$text->chars,NULL,16);} ; INT returns [long ivalue] : '0'..'9'+ {$ivalue = strtol((char*)$text->chars,NULL,10);} ;
每个规则收集它的子规则的返回值,直到最顶层的规则返回一个充满我的数据的漂亮结构。
据我所知,ANTLR允许词法分析器规则(令牌,例如’INT’和’HEX’)返回值,就像解析器规则(例如’number’)一样。 但是,生成的C代码将无法编译:
error C2228: left of '.ivalue' must have class/struct/union error C2228: left of '.hvalue' must have class/struct/union
我做了一些探讨,错误是有道理的 – 令牌最终成为通用的ANTLR3_COMMON_TOKEN_struct,它不允许返回值。 所以也许C目标不支持这个function。 但就像我说的那样,我是新手,在我开始寻找另一种方法之前,我想确认一下我不能这样做。
所以问题是:’antler3C是否支持lexer规则的返回值,如果是,那么使用它们的正确方法是什么?
没有任何新的信息,只是关于@bemace已经提到的一些细节。
不,词法分析器规则不能有返回值。 请参阅最终ANTLR参考中的 4.3规则 :
规则参数和返回值
就像函数调用一样,ANTLR解析器和树解析器规则可以有参数和返回值。 ANTLR词法分析器规则不能有返回值[…]
有两种选择:
选项1
您可以在解析器规则number
中将转换为long
:
number returns [long value] : INT {$value = Long.parseLong($INT.text);} | HEX {$value = Long.parseLong($HEX.text.substring(2), 16);} ;
选项2
或者创建自己的令牌,例如,一个toLong(): long
方法:
import org.antlr.runtime.*; public class YourToken extends CommonToken { public YourToken(CharStream input, int type, int channel, int start, int stop) { super(input, type, channel, start, stop); } // your custom method public long toLong() { String text = super.getText(); int radix = text.startsWith("0x") ? 16 : 10; if(radix == 16) text = text.substring(2); return Long.parseLong(text, radix); } }
并在语法中的options {...}
标头中定义以使用此标记并覆盖lexer类中的emit(): Token
方法:
grammar Foo; options{ TokenLabelType=YourToken; } @lexer::members { public Token emit() { YourToken t = new YourToken(input, state.type, state.channel, state.tokenStartCharIndex, getCharIndex()-1); t.setLine(state.tokenStartLine); t.setText(state.text); t.setCharPositionInLine(state.tokenStartCharPositionInLine); emit(t); return t; } } parse : number {System.out.println("parsed: "+$number.value);} EOF ; number returns [long value] : INT {$value = $INT.toLong();} | HEX {$value = $HEX.toLong();} ; HEX : '0' 'x' ('0'..'9'|'a'..'f'|'A'..'F')+ ; INT : '0'..'9'+ ;
生成解析器和词法分析器时,运行此测试类:
import org.antlr.runtime.*; import java.io.*; public class Main { public static void main(String[] args) throws Exception { ANTLRStringStream in = new ANTLRStringStream("0xCafE"); FooLexer lexer = new FooLexer(in); CommonTokenStream tokens = new CommonTokenStream(lexer); FooParser parser = new FooParser(tokens); parser.parse(); } }
它将产生以下输出:
parsed: 51966
在您的情况下,第一个选项似乎更实用。
请注意,正如您所看到的,给出的示例是Java。 我不知道C目标/运行时是否支持选项2。 我决定发布它,以便能够将其作为SO的未来参考。
Lexer规则必须返回Token对象,因为这是Parser期望使用的。 可能有一种方法可以自定义所使用的令牌对象的类型,但是将标记转换为最低级别解析器规则中的值会更容易。
social_title returns [Name.Title title] : SIR { title = Name.Title.SIR; } | 'Dame' { title = Name.Title.DAME; } | MR { title = Name.Title.MR; } | MS { title = Name.Title.MS; } | 'Miss' { title = Name.Title.MISS; } | MRS { title = Name.Title.MRS; };
还有第三种选择:您可以将对象作为参数传递给词法分析器规则。 该对象包含表示词法分析器返回值的成员。 在词法分析器规则中,您可以设置该成员。 在词法分析规则之外,在您调用它的时候,您可以获得该成员并使用此“返回值”执行任何操作。 这种参数传递方式对应于Pascal中的’var’参数或C ++和其他编程语言中的’out’参数。
以上就是c/c++开发分享令牌在ANTLR 3 C中返回值相关内容,想了解更多C/C++开发(异常处理)及C/C++游戏开发关注计算机技术网(www.ctvol.com)!)。
本文来自网络收集,不代表计算机技术网立场,如涉及侵权请联系管理员删除。
ctvol管理联系方式QQ:251552304
本文章地址:https://www.ctvol.com/c-cdevelopment/560136.html