ANTLR：Unicode字符扫描

Question

问题：无法正确打印Unicode字符。

这里是我的语法：

public static void main(String[] args) { 
SimpleLexer simpleLexer = new SimpleLexer(System.in); 
while(true) { 
try { 
Token t = simpleLexer.nextToken(); 
System.out.println("Token : "+t); 

} catch(Exception e) {} 

} 
} 

对于输入“ठ”，我得到下面的输出：主要方法调用词法分析器的

options { k=1; filter=true; 
// Allow any char but \uFFFF (16 bit -1) 
charVocabulary='\u0000'..'\uFFFE'; 
} 

ANYCHAR :'$' 
| '_' { System.out.println("Found underscore: "+getText()); } 
| 'a'..'z' { System.out.println("Found alpha: "+getText()); } 
| '\u0080'..'\ufffe' { System.out.println("Found unicode: "+getText()); } 
; 

代码片段

Found unicode: 
Token : ["à",<5>,line=1,col=7] 
Found unicode: 
Token : ["¤",<5>,line=1,col=8] 
Found unicode: 
Token : [" ",<5>,line=1,col=9] 

看来词法分析器正在处理Unicode ch ar“ठ”为三个独立的字符。我的目标是扫描和打印“ठ”。

Answer 1

您的问题不在ANTLR生成的词法分析器中，而是在您传递给它的Java流中。该流只读取字节（不以编码解释它们），并且您看到的是UTF-8序列。

如果ANTLR 3，你可以使用ANTLRInputStream构造函数的ancoding作为参数：

ANTLRInputStream (InputStream input, String encoding) throws IOException