野牛可以解析UTF-8字符？

Question

我试图做一个Bison分析器来处理UTF-8字符。我不想解析器实际解释Unicode字符值，但我希望它来解析UTF-8字符串作为字节序列。

现在，野牛生成以下代码这是有问题：

  if (yychar <= YYEOF)
    {
      yychar = yytoken = YYEOF;
      YYDPRINTF ((stderr, "Now at end of input.\n"));
    }

在的问题是，UTF-8字符串的许多字节将具有负值，和Bison解释负值作为EOF，并停止。

有没有办法解决？

Answer 1

bison是，flex没有。一周时间，我需要一个野牛解析器使用UTF-8编码的文件，我结束了写我自己yylex功能工作。

修改的：为了帮助，我用了很多的油嘴（有一个gunicode类型和我发现有用的一些文件/字符串操作函数）。

Answer 2

flex是这里的问题，你可能想看看 zlex

Answer 3

这是4年前的一个问题，但我面临同样的问题，我想与大家分享我的想法。

但问题是，在UTF-8，你不知道如何读取的字节数。正如以上建议您可以使用自己的词法分析器，并让它无论是读整行，还是有它每次读取4个字节。然后提取不同于UTF-8字符，并读取多个字节再次完成4个字节。