Python、Unicode 和 Windows 控制台

Question

当我尝试在 Windows 控制台中打印 Unicode 字符串时，我得到一个 UnicodeEncodeError: 'charmap' codec can't encode character .... 错误。我认为这是因为 Windows 控制台不接受纯 Unicode 字符。解决这个问题的最佳方法是什么？有什么办法可以让Python自动打印 ? 而不是在这种情况下失败？

编辑： 我正在使用Python 2.5。

---

笔记： @LasseV.Karlsen 带有复选标记的答案有点过时了（从 2008 年开始）。请谨慎使用以下解决方案/答案/建议！

@JFSebastian 回答 截至今天（2016 年 1 月 6 日）更具相关性。

Answer 1

笔记： 这个答案有点过时了（从 2008 年开始）。请谨慎使用以下解决方案！

---

这是一个详细说明问题和解决方案的页面（在该页面中搜索文本 将 sys.stdout 包装到实例中):

打印失败 - Python Wiki

这是该页面的代码摘录：

$ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line'
  UTF-8
  <type 'unicode'> 2
  Б
  Б

  $ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line' | cat
  None
  <type 'unicode'> 2
  Б
  Б

该页面上还有更多信息，非常值得一读。

Answer 2

更新： Python 3.6 实施 PEP 528：将 Windows 控制台编码更改为 UTF-8: Windows 上的默认控制台现在将接受所有 Unicode 字符。 在内部，它使用与以下相同的 Unicode API： 这 win-unicode-console 下面提到的包. print(unicode_string) 现在应该可以工作了。

---

我得到一个 UnicodeEncodeError: 'charmap' codec can't encode character... 错误。

该错误意味着您尝试打印的 Unicode 字符无法使用当前的 (chcp) 控制台字符编码。代码页通常是 8 位编码，例如 cp437 只能表示 ~1M Unicode 字符中的 ~0x100 个字符：

>>> u"\N{EURO SIGN}".encode('cp437')
Traceback (most recent call last):
...
UnicodeEncodeError: 'charmap' codec can't encode character '\u20ac' in position 0:
character maps to 

我认为这是因为 Windows 控制台不接受纯 Unicode 字符。解决这个问题的最佳方法是什么？

Windows 控制台接受 Unicode 字符，甚至可以显示它们（仅限 BMP） 如果配置了对应的字体. WriteConsoleW() API 应按照中的建议使用 @Daira Hopwood 的回答. 。它可以被透明地调用，即，如果您使用，您不需要也不应该修改您的脚本 win-unicode-console 包裹:

T:\> py -mpip install win-unicode-console
T:\> py -mrun your_script.py

看 Python 3.4、Unicode、不同语言和 Windows 有何关系？

有什么办法可以使Python自动打印 ? 而不是在这种情况下失败？

如果用替换所有不可编码的字符就足够了 ? 在你的情况下，你可以设置 PYTHONIOENCODING 环境变量:

T:\> set PYTHONIOENCODING=:replace
T:\> python3 -c "print(u'[\N{EURO SIGN}]')"
[?]

在 Python 3.6+ 中，指定的编码 PYTHONIOENCODING 交互式控制台缓冲区将忽略 envvar，除非 PYTHONLEGACYWINDOWSIOENCODING envvar 设置为非空字符串。

Answer 3

尽管其他听起来似乎合理的答案建议将代码页更改为 65001，但 不起作用. 。（另外，使用更改默认编码 sys.setdefaultencoding 是 这不是一个好主意.)

看 这个问题 了解详细信息和有效的代码。

Answer 4

如果您对获得不良字符的可靠表示不感兴趣，您可以使用类似的方法（使用 python >= 2.6，包括 3.x）：

from __future__ import print_function
import sys

def safeprint(s):
    try:
        print(s)
    except UnicodeEncodeError:
        if sys.version_info >= (3,):
            print(s.encode('utf8').decode(sys.stdout.encoding))
        else:
            print(s.encode('utf8'))

safeprint(u"\N{EM DASH}")

字符串中的错误字符将转换为 Windows 控制台可打印的表示形式。

Answer 5

即使在 Windows 上，以下代码也会使 Python 以 UTF-8 格式输出到控制台。

控制台在 Windows 7 上可以很好地显示字符，但在 Windows XP 上则不能很好地显示字符，但至少它可以工作，最重要的是，您的脚本在所有平台上都会有一致的输出。您将能够将输出重定向到文件。

下面的代码在 Windows 上使用 Python 2.6 进行了测试。

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import codecs, sys

reload(sys)
sys.setdefaultencoding('utf-8')

print sys.getdefaultencoding()

if sys.platform == 'win32':
    try:
        import win32console 
    except:
        print "Python Win32 Extensions module is required.\n You can download it from https://sourceforge.net/projects/pywin32/ (x86 and x64 builds are available)\n"
        exit(-1)
    # win32console implementation  of SetConsoleCP does not return a value
    # CP_UTF8 = 65001
    win32console.SetConsoleCP(65001)
    if (win32console.GetConsoleCP() != 65001):
        raise Exception ("Cannot set console codepage to 65001 (UTF-8)")
    win32console.SetConsoleOutputCP(65001)
    if (win32console.GetConsoleOutputCP() != 65001):
        raise Exception ("Cannot set console output codepage to 65001 (UTF-8)")

#import sys, codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
sys.stderr = codecs.getwriter('utf8')(sys.stderr)

print "This is an Е乂αmp١ȅ testing Unicode support using Arabic, Latin, Cyrillic, Greek, Hebrew and CJK code points.\n"

Answer 6

就像 Giampaolo Rodolà 的回答一样，但更肮脏：我真的真的打算花很长时间（很快）来理解编码的整个主题以及它们如何应用于 Windoze 控制台，

目前我只想做某件事，这意味着我的程序不会崩溃，我明白......而且也不涉及导入太多外来模块（特别是我使用的是 Jython，所以有一半的时间 Python 模块实际上不可用）。

def pr(s):
    try:
        print(s)
    except UnicodeEncodeError:
        for c in s:
            try:
                print( c, end='')
            except UnicodeEncodeError:
                print( '?', end='')

注意，“pr”的输入时间比“print”短（并且比“safeprint”的输入时间短很多）...！

Answer 7

只需在执行 python 脚本之前在命令行中输入以下代码：

chcp 65001 & set PYTHONIOENCODING=utf-8

Answer 8

对于 Python 2 尝试：

print unicode(string, 'unicode-escape')

对于 Python 3 尝试：

import os
string = "002 Could've Would've Should've"
os.system('echo ' + string)

或者尝试 win-unicode-console：

pip install win-unicode-console
py -mrun your_script.py

Answer 9

你的问题的原因是 不是 Win控制台不愿意接受Unicode（因为我猜Win2k默认是这样做的）。这是默认的系统编码。尝试这段代码，看看它会给你带来什么：

import sys
sys.getdefaultencoding()

如果说ASCII，您的原因;-)您必须创建一个称为sitecustomize.py的文件，然后将其放在python路径下（我将其放在/usr/lib/python2.5/site-packages下，但这在差异上有所不同。赢 - 是c： python lib site -packages之类的东西），带有以下内容：

import sys
sys.setdefaultencoding('utf-8')

也许您可能还想在文件中指定编码：

# -*- coding: UTF-8 -*-
import sys,time

编辑：可以找到更多信息 在优秀的《Dive into Python》一书中

Answer 10

长话短说：

print(yourstring.encode('ascii','replace'));

---

我自己在开发 Twitch 聊天 (IRC) 机器人时遇到了这个问题。（Python 2.7最新）

我想解析聊天消息以便回复......

msg = s.recv(1024).decode("utf-8")

还可以以人类可读的格式将它们安全地打印到控制台：

print(msg.encode('ascii','replace'));

这纠正了机器人抛出的问题 UnicodeEncodeError: 'charmap' 错误并将 unicode 字符替换为 ?.

Answer 11

与 J 的答案有点相关。F。塞巴斯蒂安，但更直接。

如果打印到控制台/终端时遇到此问题，请执行以下操作：

>set PYTHONIOENCODING=UTF-8

Answer 12

Python 3.6 Windows7：有几种启动 python 的方法，你可以使用 python 控制台（上面有 python 徽标）或 Windows 控制台（上面写着 cmd.exe）。

我无法在 Windows 控制台中打印 utf8 字符。打印 utf-8 字符会引发此错误：

OSError: [winError 87] The paraneter is incorrect 
Exception ignored in: (_io-TextIOwrapper name='(stdout)' mode='w' ' encoding='utf8') 
OSError: [WinError 87] The parameter is incorrect 

在尝试但未能理解上述答案后，我发现这只是一个设置问题。右键单击 cmd 控制台窗口顶部的选项卡 font 选择了lucida控制台。

Answer 13

詹姆斯·苏拉克问道，

有什么方法可以让Python自动打印a吗？而不是在这种情况下失败？

其他解决方案建议我们尝试修改Windows环境或替换Python的 print() 功能。下面的答案更接近于满足苏拉克的要求。

在 Windows 7 下，Python 3.5 可以打印 Unicode，而不会抛出异常 UnicodeEncodeError 如下：

代替：print(text)
代替： print(str(text).encode('utf-8'))

Python 现在不再抛出异常，而是将不可打印的 Unicode 字符显示为 \xNN 十六进制代码，例如：

  Halmalo n\xe2\x80\x99\xc3\xa9tait 加 qu\xe2\x80\x99un 点黑色

代替

  Halmalo n’était plus qu’un point noir

当然，后者更可取 其他条件不变的情况下, ，但除此之外前者对于诊断消息是完全准确的。因为它将 Unicode 显示为文字字节值，所以前者还可以帮助诊断编码/解码问题。

笔记： 这 str() 需要上面的调用，否则 encode() 导致 Python 拒绝将 Unicode 字符作为数字元组。