正则表达式和 unicode

Question

我有一个脚本可以解析电视剧集的文件名（例如 show.name.s01e02.avi），获取剧集名称（来自 www.thetvdb.com API）并自动将它们重命名为更好的名称（节目名称 - [01x02 ].avi)

该脚本工作正常，直到您尝试在具有 Unicode 显示名称的文件上使用它（我从未真正考虑过这一点，因为我拥有的所有文件都是英文的，所以大多数几乎都属于 [a-zA-Z0-9'\-])

如何让正则表达式匹配重音字符等？目前正则表达式的配置部分看起来像..

config['valid_filename_chars'] = """0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ!@£$%^&*()_+=-[]{}"'.,<>`~? """
config['valid_filename_chars_regex'] = re.escape(config['valid_filename_chars'])

config['name_parse'] = [
    # foo_[s01]_[e01]
    re.compile('''^([%s]+?)[ \._\-]\[[Ss]([0-9]+?)\]_\[[Ee]([0-9]+?)\]?[^\\/]*$'''% (config['valid_filename_chars_regex'])),
    # foo.1x09*
    re.compile('''^([%s]+?)[ \._\-]\[?([0-9]+)x([0-9]+)[^\\/]*$''' % (config['valid_filename_chars_regex'])),
    # foo.s01.e01, foo.s01_e01
    re.compile('''^([%s]+?)[ \._\-][Ss]([0-9]+)[\.\- ]?[Ee]([0-9]+)[^\\/]*$''' % (config['valid_filename_chars_regex'])),
    # foo.103*
    re.compile('''^([%s]+)[ \._\-]([0-9]{1})([0-9]{2})[\._ -][^\\/]*$''' % (config['valid_filename_chars_regex'])),
    # foo.0103*
    re.compile('''^([%s]+)[ \._\-]([0-9]{2})([0-9]{2,3})[\._ -][^\\/]*$''' % (config['valid_filename_chars_regex'])),
]

Answer 1

使用一个子范围 [\u0000-\uFFFF] 为了你想要的。

您还可以使用 re.UNICODE 编译标志。 文档 说如果 UNICODE 已设定， \w 将匹配字符 [0-9_] 加上 Unicode 字符属性数据库中分类为字母数字的任何内容。

也可以看看 http://coding.derkeiler.com/Archive/Python/comp.lang.python/2004-05/2560.html.

Answer 2

Python 的 re 模块不支持 \p{Letter} 或 \X。但是，那 PyPI 上的新正则表达式实现 做。

Answer 3

Jeffrey Friedl 的《掌握正则表达式》（很棒的书）中提到，您可以使用 \p{Letter} 来匹配被视为字母的 unicode 内容。

Answer 4

\X 似乎在某些语言中可用作通用单词字符，它允许您匹配单个字符，而不管它占用多少字节。可能有用。