转余晟老师的正则专栏文章:(二)Unicode诸问题(上)
关于正则表达式的文档很多，但大部分都是英文的，即便有中文的文档，也翻译或改编自英文文档。在介绍功能时，这样做没有大问题，但真要处理文本，就可能会遇到一些英文开发或应用环境中难得见到的问题。比如中文之类多字节字符的匹配，就是如此。所以，这篇文章专门谈谈正则表达式如何处理多字节字符，更准确地说，是如何处理Unicode编码的文本（为什么只提到Unicode编码，而没有提到其它编码，理由在后面详述）。
首先介绍关于编码的基础知识：
通常来说，英文编码较为统一，往往采用ascii编码或兼容ascii的编码（即编码表的前127位与ascii编码一致，常用的各种编码，包括Unicode编码都是如此）。也就是说，英文字母、阿拉伯数字和英文的各种符号，在不同编码下的表示是一样的，比如字母A，其编码总是41，常见的编码中，英文字符和半角标点符号的编码都等于ascii编码，通常只用一个字节表示。
但是中文的情况则不同，常见的中文编码有GBK（CP936）和Unicode两种，同一个中文字符在不同编码下的值并不相同，比如"发"字，GBK编码的值为b7a2，用两个字节表示；而Unicode编码的值（也就是代码点，CodePoint）为53d1。如果用UTF-8编码保存，需要3个字节（e58f91）；用UTF-16编码保存，需要4个字节（53d1）。
正因为中文字符需要多个字节来表示，常见的正则表达式的文档就有可能无法覆盖这种情况。比如常见的资料都说，点号『.』可以匹配"除换行符\n之外的任意字符"，但这可能只适用于"单字节字符"，因为点号匹配的其实只是"除换行符\n之外的任意字节"而已。不信，我们可以来试试看（以下例子中，程序均使用UTF-8编码）：之所以会出现这种情况，是因为正则表达式无法正确将多个字节识别为"单个字符"，让点号『.』能正确匹配。不过在Python3.x、Java、.NET和Ruby1.9中，字符串默认都是采用Unicode编码，所以不存在上面的问题。如果你使用的是Python2.x、Ruby1.8或PHP，也可以显式指定采用Unicode模式。如果你细心就会发现，在Python2.x中，我们指定的字符串使用Unicode编码，而文档里说了，正则表达式也可以指定Unicode模式的；相反，在PHP和Ruby中，我们指定正则表达式使用Unicode编码，而字符串并没有指定。这到底是怎么回事呢？
我们知道，正则表达式的操作可以简要概括为"用正则表达式去匹配字符串"，它涉及两个对象：正则表达式和字符串。对字符串来说，如果没有设定Unicode模式，则多字节字符很可能会拆开为多个单字节字符对待（虽然它们并不是合法的ascii字符），Python2.x中就是如此，"发"字在没有设定Unicode编码时，变成了3个单字节字符构成的字符串，点号『.』只能匹配其中的单个"字符"。如果显式将正则表达式设定为Unicode字符串（也就是在u'发'），则"发"字视为单个字符，点号可以匹配。
而且，如果你在正则表达式的字符组里使用了中文字符，表示正则表达式的字符串，也应该设定为Unicode字符串，否则正则表达式会认为字符组里不是单个字符，而是3个单字节字符：另一方面，在PHP和Ruby中并不存在"Unicode字符串"，所以我们无法修改字符串的属性。但是，设定正则表达式为Unicode模式，正则表达式也可以正确识别字符串中的Unicode字符。所以，如果你用PHP或Ruby的正则表达式处理Unicode字符串，一定不要忘记指定Unicode模式。
点号『.』对Unicode字符的匹配"我"（采用UTF-8编码）字符串正则表达式语言是否显式指定Unicode模式可否匹配我^.$Java否（无须指定）可以^.$JavaScript否（无法指定）由浏览器的实现决定/^.$/PHP否不可以/^.$/uPHP是可以/^.$/Ruby1.8否不可以/^.$/uRuby1.8是可以/^.$/Ruby1.9否可以^.$.NET否可以^.$Python2.x否不可以^.$Python3否可以注：PHP和Ruby的正则表达式本身是不包含分隔符（分隔符可以有很多种，常见的是反斜线/）的，但PHP指定Unicode模式必须在后一个分隔符之后写u，所以在这里将分隔符也写出来。
不过，如果你熟悉Python语言，会发现Python也可以指定正则表达式使用Unicode模式，这又是怎么回事呢？
不妨回头仔细想想你读过的文档，正则表达式中的『\d』和『\w』，都是如何解释的？或许你的第一反应是：『\d』等价于『[0-9]』，『\w』等价于『[0-9a-zA-Z_]』。因为有些文档说明了这种等价关系，有些文档却说：『\d』匹配数字字符，『\w』匹配单词字符。然而这只是针对ascii编码的规定，在Unicode编码中，全角数字０、１、２之类，应该也可以算"数字字符"，由『\d』匹配；中文的字符，应该也可以算"单词字符"，由『\w』匹配；同样的道理，中文的全角空格，应该也可以算作"空白字符"，由『\s』匹配。所以，如果你在Python中指定了正则表达式使用，『\d』、『\w』、『\s』就能匹配全角数字、中文字符、全角空格。老实说，这样的规定有时候确实让人抓狂，假设你希望用正则表达式『\d{6,12}』来验证一个长度在6到12之间的数字字符串，却没留意『\d』能匹配全角数字，验证就不够严密了。
下面的表格列出了常见语言中的匹配规定语言『\w』『\d』『\s』的匹配规则Java均只能匹配ascii字符JavaScript均只能匹配ascii字符PHP均只能匹配ascii字符Ruby1.8默认情况下只能匹配ascii字符，Unicode模式只影响『\w』的匹配Ruby1.9均可以识别Unicode字符.NET均可以识别Unicode字符Python2.x默认情况下只能匹配ascii字符，Unicode模式下均可以识别Unicode字符Python3默认情况下均可以识别Unicode字符，但可以显式指定ascii注1：一般来说，单词边界『\b』能匹配的位置是：一端是『\w』，一端不是『\w』（也可以什么都没有），其中『\w』的规定与『\w』一样，但Java中则不是这样，细节比较复杂，这里不展开，有兴趣的读者可以自己试验。
注2：在Python3中可以在表达式之前添加『(?a)』指定ascii模式。
虽然常见的中文字符编码有GBK和Unicode两种，但如果需要使用正则表达式处理中文，我强烈推荐使用Unicode字符，不仅是因为正则表达式提供了对Unicode的现成支持，而且因为GBK编码可能会有其它问题。比如：我们要求匹配"收"字或者"发"字，很自然会想到使用字符组『[收发]』，这思路是对的，但如果采用GBK编码，正则引擎见到的很可能不是"两个字符构成的字符组"，而是"四个字节构成的字符组"。
使用GBK编码，[收发]的解释『cad5b7a2』
如果我们用『[收发]』来匹配字符"罚"（它的GBK编码是b7a3），就会产生错误--虽然"罚"字既不等于"收"也不等于"发"，但"罚"和『[收发]』却可以匹配一个字节
GBK编码的情况
罚b7a3
[收发]cad5b7a2
Unicode编码的情况（因为Unicode编码能正确识别，无论采用UTF-8还是UTF-16，Unicode字符都会正确转化为Unicode编码点）
罚7f5a
[收发]653653d1
"罚"的Unicode编码是7f5a，无论如何也不会发生错误匹配。
如果出于某些限制，只能使用GBK编码，也有一个偏方准确保证『[收发]』的匹配，就是把字符组『[收发]』改成多选分支『(收|发)』。此时如果要匹配成功，只能是两个连续的字节cad5或者b7a2，而"罚"字两个字节为b7a3，无法匹配。
但这样也会有问题，因为在GBK编码下字符串被当作"字节序列"来对待。比如字符串"账珍"对应四个字节，d5cad5e4，其中正好出现了"收"字对应的两个字节cad5，正则表达式就可能在此处匹配成功。
更重要的问题在于排除型字符组的匹配，仍然使用上面的例子，假如我们希望匹配一个"收"和"罚"之外的字符，自然的思路就是使用排除型字符组『[^收发]』。但是通过上面的讲解，我们已经知道，这样"排除"的并不是2个字符，而是4个字节：cad5b7a2。但"罚"字的GBK编码为b7a3，b7这个字节被"排除"了，所以正则表达式会显示"罚"字不能由『[^收发]』匹配，这完全违背了我们的本意。
总的来说，所以如果使用GBK编码（或者说非Unicode编码），对此类问题基本是无解的。因此，根本的办法还是使用Unicode编码。