unicode编码详解,一看就懂
一、Unicode编码
1 UTF-8 -16 -32编码和Unicode编码
Unicode编码是一种计算机字符编码标准,其实个人认为叫字符集更为准确;而我们熟悉的UTF-8 UTF-16 UTF-32是Unicode的具体实现(怎么存储在计算机)。
1)Unicode编码规范制定标准:
把世界上所有能出现的字符,都为其分配一个数字来表示,比如,数字U+7F57被分配给了汉字中的"罗"字。Unicode编码的标准里字符数量一直实在新增(包括一些稀有字符,当然emoji表情字符也属于unicode编码哈哈),19年3月刚发布了Unicode12.0版本,比之前的版本新增了一些字符,现在在标准中的字符一共有137929个,而Unicode编码目前规划了U+0000至U+10FFFF为unicode编码(以世界上字符的数量应该是很久不会考虑扩展的),算一下目前还剩下976183(1114112-137929)个代码点,这976183个代码点是规划在unicode中的数字,但是还没被分配对应的字符。
2)UTF-8编码:
UTF-8可以说是当前互联网最常用的编码格式了,它基于Unicode字符集进行编码设计。它最大的特点是变长字节的编码设计,一个字符最长4个字节,最少1个字节,大部分的中文字符占3个字节。
编码规则如下:
1.用一个字节表示的字符,第一位设为 0,后面的 7 位对应这个字符的 Unicode 码点。由于这128个字符的unicode完全对照ASCII码,可以说完全向下兼容ASCII码。即ASCII编码的文件可以用UTF-8打开而不乱码;
2.用一个字节以上表示的字符,假设是N个字节表示这个字符:则该字符第一个字节的前N位都为1,第N+1位为0,剩下的N-1个字节的前两位都设为10,剩下没有主动设值的位置则使用这个字符的Unicode二进制代码点从低位到高位填充,不够用0补足。
编码对照表如下:
Unicode字符集范围(十六进制) | UTF-8编码(二进制) |
0000 0000 - 0000 007F | 0xxxxxxx |
0000 0080 - 0000 07FF | 110xxxxx 10xxxxxx |
0000 0800 - 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx |
0001 0000 - 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
结合编码规则和编码对照表,讲解汉字“罗”是如何编码和解码的:
编码(encode): 字符“罗”所对应的unicode代码点由以上规则转化为UTF-8所对应的二进制数字,则称为编码。可以理解为使字符成为代码的意思,而解码就是代码成为字符。
首先“罗”对应了unicode中的U+7F57,对应编码表中第三行,也就是用3个字节来表示的字符,把7F57的二进制111 1111 0101 0111?从低位对应补足到1110xxxx 10xxxxxx 10xxxxxx(从低位) 如下图所示:
最后成为11100111 10111101 10010111即十六进制E7BD97。
解码(decode): UTF-8所对应的二进制数字由以上规则转化为unicode码再对应到具体字符,则称为编码。
如11100111 10111101 10010111这段二进制编码,第一个字节是111,对应编码对照表则这段编码表示的字符由3个字节组成,用1110xxxx 10xxxxxx 10xxxxxx规则剔除出x对应的数为111 1111 0101 0111,即7F57,该数字对应unicode字符集中的字符“罗”。
3)UTF-32编码:
同理和UTF-8基于unicode字符集。UTF-32编码为固定长度4个字节。因为unicode范围为00FFFF-10FFFF,4个字节表示的范围为00000000-FFFFFFFF,能直接表示所有unicode编码,不需要进行转换编码转换。以空间换时间。
3)UTF-16编码:
UTF-16以2或者4个字节编码表示unicode字符:
unicode字符集中,000000-00FFFF表示的字符,在UTF-16中用2字节直接编码表示,不需要编码转换,这点和UTF-32一样(这里有点需要说明一下, U+D800 到 U+DFFF 是一个空段,即这些码点不对应任何字符,4字节需要用到)
?unicode字符集中,010000-10FFFF表示的字符,在UTF-16中用4字节编码表示,但是需要进行编码转换。比如010000-10FFFF中的某个字符X的uicode编码为AAAA AAAA AABB BBBB BBBB,分为高10位和低10位,高10位加上高位代理位D8(110110),低10位加上低位代理位DF(110111),即组成字符X的UTF-16编码110110AAAAAAAAAAA 110111BBBBBBBBBB。
二、java中的char类型
java中char类型是2个字节长度,一个char在java中称作一个代码单元,而unicode的字符编码叫做代码点。
也就是说utf-16编码中的0000-FFFF的范围可以用一个char表示,10000-10FFFF就需要用两个char来表示。