unicode、ucs-2、ucs-4、utf-16、utf-32、utf-8
版权声明:可以任意转载,但转载时必须标明原作者charlee、原始链接http://tech.idv2.com/2008/02/21/unicode-intro/以及本声明。
可能大家都听说过 Unicode、UCS-2、UTF-8 等等词汇,但它们具体是什么意思,是什么原理,之间有什么关系,恐怕就很少有人明白了。下面就分别介绍一下它们。
<!-- end Pukiwiki generated code--><!-- begin Pukiwiki generated code-->
基本知识
介绍Unicode之前,首先要讲解一些基础知识。虽然跟Unicode没有直接的关系,但想弄明白Unicode,没这些还真不行。
字节和字符的区别
咦,字节和字符能有什么区别啊?不都是一样的吗?完全正确,但只是在古老的DOS时代。当Unicode出现后,字节和字符就不一样了。
字节(octet)是一个八位的存储单元,取值范围一定是0~255。而字符(character,或者word)为语言意义上的符号,范围就不一定了。例如在UCS-2中定义的字符范围为0~65535,它的一个字符占用两个字节。
Big Endian和Little Endian
上面提到了一个字符可能占用多个字节,那么这多个字节在计算机中如何存储呢?比如字符0xabcd,它的存储格式到底是 AB CD,还是 CD AB 呢?
实际上两者都有可能,并分别有不同的名字。如果存储为 AB CD,则称为Big Endian;如果存储为 CD AB,则称为Little Endian。
具体来说,以下这种存储格式为Big Endian,因为值(0xabcd)的高位(0xab)存储在前面:
地址 |
值 |
0x00000000 |
AB |
0x00000001 |
CD |
相反,以下这种存储格式为Little Endian:
地址 |
值 |
0x00000000 |
CD |
0x00000001 |
AB |
UCS-2和UCS-4
Unicode是为整合全世界的所有语言文字而诞生的。任何文字在Unicode中都对应一个值,这个值称为代码点(code point)。代码点的值通常写成 U+ABCD 的格式。而文字和代码点之间的对应关系就是UCS-2(Universal Character Set coded in 2 octets)。顾名思义,UCS-2是用两个字节来表示代码点,其取值范围为 U+0000~U+FFFF。
为了能表示更多的文字,人们又提出了UCS-4,即用四个字节表示代码点。它的范围为 U+00000000~U+7FFFFFFF,其中 U+00000000~U+0000FFFF和UCS-2是一样的。
要注意,UCS-2和UCS-4只规定了代码点和文字之间的对应关系,并没有规定代码点在计算机中如何存储。规定存储方式的称为UTF(Unicode Transformation Format),其中应用较多的就是UTF-16和UTF-8了。
UTF-16和UTF-32
UTF-16
UTF-16由RFC2781规定,它使用两个字节来表示一个代码点。
不难猜到,UTF-16是完全对应于UCS-2的,即把UCS-2规定的代码点通过Big Endian或Little Endian方式直接保存下来。UTF-16包括三种:UTF-16,UTF-16BE(Big Endian),UTF-16LE(Little Endian)。
UTF-16BE和UTF-16LE不难理解,而UTF-16就需要通过在文件开头以名为BOM(Byte Order Mark)的字符来表明文件是Big Endian还是Little Endian。BOM为U+FEFF这个字符。
其实BOM是个小聪明的想法。由于UCS-2没有定义U+FFFE,因此只要出现 FF FE 或者 FE FF 这样的字节序列,就可以认为它是U+FEFF,并且可以判断出是Big Endian还是Little Endian。
举个例子。“ABC”这三个字符用各种方式编码后的结果如下:
UTF-16BE |
00 41 00 42 00 43 |
UTF-16LE |
41 00 42 00 43 00 |
UTF-16(Big Endian) |
FE FF 00 41 00 42 00 43 |
UTF-16(Little Endian) |
FF FE 41 00 42 00 43 00 |
UTF-16(不带BOM) |
00 41 00 42 00 43 |
Windows平台下默认的Unicode编码为Little Endian的UTF-16(即上述的 FF FE 41 00 42 00 43 00)。你可以打开记事本,写上ABC,然后保存,再用二进制编辑器看看它的编码结果。
另外,UTF-16还能表示一部分的UCS-4代码点——U+10000~U+10FFFF。表示算法比较复杂,简单说明如下:
- 从代码点U中减去0x10000,得到U'。这样U+10000~U+10FFFF就变成了 0x00000~0xFFFFF。
- 用20位二进制数表示U'。 U'=yyyyyyyyyyxxxxxxxxxx
- 将前10位和后10位用W1和W2表示,W1=110110yyyyyyyyyy,W2=110111xxxxxxxxxx,则 W1 = D800~DBFF,W2 = DC00~DFFF。
例如,U+12345表示为 D8 08 DF 45(UTF-16BE),或者08 D8 45 DF(UTF-16LE)。
但是由于这种算法的存在,造成UCS-2中的 U+D800~U+DFFF 变成了无定义的字符。
UTF-32
UTF-32用四个字节表示代码点,这样就可以完全表示UCS-4的所有代码点,而无需像UTF-16那样使用复杂的算法。与UTF-16类似,UTF-32也包括UTF-32、UTF-32BE、UTF-32LE三种编码,UTF-32也同样需要BOM字符。仅用'ABC'举例:
UTF-32BE |
00 00 00 41 00 00 00 42 00 00 00 43 |
UTF-32LE |
41 00 00 00 42 00 00 00 43 00 00 00 |
UTF-32(Big Endian) |
00 00 FE FF 00 00 00 41 00 00 00 42 00 00 00 43 |
UTF-32(Little Endian) |
FF FE 00 00 41 00 00 00 42 00 00 00 43 00 00 00 |
UTF-32(不带BOM) |
00 00 00 41 00 00 00 42 00 00 00 43 |
UTF-8
UTF-16和UTF-32的一个缺点就是它们固定使用两个或四个字节,这样在表示纯ASCII文件时会有很多00字节,造成浪费。而RFC3629定义的UTF-8则解决了这个问题。
UTF-8用1~4个字节来表示代码点。表示方式如下:
UCS-2 (UCS-4) |
位序列 |
第一字节 |
第二字节 |
第三字节 |
第四字节 |
U+0000 .. U+007F |
00000000-0xxxxxxx |
0xxxxxxx |
|
|
|
U+0080 .. U+07FF |
00000xxx-xxyyyyyy |
110xxxxx |
10yyyyyy |
|
|
U+0800 .. U+FFFF |
xxxxyyyy-yyzzzzzz |
1110xxxx |
10yyyyyy |
10zzzzzz |
|
U+10000..U+10FFFF |
00000000-000wwwxx- xxxxyyyy-yyzzzzzzz |
11110www |
10xxxxxx |
10yyyyyy |
10zzzzzz |
可见,ASCII字符(U+0000~U+007F)部分完全使用一个字节,避免了存储空间的浪费。而且UTF-8不再需要BOM字节。
另外,从上表中可以看出,单字节编码的第一字节为[00-7F],双字节编码的第一字节为[C2-DF],三字节编码的第一字节为[E0-EF]。这样只要看到第一个字节的范围就可以知道编码的字节数。这样也可以大大简化算法。
<!-- end Pukiwiki generated code-->
分享到:
相关推荐
Unicode详解(UTF-8,UTF16,UCS)
* 将一个字符的UTF8编码转换成Unicode(UCS-2和UCS-4)编码. enc_utf8_to_unicode_one(const unsigned char* pInput, unsigned long *Unic) * 将一个字符的UTF8编码转换成Unicode(UCS-2和UCS-4)编码. 等等
将Unicode值转换为utf-8(UCS-3)值。 在网站链接的页面底部查看汇编语言版本。
// GB2312原始编码从0XA1A0到0XFEFF。从01到94个区,其中10~15,(6个区)没有编码,88~94区(7区)没有编码。 //有效编码区只有81个区,分别是01~09区、6...// UTF-8 0xE59388 // UCS-BIG 0x54C8 // UCS-LITTLE 0xC854
各种编码规则及用法介绍,便于开发人员对其概念的理解。
本文主要简要解释UCS、UTF、BMP、BOM等名词。
很多人喜欢用CString 或std:string,但是他们的缺点是不能完成汉字各种类型之间的转换,提供三种类库ascString,ucsString,utfString以及工具utfCount,utf8_ucs2_t,tcf8_ucs4_t类库,用于各种字符串之间的直接转换`...
UTF-8是对UNICODE的再次编码,UCS-2标准:1-3字节,UCS-4标准:1-6字节。BIG5编码:2字节,繁体中文,主要在台湾、香港、澳门等地普及,属于业界标准而非官方标准。比用Api“MultiByteToWideChar、...
字符编码,最近搞手机上的字符串资源和字库,总结了一下字符编码。
Manually preset text encoding for exported data (UTF-8, UTF-16/UCS-2, UTF-32/UCS-4, Latin1, Latin2, Latin5, Latin7 and more) Saving data for future viewing, modification, printing or web publication ...
这个压缩包是采用C语言书写的,可以将UTF-8编码转成Unicode编码,再转成国标GB18030编码
嵌入式字符编码(经典)(ucs2,+unicode,+utf8,+gb2312)[借鉴].pdf
Unicode只是一个编码规范,目前实际实现的unicode编码只要有三种:UTF-8,UCS-2和UTF-16,三种unicode字符集之间可以按照规范进行转换。
UTF-16BE / UTF-16LE UTF-32BE / UTF-32LE / X-ISO-10646-UCS-4-34121 / X-ISO-10646-UCS-4-21431 阿拉伯 ISO-8859-6 WINDOWS-1256 保加利亚语 ISO-8859-5 WINDOWS-1251 中国人 ISO-2022-CN 大5 EUC-TW GB...
C++ utf-8库 LIB文件及头文件
这个PPT课件介绍了Unicode和字符编码相关的知识。丰富生动的图片和讲解使您能快速地掌握Unicode编码相关的知识,是不可多得的Unicode相关的PPT教程。... Unicode存储编码——UTF 10. 字节顺序与BOM
miniutf, 用于基本Unicode操作的C 库 miniutfminiutf是几个基本Unicode操作函数的C 实现。特性 UTF-8,UTF-16,UTF-32 ( UCS-4 )miniutf可以在 UTF-8 ( std::string ) 。UTF-16 ( st