Unicode and UTF-8

赞助

如果你觉得我写得还行,并且愿意付费,那么我会更有动力写下去。

绝大多数程序员都听说过 UnicodeUTF-8,但是清楚它们之间关系的人就不多了,关于这个问题,与其苍白的陈述它们的概念,不如举例子说明来得自然。

我前些天碰到一个需求:随机生成几个汉字。原本我便对编码之类的问题发怵,所以完全搞不清楚状况,无奈之下我便上网搜索了一个 PHP 版本的实现:

<?php

$zh = '';

for($i = 0; $i < 3; $i++) {
    $zh .= '&#'. rand(19968, 40869) . ';';
}

echo mb_convert_encoding($zh, 'UTF-8', 'HTML-ENTITIES');

?>

说明:结果包含很多生僻汉字,如果只想要最常用的汉字,参考现代汉语常用字表

不过代码里的「19968」和「40869」是什么玩意?这又牵扯到 Unicode code points,为了更好的说明问题,我们需要把如上十进制转换成十六进制:

shell> php -r 'echo dechex(19968);'
4e00

shell> php -r 'echo dechex(40908);'
9fcc

在 Unicode 官方网站,我们能查到 Unihan Grid Index,其中 CJK Unified Ideographs 部分包含了大部分的汉字,其 code points 恰恰是从 U+4E00 到 U+9FCC!

单单从上面一个例子还不足以说明问题,下面我们挑选一个「」字深入说明一下:

Unicode

Unicode

因为我们编码是 UTF-8,所以就先看看「博」字的 UTF-8 编码是什么:

<?php

$string = "博";

for ($i = 0; $i < strlen($string); $i++) {
    echo dechex(ord($string[$i]));
}

?>

代码看上去有点冗长,实际上利用 unpack 函数可以更简单的实现类似的逻辑:

shell> php -r 'var_dump(unpack("H6", "博"));'
array(1) {
  ["codes"]=>
  string(6) "e58d9a"
}

于是乎「博」字的 UTF-8 编码是「e58d9a」,再看怎么得到 unicode code point:

shell> php -r 'echo base_convert("e58d9a", 16, 2);'
111001011000110110011010

如上拿到了「博」字的二进制表示,实际上其 unicode code point 就隐藏在这里。通常汉字用 UTF-8 表示时是三个字节,格式为「111XXXXX 10XXXXXX 10XXXXXX」,除掉标志位,把剩余对应位置上的数据抽取出来连接在一起,就得到了 Unicode code point,也就是「00101001101011010」,剩下的就简单了,把它从二进制转换成十六进制即可:

shell> php -r 'echo base_convert("00101001101011010", 2, 16);'
535a

需要说明的是,如果你仅仅看「博」字,会发现其 Unicode code point 和 UTF-16 是一样的,很容易据此认为它们是等同的概念,实际上这个结论仅仅在双字节(UCS-2)时才是成立的,一旦大于两个字节,就不成立了,有兴趣的可以参考相应的例子

到底 Unicode 和 UTF-8 是什么关系?一句话:Unicode 是字符集;UTF-8 是编码

Unicode and UTF-8》上有9条评论

  1. Pingback引用通告: Unicode 和 UTF-8 是什么关系? | 写代码度日的骚年

  2. 文章里面有个问题没说清楚。
    > for($i = 0; $i $zh .= ‘&#’. rand(19968, 40869) . ‘;’;
    > }
    >
    > echo mb_convert_encoding($zh, ‘UTF-8’, ‘HTML-ENTITIES’);

    上面 19968 – 40869 这个应该是和HTML-ENTITIES实体码值中的对应。
    虽然最终结果可能相同 (未验证) 但是逻辑上出错了

    这个方法其实很简单。 就是用HTML实体值来进行转换

  3. wb你虽然是哥的偶像..但是这文章..写的有点狗屎

    太注重过程,结论又很唐突,我来补充一下:

    Unicode预订的编码空间大小为0x0-0x10FFFF,最多可以容纳1114112(100多万)个字符

    实际上并不能使用这么多的空间,于是编码方式出现了两种,ucs-2(BMP)和ucs-4 编码方式
    其中,bmp是Basic Multilingual Plane的简写.

    一个字符的Unicode编码(码点)是唯一确定的,但由于不同系统平台实现方式的不同(如字节序的不同),或基于传输或节省存储空间等各种因素考虑,Unicode的实现方式各不相同,Unicode的实现方式称为Unicode转换格式(Unicode Translation Format,简称为UTF)

    如UTF-16
    UTF-16采用双字节对UCS-2字符进行编码,由于UCS-2本身也是双字节编码,故一般UTF-16编码和UCS-2编码可等同对待,但由于不同平台对字节序的理解不同,
    UTF-16又分为UTF-16 BE(Big-Endian, 简写为UTF-16 BE)和UTF-16 LE(Little-Endian,简写为UTF-16 LE)两种编码方式.

    UTF-16编码的优点:编码效率高,寻址快。
    由于所有字符都采用双字节编码,可以快速对字符进行定位及计算,如一个文本文件,可以通过获得其文件大小/2即可计算得知包含的字符数。Java默认使用UTF-16 BE编码。

    那么为什么会出现utf-8呢:
    1)、和ASCII码不兼容,而且不太好移植(Not Portable)
    例如:char *s=“Good ,北京”;该C语言代码采用UTF-16编码后,字节序列中间有许多’\0’,’\0’ 会被识别为字符串的终止,strlen()函数不起用了。
    2)、存储空间较大,造成存储及带宽的极大浪费
    极端情况下,英文存储空间会Double!
    为了解决这些现实生活中遇到的问题,UTF-8编码应运而生!

    言归正传,对于UTF-8
    UTF-8是针对Unicode(UCS-2或UCS-4)的可变长度编码方式,是一种前缀码,它可用来编码Unicode中的任何一个字符。UTF-8编码和ASCII码全兼容,自应用以来逐渐成为电子邮件、网页及其他存储或传送文字应用中,最优先采用的Unicode编码方式。

    如果有兴趣,可以延伸阅读RFC:
    http://www.rfc-editor.org/rfc/rfc3629.txt

    • 恩,补充的赞,我写的确实有点文不对题。

    • 赞回复,LZ 这篇文章确实狗屎,哈哈~~ 改进修改修改,免得误人子弟 — 你是有影响力的 BLOG 了。

  4. Pingback引用通告: 随机生成中文 | 小喵爱你

发表评论

电子邮件地址不会被公开。 必填项已用*标注