基本知识

UTF8 本质是 Unicode 标准的一种实现方式,UTF8 编码和 Unicode 字符码是有相互转换的规则的。GBK 码与 Unicode 字符码是没有设计有规律的对应关系的,即没有相互转换的规则。所以想要实现 UTF8 和 GBK 编码互转需要依靠查表法,即 UTF8 转 GBK 编码需要先按规则转换成 Unicode 字符码,再通过查表获取该 Unicode 字符码对应的 GBK 码,同样的 GBK 转 UTF8 编码也需要先查表获取对应的 Unicode 字符码,再按照规则转换成 UTF8 编码。

获取 GBK 和 Unicode 的编码对应表

这里介绍两个编码对应表,分别是 CP936 编码表,和汉字 Unicode 编码表,包含的汉字都是基本汉字,一共 20902 个。除去 ASCII 字符外,这些编码中包括的汉字都是两个字节的长度。 其中 CP936 编码表是按照递增的 GBK 编码值为索引的,对应值是 Unicode 编码,(由于 GBK 的编码并不是连续的,所有索引之间往往有空缺),而汉字 Unicode 编码表是以递增的 Unicode 汉字字符码为索引的,对应值是 GBK 编码(Unicode 编码范围 4E00-9FA5) 。

实现互转

在获取编码表之后,想要实现 GBK 和 Unicode 互转的功能就没有什么难度了,最简单的方法就是定义一个编码数组包含 GBK 和 Unicode 的映射关系,然后对所需要转换的编码进行查表,获取对应编码再拼接成一个数据串就完成了。

采用 CP936 编码表:
需要定义一个 short 型二维数组存放 GBK 和 Unicode 的映射关系(因为 GBK 编码值不是递增的,中间有很多未使用的值),无论是 GBK 转 Unicode 还是 Unicode 转 GBK 使用时最长需要遍历整个数组。

采用汉字 Unicode 编码表:
需要定义一个 short 型一维数组,存放从 4E00-9FA5 直接的汉字字符,Unicode 的编码字符减去 4E00 既是一维数组的索引。在 Unicode 转 GBK 时可以直接计算出对应 GBK 的索引值,直接获取该编码值即可。在 GBK 转 Unicode 的时候最长需要遍历整个数组。

明显可以看出来,使用汉字 Unicode 编码表的时间复杂度和空间复杂度是低于使用 CP936 编码表的,不做优化的话,这里肯定选择汉字 Unicode 编码表。

优化占用空间

缺点:
上面虽然实现了 GBK 和 Unicode 的互相转换,但是在程序里面定一个 20902 长度的 short 数组还是太臃肿了,而且在某些情况嵌入式系统中是不允许定义这么多的。

优化:
这里我们可以把编码表改造成字库文件。在带操作系统的环境下以读取文件的方式来读取字符编码。在嵌入式系统中没有文件系统的环境下,我们可以把字库文件烧入 Flash,以读取 Flash 的方式来读取字符编码。

制作字库文件:
汉字 Unicode 编码表制作字库文件并不复杂,新建一个 .txt 文件(以 ANSI 格式打开),将 Unicode 4E00-9FA5 对应的 GBK 编码依次复制到文件中保存,修改名字为 GBK.bin 就可以了。(这里 GBK.bin 是没有文件头和校验值的,直接按照索引读取就行,需要注意的事这里不能有换行符)

优化查找编码速度

缺点:

使用 GBK.bin 优化了程序占用的空间,但是 GBK 转 Unicode 的时候最长仍需要遍历整个字库文件,而且有一部分常用的字符是在 4E00-9FA5 后段部分的,这就导致了很多情况下查找效率的降低。

优化:

汉字 Unicode 编码表是根据 Unicode 排序的,CP936 编码表是根据 GBK 排序的,我们可以将 CP936 编码表也制作成字库 CP936.bin,在 GBK 转 Unicode 的时候使用字库 CP936.bin,在 Unicode 转 GBK 时使用 GBK.bin,这样互转都是按照编码索引转换成字库索引直接读取对应字库,就省去了遍历的过程。

制作字库文件:

CP936 编码表中的一部分
GBK     Unicode
0x81FD    0x4FA1
0x81FE    0x4FA2
0x8240    0x4FA4
0x8241    0x4FAB

如上所示,GBK 的索引是不连续的,81FE 后面接的是 8240,实际上整个 CP936 中类似于此的断层大概有一百多处,每处缺少的数目是不一样的,这里我们可以通过编写程序将其补全索引,对于的 Unicode 的值设置成 0000,并写入 GBK.bin 文件(这里对于大的断层我们进过滤,并在后面的索引计算中进行特殊处理,以免补出来的 bin 文件过大)。

优化字串转换速度

上面都是单个编码去计算索引,读取文件获取编码返回,在大量的字符串转换的时候会有很多冗余的操作,我们可以进行流程上的优化,把所有需要获取的字符编码先全部转换成索引,然后在去字库中一次将所有需要的内容都读出来统一返回,这样减少了流程上的调用。

UTF8 和 Unicode 的互转

GBK 和 Unicode 的互转已经实现了,剩下的就是 UTF8 和 Unicode 的转换,这部分就有固定的转换规则如下:

UTF8 编码规则:如果只有一个字节则其最高二进制位为 0,如果是多字节,其第一个字节从最高位开始,连续的二进制位值为 1,1 的个数决定了其编码的字节数,其余各字节均以 10 开头。

// Unicode6.1定义范围:0~10 FFFF
// 20 0000 ~ 3FF FFFF 和 400 0000 ~ 7FFF FFFF 属于 UCS-4,UTF8 现在已经弃用了这部分内容
---------------------------------------------------------------------------------
n | Unicode (十六进制)     | UTF - 8 (二进制)
--+-----------------------+------------------------------------------------------
1 | 0000 0000 - 0000 007F | 0xxxxxxx
2 | 0000 0080 - 0000 07FF | 110xxxxx 10xxxxxx
3 | 0000 0800 - 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
4 | 0001 0000 - 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
---------------------------------------------------------------------------------
// 以下部分弃用
5 | 0020 0000 - 03FF FFFF | 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
6 | 0400 0000 - 7FFF FFFF | 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
---------------------------------------------------------------------------------

以上就是UTF8和GBK编码互转实现解析的详细内容,更多关于UTF8 GBK编码互转的资料请关注本站其它相关文章!

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部