Protocol Buffers工作原理

这里记录一下学习与使用Protocol Buffer的笔记,优点缺点如何使用这里不再叙述,重点关注与理解Protocol Buffers的工作原理,其大概实现。

我们经常使用Protocol Buffer进行序列化与反序列化。理解Protocol Buffer的工作原理,就要理解序列化与反序列化。

序列化:将数据结构或对象转换为二进制串的过程;

反序列化:序列化的逆过程;

如何实现呢?核心有两点:编码 + 存储。数据在计算机间通过网络进行传输时,传输的是比特流,只有0和1,并没有你所定义的各种类对象等,你如果想将一个类对象传输到对方,怎么办呢?字符是用过ASCII码编码的,这里也可以设计一套编码方案来对类似类对象这种数据进行编码,只要对方收到后能正确的解码就可以了。编码后还要确定编码后的数据存储方式,这样字节流才是有意义的字节流,这样才能知道读取的字节流有什么含义,代表什么。

好了,我们看一下Protocol Buffer是如何编码和存储的。

Protocol Buffer是如何编码的 Varint编码

Varint编码是一种变长的编码方式,核心思想是对数值越小的数字,用越少的字节数表示,这样可以减少数字的字节数,进行数据压缩。

举个例子:对int数据类型,一般需要4个字节来表示,而实际上,对与数值较小的数字而言,无需这么多字节,00000000 00000000 00000000 01111111 | 127,只需要一个字节就能表示,前面3个字节意义不大,浪费了许多空间。

当然,这种编码并不是所有情况下都会变小,当数值非常大时,所需的字节会增多,但因为大多数情况下数值小的数字远比数值大的多,所以整体看来,数据是被压缩了的。

具体的,Varint编码时,对每个字节的最高位赋予特殊含义:

1:表示后序的字节也是该数字的一部分;

0:表示这是最后一个字节,且剩余7bit都用来表示数字(所以Varint解码时,如果读到最高位为0的字节时,就表示已经是Varing的最后一个字节);

因为每个字节的最高位都被占用,用来表示特殊的含义,所以,当数值非常大时,原有的字节数就不够用了,所以编码时要增加字节数。

可以参考下图加深理解:

编码示例:

image

解码示例:

image

还有一个问题:就是负数时怎么办?计算机中数值用补码形式表示和存储(负数在计算机中往往用最位1来表示负数,0表示正数,负数的补码最高位为1),那按Varint编码方式所有的负数都需要增加一个字节表示,这是不能被接受的,解决方法便是下面要讲的zigzag编码。

Zigzag编码

Zigzag编码是一种变长的编码方式。zigzag按绝对值升序排列,将整数hash成递增的数值序列,哈希函数为h(n)=(n<<1)^(n>>31),对应地long型(64)位的哈希函数为h(n)=(n<<1)^(n>>63)。

n hex h(n) zigzag(hex)
0   00 00 00 00   00 00 00 00   00  
-1   ff ff ff ff   00 00 00 01   01  
1   00 00 00 01   00 00 00 02   02  
-2   ff ff ff fe   00 00 00 03   03  
2   00 00 00 02   00 00 00 04   04  
...   ...   ...   ...  

可以看到,zigzag编码将正数和负数重新映射为递增的无符号数,其主要目的就是使绝对值小的数值映射为小的无符号数,已方便后序压缩字节。

zigzag编码还有很多细节,比如为了保证编码的唯一可译性,需对哈希值进行前缀码编码,这里不再细述。

解码为编码的逆,首先将zigzag编码还原成哈希值,然后用哈希函数h的逆h’(n)=(n>>>1)^-(n&1)得到原始整数值。

这里只重点讲Varint编码和Zigzag编码,像string、double等类型这里不再描述,可参考文后的参考文档。

image

T-L-V的数据存储方式

T:tag,L:length,V:value。以标识-长度-字段值表示单个数据,最终将所有数据拼接成一个字节流,从而实现数据存储的功能。

其中Length可选存储,如存储Varint编码数据就不需要存储Length,因为可根据每个字节最高bit位来判断这个字节是不是该数据段的最后一个字节。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpgzdj.html