采用int8方式量化模型,在不明显损失精度的前提下,可带来数倍性能的提升,该方式非常适合于移动侧的模型部署。
weights的量化
对于weights的int8量化就使用的是不饱和的方式;
( -|max| 和 |max| FP32 value 映射为 -127 和 127 ,中间值按照线性关系进行映射。)
输入数据的量化
对输入的int8量化使用的是饱和的量化方式。
(阈值 |T| ,将 ±|T| 映射为±127,这里 |T|<|max|。)
每一层的tensor 的 |T| 值都是不一样的。
什么是校准(Calibration)
确定每一层的 |T|值的过程称为 校准