如何为Paddle新增一个量化标准呢？

[Zheng-Bicheng]

需求描述 Feature Description

任务目标

CMSIS-NN是用于ARM Cortex-M系列的芯片的神经网络推理库，用于低性能芯片/架构的神经网络部署。我希望能够使用CMSIS-NN将Paddle模型部署在基于Arm的MCU上

一些可能用到的链接：

• TensorFlow Lite 8 位量化规范
• CMSIS-NN Github Repo

目前不能部署的原因

CMSIS-NN遵循TFLite的量化规范，详情请参考TensorFlow Lite 8 位量化规范。我读取了PaddleSlim的模型的量化节点权重信息，发现全部（或者说几乎全部）的模型都是使用的对称量化，这和TFLite的量化范围有所冲突。以Softmax算子为例，在TFLite中，该算子为强制非对称量化，其量化格式如下:

SOFTMAX
  Input 0:
    data_type  : int8
    range      : [-128, 127]
    granularity: per-tensor
  Output 0:
    data_type  : int8
    range      : [-128, 127]
    granularity: per-tensor
    restriction: (scale, zero_point) = (1.0 / 256.0, -128)

希望新增的功能

我希望知道如何为Paddle新增一个量化规范（我可以自行提交一个PR来实现这个需求），涉及到的内容可能有:

• 我需要知道如何新增一个量化规范（不同的算子应该有不同的量化格式）
• 我需要知道如何新增一个量化方法（例如为Softmax算子强制固定scale和zp）

替代实现 Alternatives

No response

[jzhang533]

@qingqing01 and the team will be mentoring on this.

[Zheng-Bicheng]

@qingqing01 大佬方便简单帮忙看下吗？我可以自己添加，不需要您过多花心思。

[xiaoluomi]

如果要使用动态图量化：新增新的量化方法在https://github.com/PaddlePaddle/Paddle/tree/develop/python/paddle/quantization
和https://github.com/PaddlePaddle/PaddleSlim/blob/develop/paddleslim/quant/observers/uniform.py 参考可配置非对称量化
静态图量化需要牵扯以下等代码：
https://github.com/PaddlePaddle/Paddle/tree/develop/python/paddle/static/quantization

Paddle/python/paddle/static/quantization/quantization_pass.py

Line 2197 in 7c5e803

zero_point_node = None