计算机研究与发展

作者：谢坤鹏,卢冶,靳宗明,刘义情,龚成,陈新伟,李涛,

关键词：卷积神经网络量化, 量化算法解耦, 并行编解码, 片上资源建模, 加速器设计,

卷积神经网络(convolutionalneuralnetwork,CNN)模型量化可有效压缩模型尺寸并提升CNN计算效率.然而，CNN模型量化算法的加速器设计，通常面临算法各异、代码模块复用性差、数据交换效率低、资源利用不充分等问题.对此，提出一种面向量化CNN的嵌入式FPGA加速框架FAQ-CNN，从计算、通信和存储3方面进行联合优化，FAQ-CNN以软件工具的形式支持快速部署量化CNN模型.首先，设计面向量化算法的组件，将量化算法自身的运算操作和数值映射过程进行分离；综合运用算子融合、双缓冲和流水线等优化技术，提升CNN推理任务内部的并行执行效率.然后，提出分级编码与位宽无关编码规则和并行解码方法，支持低位宽数据的高效批量传输和并行计算.最后，建立资源配置优化模型并转为整数非线性规划问题，在求解时采用启发式剪枝策略缩小设计空间规模.实验结果表明，FAQ-CNN能够高效灵活地实现各类量化CNN加速器.在激活值和权值为16b时，FAQ-CNN的加速器计算性能是Caffeine的1.4倍；在激活值和权值为8b时，FAQ-CNN可获得高达1.23TOPS的优越性能.

来源：2022年第7期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2022年第7期