计算机研究与发展

作者：张潇,支天,

关键词：深度学习框架, 多核处理器, 低延迟推理, 算子拆分, 循环神经网络,

近年来，深度神经网络被广泛应用于各个领域并取得了极大的成功.由于神经网络模型的尺寸和计算量的不断增加，为了能够高效迅速地完成神经网络的计算，包括GPU和专用加速器在内的很多新型硬件处理器被用于深度学习的计算.尽管如此，通用处理器作为目前最为常见和易于获得的计算平台，探究如何高效地在其上运行神经网络算法同样具有重要意义.多核处理器在训练阶段可以采用数据并行的方式来提高数据吞吐量，加快训练速度.然而在推理阶段，相比吞吐量场景，端到端的时延往往更加重要，因为这决定了处理器在某个场景下的可用性.传统的数据并行方案不能满足推理场景下对处理器小数据、低延迟的要求.因此，对于多核的处理器结构，需要在算子内部对计算进行拆分，才能够充分利用多核结构的硬件资源.考虑到处理器的计算特点，需要一种精细的方法来对计算图中的算子进行合理的拆分，才能真正有效地发挥出多核处理器的计算潜能.提出一种基于算子拆分的并行框架，可以用较小的开销实现处理器由单核向多核结构上的扩展，并且能够针对给定的网络和底层处理器特点给出一种高效的拆分方案.实验结果表明：该方法能有效降低各种网络在多核处理器上的端到端时延.

来源：2019年第9期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2019年第9期