计算机研究与发展

作者：孙胜,李叙晶,刘敏,杨博,过晓冰,

关键词：深度神经网络推断加速, 异构设备协作, 进化增强学习, 多层预测模型, 拆分策略,

深度神经网络(deepneuralnetwork,DNN)已经广泛应用于各种智能应用，如图像和视频识别.然而，由于DNN任务计算量大，资源受限的物联网(Internetofthings,IoT)设备难以本地单独执行DNN推断任务.现有云协助方法容易受到通信延迟无法预测和远程服务器性能不稳定等因素的影响.一种非常有前景的方法是利用IoT设备协作实现分布式、可扩展DNN任务推断.然而，现有工作仅研究IoT设备同构情况下的静态拆分策略.因此，迫切需要研究如何在能力异构且资源受限的IoT设备间自适应地拆分DNN任务，协作执行任务推断.上述研究问题面临2个重要挑战:1)DNN任务多层推断延迟难以准确预测;2)难以在异构动态的多设备环境中实时智能调整协作推断策略.为此，首先提出细粒度可解释的多层延迟预测模型.进一步，利用进化增强学习(evolutionaryreinforcementlearning,ERL)自适应确定DNN推断任务的近似最优拆分策略.实验结果表明：该方法能够在异构动态环境中实现显著DNN推断加速.

来源：2020年第4期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2020年第4期