计算机研究与发展

作者：朱泓睿,元国军,姚成吉,谭光明,王展,户忠哲,张晓扬,安学军,

关键词：分布式计算, 深度学习, 通信网络, 性能优化, 集合通信, 集群网络,

近年来深度学习在图像、语音、自然语言处理等诸多领域得到广泛应用，但随着人们对深度学习的训练速度和数据处理能力的需求不断提升，传统的基于单机的训练过程愈发难以满足要求，分布式的深度学习训练方法成为持续提升算力的有效途径．其中训练过程中节点间网络的通信性能至关重要，直接影响训练性能.分析了分布式深度学习中的性能瓶颈，在此基础上对目前常用的网络性能优化方案进行综述，详细阐述了目前最新的超大规模分布式训练的体系结构、优化方法、训练环境和最有效的优化方法，最后对分布式训练仍然存在的困难进行了总结，对其未来研究方向进行了展望.

来源：2021年第1期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2021年第1期