计算机研究与发展

作者：魏嘉,张兴军,王龙翔,赵明强,董小社,

关键词：深度神经网络, 能耗模型, 大规模分布式训练, 数据并行, 超级计算机,

深度神经网络（deepneuralnetwork，DNN）在许多现代人工智能（artificialintelligence，AI）任务中取得了最高的精度.近年来，使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性能计算平台过量能耗方面起着至关重要的作用.目前，大部分的能耗模型都是从设备的角度出发对单个设备或多个设备构成的集群进行能耗建模，由于缺乏从能耗角度对分布式并行DNN应用进行分解剖析，导致罕有针对分布式DNN应用特征进行建模的能耗模型.针对目前最常用的DNN分布式数据并行训练模式，从DNN模型训练本质特征角度出发，提出了“数据预处理（materialspreprocessing）–前向与反向传播（computing）–梯度同步与更新（communicating）”三阶段MC2能耗模型，并通过在国产E级原型机天河三号上使用最多128个MT节点和32个FT节点训练经典的VGG16和ResNet50网络以及最新的VisionTransformer网络验证了模型的有效性和可靠性.实验结果表明，MC2与真实能耗测量结果相差仅为2.84%，相较4种线性比例能耗模型以及AR，SES，ARIMA时间预测模型准确率分别提升了69.12个百分点，69.50个百分点，34.58个百分点，13.47个百分点，5.23个百分点，22.13个百分点，10.53个百分点.通过使用的模型可以在超算平台得到DNN模型的各阶段能耗和总体能耗结果，为评估基于能耗感知的DNN大规模分布式数据并行训练及推理各阶段任务调度、作业放置、模型分割、模型裁剪等优化策略的效能提供了基础.

来源：2024年第12期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2024年第12期