计算机研究与发展

北大核心,JST,Pж(AJ),EI,CSCD

国内刊号:11-1777/TP

国际刊号:1000-1239

计算机研究与发展杂志2025年第6期:边缘智能计算系统中加速推荐模型训练的样本调度机制

发布日期:

作者:李国鹏,谈海生,张弛,倪宏秋,王子龙,章馨月,徐洋,田晗,陈国良,

关键词:分布式训练, 边缘智能, 深度学习, 推荐模型, 调度机制,

在边缘智能计算系统中使用边缘工作节点训练深度学习推荐模型(deeplearningrecommendationmodel,DLRM)具有诸多优势,尤其是在数据隐私保护、低延迟和个性化推荐等方面.然而,由于嵌入表的规模庞大,在训练DLRM时通常采用1个或多个参数服务器来维护全局嵌入表,同时利用多个边缘节点缓存嵌入表的一部分.在此架构下,需要在边缘节点和参数服务器间传输嵌入以保证嵌入数据一致性,嵌入传输代价通常主导了训练周期.目标旨在研究边缘智能计算系统中,当面对异构网络和资源受限等挑战时,如何将嵌入样本调度到合适的边缘节点上进行训练,以最小化总嵌入传输代价.为此,提出了一个基于预期嵌入传输代价的嵌入样本调度机制ESD.在ESD中,设计了一个结合资源密集型最优解法和启发式解法的调度决策方法HybridDis,以实现决策质量和资源消耗之间的平衡.使用C++和Python实现了ESD的原型系统,并在真实工作负载下将其与现有最先进的机制进行比较.大量实验结果表明,ESD可将嵌入传输代价至多降低36.76%,并且在端到端DLRM训练速度上实现了最高1.74倍的加速.

来源:2025年第6期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2025年第6期

声明

严正声明:本站非期刊官网,非中介代理。

本站仅提供学术规范服务:快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。

联系我们

  • 地址:北京中关村科学院南路6号
  • 电话:(010)62620696
  • E-mail:crad@ict.ac.cn

咨询工作人员