声明
严正声明:本站非期刊官网,非中介代理。
本站仅提供学术规范服务:快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号:11-1777/TP
国际刊号:1000-1239
发布日期:
作者:李国鹏,谈海生,张弛,倪宏秋,王子龙,章馨月,徐洋,田晗,陈国良,
关键词:分布式训练, 边缘智能, 深度学习, 推荐模型, 调度机制,
在边缘智能计算系统中使用边缘工作节点训练深度学习推荐模型(deeplearningrecommendationmodel,DLRM)具有诸多优势,尤其是在数据隐私保护、低延迟和个性化推荐等方面.然而,由于嵌入表的规模庞大,在训练DLRM时通常采用1个或多个参数服务器来维护全局嵌入表,同时利用多个边缘节点缓存嵌入表的一部分.在此架构下,需要在边缘节点和参数服务器间传输嵌入以保证嵌入数据一致性,嵌入传输代价通常主导了训练周期.目标旨在研究边缘智能计算系统中,当面对异构网络和资源受限等挑战时,如何将嵌入样本调度到合适的边缘节点上进行训练,以最小化总嵌入传输代价.为此,提出了一个基于预期嵌入传输代价的嵌入样本调度机制ESD.在ESD中,设计了一个结合资源密集型最优解法和启发式解法的调度决策方法HybridDis,以实现决策质量和资源消耗之间的平衡.使用C++和Python实现了ESD的原型系统,并在真实工作负载下将其与现有最先进的机制进行比较.大量实验结果表明,ESD可将嵌入传输代价至多降低36.76%,并且在端到端DLRM训练速度上实现了最高1.74倍的加速.
来源:2025年第6期
《计算机研究与发展》期刊编辑部
严正声明:本站非期刊官网,非中介代理。
本站仅提供学术规范服务:快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。