计算机研究与发展

作者：王艳,李念爽,王希龄,钟凤艳,

关键词：编码技术, 机器学习, 分布式计算, 掉队节点容忍, 性能优化,

由于分布式计算系统能为大数据分析提供大规模的计算能力，近年来受到了人们的广泛关注.在分布式计算系统中，存在某些计算节点由于各种因素的影响，计算速度会以某种随机的方式变慢，从而使运行在集群上的机器学习算法执行时间增加，这种节点叫作掉队节点(straggler).介绍了基于编码技术解决这些问题和改进大规模机器学习集群性能的研究进展.首先介绍编码技术和大规模机器学习集群的相关背景;其次将相关研究按照应用场景分成了应用于矩阵乘法、梯度计算、数据洗牌和一些其他应用，并分别进行了介绍分析;最后总结讨论了相关编码技术存在的困难并对未来的研究趋势进行了展望.

来源：2020年第3期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2020年第3期