计算机研究与发展

作者：马卿云,季航旭,赵宇海,毛克明,王国仁,

关键词：数据分区, Apache Flink, 负载均衡, 异构带宽, 分布式系统,

在分布式大数据处理框架的作业运行过程中，会有大量的数据通过网络传输，数据在各节点之间传输所需的时间已成为作业运行的主要开销之一.在节点异构带宽的情况下，因为带宽瓶颈节点的存在，传统的数据分区方法效率低下.针对这个问题，建立了节点间的数据传输模型，该模型以降低数据传输时间为目标，根据各节点的上下行带宽和初始数据量大小，计算出各节点的最优数据分发比例.以该模型为基础，设计了基于带宽的数据分区方法，该数据分区方法使得各节点按最优数据分发比例来分配数据.最后在ApacheFlink框架中将基于带宽的数据分区方法进行了实现，并通过实验进行了验证.实验结果表明:异构带宽条件下，基于带宽的数据分区方法可以有效减少数据分区所需的时间.

来源：2020年第12期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2020年第12期