计算机研究与发展

作者：蔡迪,洪学海,肖俊敏,谭光明,

关键词：数据同化, 负载均衡, I/O优化, 并行优化, 计算与通信重叠,

海洋数据同化是一种同时利用海洋观测资料和海洋数值模式对海洋数据进行修正的有效方法，经过处理的海洋数据更加接近海洋的真实情况.在高分辨率下，基于中国科学院大气物理研究所（InstituteofAtmosphericPhysics，ChineseAcademyofSciences，IAP）和大气科学和地球流体力学数值模拟国家重点实验室（StateKeyLaboratoryModellingforAtmosphericSciencesandGeophysicalFluidDynamics，LASG）发展的LASG/IAP气候系统海洋模式（LASG/IAPclimateoceanmodel，LICOM）的同化并行程序往往涉及大量的文件读取、通信和计算，以往的研究虽然对这些方面进行了优化，但是由于优化只是停留在上层算法层面，没有考虑底层的文件系统以及超算集群的架构，因此优化的效果不太明显.针对以往研究存在的问题，进一步将海洋数据同化的数据特性、计算特性与所使用的超算平台的架构特性相结合，在此基础上结合时间局部性和空间局部性，提出了基于计算拓扑图的负载均衡策略、基于Lustre文件存储架构和超算集群特性的并行优化策略，以及计算、读取通信、写回3层重叠策略.最后，使用高分辨率数据集，在天河2号超算集群上对所提算法进行了测试.相比于现有算法，所提的算法在4000核下对总体同化性能上提升了18倍.另外，还在曙光7000超算集群上开展了测试.在4000块DCU加速卡上，相比于已有算法，所提算法提升总体计算性能8倍左右.

来源：2023年第5期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2023年第5期