计算机研究与发展

作者：谢旻晖,陆游游,冯杨洋,舒继武,

关键词：GPU直访存储, 参数存储, 推荐系统, 预估系统, 存储系统,

新型深度学习推荐模型已广泛应用至现代推荐系统，其独有的特征——包含万亿嵌入参数的嵌入层，带来的大量不规则稀疏访问已成为模型预估的性能瓶颈.然而，现有的推荐模型预估系统依赖CPU对内存、外存等存储资源上的嵌入参数进行访问，存在着CPU-GPU通信开销大和额外的内存拷贝2个问题，这增加了嵌入层的访存延迟，进而损害模型预估的性能.提出了一种基于GPU直访存储架构的推荐模型预估系统GDRec.GDRec的核心思想是在嵌入参数的访问路径上移除CPU参与，由GPU通过零拷贝的方式高效直访内外存资源.对于内存直访，GDRec利用统一计算设备架构（computeunifieddevicearchitecture，CUDA）提供的统一虚拟地址特性，实现GPU核心函数（kernel）对主机内存的细粒度访问，并引入访问合并与访问对齐2个机制充分优化访存性能；对于外存直访，GDRec实现了一个轻量的固态硬盘（solidstatedisk，SSD）驱动程序，允许GPU从SSD中直接读取数据至显存，避免内存上的额外拷贝，GDRec还利用GPU的并行性缩短提交I/O请求的时间.在3个点击率预估数据集上的实验表明，GDRec在性能上优于高度优化后的基于CPU访存架构的系统NVIDIAHugeCTR，可以提升多达1.9倍的吞吐量.

来源：2024年第3期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2024年第3期