计算机研究与发展

作者：魏学超,周哲,徐盈辉,张洁靖,谢源,孙广宇,

关键词：推理服务, 参数高效Transformer, GPU, 分布式系统, 机器学习系统,

在多任务推理服务场景下使用基于预训练-微调范式的Transformer模型存在很多困难：服务端必须维护每个下游任务的完整模型副本，从而造成很大的存储和显存开销.最近逐渐兴起的参数高效Transformer(PET)算法在不同的下游任务之间共享预训练模型，仅微调一小部分任务特定的模型参数，从而减少存储的开销.然而，现有的后端服务系统既没有灵活的PET任务管理机制，也不能有效地跨任务进行输入的批量处理.针对不同的下游任务，现有框架在多卡分布式场景下也难以提供良好的负载均衡机制.因此，提出了PetS，一个用于多任务PET推理服务的可扩展框架.具体而言，不同的PET任务在算法上被抽象成一种统一表示形式.基于这种统一表示，设计了一个专门的PET推理引擎，以批处理不同任务的输入，并使用任务无关的共享算子和任务特定的PET算子进行推理.通过PET推理引擎，PetS在单个GPU设备上可以支持更多的任务数量.为了进一步提高系统吞吐量，提出了一种协同批处理（CB）策略，同时考虑了输入的长度、PET任务类型以及系统负载平衡.为了提升多卡部署的负载均衡，创新性地提出了基于PET实时迁移的负载均衡机制.PetS在包括边缘端、桌面端和服务器端GPU等多个平台上都经过了评估.全面的实验证明，PetS支持多达26倍的并发任务，并将服务吞吐量在桌面和服务器GPU节点上分别提高了1.53倍和1.63倍.在多GPU场景下，该负载均衡策略可以将吞吐量进一步提升29%之多.

来源：2025年第7期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2025年第7期