计算机研究与发展

作者：李东闻,钟震宇,孙羽菲,申峻宇,马子智,于川越,张玉志,

关键词：中文预训练语言模型, 小规模, 基于汉字的模型, 反向模型, 双向信息,

近年来，大规模的、基于自回归的中文预训练语言模型在各种自然语言处理任务上表现出优异性能.然而，高昂的计算成本以及基于中文词切分数据给中文预训练语言模型实际应用带来了巨大挑战.此外，大多基于自回归的模型只能使用单向前文信息，可能会导致模型在上下文敏感任务上的性能有所下降.为了解决以上问题，提出并训练了一个高质量的小型中文预训练语言模型——玲珑.该模型仅有3.17亿个参数，较小的规模使得玲珑十分容易部署和应用.使用基于汉字的策略对训练语料进行切分，可以有效减轻未知标记和分词错误带来的负面影响，增强了玲珑在下游任务上的性能.此外，通过对每条训练数据的输入顺序进行逆序处理，训练了一个反向玲珑模型.将玲珑与其反向版本相结合，可以实现在下游任务中使用双向信息.多种自然语言处理下游任务的实验结果表明，玲珑具有不错的处理下游任务的能力.在6个数据集上玲珑超越了相近规模模型的性能，在5个数据集上超越了大模型的性能.

来源：2025年第3期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2025年第3期