计算机研究与发展

作者：马新宇,范意兴,郭嘉丰,张儒清,苏立新,程学旗,

关键词：短文本匹配, 泛化性, 迁移性, 少样本, 预训练语言模型,

自然语言理解中的许多任务，比如自然语言推断任务、机器问答和复述问题，都可以看作是短文本匹配问题.近年来，大量的数据集和深度学习模型的涌现使得短文本匹配任务取得了长足的进步，?然而?，很少有工作去分析模型在不同数据集之间的泛化能力，以及如何在新领域中有效地利用现有不同领域中的大量带标注的数据，达到减少新领域的数据标注量和提升性能的目标.为此，重点分析了不同数据集之间的泛化性和迁移性，并且通过可视化的方式展示了影响数据集之间泛化性的因素.具体地，使用深度学习模型ESIM(enhancedsequentialinferencemodel)和预训练语言模型BERT(bidirectionalencoderrepresentationsfromtransformers)在10个通用的短文本匹配数据集上进行了详尽的实验.通过实验，发现即使是在大规模语料预训练过的BERT，合适的迁移仍能带来性能提升.基于以上的分析，也发现通过在混合数据集预训练过的模型,在新的领域和少量样本情况下,具有较好的泛化能力和迁移能力.

来源：2022年第1期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2022年第1期