计算机研究与发展

作者：王苑铮,孙文祥,范意兴,廖华明,郭嘉丰,

关键词：实体链接模型, 多模态, 跨模态, 对比学习, 视觉信息,

图文跨模态实体链接是对传统实体链接任务的扩展，其输入为包含实体的图像，目标是将其链接到文本模态的知识库实体上.现有模型通常采用双编码器架构，将图像、文本模态的实体分别编码为向量，利用点乘计算两者的相似度，从而链接到与图像实体相似度最高的文本实体.其训练过程通常采用基于InfoNCE损失的对比学习任务，即提高一个实体某模态与自身另一模态的向量相似度，降低与其他实体另一模态的向量相似度.然而此模型忽视了图文2个模态内部表示难度的差异：图像模态中的相似实体，通常比文本模态中的相似实体更难以区分，导致外观相似的图像实体很容易链接错误.因此，提出2个新的对比学习任务来提升向量的判别能力.一个是自对比学习，用于提升图像向量之间的区分度；另一个是难负例对比学习，让文本向量更容易区分几个相似的图像向量.在开源数据集WikiPerson上进行实验，在12万规模的实体库上，相比于采用InfoNCE损失的最佳基线模型，模型正确率提升了4.5个百分点.

来源：2025年第3期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2025年第3期