计算机研究与发展

作者：刘茂福,毕健旗,周冰颖,胡慧君,

关键词：图像描述生成, 依存句法, 可解释性, 多任务学习,

已有图像描述生成模型虽可以检测与表示图像目标实体及其视觉关系，但没有从文本句法关系角度关注模型的可解释性.因而，提出基于依存句法三元组的可解释图像描述生成模型（interpretableimagecaptiongenerationbasedondependencysyntaxtripletsmodeling,IDSTM），以多任务学习的方式生成依存句法三元组序列和图像描述.IDSTM模型首先通过依存句法编码器从输入图像获得潜在的依存句法特征，并与依存句法三元组及文本词嵌入向量合并输入单层长短期记忆网络（longshort-termmemory,LSTM），生成依存句法三元组序列作为先验知识；接着，将依存句法特征输入到图像描述编码器中，提取视觉实体词特征；最后，采用硬限制和软限制2种机制，将依存句法和关系特征融合到双层LSTM，从而生成图像描述.通过依存句法三元组序列生成任务，IDSTM在未显著降低生成的图像描述精确度的前提下，提高了其可解释性.还提出了评测依存句法三元组序列生成质量的评价指标B1-DS(BLEU-1-DS),B4-DS(BLEU-4-DS),M-DS(METEOR-DS)，并在MSCOCO数据集上的实验验证了IDSTM的有效性和可解释性.

来源：2023年第9期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2023年第9期