计算机研究与发展

作者：李志欣,魏海洋,张灿龙,马慧芳,史忠植,

关键词：图像描述生成, 编码器-解码器架构, 复合架构, 注意机制, 卷积神经网络, 循环神经网络, 长短期记忆网络,

图像描述生成结合了计算机视觉和自然语言处理2个研究领域，不仅要求完备的图像语义理解，还要求复杂的自然语言表达，是进一步研究符合人类感知的视觉智能的关键任务.对图像描述生成的研究进展做了回顾.首先，归纳分析了当前基于深度学习的图像描述生成方法涉及的5个关键技术，包括整体架构、学习策略、特征映射、语言模型和注意机制.然后，按照发展进程将现有的图像描述生成方法分为四大类，即基于模板的方法、基于检索的方法、基于编码器-解码器架构的方法和基于复合架构的方法，并阐述了各类方法的基本概念、代表性方法和研究现状，重点讨论了基于编码器-解码器架构的各种方法及其创新思路，如多模态空间、视觉空间、语义空间、注意机制、模型优化等.接着，从实验的角度给出图像描述生成的常用数据集和评估措施，并在2个基准数据集上比较了一些典型方法的性能.最后，以提升图像描述的准确性、完整性、新颖性、多样性为依据，展示了图像描述生成的未来发展趋势.

来源：2021年第9期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2021年第9期