计算机研究与发展

作者：张承德,刘雨宣,肖霞,梅凯,

关键词：跨媒体, 网络视频, 话题检测, 视频理解, 语义关联增强,

跨媒体网络视频热点话题检测成为新的研究热点.然而，描述视频的文本信息较少，使得文本语义特征空间稀疏，导致文本语义特征间关联强度较弱，增加了挖掘热点话题的难度.现有方法主要通过视觉信息丰富文本语义特征空间.然而，由于视觉与文本信息间的异构性，导致同一话题下文本与视觉语义特征差异较大，这进一步降低了同一话题下文本语义间的关联强度，也给跨媒体网络视频热点话题检测带来巨大挑战.因此，提出一种新的跨媒体语义关联增强方法.首先，通过双层注意力，从单词和句子2个级别捕捉文本核心语义特征；其次，通过理解视觉内容，生成大量与视频内容高度相关的文本描述，丰富文本语义空间；然后，分别通过文本语义相似性和视觉语义相似性，构建文本语义图和视觉语义图，并构造时间衰减函数，从时间维度建立跨媒体数据间的相关性，以此增强文本与视觉语义间的关联强度，平滑地将2种语义图融合为混合语义图，实现跨媒体语义互补；最后，通过图聚类方法检测出热点话题.大量实验结果表明，提出的模型优于现有方法.

来源：2023年第11期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2023年第11期