计算机研究与发展

作者：梁成武,蒋松琪,杨杰,朱培旺,帖云,高磊,胡伟,郭文博,

关键词：骨架行为识别, 领域知识, 时间片段, 子动作, Transformer, 自注意力机制,

现有人体骨架行为识别方法往往忽略运动学领域知识，造成模型内在人类可理解的逻辑决策解释性不足.基于此，提出一种融合领域知识与自适应时空片段Transformer的骨架行为识别方法，以提高骨架行为识别模型的性能和可解释性.首先，受短时运动领域知识启发，设计多时间分支结构用于学习和捕捉多时间尺度的短时子动作特征.其次，提出一种动态信息融合模块，学习不同时间分支的权重向量进而动态融合多时间分支、多尺度短时运动特征.最后，融合长时运动领域知识，提出多尺度时间卷积特征融合模块捕捉长时运动关联，用于学习不同子动作片段之间的关系并促进不同骨架关节点间的运动信息交互.在4个数据集上进行评估与实验，包括人体日常行为数据集NTURGB+D和NTURGB+D120、体育行为数据集FineGym，以及工业场景行为数据集InHARD.结果表明所提方法的行为识别性能，优于包括基准Transformer方法在内的多个先进方法，可有效提升骨架序列短时运动特征学习和关节点之间信息交互的建模能力，并具有一定可解释性.

来源：2025年第12期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2025年第12期