计算机研究与发展

作者：郝少璞,刘全,徐平安,张立华,黄志刚,

关键词：逆向强化学习, 生成对抗模仿学习, 多模态, 模式塌缩, 余弦相似度,

生成对抗模仿学习（generativeadversarialimitationlearning,GAIL）是一种基于生成对抗框架的逆向强化学习（inversereinforcementlearning,IRL）方法，旨在从专家样本中模仿专家策略.在实际任务中，专家样本往往由多模态策略产生.然而，现有的GAIL方法大部分假设专家样本产自于单一模态策略，导致生成对抗模仿学习只能学习到部分模态策略，即出现模式塌缩问题，这极大地限制了模仿学习方法在多模态任务中的应用.针对模式塌缩问题，提出了基于余弦相似度的多模态模仿学习方法(multi-modalimitationlearningmethodwithcosinesimilarity，MCS-GAIL).该方法引入编码器和策略组，通过编码器提取专家样本的模态特征，计算采样样本与专家样本之间特征的余弦相似度，并将其加入策略组的损失函数中，引导策略组学习对应模态的专家策略.此外，MCS-GAIL使用新的极小极大博弈公式指导策略组以互补的方式学习不同模态策略.在假设条件成立的情况下，通过理论分析证明了MCS-GAIL的收敛性.为了验证方法的有效性，将MCS-GAIL用于格子世界和MuJoCo平台上，并与现有模式塌缩方法进行比较.实验结果表明，MCS-GAIL在所有环境中均能有效学习到多个模态策略，且具有较高的准确性和稳定性.

来源：2023年第6期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2023年第6期