计算机研究与发展

作者：李文斌,熊亚锟,范祉辰,邓波,曹付元,高阳,

关键词：深度学习, 知识迁移, 持续学习, 灾难性遗忘, 序列任务,

随着深度学习技术的发展与应用，特别是资源受限场景和数据安全场景对序列任务和数据进行快速学习需求的增多，持续学习逐渐成为机器学习领域关注的一个新热点.不同于人类所具备的持续学习和迁移知识的能力，现有深度学习模型在序列学习过程中容易遭受灾难性遗忘的问题.因此，如何在动态、非平稳的序列任务及流式数据中不断学习新知识、同时保留旧知识是持续学习研究的核心.首先，通过对近年来持续学习国内外相关工作的调研与总结，将持续学习方法分为基于回放、基于约束、基于结构三大类，并对这3类方法做进一步的细分.具体而言，根据所使用的样本来源将基于回放的方法细分为采样回放、生成回放、伪样本回放3类；根据训练约束的来源将基于约束的方法细分为参数约束、梯度约束、数据约束3类；根据对于模型结构的使用方式将基于结构的方法细分为参数隔离、模型拓展2类.通过对比相关工作的创新点，对各类方法的优缺点进行总结.其次，对国内外研究现状进行分析.最后，针对持续学习与其他领域相结合的未来发展方向进行展望.

来源：2024年第6期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2024年第6期