计算机研究与发展

作者：程禹嘉,陶蔚,刘宇翔,陶卿,

关键词：一阶梯度方法, 动量方法, 个体收敛速率, Heavy-ball方法, 稀疏性,

动量方法作为一种加速技巧被广泛用于提高一阶梯度优化算法的收敛速率.目前，大多数文献所讨论的动量方法仅限于Nesterov提出的加速方法，而对Polyak提出的Heavy-ball型动量方法的研究却较少.特别，在目标函数非光滑的情形下，Nesterov加速方法具有最优的个体收敛性，并在稀疏优化问题的求解中具有很好的效果.但对于Heavy-ball型动量方法，目前仅仅获得了平均输出形式的最优收敛速率，个体收敛是否具有最优性仍然未知.对于非光滑优化问题，通过巧妙地设置步长，证明了Heavy-ball型动量方法具有最优的个体收敛速率，从而说明了Heavy-ball型动量方法可以将投影次梯度方法的个体收敛速率加速至最优.作为应用，考虑了l\-1范数约束的hinge损失函数优化问题.通过与同类的优化算法相比，实验验证了该理论分析的正确性以及所提算法在保持稀疏性方面的良好性能.

来源：2019年第8期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2019年第8期