计算机研究与发展

作者：程大宁,张汉平,夏粉,李士刚,袁良,张云泉,

关键词：AutoML技术, SMBO算法, 黑箱调优算法, 超参梯度, 元学习, 并行资源调度,

为了利用最佳超参高概率范围和超参梯度，提出了加速的序列模型优化算法(sequentialmodel-basedoptimizationalgorithms,SMBO)——AccSMBO算法.AccSMBO使用了具有良好抗噪能力的基于梯度的多核高斯过程回归方法，利用元学习数据集的meta-acquisition函数.AccSMBO自然对应的并行算法则使用了基于元学习数据集的并行算法资源调度方案.基于梯度的多核高斯过程回归可以避免超参梯度噪音对拟合高斯过程的影响，加快构建较好超参-效果模型的速度.meta-acquisition函数通过读取元学习数据集，总结最佳超参高概率范围，加快最优超参搜索.在AccSMBO自然对应的并行算法中，并行资源调度方法使更多的并行计算资源用于计算最佳超参高概率范围中的超参，更快探索最佳超参高概率范围.上述3个技术充分利用超参梯度和最佳超参高概率范围加速SMBO算法.在实验中，相比于基于传统的SMBO算法实现的SMAC(sequentialmodel-basedalgorithmconfiguration)算法、基于梯度下降的HOAG(hyperparameteroptimizationwithapproximategradient)算法和常用的随机搜索算法，AccSMBO使用最少的资源找到了效果最好的超参.

来源：2020年第12期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2020年第12期