计算机研究与发展

作者：陈亚瑞,蒋硕然,杨巨成,赵婷婷,张传雷,

关键词：变分自编码, 混合模型, 变分推理, 折棍参数化, 生成模型,

变分自编码(variationalautoencoder,VAE)是一种基于连续隐向量的生成模型，通过变分近似构建目标函数，其中的生成模型及变分推理模型均采用神经网络结构.传统变分自编码模型中的变分识别模型假设多维隐变量之间是相互独立的，这种假设简化了推理过程，但是这使得变分下界过于松弛，同时限制了隐向量空间的表示能力.提出混合变分自编码(mixtureofvariationalautoencoder,MVAE)模型，它通过多个变分自编码组件生成样本数据，丰富了变分识别模型结构，同时扩展了隐向量表示空间.该模型以连续型隐向量作为模型的隐层表示，其先验分布为高斯分布；以离散型隐向量作为各组件的指示向量，其先验分布为多项式分布.对于MVAE模型的变分优化目标，采用重参策略和折棍参数化策略处理目标函数，并用随机梯度下降方法求解模型参数.MVAE采用混合组件的方法可以增强隐变量空间的表示能力，提高近似推理精度，重参策略和折棍参数化策略可以有效求解对应的优化问题.最后在MNIST和OMNIGLOT数据集上设计了对比实验，验证了MVAE模型较高的推理精度及较强的隐变量空间表示能力.

来源：2020年第1期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2020年第1期