计算机研究与发展

作者：张强,杨吉斌,张雄伟,曹铁勇,郑昌艳,

关键词：模式分类, 卷积神经网络, 损失函数, Softmax, 余弦相似性,

卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数)，在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性，在一些多分类问题中，卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性，提出了一种基于余弦相似性的Softmax(cosinesimilarity-basedSoftmax,CS-Softmax)损失函数.CS-Softmax损失函数在不改变神经网络结构的条件下，分别计算嵌入表示与分类全连接层权重的正相似性和负相似性，以实现同类紧凑和异类分离的训练目标.理论分析表明：边距因子、尺度因子、权重更新因子等参数的引入，可以调节各类别决策边距的大小，增大类内紧凑性、类间分离性，增强学习到的嵌入表示的判别性.在典型的音频、图像数据集上的仿真实验结果表明：CS-Softmax损失函数在不增加计算复杂度的同时，可以有效提升多分类任务性能，在MNIST，CIFAR10，CIFAR100图像分类任务中分别取得了99.81%，95.46%，76.46%的分类精度.

来源：2022年第4期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2022年第4期