『深度概念』度量学习中损失函数的学习与深入理解 (7)

日期：2021-10-26 栏目：程序人生浏览：次

表达式左边为同类距离，右边为不同的类之间的距离。使用梯度下降法优化的过程就是让类内距离不断下降，类间距离不断提升，这样损失函数才能不断地缩小。

上面的几个算法都是比较传统老旧的，下面说一下比较新的算法。

4. L-softmax

前面Softmax loss函数没有考虑类间距离，Center loss函数可以使类内变得紧凑，但没有类间可分，而Triplet loss函数比较耗时，就产生了一下新的算法。

L-softmax函数开始就做了比较精细的改动，从softmax 函数log里面的

$\large e^{W^T_{y_i}x_i+b_{y_i}$

『深度概念』度量学习中损失函数的学习与深入理解

转化到

$\large e^{||W_{yi}|| ||x_i||\psi{(\theta_{y_i})}}$

『深度概念』度量学习中损失函数的学习与深入理解

。L-softmax函数不仅希望类间距离拉的更大，还能够把类内距离压缩的更紧凑。

$\LARGE L_4 = \frac{1}{N}\sum_{i=1}^N L_i = \frac{1}{N}\sum_{i=1}^N -log(\frac{e^{f_y_i}}{\sum_{j}e^{f_i}})$

『深度概念』度量学习中损失函数的学习与深入理解