一种基于闵可夫斯基距离的中心损失扩展方法

1.本发明涉及了深度学习、计算机视觉领域，具体涉及了一种基于闵可夫斯基距离的中心损失扩展方法。


背景技术：

2.在过去的十年里，许多新的损失函数被提出，这大大加速了深度神经网络在人脸识别上的发展。作为一种众所周知的损失函数，中心损失与单独使用softmax loss相比可以显著提高人脸识别的性能。中心损失的初始思想是通过计算类内样本与相应类中心之间的所有欧氏距离的平方的线性总和来作为惩罚。然而，这并不是一个合适的选择，因为，深度特征的判别能力是由类边缘上的样本决定的，而不是由靠近类中心的样本决定的。


技术实现要素：

3.本发明为了克服中心损失在此方面的不足，提出了一种新的基于闵可夫斯基距离和中心损失的损失函数，以提高无约束人脸识别的性能。
4.本发明为克服其技术问题所采用的技术方案是一种新的基于闵可夫斯基距离和中心损失的损失函数。包括以下步骤：
5.a.将欧氏距离的平方推广到n阶闵可夫斯基距离的n次幂：
[0006][0007]
其中，x＝(x1，x2，...，xk，)和y＝(y1，y2，...，yk，)∈rk。
[0008]
b.根据步骤a，我们可以得出欧氏距离的平方实际上是n阶闵可夫斯基距离的n次幂的一种特殊情况(n＝2)，我们将中心损失中欧氏距离的平方替换为n阶闵可夫斯基距离的n次幂，以得出新的mc损失的公式：
[0009][0010]
其中，ck是类中心的特征的第k个元素，f
ik
是边缘样本特征的第k个元素，f
jk
是近中心样本特征的第k个元素且|f
ik-ck|＞|f
jk-ck|。表示边缘样本与近中心样本的相对影响。
[0011]
c.利用步骤b中得到的新的mc损失与softmax损失一起监督训练过程，通过训练调整mc损失影响的权重得出最终的总损失，公式如下：
[0012][0013]
其中n是批次大小，k是一个批次中类的数量，fi∈rd表示属于第yi类的第i个样本的特征，wj∈rd表示全连接层的权重矩阵w中的第j列，bj是第j类的偏置项，λ是用于调整mc损失影响的超参数，表示第yi个类的类中心；
[0014]
d.通过标准的随机梯度下降法对提出的算法模型进行优化。
[0015]
本发明的有益效果是：相比于传统的中心损失，我们增强了对边缘样本的惩罚，而
弱化了对靠近中心样本的惩罚，使得我们在基于无约束图像和视频的人脸识别上的性能得到一定的提高。
附图说明
[0016]
图1是本发明方法的流程图。
具体实施方式
[0017]
一种基于闵可夫斯基距离的中心损失扩展方法，流程如图1所示，包括以下步骤：
[0018]
a.将欧氏距离的平方推广到n阶闵可夫斯基距离的n次幂，两点之间的n阶闵可夫斯基距离公式如下：
[0019][0020]
其中，x＝(x1，x2，...，xk，)和y＝(y1，y2，...，yk，)∈rk。因此，n阶的闵可夫斯基距离的n次幂为
[0021][0022]
b.根据步骤a，我们可以得出欧氏距离的平方实际上是n阶闵可夫斯基距离的n次幂的一种特殊情况(n＝2)，我们将中心损失中欧氏距离的平方替换为n阶闵可夫斯基距离的n次幂得出新的mc损失的公式：
[0023][0024]
其中，ck是类中心的特征的第k个元素，f
ik
是边缘样本特征的第k个元素，f
jk
是近中心样本特征的第k个元素且|f
ik-ck|＞|f
jk-ck|。表示边缘样本与近中心样本的相对影响。当n＝2时，mc损失退化为中心损失(centre loss)。当n＞2时，比中心损失(centre loss)大，这意味着边缘样本的影响相对加强，而近中心样本的影响相对减弱。随着n的增加，会越来越快地增加，表明这两类样本之间的差距会越来越大
[0025]
c.利用步骤b中得到的新的mc损失与softmax损失一起监督训练过程，通过训练调整mc损失影响的权重得出最终的总损失，公式如下：
[0026]
l＝ls+λlmꢀꢀꢀꢀ
(4)
[0027][0028]
其中n是批次大小，k是一个批次中类的数量，fi∈rd表示属于第yi类的第i个样本的特征，wj∈rd表示全连接层的权重矩阵w中的第j列，bj是第j类的偏置项，λ是用于调整mc损失影响的超参数，表示第yi个类的类中心。lm相对于fi的梯度可以通过公式6计算。
[0029][0030]
d.通过标准的随机梯度下降法对提出的算法模型进行优化，即每一轮仅通过一个批次的随机选择的样本来计算目标函数，然后计算目标函数的梯度来更新权重，再取下一个批次的样本重复此过程，直到损失函数值停止下降或损失函数值小于某个设定的阈值。


技术特征：
1.一种基于闵可夫斯基距离的中心损失扩展方法，其特征在于，所述方法包括：(a)将欧氏距离的平方推广到n阶闵可夫斯基距离的n次幂；(b)根据步骤(a)，将中心损失中欧氏距离的平方替换为n阶闵可夫斯基距离的n次幂得出新的mc损失的公式；(c)利用步骤(b)中得到的新的mc损失与softmax loss一起监督训练过程，通过训练调整mc损失影响的权重得出最终的总损失；(d)通过标准的随机梯度下降法进行优化。2.根据权利要求1所述的一种基于闵可夫斯基距离的中心损失扩展方法，其特征在于，所述步骤(a)得到的表达式为：其中，x＝(x1，x2，
…
，x
k
，)和y＝(y1，y2，
…
，y
k
，)∈r
k
。3.根据权利要求2所述的一种基于闵可夫斯基距离的中心损失扩展方法，其特征在于，所述步骤(b)中得到的新mc损失公式为：其中n∈r＞0，n设为2、3、4、
…
；由式(2)观察的变化，其中，c
k
是类中心的特征的第k个元素，f
ik
是边缘样本特征的第k个元素，f
jk
是近中心样本特征的第k个元素且|f
ik-c
k
|＞|f
jk-c
k
|；表示边缘样本与近中心样本的相对影响。4.根据权利要求3所述的一种基于闵可夫斯基距离的中心损失扩展方法，其特征在于，所述步骤(c)中得出最终的总损失公式为：其中，n是批次大小，k是一个批次中类的数量，f
i
∈r
d
表示属于第y
i
类的第i个样本的特征，w
j
∈r
d
表示全连接层的权重矩阵w中的第j列，b
j
是第j类的偏置项，λ是用于调整mc损失影响的超参数，表示第y
i
个类的类中心。

技术总结
本发明是一种基于闵可夫斯基距离的中心损失扩展方法，属于深度学习、计算机视觉领域。其中该方法包括：首先将欧氏距离的平方推广到n阶闵可夫斯基距离的n次幂，然后通过替换中心损失中的距离度量得出基于闵可夫斯基距离的中心损失(MC损失)，其次将新得出的MC损失与Softmax Loss一起监督训练过程，通过训练调整MC损失影响的权重以得出最终的总损失，最后通过标准的随机梯度下降法对其进行优化。通过本发明可以提高无约束人脸识别的性能。发明可以提高无约束人脸识别的性能。发明可以提高无约束人脸识别的性能。


技术研发人员：陈剑升 张子健 张远来 魏欣 晏斐 徐健锋
受保护的技术使用者：南昌大学
技术研发日：2022.11.16
技术公布日：2023/3/3