一种基于注意定势度量学习的视频面部识别方法与流程

本发明涉及面部识别领域，尤其是涉及了一种基于注意定势度量学习的视频面部识别方法。

背景技术：

由于视频监控正在快速普及，众多的视频监控应用迫切需要一种远距离、用户非配合状态下的快速身份识别技术，以求远距离快速确认人员身份，实现智能预警。人脸识别技术可以从监控视频图像中实时查找人脸，并与人脸数据库进行实时比对，从而实现快速身份识别。因此，视频人脸识别广泛应用在协助公安刑侦破案、门禁系统、摄像监视系统、身份辨识和支付系统等。然而，由于照明变化、分辨率低、姿态变化和运动产生的模糊等，给视频脸部识别技术的研究带来了一定的难度。

本发明提出了一种基于注意定势度量学习的视频面部识别方法，先定义图像集上的有效距离度量，显著地最小化集合内距离，并同时最大化集中距离，再把权重作为神经图灵机，其中人脸特征集作为记忆，权重作为地址读写内存，最后将注意定势的度量学习(asml)自然融入到卷积神经网络中，从而形成端到端的学习方案。本发明缩小了相同集合的概率分布之间的差距，同时扩大了不同集合之间的差距；减少了视频或图像集中的样本偏差和噪声，有效地利用视频或图像集中的信息，从而提高了识别的性能。

技术实现要素：

针对由于照明变化、分辨率低、姿态变化和运动产生的模糊等问题，本发明的目的在于提供一种基于注意定势度量学习的视频面部识别方法，先定义图像集上的有效距离度量，显著地最小化集合内距离，并同时最大化集中距离，再把权重作为神经图灵机，其中人脸特征集作为记忆，权重作为地址读写内存，最后将asml自然融入到卷积神经网络中，从而形成端到端的学习方案。

为解决上述问题，本发明提供一种基于注意定势度量学习的视频面部识别方法，其主要内容包括：

(一)注意定势的度量学习(asml)；

(二)记忆注意权重；

(三)将asml自然融入到卷积神经网络(cnn)中。

其中，所述的注意定势的度量学习(asml)，它纠正了样本偏差，并测量面部图像组之间的相关性，缩小了相同集合的概率分布之间的差距，同时扩大了不同集合之间的差距；与asml组合的端对端可训练的深卷积神经网络(cnn)，可以学习更多的歧视性深层次表示，获得可靠的人脸识别；asml是最大平均偏差与记忆注意权重的广义扩展。

进一步地，所述的最大平均偏差(mmd)，设是一类函数f：同上定义p,q,x,y；mmd及其经验估计为：

当是紧凑度量空间上定义的一个单位球，方程成立，当且仅当p＝q；直观地说，mmd越小，x和y之间的分布越相关；因此，mmd越大，分布之间的差异越大，特征完全不同的。

进一步地，所述的基于集合的度量学习(msml)，根据最大平均偏差，基于集合的度量学习(msml)表示为：

msml(x,y,z)＝‖ex～p[f(x)]-ey～q[f(y)]‖2+[α-‖ex～p[f(x)]-ez～q[f(z)]‖2]+(3)

其中，[·]+表示最大值，(·,0)和α是一个恒定的余量；x,y,z表示图像集；其中，x和y来自同一类，但又不同于z；减小msml的数量，可以增加相同与不同组之间的相关性和差异分别。

进一步地，所述的不考虑样本偏差和异常值的集合，最大平均偏差不考虑样本偏差和异常值的集合：

其中，是一个分布，其对应于p；ω(x)可以纠正样本偏差和消除异常值(或减少噪音)。

进一步地，所述的整流平均差异(rmd)，ω(x)作为样本偏差为mmd修正项，整流平均差异(rmd)如下：

rmd(x,y)＝‖eω(x)[f(x)]-eω(x)[f(y)]‖2

结合公式(3)和公式(5)，我们联结基于整流项的度量学习的平均集，并获得高级的度量学习方法，命名为注意定势度量学习的视频人脸识别：

asml(x,y,z)＝‖eω(x)[f(x)]-eω(x)[f(y)]‖2+[α-‖eω(x)[f(x)]-eω(x)[f(z)]‖2]+

s.t.∑ω(x)＝1,∑ω(y)＝1,∑ω(z)＝1(6)

如上式所示。

其中，所述的记忆注意权重，权重应满足以下三点：

(1)加权方法容易集成在cnn的框架，其参数是端到端可训练的监督方式；

(2)权重基于全球内容和设置感知，因为构建了一个训练实例作为特殊的图像，能更好地利用信息；

(3)学习权重图像顺序必须不变，每个图像的权重和图像在训练实例中是无序。

进一步地，所述的权重，把权重作为神经图灵机(ntm)，其中人脸特征集作为记忆，权重视为地址读写内存；ntm涉及三个基本组件：读取向量，擦除向量和添加向量；令{fi}成为一个面部特征集，在si上应用softmax操作以形成归一化权重ωi；公式(6)中操作和重新配置的eω[f(x)]如下：

权重{ωi}是无序的，{si}是可微的。

进一步地，所述的将asml自然融入到卷积神经网络(cnn)中，cnn包含29层残块卷积和最大特征映射操作；基于网络，asml和记忆注意权重耦合，实现视频人脸识别；softmax是重要的监督信号方法，得到以下目标函数：

l＝λ1softmax+λ2asml(9)

其中，λ1和λ2是这两个项之间的权重；softmax功能用于标准的人脸识别任务，asml惩罚项增加了相关性、类似的分布和不同脸部集合之间的差异。

进一步地，所述的卷积神经网络(cnn)，网络中的所有参数是可微的，梯度可以计算：

其中，θ代表网络参数。

附图说明

图1是本发明一种基于注意定势度量学习的视频面部识别方法的系统流程图。

图2是本发明一种基于注意定势度量学习的视频面部识别方法的基本框架图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于注意定势度量学习的视频面部识别方法的系统流程图。主要包括注意定势的度量学习(asml)，记忆注意权重，将asml自然融入到卷积神经网络(cnn)中。

注意定势的度量学习(asml)，它纠正了样本偏差，并测量面部图像组之间的相关性，缩小了相同集合的概率分布之间的差距，同时扩大了不同集合之间的差距；与asml组合的端对端可训练的深卷积神经网络(cnn)，可以学习更多的歧视性深层次表示，获得可靠的人脸识别；asml是最大平均偏差与记忆注意权重的广义扩展。

最大平均偏差(mmd)，设是一类函数f：同上定义p,q,x,y；mmd及其经验估计为：

当是紧凑度量空间上定义的一个单位球，方程成立，当且仅当p＝q；直观地说，mmd越小，x和y之间的分布越相关；因此，mmd越大，分布之间的差异越大，特征完全不同的。

基于集合的度量学习(msml)，根据最大平均偏差，基于集合的度量学习(msml)表示为：

msml(x,y,z)＝‖ex～p[f(x)]-ey～q[f(y)]‖2+[α-‖ex～p[f(x)]-ez～q[f(z)]‖2]+(3)

其中，[·]+表示最大值，(·,0)和α是一个恒定的余量；x,y,z表示图像集；其中，x和y来自同一类，但又不同于z；减小msml的数量，可以增加相同与不同组之间的相关性和差异分别。

不考虑样本偏差和异常值的集合，最大平均偏差不考虑样本偏差和异常值的集合：

其中，是一个分布，其对应于p；ω(x)可以纠正样本偏差和消除异常值(或减少噪音)。

整流平均差异(rmd)，ω(x)作为样本偏差为mmd修正项，整流平均差异(rmd)如下：

rmd(x,y)＝‖eω(x)[f(x)]-eω(x)[f(y)]‖2

结合公式(3)和公式(5)，我们联结基于整流项的度量学习的平均集，并获得高级的度量学习方法，命名为注意定势度量学习的视频人脸识别：

asml(x,y,z)＝‖eω(x)[f(x)]-eω(x)[f(y)]‖2+[α-‖eω(x)[f(x)]-eω(x)[f(z)]‖2]+

s.t.∑ω(x)＝1,∑ω(y)＝1,∑ω(z)＝1(6)

如上式所示。

记忆注意权重，权重应满足以下三点：

(1)加权方法容易集成在cnn的框架，其参数是端到端可训练的监督方式；

(2)权重基于全球内容和设置感知，因为构建了一个训练实例作为特殊的图像，能更好地利用信息；

(3)学习权重图像顺序必须不变，每个图像的权重和图像在训练实例中是无序。

把权重作为神经图灵机(ntm)，其中人脸特征集作为记忆，权重视为地址读写内存；ntm涉及三个基本组件：读取向量，擦除向量和添加向量；令{fi}成为一个面部特征集，在si上应用softmax操作以形成归一化权重ωi；公式(6)中操作和重新配置的eω[f(x)]如下：

权重{ωi}是无序的，{si}是可微的。

将asml自然融入到卷积神经网络(cnn)中，cnn包含29层残块卷积和最大特征映射操作；基于网络，asml和记忆注意权重耦合，实现视频人脸识别；softmax是重要的监督信号方法，得到以下目标函数：

l＝λ1softmax+λ2asml(9)

其中，λ1和λ2是这两个项之间的权重；softmax功能用于标准的人脸识别任务，asml惩罚项增加了相关性、类似的分布和不同脸部集合之间的差异。

网络中的所有参数是可微的，梯度可以计算：

其中，θ代表网络参数。

图2是本发明一种基于注意定势度量学习的视频面部识别方法的基本框架图。该框架的每个训练实例由三个不同脸部视频的子集组成。与asml组合的端对端可训练的深卷积神经网络(cnn)，可以学习更多的歧视性深层次表示，获得可靠的人脸识别。过程为：先定义图像集上的有效距离度量，显著地最小化集合内距离，并同时最大化集中距离，再把权重作为神经图灵机，其中人脸特征集作为记忆，权重作为地址读写内存，最后将asml自然融入到卷积神经网络中，从而形成端到端的学习方案。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。