一种跨模型人脸特征向量的转换系统及方法与流程

本发明属于人脸识别的技术领域，具体涉及一种跨模型人脸特征向量的转换系统及方法。

背景技术：

在大数据时代中，随着深度学习技术的迅猛崛起，不断衍生出令人惊奇的人工智能设备，使得人们的生活更加便捷，与此同时出现了许多的个人信息交换，这让人们开始重点关注个人信息的安全性。有了人们信息安全性的需求，各种身份验证技术应运而生，如人脸识别、瞳孔识别、指纹识别等等，应用场景非常广泛。

在许多生物识别技术中人脸识别凭着成本低、非接触性等优势脱颖而出。人脸识别是利用人类面部特征信息进行分类识别的一项技术，从现在技术发展来看，基于深度学习的人脸识别技术成为主流技术流派，这类方法采用深度神经网络提取人脸图像的特征信息，较于传统技术使用的手工特征，深度神经网络提取的特征信息具有更为丰富的语义信息，并且泛化能力更强。利用人脸识别技术落地生产的产品广泛被使用在安全防护、系统验证、门禁验证等等场景中，给用户们带来友好的使用体验，提高用户的生活效率。

目前，不同的人脸识别设备会采用不同的人脸识别算法提取人脸图像的特征向量，这样会导致特征向量不通用，一旦特征向量更换，对应的人脸识别设备也需修改部署方案，造成便捷性降低，大大浪费人力资源。因此，需要提出一种易用性强、操作简单的人脸特征向量转换方式，解决跨模型使用人脸特征向量出现的不通用的问题。

技术实现要素：

本发明的目的在于提供一种跨模型人脸特征向量的转换系统，本发明使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，可以有效提高转换成功率。本发明的目的还在于提供一种跨模型人脸特征向量的转换方法，旨在解决上述问题。

本发明通过以下技术方案实现：

一种跨模型人脸特征向量的转换系统，包括数据提取模块、网络训练模块、转换模块；所述数据提取模块用于收集人脸图像数据集、源特征向量以及目标特征向量；标注人脸图像数据集的身份类别并形成训练数据集，所述训练数据集的训练样本为人脸图像数据与源特征向量；

所述网络训练模块用于将训练数据集输入网络模型进行训练并得到训练后的网络模型；所述网络模型由卷积网络部分和变形注意力机制网络部分组成；所述网络训练模块用于将训练数据集中的源特征向量、人脸图像数据对应输入到网络模型中的卷积网络部分、变形注意力机制网络部分进行训练；

所述转换模块用于将待转换的人脸特征向量输入网络训练模块中训练后的网络模型，并输出转换后的人脸特征向量。

所述网络训练模块用于将源特征向量输入卷积网络部分并得到深度卷积特征，并将人脸图像数据输入变形注意力机制网络部分并提取得到人脸图像的深度特征；然后将网络训练模块输出的深度卷积特征与人脸图像的深度特征分别输入特征拼接层进行拼接融合。

为了更好地实现本发明，进一步地，所述变形注意力机制网络部分包括依次设置的卷积层、多头注意力机制模块、批归一化层、全连接层、激活函数层，所述卷积层用于将图像下采样提高语义性；所述多头注意力机制模块用于将卷积特征分片，并提取每片特征之间的关系信息。

为了更好地实现本发明，进一步地，所述变形注意力机制网络部分由从前至后依次设置的第一集成模块、位置嵌入向量层、第二集成模块、批归一化层、全连接层、激活函数层、全连接层、激活函数层封装得到；所述第一集成模块、第二集成模块分别设置有若干个；所述第一集成模块与位置嵌入向量层相加后并与第二集成模块连接；所述第一集成模块由从前至后依次设置的卷积层、批归一化层、激活函数层组成，所述第二集成模块由重组向量层、多头注意力机制模块、特征相加层、批归一化层组成。

为了更好地实现本发明，进一步地，所述多头注意力机制模块由依次设置的若干个第三集成模块以及特征拼接层、全连接层组成；若干个第三集成模块分别与特征拼接层连接，所述第三集成模块由从前至后设置的3个全连接层以及特征相乘层、特征向量开方层、柔性最大值层、特征相乘层构成，前2个全连接层分别输入特征相乘层处理，然后依次与特征向量开方层、柔性最大值层连接；最后与剩下的1个全连接层经过特征相乘层处理后输入特征拼接层。

为了更好地实现本发明，进一步地，所述卷积网络部分由10块从前至后依次设置的卷积层、批归一化层、激活函数层堆叠的块组成。

为了更好地实现本发明，进一步地，所述转换系统还包括特征拼接层、第一全连接层、第二全连接层、第三全连接层，所述卷积网络部分和变形注意力机制网络部分的输出端分别与特征拼接层连接，所述特征拼接层与第一全连接层连接，所述第一全连接层的输出端分别与第二全连接层、第三全连接层连接，所述第二全连接层、第三全连接层的输出端分别对应设置有分类类别损失函数、向量转换损失函数。

本发明主要通过以下技术方案实现：

一种跨模型人脸特征向量的转换方法，采用上述的转换系统进行转换，包括以下步骤：

步骤s100：收集人脸图像数据集、源特征向量以及目标特征向量；标注人脸图像数据集的身份类别并形成训练数据集；将人脸图像数据与源特征向量作为训练样本，且标注的身份类别作为真实标签值；

步骤s200：将训练样本输入网络模型进行训练，并计算网络模型的损失函数，并通过端到端的训练达到优化目的；

步骤s300：随机初始化网络模型的权重参数，并设定最大迭代次数，选择优化器优化损失值，重复计算，直至损失值收敛，网络模型性能最优，得到训练后的网络模型；

步骤s400：将待转换的人脸特征向量输入训练后的网络模型，并输出转换后的人脸特征向量。

为了更好地实现本发明，进一步地，所述步骤s200中的损失函数包括分类类别损失函数和向量转换损失函数；所述分类类别损失函数采用柔性最大值损失函数，用于计算预测身份类别与真实身份类别标签之间的损失值；所述向量转换损失函数是计算网络模型预测得到的特征向量与目标特征向量之间的余弦夹角损失值，并通过衰减余弦夹角损失值达到网络模型性能优化的目的。

为了更好地实现本发明，进一步地，所述步骤s300中利用预热余弦学习率下降法在迭代计算时衰减学习率，优化器为带牛顿动量的随机梯度下降法，且动量参数设为0.9；所述最大迭代次数为20000次，其中预热迭代次数预先设为1000次。

本发明利用卷积网络部分得到源特征向量的深度卷积特征，同时使用变形注意力机制网络部分提取人脸图像的深度特征，在网络模型的末端拼接成表达能力更强的特征图进行分类转换。所述的卷积网络部分主要是将特征向量映射更高维的特征空间中，增加非线性，利于网络模型学习到源特征向量和目标特征向量之间的映射关系；所述的变形注意力机制网络部分利用自注意力机制的并行性和能结合上下文提取特征的特性能获取语义更为丰富的人脸图像信息。本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，有效提高转换成功率。

本发明的有益效果：

（1）本发明提出了将变形注意力机制引入人脸特征向量的转换流程中，通过搭建变形注意力机制网络部分可以充分提取人脸图像中可利用的局部信息和全局信息，大大提高模型的特征表达能力，提高模型的性能和泛化性；

（2）本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，有效提高转换成功率。

附图说明

图1为本发明网络模型的网络结构示意图；

图2为变形注意力机制网络部分的结构示意图；

图3为多头注意力机制模块的结构示意图；

图4为卷积网络部分网络的结构示意图；

图5为本发明特征向量转换的流程图。

具体实施方式

实施例1：

一种跨模型人脸特征向量的转换系统，包括数据提取模块、网络训练模块、转换模块。

所述数据提取模块用于收集人脸图像数据集、源特征向量以及目标特征向量；标注人脸图像数据集的身份类别并形成训练数据集，将人脸图像数据与源特征向量作为训练样本，且标注的身份类别作为真实标签值；

所述网络训练模块用于将数据提取模块中的训练数据集中的输入样本输入网络模型进行训练得到训练后的网络模型；

所述转换模块用于将待转换的人脸特征向量输入网络训练模块中训练后的网络模型，并输出转换后的人脸特征向量。

如图1所示，所述网络模型由卷积网络部分和变形注意力机制网络部分组成；将源特征向量输入卷积网络部分并得到深度卷积特征，将人脸图像输入变形注意力机制网络部分并提取得到人脸图像的深度特征；然后将深度卷积特征与人脸图像的深度特征进行拼接融合，得到表达能力更强的特征图并进行分类转换。

本发明具有较高的易用性和可扩展性，本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，提高转换成功率。

实施例2：

本实施例是在实施例1的基础上进行优化，所述变形注意力机制网络部分先利用卷积层将图像下采样提高语义性；再利用多头注意力机制模块将卷积特征分片，以提取每片特征之间的关系信息；最后经批归一化层、全连接层、激活函数层依次处理后与卷积网络部分拼接融合。

本发明提出了将变形注意力机制引入人脸特征向量的转换流程中，通过搭建变形注意力机制网络部分可以充分提取人脸图像中可利用的局部信息和全局信息，大大提高模型的特征表达能力，提高模型的性能和泛化性。

本实施例的其他部分与实施例1相同，故不再赘述。

实施例3：

本实施例是在实施例2的基础上进行优化，如图2所示，所述变形注意力机制网络部分由从前至后依次设置的第一集成模块、位置嵌入向量层、第二集成模块、批归一化层、全连接层、激活函数层、全连接层、激活函数层封装得到；所述第一集成模块、第二集成模块分别设置有若干个；所述第一集成模块与位置嵌入向量层相加有与第二集成模块连接；所述第一集成模块由从前至后依次设置的卷积层、批归一化层、激活函数层组成，所述第二集成模块由重组向量层、多头注意力机制模块、特征相加层、批归一化层组成。

进一步地，所述的激活函数层都采用修正线性单元层。

进一步地，如图3所示，所述多头注意力机制模块由若干个第三集成模块以及特征拼接层、全连接层组成；若干个第三集成模块分别与特征拼接层连接，所述第三集成模块由从前至后设置的3个全连接层以及特征相乘层、特征向量开方层、柔性最大值层、特征相乘层构成，前2个全连接层分别输入特征相乘层处理，然后依次与特征向量开方层、柔性最大值层连接；最后与剩下的1个全连接层经过特征相乘层处理后输入特征拼接层。

进一步地，如图4所示，卷积网络部分的结构是从前至后将卷积层、批归一化层、激活函数层堆叠成一块，共使用10块。

所述的卷积网络部分主要是将特征向量映射更高维的特征空间中，增加非线性，利于网络模型学习到源特征向量和目标特征向量之间的映射关系。所述的变形注意力机制网络部分利用自注意力机制的并行性和能结合上下文提取特征的特性能获取语义更为丰富的人脸图像信息。

本实施例的其他部分与上述实施例2相同，故不再赘述。

实施例4：

本实施例是在实施例2或3的基础上进行优化，如图1所示，还包括特征拼接层、第一全连接层、第二全连接层、第三全连接层，所述卷积网络部分和变形注意力机制网络部分的输出端分别与特征拼接层连接，所述特征拼接层与第一全连接层连接，所述第一全连接层的输出端分别与第二全连接层、第三全连接层连接，所述第二全连接层、第三全连接层的输出端分别对应设置有分类类别损失函数、向量转换损失函数。

本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，有效提高转换成功率。

本实施例的其他部分与上述实施例2或3相同，故不再赘述。

实施例5：

一种跨模型人脸特征向量的转换方法，如图5所示，采用上述的转换系统进行转换，包括以下步骤：

步骤s100：收集人脸图像数据集、源特征向量以及目标特征向量；标注人脸图像数据集的身份类别并形成训练数据集；将人脸图像数据与源特征向量作为训练样本，且标注的身份类别作为真实标签值；

步骤s200：将训练样本输入网络模型进行训练，并计算网络模型的损失函数，并通过端到端的训练达到优化目的；

步骤s300：随机初始化网络模型的权重参数，并设定最大迭代次数，选择优化器优化损失值，重复计算，直至损失值收敛，网络模型性能最优，得到训练后的网络模型；

步骤s400：将待转换的人脸特征向量输入训练后的网络模型，并输出转换后的人脸特征向量。

进一步地，所述步骤s200中的损失函数包括分类类别损失函数和向量转换损失函数；所述分类类别损失函数采用柔性最大值损失函数，用于计算预测身份类别与真实身份类别标签之间的损失值；所述向量转换损失函数是计算网络模型预测得到的特征向量与目标特征向量之间的余弦夹角损失值，并通过衰减余弦夹角损失值达到网络模型性能优化的目的。

进一步地，所述步骤s300中利用预热余弦学习率下降法在迭代计算时衰减学习率，优化器为带牛顿动量的随机梯度下降法，且动量参数设为0.9；所述最大迭代次数为20000次，其中预热迭代次数预先设为1000次。

所述分类类别损失函数采用柔性最大值损失函数，计算公式如下：

公式中n为批次样本的处理大小，为向量y中索引为i的真实标签值，而是向量s中索引为i的预测概率值。

所述向量转换损失函数是计算模型预测得到的特征向量与目标特征向量之间的余弦夹角损失值，通过衰减余弦夹角损失值达到网络模型性能优化的目的，损失值计算公式为：

式中，n表示批处理样本的大小，表示模型预测得到的索引为j的特征码向量，表示索引为j的目标特征码向量。上标t表示为矩阵函数中的转置处理，为公知常识，故不再赘述。

又根据向量夹角余弦计算公式可得：

公式表示索引为j的源特征码预测得到的特征码与目标特征码之间的夹角的余弦值，用该值可以表示向量之间的相似度，并约束。

可重写映射损失函数的计算公式为：

公式中的为模型预测得到的j类目标对应的角度，即源特征向量与目标特征向量之间的夹角。

在开始训练之前随机初始化网络模型的权重参数，设定相关的超参数和设定最大迭代次数，选择最优的优化器优化损失值，重复计算，直至损失值收敛，网络模型性能最优。

本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，有效提高转换成功率。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。