一种基于视频人脸序列的人脸识别方法及系统与流程

1.本发明涉及人脸识别技术领域，尤其涉及一种基于视频人脸序列的人脸识别方法及系统。


背景技术：

2.人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别是一项热门的计算机技术研究领域，人脸追踪侦测，自动调整影像放大，夜间红外侦测，自动调整曝光强度；它属于生物特征识别技术，是对生物体(一般特指人)本身的生物特征来区分生物体个体。在人脸识别过程中，通常包括人脸检测、人脸特征提取和人脸识别步骤，特征提取是影响识别效果的一个重要环节。
3.人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，而真正进入初级的应用阶段则在90年后期，并且以美国、德国和日本的技术实现为主；人脸识别系统成功的关键在于是否拥有尖端的核心算法，并使识别结果具有实用化的识别率和识别速度；“人脸识别系统”集成了人工智能、机器识别、机器学习、模型理论、专家系统、视频图像处理等多种专业技术，同时需结合中间值处理的理论与实现，是生物特征识别的最新应用，其核心技术的实现，展现了弱人工智能向强人工智能的转化。
4.人脸的表达模型分为2d人脸和3d人脸。2d人脸识别研究的时间相对较长，方法流程也相对成熟，在多个领域都有使用，但由于2d信息存在深度数据丢失的局限性，无法完整的表达出真实人脸，所以在实际应用中存在着一些不足，例如识别准确率不高、活体检测准确率不高等。3d人脸模型比2d人脸模型有更强的描述能力，能更好的表达出真实人脸，所以基于3d数据的人脸识别不管识别准确率还是活体检测准确率都有很大的提高。但是采用3d人脸采集设备做人脸识别，会大大增加应用消耗的成本，且会受到距离和光照的限制。


技术实现要素：

5.为了解决上述问题，本发明一方面提供了一种基于视频人脸序列的人脸识别方法，旨在解决进行人脸识别时，采用3d人脸采集设备，成本过高，且应用场景有限的技术问题。
6.该方法包括以下步骤：s1：采集人脸2d序列图；s2：对2d序列图进行标注，并作为insightfaceloss的训练标签输入；s3：将3d设备采集到的3d人脸序列图和struct from motion算法生成的3d特征图，作为smoothl1loss的训练标签输入；s4：训练完成后得到人脸特征提取模型；s5：将前端采集到的视频序列进行人脸检测，将检测到的人脸序列作为人脸特征提取模型的输入，提取人脸特征，完成人脸识别。
7.进一步的，所述步骤s2中对2d序列图进行标注的方法为：采用restnet构建网络的
backbone生成人脸特征向量embedding。
8.进一步的，将步骤s2中insightfaceloss作为人脸识别的损失函数，用以增加类外距离，减少类内距离。
9.进一步的，所述步骤s3中struct from motion算法生成3d特征图包括以下子步骤：s31：输入有序或无序的图像集；s32：整体特征提取、匹配，并构建scene graph；s33：初始化，选取最优的图像，并进行一次光束法平差；s34：选取下一张最优图像进行位姿解算；s35：对新增的一张图像进行三角化新的地图点；s36：局部迭代光束法优化新增的一张图像地图点及位姿；s37：进行一次整体光束法平差。
10.进一步的，所述smoothl1loss将3d特征图通过反向传递让人脸特征向量embedding更多的表达出3d人脸特征，用以增加人脸的可区分性。
11.进一步的，所述步骤s5中采用mtcnn人脸检测算法检测图像中所有的人脸，为了保证每个序列人脸为同一个人，同时增加了人脸跟踪算法。
12.本发明的另一方面提供了一种基于视频人脸序列的人脸识别系统，该系统包括：2d和3d采集设备：用于采集人脸图像序列；人脸特征向量生成模块：用于将采集到的2d人脸序列图生成为人脸特征向量；人脸特征提取模型生成模块：用于生成人脸特征提取模型；人脸检测模块：将前端采集到的视频序列进行人脸检测，保证每个序列人脸为同一个人；识别模块：将检测到的人脸序列输入人脸特征提取模型，增加人脸的可区分性。
13.本发明的有益效果在于：采用一个序列的多涨人脸2d图，代替3d人脸采集设备做人脸识别，大大节约了应用消耗的成本，同时由于2d序列对距离和光照没有限制，大大提升了人脸识别的应用场景。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
15.图1为本发明的流程图。
具体实施方式
16.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
18.参阅图1，本发明提出了一种实施例：实施例1：一种基于视频人脸序列的人脸识别方法包括以下步骤：步骤一：利用2d人脸采集设备，采集人脸2d序列图，作为训练样本；步骤二：对采集到的人脸2d序列图进行标注，分别标注不同的人脸标签label，作为insightfaceloss的训练标签输入；步骤三：利用3d人脸采集设备采集3d人脸序列图，并将3d人脸序列图和struct from motion算法生成的3d特征图，作为smoothl1loss的训练标签输入；步骤四：训练完成后得到人脸特征提取模型；步骤五：将前端2d人脸采集设备采集到的视频序列进行人脸检测，将检测到的人脸序列作为人脸特征提取模型的输入，提取人脸特征，完成人脸识别。
19.具体的，步骤二中对2d序列图进行标注的方法为：采用restnet构建网络的backbone生成人脸特征向量embedding，最后采用当前效果最好的insightfaceloss作为人脸特征提取模型的损失函数，用以增加类外距离，减少类内距离。
20.具体的，步骤三中struct from motion（sfm）算法生成3d特征图包括以下子步骤：s31：输入有序或无序的图像集；s32：整体特征提取、匹配，并构建scene graph；s33：初始化，选取最优的图像，并进行一次光束法平差；s34：选取下一张最优图像进行位姿解算；s35：对新增的一张图像进行三角化新的地图点；s36：局部迭代光束法优化新增的一张图像地图点及位姿；s37：进行一次整体光束法平差。
21.可以理解的，sfm算法作为人脸特征提取模型的监督模块，基于生成人脸特征向量embedding，通过向上卷积来生成3d特征图；同时根据3d人脸采集设备采集到的3d人脸与生成的3d特征图进行smoothl1loss的损失函数，该损失函数可以在反向传递时让人脸特征向量embedding学习到人脸的3d特征，这样就增强了人脸特征向量embedding去学习表达3d的人脸特征，从而增加人脸的可区分性。由于处理后的人脸特征向量embedding包含了3d的人脸信息所以精度较2d人脸更高。
22.sfm算法是数十年来一直是计算机视觉领域的热门研究方向之一，它实现了众多实际应用，尤其在近景三维重建中，该算法从获取的目标物系列影像出发，最终获取较高精度的目标物稀疏三维点云。
23.具体的，步骤五中采用mtcnn人脸检测算法检测图像中所有的人脸，由于视频中可能同时存在多个人脸，为了区分不同的人脸，保证每个序列人脸为同一个人，同时增加了人脸跟踪算法，通过人脸跟踪算法可以更容易的确定视频序列中的人脸id，例如：可以将一个视频序列中的a和b两个人脸，通过人脸跟踪生成a的人脸序列和b的人脸序列，在本实施例当中，序列的长度设置为5帧，采集时间为2秒。人脸特征提取模型的数据输入使用采集到的2d人脸序列图，区别于以前的一张2d图像。
24.本发明另一方面提供了一种基于视频人脸序列的人脸识别系统，该系统包括：
2d和3d采集设备：用于采集人脸图像序列；人脸特征向量生成模块：用于将采集到的2d人脸序列图生成为人脸特征向量；人脸特征提取模型生成模块：用于生成人脸特征提取模型；人脸检测模块：将前端采集到的视频序列进行人脸检测，保证每个序列人脸为同一个人；识别模块：将检测到的人脸序列输入人脸特征提取模型，增加人脸的可区分性。
25.可以理解的，本发明只需在人脸特征提取模型的训练阶段使用3d人脸采集设备获取人脸3d结构图，在测试阶段可以直接根据人脸序列无需3d设备也能达到3d识别的目的。具体根据人脸在摄像头下的运动序列图，作为人脸识别的输入，根据sfm理论运动的图像序列可以获得图像的3d信息，所以采用的运动人脸数据会潜在的包含人脸的3d信息，所以根据人脸的序列做识别可以有效的利用高维的人脸信息，从而提高人脸识别的准确率。更进一步的，通过人脸特征向量embedding生成的3d特征图，基于该3d特征图增加smoothl1loss，让该3d特征图尽可能的还原人脸的3d信息，该3d特征图通过反向传递，让人脸特征向量embedding更多的表达出3d的人脸特征，从而让2d的序列达到3d识别的目的。
26.实施例2：一种基于视频人脸序列的人脸识别方法，该方法包括以下步骤：步骤一：利用2d人脸采集设备，采集人脸2d序列图，作为训练样本；步骤二：对采集到的人脸2d序列图进行标注，分别标注不同的人脸标签label，作为insightfaceloss的训练标签输入；步骤三：利用3d人脸采集设备采集3d人脸序列图，并将3d人脸序列图和struct from motion算法生成的3d特征图，作为smoothl1loss的训练标签输入；步骤四：训练完成后得到人脸特征提取模型；步骤五：将前端2d人脸采集设备采集到的视频序列进行人脸检测，将检测到的人脸序列作为人脸特征提取模型的输入，提取人脸特征，完成人脸识别。
27.具体的，步骤二中对2d序列图进行标注的方法为：采用restnet构建网络的backbone生成人脸特征向量embedding，最后采用当前效果最好的insightfaceloss作为人脸特征提取模型的损失函数，用以增加类外距离，减少类内距离。
28.具体的，步骤三中struct from motion（sfm）算法生成3d特征图包括以下子步骤：s31：输入有序或无序的图像集；s32：整体特征提取、匹配，并构建scene graph；s33：初始化，选取最优的图像，并进行一次光束法平差；s34：选取下一张最优图像进行位姿解算；s35：对新增的一张图像进行三角化新的地图点；s36：局部迭代光束法优化新增的一张图像地图点及位姿；s37：进行一次整体光束法平差。
29.可以理解的，sfm算法作为人脸特征提取模型的监督模块，基于生成人脸特征向量embedding，通过向上卷积来生成3d特征图；同时根据3d人脸采集设备采集到的3d人脸与生成的3d特征图进行smoothl1loss的损失函数，该损失函数可以在反向传递时让人脸特征向量embedding学习到人脸的3d特征，这样就增强了人脸特征向量embedding去学习表达3d的
人脸特征，从而增加人脸的可区分性。由于处理后的人脸特征向量embedding包含了3d的人脸信息所以精度较2d人脸更高。
30.sfm算法是数十年来一直是计算机视觉领域的热门研究方向之一，它实现了众多实际应用，尤其在近景三维重建中，该算法从获取的目标物系列影像出发，最终获取较高精度的目标物稀疏三维点云。
31.具体的，步骤五中采用mtcnn人脸检测算法检测图像中所有的人脸，由于视频中可能同时存在多个人脸，为了区分不同的人脸，保证每个序列人脸为同一个人，同时增加了人脸跟踪算法，通过人脸跟踪算法可以更容易的确定视频序列中的人脸id，例如：可以将一个视频序列中的a和b两个人脸，通过人脸跟踪生成a的人脸序列和b的人脸序列。
32.优选的，在本实施例当中，为了保证人脸识别的精度，序列的长度优选设置为10帧，采集时间优选设置为1秒。人脸特征提取模型的数据输入使用采集到的2d人脸序列图，区别于以前的一张2d图像。
33.可以理解的，本发明只需在人脸特征提取模型的训练阶段使用3d人脸采集设备获取人脸3d结构图，在测试阶段可以直接根据人脸序列无需3d设备也能达到3d识别的目的。具体根据人脸在摄像头下的运动序列图，作为人脸识别的输入，根据sfm理论运动的图像序列可以获得图像的3d信息，所以采用的运动人脸数据会潜在的包含人脸的3d信息，所以根据人脸的序列做识别可以有效的利用高维的人脸信息，从而提高人脸识别的准确率。更进一步的，通过人脸特征向量embedding生成的3d特征图，基于该3d特征图增加smoothl1loss，让该3d特征图尽可能的还原人脸的3d信息，该3d特征图通过反向传递，让人脸特征向量embedding更多的表达出3d的人脸特征，从而让2d的序列达到3d识别的目的。
34.本发明采用一个序列的多涨人脸2d序列图，代替3d人脸采集设备做人脸识别，大大节约了应用消耗的成本，同时由于2d序列对距离和光照没有限制，所以本发明也能大大提升人脸识别的应用场景。
35.需要说明的是，对于前述的实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术所必须的。
36.上述实施例中，描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。