1.本技术涉及人脸识别技术领域,尤其涉及一种人脸识别模型训练方法、识别方法、装置、设备及介质。
背景技术:2.人脸作为区分个体之间的一个基本属性,在计算机视觉和多媒体应用领域频繁识别。这些应用中,人脸识别模型需要被重新部署在移动手机甚至智能摄像头中,用于相机自动对焦、人机交互、照片管理、城市安防监控、智能驾驶等诸多领域。当前,人脸识别在开放环境条件下的实际应用中,经常需要识别低分辨率人脸图像,但是目前对低分辨率人脸图像识别准确性较差。目前为了提高对低分辨率人脸图像识别的准确性采用基于增强的方法和基于嵌入的方法,但是这两种处理方法并不理想,并不能达到用户要求。因此,如何提高对低分辨率人脸图像识别的准确性是目前亟待解决的问题。
技术实现要素:3.本技术的主要目的在于提供一种人脸识别模型训练方法、识别方法、装置、设备及介质,旨在使训练出来的人脸识别模型更加准确,以提高对低分辨人脸图像识别的准确性。
4.第一方面,本技术提供一种人脸识别方法,所述人脸识别方法包括以下步骤:
5.获取多个第一样本人脸图像以及每个所述第一样本人脸图像对应的身份标识码;
6.对所述多个第一样本人脸图像进行预设增广处理,得到多个第一人脸图像,并根据预设的图像增广模型,对所述多个第一样本人脸图像进行增广处理,得到多个第二人脸图像,所述第一样本人脸图像与对应所述第二人脸图像的身份标识码相同,所述图像增广模型用于对所述第一人脸图像进行图像模糊增广;
7.根据所述多个第一人脸图像和所述多个第二人脸图像,对预设的人脸识别模型进行训练,直至所述人脸识别模型收敛。
8.第二方面,本技术还提供一种人脸识别方法,包括:
9.获取待识别的人脸图像;
10.将所述待识别的人脸图像输入至人脸识别模型,得到所述待识别的人脸图像对应的人物的身份特征,其中,所述人脸识别模是通过所述的人脸识别模型训练方法进行训练得到的;
11.根据所述身份特征和预设的身份信息库,确定所述待识别的人脸图像对应的人物的身份信息。
12.第三方面,本技术还提供一种人脸识别模型训练装置,所述人脸识别模型训练装置包括第一获取模块、生成模块和训练模块,其中:
13.所述第一获取模块,用于获取多个第一样本人脸图像以及每个所述第一样本人脸图像对应的身份标识码;
14.所述生成模块,用于对所述多个第一样本人脸图像进行预设增广处理,得到多个
第一人脸图像,并根据预设的图像增广模型,对所述多个第一样本人脸图像进行增广处理,得到多个第二人脸图像,所述第一样本人脸图像与对应所述第二人脸图像的身份标识码相同,所述图像增广模型用于对所述第一人脸图像进行图像模糊增广;
15.所述第一训练模块,用于根据所述多个第一人脸图像和所述多个第二人脸图像,对预设的人脸识别模型进行训练,直至所述人脸识别模型收敛。
16.第四方面,本技术还提供一种终端设备,所述终端设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如上述的人脸识别模型训练方法和/或人脸识别方法的步骤。
17.第五方面,本技术还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如上述的人脸识别模型训练方法和/或人脸识别方法的步骤。
18.本技术提供一种人脸识别模型训练方法、识别方法、装置、设备及介质,本技术通过获取多个第一样本人脸图像以及每个第一样本人脸图像对应的身份标识码;然后对多个第一样本人脸图像进行预设增广处理,得到多个第一人脸图像,并根据预设的图像增广模型,对多个第一样本人脸图像进行增广处理,得到多个第二人脸图像,第一样本人脸图像与对应所述第二人脸图像的身份标识码相同,图像增广模型用于对第一人脸图像进行图像模糊增广;根据多个第一人脸图像和多个第二人脸图像,对预设的人脸识别模型进行训练,直至人脸识别模型收敛。本方案通过预设增广和图像增广模型对多个第一样本人脸图像进行增广处理,能够得到大量的第一人脸图像和第二人脸图像,极大地增加了训练样本的数量,通过对第一人脸图像和第二人脸图像对预设的人脸识别模型进行联合训练,使训练出的人脸识别模型更加准确。
附图说明
19.为了更清楚地说明本技术实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
20.图1为本技术的实施例提供的一种人脸识别模型训练方法的流程示意图;
21.图2为本技术的实施例提供的一种图像增广模型训练的流程示意图;
22.图3为图2中的图像增广模型训练的子步骤流程示意图;
23.图4为图1中的人脸识别模型训练方法的子步骤流程示意图;
24.图5为本技术实施例提供的人脸识别方法的步骤流程示意图;
25.图6为本技术实施例提供的一种人脸识别模型训练装置的示意性框图;
26.图7为本技术实施例提供的人脸识别模型训练装置的子模块的示意性框图;
27.图8为本技术实施例提供的一种图像增广模型训练装置的示意性框图;
28.图9为本技术实施例提供的一种人脸识别装置的示意性框图;
29.图10为本技术实施例提供的一种终端设备的结构示意性框图。
30.本技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
31.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
32.附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
33.本技术实施例提供一种人脸识别模型训练方法、识别方法、装置、设备及介质。其中,该人脸识别模型训练方法可应用于终端设备中,该终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
34.下面结合附图,对本技术的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
35.请参照图1,图1为本技术的实施例提供的一种人脸识别模型训练方法的流程示意图。
36.如图1所示,该人脸识别模型训练方法包括步骤s101至步骤s103。
37.步骤s101、获取多个第一样本人脸图像以及每个所述第一样本人脸图像对应的身份标识码。
38.其中,身份标识码为第一样本人脸图像对应的身份标识,该身份标识码可以根据实际情况进行设置,本发明实施例对此不做具体限定,例如,该身份标识码可以是身份证号码,该预设分辨率可以根据实际情况进行设置,本发明实施例对此不做具体限定,例如,该预设分辨率为720p。
39.在一实施例中,获取多个第一样本人脸图像和每个第一样本人脸图像对应的身份标识码,得到多个样本人脸图像以及每个第一样本人脸图像对应的身份标识码,该每个第一样本人脸图像的分辨率均小于或等于预设分辨率。
40.需要说明的是,第一样本人脸图像的获取方式可以根据实际情况进行选择,本发明实施例对此不做具体限定,例如,第一样本人脸图像可以是从视频中截取的图像,也可以是通过拍摄设备采集的图像,该拍摄设备可以根据实际情况进行选择,本发明实施例对此不做具体限定,例如,该拍摄设备可以是照相机、摄像机和手机等设备。
41.步骤s102、对所述多个第一样本人脸图像进行预设增广处理,得到多个第一人脸图像,并根据预设的图像增广模型,对所述多个第一样本人脸图像进行增广处理,得到多个第二人脸图像。
42.通过多个第一样本人脸图像进行预设增广处理和图像增广模型处理,以获得更多的样本。
43.在一实施例中,请参照图2,图2为本技术的实施例提供的一种图像增广模型训练的流程示意图。
44.如图2所示,该图像增广模型训练包括步骤s201至步骤s202。
45.步骤s201、获取多个第二样本人脸图像,并给每个所述第二样本人脸图像添加噪声,得到多个第三样本人脸图像。
46.获取多个第二样本人脸图像,其中,获取该多个第二样本人脸图像的方式可以根据实际情况进行选择,本发明实施例对此不做具体限定,例如,第二样本人脸图像可以是从视频中截取的图像,也可以是通过拍摄设备采集的图像,该拍摄设备可以根据实际情况进行选择,本发明实施例对此不做具体限定,例如,该拍摄设备可以是照相机、摄像机和手机等设备。
47.在一实施例中,获取预设的光子噪声、读出噪声和量化噪声;根据每个第二样本人脸图像的分辨率,给每个第二样本人脸图像添加光子噪声、读出噪声和量化噪声,得到多个第三样本人脸图像。其中,该预设的光子噪声、读出噪声和量化噪声可以根据实际情况进行设置设备,本发明实施例对此不做具体限定。通过对每个第二样本人脸图像添加噪声,使得训练图像增广模型的样本图像更加切合实际情况,以使训练出的图像增广模型更加准确。
48.需要说明的是,该光子噪声为采集图像时光子转化为电子发生光电效应所产生的光噪声;该读出噪声为采集图像时电子转换为电压过程中电路固有的因素,如器件中电子的热运动等,造成结果的不精确,所产生误差称为读出噪声;该量化噪声为采集图像时将电压转换为数字,由连续信号转化为数字信号,所造成的信息损失称之为量化误差或取整误差,即为量化噪声。
49.在一实施例中,获取光子噪声的方式还可以为:获取采集图像是传感器接收光子数i,使用泊松分布拟合该光子数i,得到光子噪声。通过泊松分布对接收到光子数进行拟合,能够准确地得到光子噪声。
50.在一实施例中,获取读出噪声的方式还可以为:获取采集图像过程中电子转换为电压过程中的误差,对该误差进行高斯分布处理并通过预设tukey lambda分布进行处理,生成读出噪声。通过对采集图像过程中电子转换为电压过程中的误差进行处理,能够准确地得到读出噪声。
51.在一实施例中,获取量化噪声的方式还可以为:获取量化噪声分布,该量化噪声分布为[-0.5q,0.5q],其中,q为量化步骤的次数。获取量化步骤的次数,并对量化步骤的次数和量化噪声分布进行运算,得到量化噪声。例如,该量化步骤的次数为1(即q为1),量化噪声为[-0.5,0.5];该量化步骤的次数为2(即q为2),量化噪声为[-0.1,0.1]。
[0052]
在一实施例中,获取每个第二样本人脸图像的分辨率,根据每个第二样本人脸图像的分辨率,给每个第二样本人脸图像添加光子噪声、读出噪声和量化噪声,得到多个第三样本人脸图像。通过对第二样本人脸图像添加光子噪声、读出噪声和量化噪声,能够得到更加符合低分辨图像特征的样本图像。
[0053]
示例性的,获取噪声叠加公式,该噪声叠加公式为n=kn1+n2+n3,其中,n为总噪声,k为光子噪声增益值,n1为每个像素数点的光子噪声,n2为每个像素数点的读出噪声,n3为每个像素数点的量化噪声,获取光子噪声、读出噪声和量化噪声,基于该噪声叠加公式,对光子噪声、读出噪声和量化噪声进行叠加得到总噪声。其中,该光子噪声增益值是根据成像系统进行设置,该光子噪声增益值可以根据实际情况进行设置,本发明实施例对此不做具体限定。根据第二样本人脸图像的分辨率,对第二样本人脸图像添加总噪声,生成第三样本人脸图像。
[0054]
步骤s202、根据多个所述第三样本人脸图像,对预设的图像增广模型进行训练,直至所述图像增广模型收敛。
[0055]
其中,该图像增广模型包括图像下采样模型和高斯模糊模型。
[0056]
在一实施例中,如图3所示,步骤s202包括子步骤s2021至子步骤s2023。
[0057]
子步骤s2021、通过预设的图像增广模型对各所述第三样本人脸图像进行处理,得到多个第三人脸图像。
[0058]
通过图像下采样模型对各第三样本人脸图像进行下采样处理,并对下采样后的图像进行高斯模糊模型处理,得到各第三样本人脸图像对应的第三人脸图像。通过图像下采样模型对第三样本人脸图像进行下采样处理,能够使得样本图像符合显示区域的大小和生成对应图像缩略图,对缩略图进行高斯模糊处理能够准确地得到第三人脸图像。
[0059]
子步骤s2022、根据多个所述第二样本人脸图像和多个所述第三人脸图像,确定所述图像增广模型是否收敛。
[0060]
计算各身份标识码相匹配的两个第二样本人脸图像之间的人脸特征相似度,得到各身份标识码对应的至少一个人脸相似度,并根据各人脸相似度建立第一相似度直方图;计算各身份标识码相匹配的两个第三人脸图像之间的人脸特征相似度,得到各身份标识码对应的至少一个人脸相似度,并根据各人脸相似度建立第二相似度直方图;对第一相似度直方图进行曲线拟合,得到第一曲线,并对第二相似度直方图进行曲线拟合,得到第二曲线;确定第一曲线与坐标轴所围成的第一区域以及第二曲线与坐标轴所围成的第二区域;在第一区域与第二区域的交集区域的面积大于或等于预设面积阈值时,确定图像增广模型已收敛;在第一区域与第二区域的交集区域的面积小于预设面积阈值时,确定图像增广模型已收敛。其中,该预设面积阈值可以根据实际情况进行设置,本发明实施例对此不做具体限定。通过确定各第二样本人脸图像与坐标轴围成第一区域,以及各第三人脸图像与坐标轴围成第二区域的交集区域的面积能够准确知晓图像增广模型是否收敛。
[0061]
在一实施例中,计算各身份标识码相匹配的两个第二样本人脸图像之间的人脸特征相似度的方式可以为:获取身份标识码相匹配的两个第二样本人脸图像,对两个第二样本人脸图像进行特征的余弦距离计算,得到两个第二样本人脸图像的相似度。通过对两个第二样本人脸图像进行特征的余弦距离计算,能够准确地得到两个第二样本人脸图像的相似度。
[0062]
在一实施例中,根据各人脸相似度建立第一相似度直方图的方式可以为:以人脸相似度为横坐标,以相同人脸相似度的数量为纵坐标建立直角坐标系,根据各人脸相似度和相同人脸相似度的数量建立第一相似度直方图。通过对各人脸相似度建立第一相似度直方图,能够提高模型训练的准确性。
[0063]
需要说明的是,计算各身份标识码相匹配的两个第三人脸图像之间的人脸特征相似度,得到各身份标识码对应的至少一个人脸相似度的方式,可以参照计算各身份标识码相匹配的两个第二样本人脸图像之间的人脸特征相似度,得到各身份标识码对应的至少一个人脸相似度的方式;根据各人脸相似度建立第二相似度直方图的方式可以参照根据各人脸相似度建立第一相似度直方图的方式,因此,对于计算各身份标识码相匹配的两个第三人脸图像之间的人脸特征相似度,得到各身份标识码对应的至少一个人脸相似度,并根据各人脸相似度建立第二相似度直方图不做过多的赘述。
[0064]
在一实施例中,获取预设的曲线拟合方式,基于该预设的曲线拟合方式对第一相似度直方图进行曲线拟合,得到第一曲线,并对第二相似度直方图进行曲线拟合,得到第二
曲线。其中,该预设的曲线拟合方式的可以根据实际情况进行选择,本发明实施例对此不做具体限定,例如,该预设的曲线拟合方式可以为采用matplotlib中的mlab模块或采用seaborn库中的distplot绘制。通过该曲线拟合方式能够准确得到第一相似度直方图对应的第一曲线,以及第二相似度直方图对应的第二曲线。
[0065]
子步骤s2023、若所述图像增广模型未收敛,调整所述图像增广模型的模型参数,以更新所述图像增广模型,并继续训练更新后的所述图像增广模型,直至所述图像增广模型收敛。
[0066]
确定第一区域与第二区域的交集区域的面积是否大于或等于预设面积阈值时,在第一区域与第二区域的交集区域的面积大于或等于预设面积阈值时,确定图像增广模型已收敛。在第一区域与第二区域的交集区域的面积小于预设面积阈值时,确定图像增广模型未收敛,其中,图像增广模型包括图像下采样模型和高斯模糊模型,调整图像增广模型中图像下采样模型的下采样参数和调整高斯模糊模型的模型参数,以更新图像下采样模型和高斯模糊模型,继续训练更新后的图像下采样模型和高斯模糊模型,直至图像下采样模型和高斯模糊模型收敛,得到收敛的图像增广模型。当确定图像增广模型未收敛,通过调整图像增广模型的模型参数,并对更新模型参数的图像增广模型继续训练,能够准确地得到收敛的图像增广模型。
[0067]
在一实施例,调整图像增广模型中图像下采样模型的下采样参数和调整高斯模糊模型的模型参数的方式可以为:从预设的下采样参数库和预设的模型参数库各选取一个参数作为此次调整图像下采样模型的下采样参数和调整高斯模糊模型的模型参数。其中,该预设的下采样参数库和预设的模型参数库可以根据实际情况进行设置,本发明实施例对此不做具体限定。例如,该下采样参数库中包括的下采样参数可以为10倍、20倍和50倍等参数;该模型参数包括高斯核参数,高斯核参数可以为0.5、5和8等参数。通过从预设的下采样参数库和预设的模型参数库中选取下采样参数和模型参数,能够准确地调整图像增广模型中图像下采样模型的下采样参数和调整高斯模糊模型的模型参数。
[0068]
在一实施例中,对多个第一样本人脸图像进行预设增广处理,得到多个第一人脸图像。其中,该预设增广可以根据实际情况进行选择,本发明实施例的对此不做具体,该预设增广可以是随机翻转、亮度对比度调整、图像灰度化和随机擦除等方式。通过对多个第一样本人脸图像进行预设增广处理,得到多个第一人脸图像,以丰富样本图像。
[0069]
在一实施例中,根据预设的图像增广模型,对多个第一样本人脸图像进行增广处理,得到多个第二人脸图像,其中,第一样本人脸图像与对应第二人脸图像的身份标识码相同。通过图像增广模型对第一样本人脸图像进行增广处理,得到多个第二人脸图像。
[0070]
步骤s103、根据所述多个第一人脸图像和所述多个第二人脸图像,对预设的人脸识别模型进行训练,直至所述人脸识别模型收敛。
[0071]
其中,该人脸识别模型为神经网络模型,该神经网络模型的具体类型可以根据实际情况进行选择,本发明实施例对此不做具体限定,例如,该神经网络模型可以为知识蒸馏神经网络模型。例如,该人脸识别模型可以是基于知识蒸馏神经网络的脸识别模型和基于卷积神经网络的人脸识别模型等模型。
[0072]
示例性的,该人脸识别模型包括的结构可以是backbone+l2 norm,该backbone可以根据实际情况进行选择,本发明实施例对此不做具体限定,例如,该backbone可以是
mobilefacenet、iresnet和vit;例如,该人脸识别模型的结构可以为mobilefacenet+l2 norm、iresnet+l2 norm和vit+l2 norm等结构模型。
[0073]
在一实施例中,如图4所示,步骤s103包括子步骤s1031至子步骤s1034。
[0074]
子步骤s1031、将所述第一人脸图像输入至所述人脸识别模型进行处理,得到第一特征向量。
[0075]
将第一人脸图像输入至人脸识别模型进行处理,得到第一特征向量。通过该人脸识别模型能够准确地得到第一人脸图像对应的第一特征向量。
[0076]
子步骤s1032、将所述第二人脸图像输入至所述人脸识别模型进行处理,得到第二特征向量性向量。
[0077]
将第二人脸图像输入至人脸识别模型进行处理,得到第二特征向量性向量。通过该人脸识别模型能够准确地得到第二人脸图像对应的第二特征向量。
[0078]
子步骤s1033、根据所述第一特征向量和所述第二特征向量,确定所述人脸识别模型的目标损失值,并根据所述目标损失值,确定所述人脸识别模型是否收敛。
[0079]
根据第一特征向量以及第一特征向量对应的所述身份标识码,生成第一损失值;根据第二特征向量和第一特征向量,生成第二损失值;对第一损失值和所述第二损失值进行加权求和,得到目标损失值。通过确定第一损失值和第二损失值,并对第一损失值和第二损失值进行加权求和,能够准确地得到人脸识别模型的目标损失值。
[0080]
在一实施例中,根据第一特征向量以及第一特征向量对应的所述身份标识码,生成第一损失值的方式可以为:获取预设的第一损失值公式,该第一损失值公式为其中,l1为第一损失值,n为小批次图片数量,n为参与训练的第一样本人脸图像的身份标识码个数,m为角度距离,s为第一特征向量余弦距离扩大倍数,为第一特征向量与对应身份标识码的特征原型的夹角。基于该第一损失值公式,并根据第一特征向量以及所述第一特征向量对应的所述身份标识码,生成第一损失值。通过该第一损失值公式能够准确地运算出第一损失值。
[0081]
在一实施例中,根据第二特征向量和第一特征向量,生成第二损失值的方式可以为:对第二特征向量和所述第一特征向量进行蒸馏学习,具体为:将第二特征向量和各所述第一特征向量设定三元组,将第二特征向量作为anchor,将与第二特征向量的身份标识码相同且特征相似度最小的第一特征向量作为positive,将与第二特征向量的身份标识码不相同且特征相似度最大的第一特征向量作为negative,基于各anchor对应的第二特征向量、positive对应的第一特征向量和negative对应的第一特征向量进行三元组损失值计算,得到第二损失值。通过对第二特性向量和各第一特征向量构建三元组,基于构建的三元组和三元组损失原理能准确地计算出第二损失值。需要说明的是,三元组损失原理是基于欧式距离形式化原理。
[0082]
示例性的,获取预设的第二损失值公式,该第二损失值公式为l2=max}d(a,p)-d(a,n)+m,0},设样本为x和映射函数为f
(x)
,对该第二损失值公式进行化简,得到化简后的第
二损失值公式为二损失值公式为其中,l2第二损失值,n为样本总数量,n为第几个样本,a为anchor,p为positive,n为negative,m为常数,其中,该常数m和映射函数f
(x)
可以根据实际情况进行设置,本发明实施例对此不做具体限定。基于该第二损失值公式,并根据第二特性向量和各第一特征向量构建三元组,生成第二损失值。
[0083]
在一实施例中,对第一损失值和第二损失值进行加权求和,得到目标损失值的方式可以为:获取第一权重参数和第二权重参数,将第一权重参数与第一损失值进行乘法运算,得到第三损失值,将第二权重参数与第二损失值进行乘法运算,得到第四损失值,对第三损失值和第四损失值进行求和,得到目标损失值。其中,该第一权重参数和第二权重参数可以根据实际情况进行设置,本发明实施例对此不做具体限定,通过对第一损失值和第二损失值进行加权求和,能够准确地得到目标损失值。
[0084]
在一实施例中,在得到目标损失值后,确定目标损失值是否小于或等于预设阈值,若目标损失值小于或等于预设阈值,则确定人脸识别模型已收敛;若目标损失值大于预设阈值,则确定人脸识别模型未收敛。其中,该预设阈值可以根据实际情况进行设置,本发明实施例对此不做具体限定。
[0085]
子步骤s1034、若所述人脸识别模型未收敛,则调整所述人脸识别模型的模型参数,以更新所述人脸识别模型,并继续训练更新后的所述人脸识别模型,若所述人脸识别模型收敛,则得到收敛后的人脸识别模型。
[0086]
确定目标损失值是否小于或等于预设阈值,若目标损失值小于或等于预设阈值,则确定人脸识别模型已收敛;若目标损失值大于预设阈值,则确定人脸识别模型未收敛,调整该人脸识别模型的模型参数,以更新人脸识别模型,并继续训练更新后的人脸识别模型,若更新后的人脸识别模型的目标损失值小于或等于预设阈值,则确定人脸识别模型已收敛。当人脸识别模型未收敛时更新模型参数,并继续训练能够得到收敛人脸识别模型。
[0087]
上述实施例提供的人脸识别模型训练方法,通过获取多个第一样本人脸图像以及每个第一样本人脸图像对应的身份标识码;然后对多个第一样本人脸图像进行预设增广处理,得到多个第一人脸图像,并根据预设的图像增广模型,对多个第一样本人脸图像进行增广处理,得到多个第二人脸图像,所述第一样本人脸图像与对应所述第二人脸图像的身份标识码相同;根据多个第一人脸图像和多个第二人脸图像,对预设的人脸识别模型进行训练,直至人脸识别模型收敛。本方案通过预设增广和图像增广模型对多个第一样本人脸图像进行增广处理,能够得到大量的第一人脸图像和第二人脸图像,极大地增加了训练样本的数量,通过对第一人脸图像和第二人脸图像对预设的人脸识别模型进行联合训练,使训练出的人脸识别模型更加准确。
[0088]
请参照图5,图5为本技术实施例提供的人脸识别方法的步骤流程示意图。
[0089]
如图5所示,该人脸识别方法包括步骤s301至步骤s303。
[0090]
步骤s301、获取待识别的人脸图像。
[0091]
获取待识别的人脸图像,该人脸图像可以是人脸照片,也是可以是视频中的一帧人脸图像,本发明实施例对此不做具体限定。
[0092]
步骤s302、将所述待识别的人脸图像输入至人脸识别模型,得到所述待识别的人
脸图像对应的人物的身份特征。
[0093]
其中,该所述人脸识别模是通过前述的人脸识别模型训练方法进行训练得到的。
[0094]
将该人脸图像输入至预设人脸识别模型中,得到人脸图像对应的人物的身份特征。通过将该人脸图像输入至预设人脸识别模型中,可以准确的得到人脸图像对应的人物的身份特征。
[0095]
步骤s303、根据所述身份特征和预设的身份信息库,确定所述待识别的人脸图像对应的人物的身份信息。
[0096]
其中,该预设的身份信息库为预先根据每个人物的身份信息建立的身份信息库,该身份信息库中每个身份信息均映射每个人物的预设身份特征。该预设的身份信息库可以根据实际情况进行建立,本发明实施例对此不做具体限定。
[0097]
在一实施例中,计算该身份特征与身份信息库中每个预设身份特征的相似度,得到身份特征每个预设身份特征的相似度,从该相似度队列中选取最大的相似度对应的预设身份特征作为目标身份特征,将目标身份特征对应的身份信息作为待识别的人脸图像对应的人物的身份信息。通过计算身份特征与身份信息库中每个预设身份特征相似度,能准确地确定待识别的人脸图像对应的人物的身份信息。
[0098]
在一实施例中,计算该身份特征与身份信息库中每个预设身份特征的相似度,得到身份特征每个预设身份特征的相似度的方式可以为:获取预设的余弦相似度公式,该余弦相似度公式为其中,l3为身份特征相似度,a为身份特征,b为预设身份特征,将身份特征和预设身份特征代入该该余弦相似度公式,得到身份特征与预设身份特征的相似度。
[0099]
上述实施例提供的人脸识别方法,通过获取待识别的人脸图像;然后将人脸图像输入至人脸识别模型中,得到人脸图像对应的人物的身份特征,之后根据身份特征和预设的身份信息库,确定待识别的人脸图像对应的人物的身份信息。通过将该人脸图像输入至人脸识别模型中,可以准确地识别分辨率较低的图像,极大地提高了人脸识别的准确性。
[0100]
请参数图6,图6为本技术实施例提供的一种人脸识别模型训练装置的示意性框图。
[0101]
如图6所示,人脸识别模型训练装置400包括第一获取模块410、生成模块420和第一训练模块430,其中:
[0102]
所述第一获取模块410,用于获取多个第一样本人脸图像以及每个所述第一样本人脸图像对应的身份标识码;
[0103]
所述生成模块420,用于对所述多个第一样本人脸图像进行预设增广处理,得到多个第一人脸图像,并根据预设的图像增广模型,对所述多个第一样本人脸图像进行增广处理,得到多个第二人脸图像,所述第一样本人脸图像与对应所述第二人脸图像的身份标识码相同,所述图像增广模型用于对所述第一人脸图像进行图像模糊增广;
[0104]
所述第一训练模块430,用于根据所述多个第一人脸图像和所述多个第二人脸图像,对预设的人脸识别模型进行训练,直至所述人脸识别模型收敛。
[0105]
在一实施例中,如图7所示,所述第一训练模块430还包括第一处理模块431、第二处理模块432、第一确定模块433和更新模块434,其中:
[0106]
第一处理模块431、用于将所述第一人脸图像输入至所述人脸识别模型进行处理,得到第一特征向量;
[0107]
第二处理模块432、用于将所述第二人脸图像输入至所述人脸识别模型进行处理,得到第二特征向量性向量;
[0108]
第一确定模块433、用于根据所述第一特征向量和所述第二特征向量,确定所述人脸识别模型的目标损失值,并根据所述目标损失值,确定所述人脸识别模型是否收敛;
[0109]
更新模块434、用于若所述人脸识别模型未收敛,则调整所述人脸识别模型的模型参数,以更新所述人脸识别模型,并继续训练更新后的所述人脸识别模型,若所述人脸识别模型收敛,则得到收敛后的人脸识别模型。
[0110]
在一实施例中,所述第一确定模块433,还用于:
[0111]
根据所述第一特征向量以及所述第一特征向量对应的所述身份标识码,生成第一损失值;
[0112]
根据所述第二特征向量和所述第一特征向量,生成第二损失值;
[0113]
对所述第一损失值和所述第二损失值进行加权求和,得到目标损失值。
[0114]
在一实施例中,请参阅图8,图8为本技术实施例提供的一种图像增广模型训练装置的示意性框图。该图像增广模型训练装置500包括第二获取模块510、添加模块520和第二训练模型530,其中:
[0115]
第二获取模块510,用于获取多个第二样本人脸图像;
[0116]
添加模块520,用于给每个所述第二样本人脸图像添加噪声,得到多个第三样本人脸图像;
[0117]
第二训练模型530,用于根据多个所述第三样本人脸图像,对预设的图像增广模型进行训练,直至所述图像增广模型收敛。
[0118]
在一实施例中,所述添加模块520,还用于:
[0119]
获取预设的光子噪声、读出噪声和量化噪声;
[0120]
根据每个所述第二样本人脸图像的分辨率,给每个所述第二样本人脸图像添加所述光子噪声、读出噪声和量化噪声,得到多个第三样本人脸图像。
[0121]
在一实施例中,所述第二训练模块530,还用于:
[0122]
通过预设的图像增广模型对各所述第三样本人脸图像进行处理,得到多个第三人脸图像;
[0123]
根据多个所述第二样本人脸图像和多个所述第三人脸图像,确定所述图像增广模型是否收敛;
[0124]
若所述图像增广模型未收敛,调整所述图像增广模型的模型参数,以更新所述图像增广模型,并继续训练更新后的所述图像增广模型,直至所述图像增广模型收敛。
[0125]
在一实施例中,所述第二训练模块530,还用于:
[0126]
计算各身份标识码相匹配的两个所述第二样本人脸图像之间的人脸特征相似度,得到各所述身份标识码对应的至少一个人脸相似度,并根据各所述人脸相似度建立第一相似度直方图;
[0127]
计算各身份标识码相匹配的两个所述第三人脸图像之间的人脸特征相似度,得到各所述身份标识码对应的至少一个人脸相似度,并根据各所述人脸相似度建立第二相似度
直方图;
[0128]
对所述第一相似度直方图进行曲线拟合,得到第一曲线,并对所述第二相似度直方图进行曲线拟合,得到第二曲线;
[0129]
确定所述第一曲线与坐标轴所围成的第一区域以及所述第二曲线与坐标轴所围成的第二区域;
[0130]
在所述第一区域与所述第二区域的交集区域的面积大于或等于预设面积阈值时,确定所述图像增广模型已收敛。
[0131]
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述人脸识别模型训练装置的具体工作过程,可以参考前述人脸识别模型训练方法实施例中的对应过程,在此不再赘述。
[0132]
请参阅图9,图9为本技术实施例提供的一种人脸识别装置的示意性框图。该人脸识别装置600包括第三获取模块610、识别模块620和第二确定模块630,其中:
[0133]
第三获取模块610,用于获取待识别的人脸图像;
[0134]
识别模块620,用于将所述待识别的人脸图像输入至人脸识别模型,得到所述待识别的人脸图像对应的人物的身份特征;
[0135]
所述第二确定模块630,用于根据所述身份特征和预设的身份信息库,确定所述待识别的人脸图像对应的人物的身份信息。
[0136]
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述人脸识别模型训练装置的具体工作过程,可以参考前述人脸识别方法实施例中的对应过程,在此不再赘述。
[0137]
请参阅图10,图10为本技术实施例提供的一种终端设备的结构示意性框图。
[0138]
如图10所示,终端设备700包括处理器701和存储器702,处理器701和存储器702通过总线703连接,该总线比如为i2c(inter-integrated circuit)总线。
[0139]
具体地,处理器701用于提供计算和控制能力,支撑整个终端设备700的运行。处理器701可以是中央处理单元(central processing unit,cpu),该处理器701还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0140]
具体地,存储器702可以是flash芯片、只读存储器(rom,read-only memory)磁盘、光盘、u盘或移动硬盘等。
[0141]
本领域技术人员可以理解,图10中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的终端设备的限定,具体的终端设备700可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。其中,在一个实施例中,所述处理器701用于运行存储在存储器中的计算机程序,以实现如下步骤:
[0142]
获取多个第一样本人脸图像以及每个所述第一样本人脸图像对应的身份标识码;
[0143]
对所述多个第一样本人脸图像进行预设增广处理,得到多个第一人脸图像,并根
据预设的图像增广模型,对所述多个第一样本人脸图像进行增广处理,得到多个第二人脸图像,所述第一样本人脸图像与对应所述第二人脸图像的身份标识码相同,所述图像增广模型用于对所述第一人脸图像进行图像模糊增广;
[0144]
根据所述多个第一人脸图像和所述多个第二人脸图像,对预设的人脸识别模型进行训练,直至所述人脸识别模型收敛。
[0145]
在一个实施例中,所述处理器701在实现所述根据所述多个第一人脸图像和所述多个第二人脸图像,对预设的人脸识别模型进行训练,直至所述人脸识别模型收敛时,用于实现:
[0146]
将所述第一人脸图像输入至所述人脸识别模型进行处理,得到第一特征向量;
[0147]
将所述第二人脸图像输入至所述人脸识别模型进行处理,得到第二特征向量性向量;
[0148]
根据所述第一特征向量和所述第二特征向量,确定所述人脸识别模型的目标损失值,并根据所述目标损失值,确定所述人脸识别模型是否收敛;
[0149]
若所述人脸识别模型未收敛,则调整所述人脸识别模型的模型参数,以更新所述人脸识别模型,并继续训练更新后的所述人脸识别模型,若所述人脸识别模型收敛,则得到收敛后的人脸识别模型。
[0150]
在一个实施例中,所述处理器701在实现所述根据所述第一特征向量和第二特征向量,确定所述人脸识别模型的目标损失值时,用于实现:
[0151]
根据所述第一特征向量以及所述第一特征向量对应的所述身份标识码,生成第一损失值;
[0152]
根据所述第二特征向量和所述第一特征向量,生成第二损失值;
[0153]
对所述第一损失值和所述第二损失值进行加权求和,得到目标损失值。
[0154]
在一个实施例中,所述处理器701在实现所述获取多个第一样本人脸图像以及每个所述第一样本人脸图像对应的身份标识码之前,还用于实现:
[0155]
获取多个第二样本人脸图像,并给每个所述第二样本人脸图像添加噪声,得到多个第三样本人脸图像;
[0156]
根据多个所述第三样本人脸图像,对预设的图像增广模型进行训练,直至所述图像增广模型收敛。
[0157]
在一个实施例中,所述处理器701在实现所述给每个所述第二样本人脸图像添加噪声,得到多个第三样本人脸图像时,用于实现:
[0158]
获取预设的光子噪声、读出噪声和量化噪声;
[0159]
根据每个所述第二样本人脸图像的分辨率,给每个所述第二样本人脸图像添加所述光子噪声、读出噪声和量化噪声,得到多个第三样本人脸图像。
[0160]
在一个实施例中,所述处理器701在实现所述根据多个所述第三样本人脸图像,对预设的图像增广模型进行训练,直至所述图像增广模型收敛时,用于实现:
[0161]
通过预设的图像增广模型对各所述第三样本人脸图像进行处理,得到多个第三人脸图像;
[0162]
根据多个所述第二样本人脸图像和多个所述第三人脸图像,确定所述图像增广模型是否收敛;
[0163]
若所述图像增广模型未收敛,调整所述图像增广模型的模型参数,以更新所述图像增广模型,并继续训练更新后的所述图像增广模型,直至所述图像增广模型收敛。
[0164]
在一个实施例中,所述处理器701在实现所述根据多个所述第二样本人脸图像和多个所述第三人脸图像,确定所述图像增广模型是否收敛时,用于实现:
[0165]
计算各身份标识码相匹配的两个所述第二样本人脸图像之间的人脸特征相似度,得到各所述身份标识码对应的至少一个人脸相似度,并根据各所述人脸相似度建立第一相似度直方图;
[0166]
计算各身份标识码相匹配的两个所述第三人脸图像之间的人脸特征相似度,得到各所述身份标识码对应的至少一个人脸相似度,并根据各所述人脸相似度建立第二相似度直方图;
[0167]
对所述第一相似度直方图进行曲线拟合,得到第一曲线,并对所述第二相似度直方图进行曲线拟合,得到第二曲线;
[0168]
确定所述第一曲线与坐标轴所围成的第一区域以及所述第二曲线与坐标轴所围成的第二区域;
[0169]
在所述第一区域与所述第二区域的交集区域的面积大于或等于预设面积阈值时,确定所述图像增广模型已收敛。
[0170]
在一个实施例中,所述处理器701用于实现:
[0171]
获取待识别的人脸图像;
[0172]
将所述待识别的人脸图像输入至人脸识别模型,得到所述待识别的人脸图像对应的人物的身份特征;
[0173]
根据所述身份特征和预设的身份信息库,确定所述待识别的人脸图像对应的人物的身份信息。
[0174]
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述终端设备的具体工作过程,可以参考前述人脸识别模型训练方法和/或人脸识别方法实施例中的对应过程,在此不再赘述。
[0175]
本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序中包括程序指令,所述程序指令被执行时所实现的方法可参照本技术人脸识别方法的各个实施例。
[0176]
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质可以是非易失性的,也可以是易失性的。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。
[0177]
应当理解,在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0178]
还应当理解,在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而
使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0179]
上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。