一种人脸识别模型的训练方法、人脸验证方法及装置与流程

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。与上述方法实施例基于同一发明构思，本技术实施例中还提供了一种电子设备，参阅图17所示，其为应用本技术实施例的一种电子设备的一个硬件组成结构示意图，电子设备1700可以至少包括处理器1701、以及存储器1702。其中，存储器1702存储有程序代码，当程序代码被处理器1701执行时，使得处理器1701执行上述任意一种人脸识别模型的训练和人脸验证的步骤。在一些可能的实施方式中，根据本技术的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本技术各种示例性实施方式的人脸识别模型的训练和人脸验证的步骤。例如，处理器可以执行如图2-7，以及图9-10中所示的步骤。下面参照图18来描述根据本技术的这种实施方式的计算装置1800。如图18所示，计算装置1800以通用计算装置的形式表现。计算装置1800的组件可以包括但不限于：上述至少一个处理单元1801、上述至少一个存储单元1802、连接不同系统组件(包括存储单元1802和处理单元1801)的总线1803。总线1803表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。存储单元1802可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)18021和/或高速缓存存储单元18022，还可以进一步包括只读存储器(rom)18023。存储单元1802还可以包括具有一组(至少一个)程序模块18024的程序/实用工具18025，这样的程序模块18024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。计算装置1800也可以与一个或多个外部设备1804(例如键盘、指向设备等)通信，还可与一个或者多个使得对象能与计算装置1800交互的设备通信，和/或与使得该计算装置1800能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1805进行。并且，计算装置1800还可以通过网络适配器1806与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1806通过总线1803与用于计算装置1800的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置1800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。与上述方法实施例基于同一发明构思，本技术提供的异常识别的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述描述的根据本技术各种示例性实施方式的人脸识别模型的训练和人脸验证的步骤。例如，处理器可以执行如图2-7，以及图9-10中所示的步骤。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

背景技术：

1、在终端设备上进行人脸验证时，通常借助于部署在终端设备上的，已训练人脸识别模型，实现人脸特征的提取，进而基于提取的人脸特征实现人脸特征的匹配验证。

2、相关技术下，为了在保障人脸特征的提取精度的同时，降低在终端设备上进行人脸验证时的处理时间，可以采用参数量级高的参考人脸识别模型，训练参数量级低的待训练人脸识别模型，或者，可以通过对参数量级高的人脸识别模型进行量化，得到轻量级的人脸识别模型。

3、然而，在采用参数量级高的参考人脸识别模型，对待训练人脸识别模型进行训练时，需要对多个层级的模型输出分别进行约束调整，不仅增加了训练难度，而且极易出现模型过拟合的问题，另外，对参数量级高的人脸识别模型进行量化时，无法保障得到的，轻量级的人脸识别模型的处理精度和准确率。

4、因此，无法基于部署在终端设备上的人脸识别模型，实现对人脸特征的有效提取，进而导致无法有效进行人脸验证。

技术实现思路

1、本技术实施例提供一种人脸识别模型的训练方法、人脸验证方法及装置，以解决现有技术下无法对人脸特征进行有效提取，以及无法有效进行人脸验证的问题。

2、第一方面，提出一种人脸识别模型的训练方法，包括：

3、获取样本图像集合，其中，所述样本图像集合中包括分别针对各个样本对象采集的样本图像子集，以及所述各个样本对象各自对应的分类标签；

4、基于所述样本图像集合，对参考人脸分类模型进行多轮迭代训练，获得训练后的目标参考模型，并获得所述目标参考模型针对所述各个样本对象分别构建的目标类中心；

5、将各个目标类中心设置为所述初始人脸分类模型中固定的各个类中心，并基于所述样本图像集合和所述目标参考模型，对所述初始人脸分类模型进行多轮知识蒸馏训练，获得训练后的目标人脸分类模型；

6、基于所述目标人脸分类模型中的目标特征提取网络，生成目标人脸识别模型。

7、第二方面，提出一种人脸验证方法，包括：

8、获取针对目标对象采集的待识别图像；

9、采用训练后的目标人脸识别模型，对所述待识别图像进行人脸特征识别，获得所述目标对象对应的待匹配人脸特征信息，其中，所述目标人脸识别模型是采用上述第一方面中任一项所述的训练方法训练得到的；

10、基于预先采集的各个人脸特征信息，与所述待匹配人脸特征信息之间的向量相似度，确定所述目标对象的验证结果。

11、可选的，所述基于预先采集的各个人脸特征信息，与所述待匹配人脸特征信息之间的向量相似度，确定所述目标对象的识别结果，包括：

12、获取预先采集的各个人脸特征信息，并分别计算所述待匹配人脸特征信息与所述各个人脸特征信息之间的向量相似度；

13、确定各个向量相似度中，存在满足预设条件的目标向量相似度时，判定所述目标对象的人脸验证成功。

14、第三方面，提出一种人脸识别模型的训练装置，包括：

15、获取单元，用于获取样本图像集合，其中，所述样本图像集合中包括分别针对各个样本对象采集的样本图像子集，以及所述各个样本对象各自对应的分类标签；

16、第一训练单元，用于基于所述样本图像集合，对参考人脸分类模型进行多轮迭代训练，获得训练后的目标参考模型，并获得所述目标参考模型针对所述各个样本对象分别构建的目标类中心；

17、第二训练单元，用于将各个目标类中心设置为所述初始人脸分类模型中固定的各个类中心，并基于所述样本图像集合和所述目标参考模型，对所述初始人脸分类模型进行多轮知识蒸馏训练，获得训练后的目标人脸分类模型；

18、生成单元，用于基于所述目标人脸分类模型中的目标特征提取网络，生成目标人脸识别模型。

19、可选的，所述参考人脸分类模型中包括参考特征提取网络和参考分类网络，对所述参考人脸分类模型进行一轮迭代训练时，所述第一训练单元用于执行以下操作：

20、将读取的第一样本图像输入所述参考特征提取网络，获得所述第一样本图像对应的参考人脸特征信息；

21、通过所述参考分类网络，分别计算所述参考人脸特征信息与当前构建的各个预测类中心之间的参考距离信息，并基于各个参考距离信息，映射确定针对所述第一样本图像预测的参考分类结果；

22、基于所述参考分类结果与所述第一样本图像对应的分类标签之间的分类差异，调整所述参考人脸分类模型的模型参数和所述各个预测类中心。

23、可选的，所述将各个目标类中心迁移至初始人脸分类模型中，并基于所述样本图像集合和所述目标参考模型，对所述初始人脸分类模型进行多轮知识蒸馏训练，获得训练后的目标人脸分类模型时，所述第二训练单元用于：

24、将各个目标类中心设置为所述初始人脸分类模型中固定的各个类中心，并基于所述样本图像集合，对所述初始人脸分类模型进行多轮迭代训练，获得训练后的中间人脸分类模型；

25、基于所述样本图像集合和所述目标参考模型，对所述中间人脸分类模型进行多轮知识蒸馏训练，获得训练后的目标人脸分类模型。

26、可选的，所述初始人脸分类模型中包括初始特征提取网络和初始分类网络，对所述初始人脸分类模型进行一轮迭代训练时，所述第二训练单元用于执行以下操作：

27、将读取的第二样本图像输入所述初始特征提取网络，获得所述第二样本图像对应的第一初始人脸特征信息；

28、将所述第一初始人脸特征信息输入所述初始分类网络，获得基于所述第一初始人脸特征信息和所述各个目标类中心向量，预测的第一初始分类结果；

29、基于所述第一初始分类结果与所述第二样本图像对应的分类标签之间的分类差异，调整所述初始人脸分类模型的模型参数。

30、可选的，所述获得基于所述第一初始人脸特征信息和所述各个类目标中心向量，输出的第一初始分类结果时，所述第二训练单元用于：

31、通过所述初始分类网络，分别计算所述第一初始人脸特征信息与所述各个目标类中心之间的第一初始距离信息；

32、基于各个第一初始距离信息，映射确定针对所述第二样本图像预测的第一初始分类结果。

33、可选的，所述中间人脸分类模型中包括中间特征提取网络和中间分类网络，对所述中间人脸分类模型进行一轮知识蒸馏训练时，所述第二训练单元用于执行以下操作：

34、将读取的第三样本图像输入所述目标参考模型，获得所述目标参考模型提取的第一参考人脸特征信息；

35、将所述第三样本图像输入训练后的所述中间特征提取网络，获得对应的中间人脸特征信息，并通过所述中间分类网络，基于所述中间人脸特征信息和所述各个目标类中心，获得预测的中间分类结果；

36、基于所述第一参考人脸特征信息与所述中间人脸特征信息之间的特征差异，以及基于所述中间分类结果与所述第三样本图像对应的分类标签之间的分类差异，调整所述中间人脸分类模型的模型参数。

37、可选的，所述基于所述第一参考人脸特征信息与所述中间人脸特征信息之间的特征差异，以及基于所述中间分类结果与所述第三样本图像对应的分类标签之间的分类差异，调整所述中间人脸分类模型的模型参数时，所述第二训练单元用于：

38、基于所述第一参考人脸特征信息与所述中间人脸特征信息之间的特征差异，计算第一蒸馏损失值，以及基于所述中间分类结果与所述第三样本图像对应的分类标签之间的分类差异，计算第一分类损失值；

39、基于所述第一蒸馏损失值和所述第二分类损失值，调整所述中间人脸分类模型的模型参数。

40、可选的，对所述初始人脸分类模型进行一轮知识蒸馏训练时，所述第二训练单元用于执行以下操作：

41、将读取的第四样本图像输入所述目标参考模型，获得所述目标参考模型提取的第二参考人脸特征信息，并将所述第四样本图像输入所述初始人脸分类模型，获得提取的第二初始人脸特征信息和预测的第二初始分类结果；

42、基于所述第二参考人脸特征信息与所述第二初始人脸特征信息之间的特征差异，以及基于所述第二初始分类结果与所述第四样本图像对应的分类标签之间的分类差异，调整所述初始人脸分类模型的模型参数。

43、可选的，所述初始人脸分类模型中包括初始特征提取网络和初始分类网络，所述将所述第四样本图像输入所述初始人脸分类模型，获得提取的第二初始人脸特征信息和预测的第二初始分类结果时，所述第二训练单元用于：

44、将所述第四样本图像输入所述初始特征提取网络，获得提取的第二初始人脸特征信息；

45、通过所述初始分类网络，基于所述第二初始人脸特征信息和所述各个目标类中心，获得预测的第二初始分类结果。

46、可选的，所述基于所述第二参考人脸特征信息与所述第二初始人脸特征信息之间的特征差异，以及基于所述第二初始分类结果与所述第四样本图像对应的分类标签之间的分类差异，调整所述初始人脸分类模型的模型参数时，所述第二训练单元用于：

47、基于所述第二参考人脸特征信息与所述第二初始人脸特征信息之间的特征差异，计算第二蒸馏损失值，并基于所述第二初始分类结果与所述第四样本图像对应的分类标签之间的分类差异，计算第二分类损失值；

48、基于所述第二蒸馏损失值和所述第二分类损失值，调整所述初始待训练人脸分类模型的模型参数。

49、第四方面，提出一种人脸验证装置，包括：

50、获取单元，用于获取针对目标对象采集的待识别图像；

51、识别单元，用于采用训练后的目标人脸识别模型，对所述待识别图像进行人脸特征识别，获得所述目标对象对应的待匹配人脸特征信息，其中，所述目标人脸识别模型是采用上述第一方面中任一项所述的训练方法训练得到的；

52、确定单元，用于基于预先采集的各个人脸特征信息，与所述待匹配人脸特征信息之间的向量相似度，确定所述目标对象的验证结果。

53、可选的，所述基于预先采集的各个人脸特征信息，与所述待匹配人脸特征信息之间的向量相似度，确定所述目标对象的识别结果时，所述确定单元用于：

54、获取预先采集的各个人脸特征信息，并分别计算所述待匹配人脸特征信息与所述各个人脸特征信息之间的向量相似度；

55、确定各个向量相似度中，存在满足预设条件的目标向量相似度时，判定所述目标对象的人脸验证成功。

56、第五方面，提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面和第二方面中任一项所述的方法。

57、第六方面，提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面和第二方面中任一项所述的方法。

58、第七方面，提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面和第二方面中任一项所述的方法。

59、本技术有益效果如下：

60、本技术实施例中，通过将训练完成的目标参考模型所构建的各个目标类中心，设置为初始人脸识别模型中固定的各个类中心，能够将目标参考模型构建的各个类中心迁移至初始人脸分类模型中，并在初始人脸分类模型的训练过程中不发生更新和移动，使得后续训练结束后，初始人脸特征识别模型的收敛位置逼近目标参考模型的收敛位置，另外，借助于目标参考模型和样本图像集合，能够对初始人脸识别模型进行知识蒸馏，不仅使得初始人脸识别模型在训练的过程中，能够学习到目标参考模型的特征处理能力，还使得初始人脸识别模型能够学习到目标参考模型的特征分布，因而基于训练后的目标人脸分类模型中的特征提取网络生成的目标人脸识别模型，能够更准确的识别人脸特征，且目标人脸识别模型的生成过程中，不存在额外的样本需求，一定程度上简化了模型的训练难度，能够在保证模型处理性能的同时降低模型训练过程中的资源消耗，再者，由于目标人脸分类模型是基于知识蒸馏机制训练得到的，因而目标人脸分类模型能够以较少的参数量级，实现较高的参数量级的模型所实现的处理功能，为目标分类模型在终端设备上的有效部署提供了便利。