一种去遮挡物模型训练方法、装置及电子设备与流程

1.本技术涉及人脸识别技术领域，特别的，尤其涉及一种去遮挡物模型训练方法、装置及电子设备。


背景技术：

2.人类伪造、换脸等技术常见于媒体报道，如使用的是常见的换脸技术，将一个人的脸换到另一个人的视频里，同时要同步表情、眼神等。但是这种换脸技术主要用于进行人脸替换，一般不会使用相同的人进行人脸替换，并不适用于人脸存在遮挡物的情况。
3.为此，如何去除用于人脸识别图片中遮挡物，是本领域技术人员亟待解决的问题。


技术实现要素：

4.鉴于上述内容中的问题，本技术提供了一种去遮挡物模型训练方法、装置及电子设备，用以去除用于人脸识别图片中的遮挡物。
5.为了实现上述目的，本技术提供了以下技术方案：
6.一种去遮挡物模型训练方法，包括：
7.获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；
8.对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；
9.将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至gan网络结构中进行模型训练，得到去遮挡物模型。
10.进一步的，当所述源人脸图片与所述有遮挡人脸图片为两张相同人但不完全一致的人脸时，根据所述目标输出人脸图片的98个关键点信息为所述目标输出人脸图片添加遮挡物。
11.进一步的，当所述有遮挡人脸图片为实时拍摄得到时，则根据所述源人脸图片和所述目标输出人脸图片去除所述有遮挡人脸图片中的遮挡物。
12.进一步的，所述将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，包括：
13.将所述源人脸图片输入至第一编码器，生成第一特征；
14.将所述有遮挡人脸图片输入至第二编码器，生成第二特征；
15.通过所述第一特征和所述第二特征生成合成特征；
16.将所述合成特征与所述98个关键点信息进行拼接，得到所述目标输出人脸图片。
17.一种去遮挡物模型训练装置，包括：
18.第一处理单元，用于获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；
19.第二处理单元，用于对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；
20.第三处理单元，用于将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至gan网络结构中进行模型训练，得到去遮挡物模型。
21.进一步的，当所述源人脸图片与所述有遮挡人脸图片为两张相同人但不完全一致的人脸时，根据所述目标输出人脸图片的98个关键点信息为所述目标输出人脸图片添加遮挡物。
22.进一步的，当所述有遮挡人脸图片为实时拍摄得到时，则根据所述源人脸图片和所述目标输出人脸图片去除所述有遮挡人脸图片中的遮挡物。
23.进一步的，所述第三处理单元具体用于：
24.将所述源人脸图片输入至第一编码器，生成第一特征；
25.将所述有遮挡人脸图片输入至第二编码器，生成第二特征；
26.通过所述第一特征和所述第二特征生成合成特征；
27.将所述合成特征与所述98个关键点信息进行拼接，得到所述目标输出人脸图片。
28.一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行如上述所述的去遮挡物模型训练方法。
29.一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述所述的去遮挡物模型训练方法。
30.本技术所述的去遮挡物模型训练方法、装置及电子设备，通过获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至gan网络结构中进行模型训练，得到去遮挡物模型。通过本技术训练出来的去遮挡物模型，可以支持去除口罩、墨镜、围巾等装饰或遮挡物，从而实现去除人像图片中的遮挡物的目的。
附图说明
31.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为本技术实施例公开的一种去遮挡物模型训练方法流程示意图；
33.图2为本技术实施例公开的去遮挡物模型训练样本对的示意图；
34.图3为本技术实施例公开的去遮挡物模型结构示意图；
35.图4为本技术实施例公开的一种去遮挡物模型训练装置的结构示意图；
36.图5为本技术实施例公开的一种电子设备的结构示意图。
具体实施方式
37.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
38.本技术实施例提供一种去遮挡物模型训练方法，其人脸遮挡去除网络结构是一种三输入单输出的gan网络，具体来说，网络的输入层包含了两张人脸，一张为有遮挡的人脸，一张为预先拍摄好的无遮挡人脸；在网络的隐藏层中部将输入人脸关键点，辅助进行人脸生成；网络的输出层将输出一张与输入有遮挡人脸相同大小的人脸，该输出与遮挡人脸不同之处在于人脸上没有口罩遮挡。
39.请参见附图1，为本技术实施例提供的一种去遮挡物模型训练方法流程示意图。如图1所示，本技术实施例提供了一种去遮挡物模型训练方法，该方法包括如下步骤：
40.s101：获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片。
41.本技术实施例中，对于每对训练样本，我们需要至少三张图片，其中两张为一对输入图片，分别为源人脸(第一人脸)、有遮挡人脸(第二人脸)，还有一张为目标输出文件，即无遮挡人脸(第三人脸，出了无遮挡之外，其他部分应于第二人脸完全一致)。
42.为了获取训练样本，本技术实施例采用以下两种方案：方案一，基于真实人脸人为生成有遮挡数据：即第一、三人脸为两张相同人但不完全一致的人脸(拍摄角度等不同)，第二人脸在第三人脸基础上，根据第三人脸的关键点结果及实际需要增加口罩、丝巾等贴图。方案二，第二人脸为真实拍摄，而不是方案一里的生成方法，在方案二中，难点在于第二人脸拍摄后模特要尽量保持不动，并直接去掉遮挡物，以保证第二人脸与第三人脸的相似性，如图2所示的样本对。
43.进一步的，方案一可以分为以下步骤：1)获取一张无遮挡人像，对应至少一张该名用户的无遮挡影像，即至少两张无遮挡的用户图像(如图2所示，第一与第三人脸)；2)之后使用人脸检测流程获取裁剪后人像；3)使用人脸关键点获取98个关键点；4)将裁剪后的人像在关键点的对应位置添加口罩贴图，获取人造的有遮挡人像图像(第二人脸)；5)将有遮挡人像与无遮挡人像作为一对训练样本，进行训练(有遮挡为输入，无遮挡为标签)。
44.具体的，当所述源人脸图片与所述有遮挡人脸图片为两张相同人但不完全一致的人脸时，根据所述目标输出人脸图片的98个关键点信息为所述目标输出人脸图片添加遮挡物。
45.具体的，当所述有遮挡人脸图片为实时拍摄得到时，则根据所述源人脸图片和所述目标输出人脸图片去除所述有遮挡人脸图片中的遮挡物。
46.s102：对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息。
47.本技术实施例中，对于模型的训练还需要第二人脸的98个关键点信息，因此，需要对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息。
48.s103：将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入
参数，所述目标输出人脸图片作为目标输出，输入至gan网络结构中进行模型训练，得到去遮挡物模型。
49.进一步的，如图3所示，所述将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，包括：
50.将所述源人脸图片输入至第一编码器，生成第一特征；
51.将所述有遮挡人脸图片输入至第二编码器，生成第二特征；
52.通过所述第一特征和所述第二特征生成合成特征；
53.将所述合成特征与所述98个关键点信息进行拼接，得到所述目标输出人脸图片。
54.需要说明的是，本技术实施例提出的一种去遮挡物模型训练方法，通过该模型可以去除人脸遮挡物，除此之外，还可以通过简单调整训练数据后(比如在方案一上第二人脸上进行丝巾等贴图)，可以调整为去除人脸的眼镜、首饰等遮挡物。
55.本技术实施例提供的去遮挡物模型训练方法，通过获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至gan网络结构中进行模型训练，得到去遮挡物模型。通过本技术实施例训练出来的去遮挡物模型，可以支持去除口罩、墨镜、围巾等装饰或遮挡物，从而实现去除人像图片中的遮挡物的目的。
56.请参阅图4，基于上述实施例公开的一种去遮挡物模型训练方法，本实施例对应公开了一种去遮挡物模型训练装置，该装置包括：
57.第一处理单元401，用于获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；
58.第二处理单元402，用于对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；
59.第三处理单元403，用于将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至gan网络结构中进行模型训练，得到去遮挡物模型。
60.进一步的，当所述源人脸图片与所述有遮挡人脸图片为两张相同人但不完全一致的人脸时，根据所述目标输出人脸图片的98个关键点信息为所述目标输出人脸图片添加遮挡物。
61.进一步的，当所述有遮挡人脸图片为实时拍摄得到时，则根据所述源人脸图片和所述目标输出人脸图片去除所述有遮挡人脸图片中的遮挡物。
62.进一步的，所述第三处理单元403具体用于：
63.将所述源人脸图片输入至第一编码器，生成第一特征；
64.将所述有遮挡人脸图片输入至第二编码器，生成第二特征；
65.通过所述第一特征和所述第二特征生成合成特征；
66.将所述合成特征与所述98个关键点信息进行拼接，得到所述目标输出人脸图片。
67.所述去遮挡物模型训练装置包括处理器和存储器，上述第一处理单元、第二处理
单元和第三处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
68.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来达到去除用于人脸识别图片中的遮挡物，以实现不摘掉口罩等遮挡物进行人脸识别来完成用户认证的目的。
69.本技术实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述去遮挡物模型训练方法。
70.本技术实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述去遮挡物模型训练方法。
71.本技术实施例提供了一种电子设备，如图5所示，该电子设备50包括至少一个处理器501、以及与所述处理器连接的至少一个存储器502、总线503；其中，所述处理器501、所述存储器502通过所述总线503完成相互间的通信；处理器501用于调用所述存储器502中的程序指令，以执行上述的所述去遮挡物模型训练方法。
72.本文中的电子设备可以是服务器、pc、pad、手机等。
73.本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
74.获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；
75.对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；
76.将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至gan网络结构中进行模型训练，得到去遮挡物模型。
77.进一步的，当所述源人脸图片与所述有遮挡人脸图片为两张相同人但不完全一致的人脸时，根据所述目标输出人脸图片的98个关键点信息为所述目标输出人脸图片添加遮挡物。
78.进一步的，当所述有遮挡人脸图片为实时拍摄得到时，则根据所述源人脸图片和所述目标输出人脸图片去除所述有遮挡人脸图片中的遮挡物。
79.进一步的，所述将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，包括：
80.将所述源人脸图片输入至第一编码器，生成第一特征；
81.将所述有遮挡人脸图片输入至第二编码器，生成第二特征；
82.通过所述第一特征和所述第二特征生成合成特征；
83.将所述合成特征与所述98个关键点信息进行拼接，得到所述目标输出人脸图片。
84.本技术是根据本技术实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流
程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
85.在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
86.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
87.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
88.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
89.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
90.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。