指纹图像修复方法、系统、设备及存储介质与流程

1.本发明涉及指纹图像补全技术领域，尤其涉及一种指纹图像修复方法、系统、设备及存储介质。


背景技术：

2.指纹识别技术作为生物体特征识别技术，在人们生产生活中的应用越来越广泛。现在已经有很多指纹识别匹配算法，但想要实现更高精度的指纹特征点检测和指纹匹配，使用完整清晰的指纹是识别的重要前提。在实际应用中，采集到的指纹图像可能是不完整的，里面有部分区域会有信息缺失的情况，例如图1所示出的情况，线条在中间区域断裂而出现信息缺失区域。因此，需要首先对指纹图像进行修复，然后用于后续的指纹识别。
3.目前，指纹修复技术基本是针对有断裂线条的指纹进行修复的，然而，目前的修复方法一般只能适用于断裂线条距离比较小即信息缺失区域比较小的指纹图像的修复。


技术实现要素：

4.针对现有技术中的问题，本发明的目的在于提供一种指纹图像修复方法、系统、设备及存储介质，能够实现缺失区域较小或较大的指纹图像的高精度修复。
5.本发明实施例提供一种指纹图像修复方法，包括如下步骤：
6.对待修复的指纹图像进行边缘检测，得到边缘检测图像；
7.将所述边缘检测图像输入深度学习模型，所述深度学习模型用于对所述边缘检测图像进行补全，以获取已修复的指纹图像。
8.在一些实施例中，所述待修复的指纹图像包括至少一条指纹线，所述对待修复的指纹图像进行边缘检测，得到边缘检测图像包括：
9.检测所述指纹线的边缘，并将检测到的指纹线的边缘在所述边缘检测图像中采用线条进行表示。
10.在一些实施例中，所述深度学习模型用于对所述边缘检测图像进行补全包括：
11.所述深度学习模型用于对所述边缘检测图像进行边缘补全和内容补全。
12.在一些实施例中，所述待修复的指纹图像包括信息已知区域和信息未知区域，所述边缘检测图像包括与所述信息已知区域对应的指纹线的边缘，所述边缘补全包括：在所述边缘检测图像中补充与所述信息未知区域对应的边缘；和/或
13.所述内容补全包括对所述边缘检测图像中的边缘之间的像素值进行填充。
14.在一些实施例中，所述指纹线的边缘包括所述指纹线沿垂直于其延伸方向上的边界。
15.在一些实施例中，所述深度学习模型包括生成式对抗网络模型。
16.在一些实施例中，所述生成式对抗网络模型包括多个模块，每个模块包括至少一个姿态残差神经网络。
17.在一些实施例中，输入所述生成式对抗网络模型的所述边缘检测图像为灰度图像
或者彩色图像。
18.在一些实施例中，所述生成式对抗网络模型包括边缘生成器网络和补全网络，所述边缘生成器网络用于对所述边缘检测图像进行边缘补全，所述补全网络用于对所述边缘生成器网络的输出图像进行内容补全。
19.在一些实施例中，所述将所述边缘检测图像输入所述深度学习模型包括：
20.将所述边缘检测图像和掩码图像输入所述边缘生成器网络，所述掩码图像用于区分所述边缘检测图像中的信息已知区域和信息未知区域，所述边缘生成器网络用于根据所述边缘检测图像和所述掩码图像对所述边缘检测图像的信息未知区域进行边缘补全，输出边缘补全指纹图像；
21.将所述边缘补全指纹图像与所述待修复的指纹图像输入所述补全网络，所述补全网络用于根据所述待修复的指纹图像对所述边缘补全指纹图像进行内容补全，输出所述已修复的指纹图像。
22.在一些实施例中，所述将所述边缘检测图像输入所述深度学习模型，包括：
23.将所述边缘检测图像输入所述边缘生成器网络，所述边缘生成器网络用于对所述边缘检测图像进行边缘补全，输出边缘补全指纹图像；
24.将所述边缘补全指纹图像与所述待修复的指纹图像输入所述补全网络，所述补全网络用于根据所述待修复的指纹图像对所述边缘补全指纹图像进行内容补全，输出所述已修复的指纹图像。
25.在一些实施例中，所述边缘生成器网络包括空洞卷积层和残差网络层。
26.在一些实施例中，所述边缘生成器网络的空洞卷积层中卷积核的间隔数量为1。
27.在一些实施例中，所述边缘生成器网络包括姿态残差神经网络，所述姿态残差神经网络包括至少一个残差网络层和至少一个反卷积层。
28.在一些实施例中，所述补全网络包括空洞卷积层和残差网络层，或，所述补全网络包括至少一个残差网络层和至少一个反卷积层。
29.在一些实施例中，所述对待修复的指纹图像进行边缘检测之前，还包括将所述待修复的指纹图像进行分割，得到多个待修复的子指纹图像，所述指纹图像修复方法还包括：
30.对所述多个待修复的子指纹图像分别进行边缘检测，得到多个边缘检测图像；
31.将所述多个边缘检测图像输入所述深度学习模型，所述深度学习模型用于对所述多个边缘检测图像分别进行补全，以获取补全后的多个子指纹图像；
32.将所述补全后的多个子指纹图像进行拼接，得到已修复的指纹图像。
33.在一些实施例中，所述深度学习模型是采用训练样本预先训练完成的深度学习模型。
34.本发明实施例还提供一种指纹图像修复系统，用于实现所述的指纹图像修复方法，所述系统包括：
35.边缘检测模块，用于对所述待修复的指纹图像进行边缘检测，得到所述边缘检测图像；
36.图像修复模块，包括所述深度学习模型，所述深度学习模型用于对所述边缘检测图像进行补全，以获取所述已修复的指纹图像。
37.本发明实施例还提供一种指纹图像修复设备，包括：
38.处理器；
39.存储器，其中存储有所述处理器的可执行指令；
40.其中，所述处理器配置为经由执行所述可执行指令来执行所述的指纹图像修复方法的步骤。
41.本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的指纹图像修复方法的步骤。
42.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
43.本发明的指纹图像修复方法、系统、设备及存储介质具有如下有益效果：
44.本发明采用深度学习模型对指纹图像进行修复，不仅可以实现信息缺失区域较小的指纹图像的修复，也可以应用于信息缺失区域较大的指纹图像的修复，并且提高了指纹图像的修复精度和修复后图像的清晰度，从而使得修复后的指纹图像可以更好地应用于后续的指纹识别等分析过程。
附图说明
45.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
46.图1是一种具有信息缺失区域的指纹图像的示意图；
47.图2是本发明一个实施例的指纹图像修复方法的流程图；
48.图3是本发明图2所示实施例的二阶段生成式对抗网络模型的示意图；
49.图4是本发明图2所示实施例的指纹图像处理过程的示意图；
50.图5是本发明图3和图4所示实施例的指纹线和指纹线的边缘的示意图；
51.图6是本发明图3和图4所示实施例的指纹真实图像的示意图；
52.图7是本发明另一实施例的二阶段生成式对抗网络模型的示意图；
53.图8是本发明图7所示实施例的指纹图像处理过程的示意图；
54.图9是本发明再一实施例的生成式对抗网络模型的示意图；
55.图10是本发明一实施例的指纹图像修复系统的结构示意图；
56.图11是本发明一实施例的指纹图像修复设备的结构示意图；
57.图12是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
58.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
59.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处
理器装置和/或微控制器装置中实现这些功能实体。
60.如图2所示，本发明一实施例提供一种指纹图像修复方法，包括如下步骤：
61.s100：对待修复的指纹图像进行边缘检测，得到边缘检测图像；
62.s200：将所述边缘检测图像输入深度学习模型，所述深度学习模型用于对所述边缘检测图像进行补全；
63.s300：获取所述深度学习模型输出的图像作为已修复的指纹图像。
64.在一些实施例中，所述待修复的指纹图像包括至少一条指纹线，步骤s100中所述对待修复的指纹图像进行边缘检测，得到边缘检测图像包括：检测所述指纹线的边缘，并将检测到的指纹线的边缘在所述边缘检测图像中采用线条进行表示。具体地，可以检测所述待修复的指纹图像的每条指纹线的边缘，这里将每条指纹线看作是有一定面积的图案，每条指纹线的图案包括其边缘(即外轮廓)和位于其边缘所限定的区域内的部分。在所述边缘检测图像中仅包含所述指纹线的边缘，而不包括所述指纹线的边缘所限定的区域内的部分，因此所述边缘检测图像可以理解为所述待修复的指纹图像的“骨架”。
65.在一些实施例中，步骤s200中所述深度学习模型用于对所述边缘检测图像进行补全包括：所述深度学习模型用于对所述边缘检测图像进行边缘补全和内容补全。
66.在一些实施例中，所述深度学习模型包括生成式对抗网络gan(generative adversarial networks)模型，gan已经成为人工智能学界一个热门的研究方向，gan主要由一个生成器和一个判别器构成，通过对抗学习的方式来训练，目的是估测数据样本的潜在分布并生成新的数据样本。本发明的指纹图像修复方法采用生成式对抗网络模型对指纹图像进行修复，不仅可以实现信息缺失区域较小的指纹图像的修复，也可以应用于信息缺失区域较大的指纹图像的修复，并且提高了指纹图像的修复精度和修复后图像的清晰度。
67.在该实施例中，所述生成式对抗网络模型为二阶段生成式对抗网络模型，生成式对抗网络模型包括边缘生成器网络和补全网络，所述边缘生成器网络用于对所述边缘检测图像进行边缘补全，所述补全网络用于对所述边缘生成器网络的输出图像进行内容补全。其中边缘生成器可以对图像的缺失区域的边缘产生幻觉，然后由补全网络利用这个幻觉边缘作为先验补全缺失区域。因此，对指纹图像修复包括采用边缘生成器网络进行边缘生成(包括边缘检测和边缘补全)和采用补全网络进行内容补全两个部分。具体地，利用二阶段的gan，其中第一阶段gan的生成器为边缘生成器网络，第二阶段gan的生成器为补全网络。在训练所述二阶段生成式对抗网络模型时，两个阶段可以分别设计判别器。即通过第一阶段的判别器与第一阶段的边缘生成器网络进行对抗学习的训练，通过第二阶段的判别器与第二阶段的补全网络进行对抗学习的训练，从而得到训练好的二阶生成式对抗网络模型。
68.图3示出了在图2所示实施例中可选的一种二阶段生成式对抗网络模型的网络结构。其中所使用的输入图像为整张指纹图像的一部分。即在所述步骤s100：对待修复的指纹图像进行边缘检测之前，还可以包括将整张修复前的指纹图像进行分割，得到多个待修复的子指纹图像。在步骤s100中，可以对多个待修复的子指纹图像分别进行边缘检测，得到多个边缘检测图像。在步骤s200中，可以将多个边缘检测图像输入到二阶段生成式对抗网络模型中,所述生成式对抗网络模型用于对所述多个边缘检测图像分别进行补全。在步骤s300：获取所述生成式对抗网络模型输出的补全后的多个子指纹图像，并将所述补全后的多个子指纹图像进行拼接，得到整张已修复的指纹图像。
69.此处仅为一种可选的实施方式。在其他可替代的实施方式中，也可以直接使用整张指纹图像输入到二阶段生成式对抗网络模型中，直接得到整张修复后的指纹图像，也属于本发明的保护范围之内。
70.在该实施例中，所述步骤s100中，对待修复的指纹图像进行边缘检测，包括如下步骤：
71.如图3和图4所示，在一实施例中，首先对待修复的指纹图像a1进行边缘检测，得到边缘检测图像b1。具体地，可以对待修复的指纹图像a1进行canny边缘检测，如图4中a1和b1对比可以看出，使用canny边缘检测时，在所述边缘检测图像中，将检测到的每条指纹线a11的边缘采用线条b11进行表示，这里的“边缘”指的是每条指纹线a11的外轮廓，使用此线条可表示指纹图像a1的骨架。
72.如图5所示，图5示出了图4的指纹图像a1中的任意一条指纹线a11、及边缘检测图像b1中与所述指纹线a11对应的边缘线条b11。在一些实施例中，所述边缘线条b11可以是描述所述指纹线a11的外轮廓的一条连续的完整线条；在另一些实施例中，所述边缘线条b11可以是描述所述指纹线a11的外轮廓的两条或两条以上的不连续线条，例如可以仅包括沿垂直于所述指纹线a11延伸方向的边界，或者同时包括沿垂直于所述指纹线a11延伸方向的边界和沿所述指纹线a11延伸方向的边界。如前述实施例所述，这里将每条指纹线看作是有一定面积的图案，每条指纹线的图案包括其边缘(即外轮廓)和位于其边缘所限定的区域内的部分。在所述边缘检测图像b1中仅包含所述指纹线的边缘，而不包括所述指纹线的边缘所限定的区域内的部分，因此所述边缘检测图像b1可以理解为所述待修复的指纹图像a1的“骨架”。
73.由于指纹图像相比于其他人物、风景等图像所包含的细节较少。并且指纹图像的方向性与其他图像的纹理方向性不同，因为其他图像的纹理方向性具有一致性，但指纹图像只有在指纹局部才具有一致性。因此，指纹图像相较于其他图像来说更难以修复。
74.在该实施例中，所述步骤s200：将待修复的指纹图像和所述边缘检测图像输入生成式对抗网络模型，包括如下步骤：
75.结合参考图3和图4，将边缘检测图像b1和掩码图像m输入所述边缘生成器网络a，所述边缘生成器网络a用于对所述边缘检测图像b1进行边缘补全。在一些实施例中，所述待修复的指纹图像a1包括信息已知区域a1x和信息未知区域a1y，具体地，所述信息已知区域a1x可以是包含指纹线的区域，所述信息未知区域a1y可以是不包含指纹信息的区域即空白区域；相应地所述边缘检测图像b1包括与所述信息已知区域中的指纹图像对应的边缘和信息未知区域。在所述掩码图像m中，将与所述待修复的指纹图像a1的信息已知区域和信息未知区域对应的区域分别采用不同颜色表示，所述边缘生成器网络a可以根据所述掩码图像m识别所述边缘检测图像b1中的信息已知区域和信息未知区域；例如，所述掩码图像m中信息已知区域表示为黑色，信息未知区域表示为白色，此处信息未知区域即为信息缺失区域。在一些实施例中，所述待修复的指纹图像a1是基于全反射的光学成像原理采集到的图像，在所述待修复的指纹图像a1中间有特定半径的圆形区域为信息缺失区域。
76.所述边缘生成器网络a对所述边缘检测图像b1进行边缘补全包括：对所述边缘检测图像b1中的信息未知区域进行边缘补全，输出边缘补全指纹图像c1，其中所述边缘补全指纹图像c1中的信息已知区域的边缘可以和所述边缘检测图像b1中的信息已知区域的边
缘相同，即利用所述边缘生成器网络a的边缘补全过程只关注补全所述边缘检测图像b1的信息缺失区域的边缘，可以理解这部分补全的边缘为“假想边缘”，而对所述边缘检测图像b1的信息已知区域则不需要预测或补全；将所述边缘补全指纹图像c1和所述待修复的指纹图像a1输入到补全网络c中，进行骨架中的内容补全，得到已修复指纹图像d1，所述补全网络c的输出图像为所述二阶段生成式对抗网络模型的输出图像。在一些实施例中，所述内容补全包括对所述边缘检测图像中的相邻两条边缘之间的像素值进行填充，结合所述待修复的指纹图像a1，所述补全网络c可以判定需要在所述边缘补全指纹图像c1上的哪些边缘之间进行内容填充、或者在任意相邻的两条边缘之间填充什么内容。在一些实施例中，所述内容补全包括根据所述待修复的指纹图像a1，对所述边缘补全指纹图像c1中的信息已知区域的边缘之间的像素值进行填充、和对所述边缘补全指纹图像c1中的信息未知区域的边缘之间的像素值进行估计。其中，向所述边缘补全指纹图像c1中的信息已知区域的边缘之间填充的像素值可以和所述待修复的指纹图像a1中的信息已知区域的对应指纹线图案的像素值相同。
77.在一些实施例中，所述边缘生成器网络a除了包括生成器g_a以外，还包括判别器d_a，其中d_a中的l为损失函数，用于在训练阶段计算真实指纹边缘图像与第一阶段生成器g_a中生成的结果的差别以起到更新第一阶段生成器g_a中参数的作用，以使得第一阶段生成器g_a拥有更好的边缘补全能力，其中第一阶段的损失函数包括l
fm
和l
adv1
，l
fm
表示真实指纹边缘图像与第一阶段生成器得到的输出图像在特征层上的差别，l
adv1
表示第一阶段生成器g_a和判别器d_a之间的对抗损失。所述补全网络c除了包括生成器g_c以外，还包括判别器d_c，其中d_a中的l为损失函数，用于在训练阶段计算真实指纹图像与第二阶段生成器g_c中生成的结果的差别以起到更新第二阶段生成器g_c中参数的作用，以使得第二阶段生成器g_c拥有更好的内容补全能力。第二阶段的损失函数包括l
adv2
，l
adv2
表示第二阶段生成器g_c和判别器d_c之间的对抗损失。
78.图6中示出的是图3和图4所示实施例的指纹真实图像的示意图，通过已修复的指纹图像d1和待修复的指纹图像a1、以及图6的指纹真实图像对比可以看出，采用该实施例的指纹图像修复方法可以实现具有较大信息缺失区域的指纹图像的精确修复。
79.考虑到指纹图像一般是单色图像。在该实施例中，输入所述二阶段生成式对抗网络模型的所述待修复的指纹图像和所述边缘检测图像均为单通道的灰度图像。在其他可替代的实施方式中，输入所述二阶段生成式对抗网络模型的所述待修复的指纹图像和所述边缘检测图像均为多通道的图像，例如rgb三通道的彩色图像等，均属于本发明的保护范围之内。
80.如图3所示，在该实施例中，所述边缘生成器网络采用边缘生成器网络a的结构，包括空洞卷积层和残差网络层。空洞卷积(dilated convolution)是指在标准卷积的convolution map的基础上注入空洞，以此来增加感受野(reception field)。因此，空洞卷积层在标准卷积的基础上又多了一个超参数(hyper-parameter)称之为膨胀率(dilation rate)，该超参数指的是kerne(卷积核)的间隔数量。残差网络(residual network)是一种卷积神经网络，其特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
81.由于指纹图像是单通道数据，相较于其他类型的图像，指纹图像拥有的信息更少。
并且对于边缘检测图像来说，信息十分密集。在该实施例中，设置所述边缘生成器网络a的空洞卷积层中卷积核的间隔数量为1，以便从输入图像中提取更多的信息用于指纹线的预测。
82.如图3所示，在该实施例中，所述补全网络c包括空洞卷积层和残差网络层。即所述补全网络c具有与所述边缘生成器网络a相同的网络结构。所述补全网络c和所述边缘生成器网络a通过在训练过程中采用不同的真实图像，即所述边缘生成器网络a在训练过程中用于计算损失函数所使用的真实图像为包括完整指纹边缘的真实指纹边缘图像，所述补全网络c在训练过程中用于计算损失函数所使用的真实图像为包括完整指纹边缘和内容的真实指纹图像，以使得所述补全网络c和所述边缘生成器网络a具有不同的网络参数。
83.如图7所示，在本发明第二实施例中，还提供了另一种二阶段生成式对抗网络模型的结构。所述边缘生成器网络采用边缘生成器网络b的结构，包括至少一个残差网络层和至少一个反卷积层。在该实施例中，所述边缘生成器网络b包括四个残差网络层和四个反卷积层。反卷积层(deconvolution)又可以称为转置卷积，可以对特征图像进行上采样，增大特征图像的维度。
84.进一步地，所述边缘生成器网络b可以为姿态残差神经网络(pose-resnet)，所述姿态残差神经网络包括所述至少一个残差网络层和所述至少一个反卷积层。
85.在一些实施例中，还可以在所述残差网络层的输出分别增加用于监督的边输出层。具体地，可以在每个残差网络层的输出分别增加一个用于监督的边输出层，也可以只增加一个、两个或三个用于监督的边输出层，均属于本发明的保护范围之内。该实施例中，通过在残差网络中加入监督机制，实现监督学习，从而可以进一步提高边缘生成器网络b对指纹图像的骨架补全的精度。
86.进一步地，所述边缘生成器网络b可以包括至少一个姿态残差神经网络。
87.在该实施例中，所述补全网络c也包括一个与边缘生成器网络a相同的网络结构，即空洞卷积层加残差网络层的结构。在另一个可替代的实施方式中，也可以将所述补全网络c设置为与边缘生成器网络b相同的网络结构，即所述补全网络c包括至少一个残差网络层和至少一个反卷积层，并且可以进一步采用姿态残差神经网络的结构。在再一可替代的实施方式中，也可以所述边缘生成器采用所述边缘生成器网络a的结构，而所述补全网络c采用包括至少一个残差网络层和至少一个反卷积层的结构。上述各种实施方式均属于本发明的保护范围之内。
88.如图7和图8所示，在另一实施例中，首先对输入的待修复的指纹图像a2进行边缘检测，得到边缘检测图像b2，将边缘检测图像b2输入到边缘生成器网络b中，得到边缘生成器网络b输出的边缘补全指纹图像c2。本实施例与图3所示实施例的区别在于所述边缘生成器网络b可以在不需要掩模图像的情况下对所述边缘检测图像b2进行边缘补全，例如所述边缘生成器网络b可以仅对所述边缘检测图像b2上的信息未知区域进行边缘补全；将边缘补全指纹图像c2和待修复的指纹图像a2输入到补全网络c中，进行骨架中的内容补全，得到已修复指纹图像d2。通过已修复指纹图像d2和待修复的指纹图像a2、以及图6所示的真实指纹图像对比可以看出，采用该实施例的指纹图像修复方法可以实现具有较大信息缺失区域的指纹图像的精确修复。在一些实施例中，所述边缘生成器网络b除了包括生成器g_b以外，还包括判别器d_b，其中d_b中的l为损失函数，用于在训练阶段计算真实指纹边缘图像与第
一阶段生成器g_b中生成的结果的差别以起到更新第一阶段生成器g_b中参数的作用，以使得第一阶段生成器g_b拥有更好的边缘补全能力，其中第一阶段的损失函数包括l
fm
和l
adv1
，l
fm
表示真实指纹边缘图像与第一阶段生成器g_b得到的输出图像在特征层上的差别，l
adv1
表示第一阶段生成器g_b和判别器d_b之间的对抗损失。所述补全网络c除了包括生成器g_c以外，还包括判别器d_c，其中d_a中的l为损失函数，用于在训练阶段计算真实指纹图像与第二阶段生成器g_c中生成的结果的差别以起到更新第二阶段生成器g_c中参数的作用，以使得第二阶段生成器g_c拥有更好的内容补全能力。第二阶段的损失函数包括l
adv2
，l
adv2
表示第二阶段生成器g_c和判别器d_c之间的对抗损失。
89.在其他可替代的实施方式中，所述边缘生成器网络和所述补全网络也可以采用其他的神经网络结构，而不限于此处列举出的各种结构，均属于本发明的保护范围之内。
90.如图9所示，为本发明再一实施例的指纹图像修复方法中生成式对抗网络模型的结构示意图。所述生成式对抗网络模型采用只具有一个生成器的网络模型，也属于本发明的保护范围之内。该实施例中以该生成器的结构包括四个残差网络+四个反卷积网络为例(类似于图7所示实施例中的边缘生成器网络b)，通过一个网络结构同时实现边缘补全和内容补全，即输入待修复的指纹图像a3后，直接得到已修复的指纹图像d3。并且，所述生成式对抗网络模型也可以包括一个判别器，用于训练时对所述生成器的模型参数进行优化。在训练时的损失函数包括l
fm
和l
adv
，l
fm
表示真实指纹图像与生成器得到的输出图像在特征层上的差别，l
adv
表示生成器和判别器之间的对抗损失。在其他实施方式中，该一个生成器也可以采用类似于图3所示实施例的边缘生成器网络a的网络结构，通过一个网络结构同时实现边缘补全和内容补全。
91.在另一些实施例中，所述生成式对抗网络模型可以包括多个模块，每个模块包括至少一个姿态残差神经网络(pose-resnet)。所述模块也可以具有其它神经网络的网络结构，例如其它卷积神经网络的网络结构，如unet，hourglass network等。
92.本发明实施例中的所述生成式对抗网络模型是采用训练样本预先训练完成的gan模型。
93.如图10所示，本发明实施例还提供一种指纹图像修复系统，用于实现本发明前述实施例的指纹图像修复方法，所述系统包括：
94.边缘检测模块m100，用于对所述待修复的指纹图像进行边缘检测，得到所述边缘检测图像；
95.图像修复模块m200，包括所述深度学习模型，所述深度学习模型用于对所述边缘检测图像进行补全，以获取所述已修复的指纹图像。
96.本发明的指纹图像修复系统中，各个模块的功能可以采用如上所述的指纹图像修复方法的具体实施方式来实现。具体地，边缘检测模块m100可以采用上述步骤s100的具体实施方式进行边缘检测，例如采用canny边缘检测方法实现。图像修复模块m200可以采用上述步骤s200的具体实施方式利用深度学习模型进行图像修复，例如采用生成式对抗网络模型，所述生成式对抗网络模型可以采用具有一个生成器的网络模型，也可以采用二阶段生成式对抗网络模型。所述二阶段生成式对抗网络模型中，边缘生成器网络可以采用上述边缘生成器网络a或边缘生成器网络b的结构，补全网络可以采用上述包括空洞卷积层和残差网络层的结构，也可以采用类似于边缘生成器网络b的包括多个残差网络层和多个反卷积
层的结构。
97.进一步地，所述指纹图像修复系统还可以包括图像切割模块和图像拼接模块，在边缘检测模块m100对待修复的指纹图像进行边缘检测之前，所述图像切割模块用于将整张修复前的指纹图像进行分割，得到多个待修复的子指纹图像。在图像修复模块m200获取所述深度学习模型输出的图像作为已修复的子指纹图像之后，所述图像拼接模块用于将多个已修复的子指纹图像进行拼接，得到整张修复后的指纹图像。
98.在一种实施方式中，本发明的指纹图像修复系统采用二阶段生成式对抗网络模型对指纹图像进行修复，修复包括采用边缘生成器网络进行边缘补全和采用补全网络进行内容补全两个部分，不仅可以实现信息缺失区域较小的指纹图像的修复，也可以应用于信息缺失区域较大的指纹图像的修复，并且提高了指纹图像的修复精度和修复后图像的清晰度。在其他可替代的实施方式中，所述深度学习模型也可以为只具有一个生成器的网络模型，同时对指纹图像进行边缘补全和内容补全。或者，所述深度学习模型也可以为包括多个模块的结构，每个模块包括至少一个姿态残差神经网络。所述模块也可以具有其它神经网络的网络结构，例如其它卷积神经网络的网络结构，如unet，hourglass network等。
99.本发明实施例还提供一种指纹图像修复设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的指纹图像修复方法的步骤。
100.所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
101.下面参照图11来描述根据本发明的这种实施方式的电子设备600。图11显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
102.如图11所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
103.其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述指纹图像修复方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图2中所示的步骤。
104.所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。
105.所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
106.总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
107.电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得
该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
108.本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的指纹图像修复方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上执行时，所述程序代码用于使所述终端设备执行本说明书上述指纹图像修复方法部分中描述的根据本发明各种示例性实施方式的步骤。
109.参考图12所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上执行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
110.所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
111.所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
112.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
113.综上所述，通过采用本发明的指纹图像修复方法、系统、设备及存储介质，采用深度学习网络对指纹图像进行修复，修复包括边缘生成和补全两个部分，不仅可以实现信息
缺失区域较小的指纹图像的修复，也可以应用于信息缺失区域较大的指纹图像的修复，并且提高了指纹图像的修复精度和修复后图像的清晰度，从而使得修复后的指纹图像可以更好地应用于后续的指纹识别等分析过程。
114.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。