非接触式指纹图像的巴掌分割的制作方法

1.本发明涉及一种用于非接触式指纹图像的巴掌（slap）分割的方法和装置。


背景技术：

2.更具体地，非接触式指纹图像由非接触式指纹读取器捕获。非接触式指纹读取器是近年来出现的。与只获取触摸设备的指纹的传统的实时扫描（livescan）指纹读取器不同，非接触式指纹读取器捕获呈现给设备的所有手指/巴掌/手掌的照片。为了标识每个单独指纹的位置和有效区域，需要对捕获的巴掌图像自动地分割。
3.诸如指纹之类的生物特征数据在数据安全、边境管制、执法、金融、卫生保健以及等的领域中起越来越重要的作用。在自动指纹标识系统（afis）上，标识依赖于指纹的独特图案，即指尖的表面上的脊和谷。传统的指纹图像要么是从十指印卡（ten-print cards）上的墨水印痕获得的，或者要么是由基于触摸的指纹捕获设备（比如光学读取器和电容性读取器）捕获的。近年来，随着对更快的指纹获取、登记和匹配的需求增加，已经开发了非接触式指纹读取器，通过该读取器可以方便地捕获指纹图像，而无需对象的手指和设备之间的任何物理接触。尽管形态变化，但接触式和非接触式指纹获取两者共有一个关键步骤：如何从捕获的图像中、尤其是从涉及通常通过将四个手指（即食指、中指、无名指、小拇指或双拇指）的左/右巴掌置于墨水卡或指纹读取器上来同时捕获的多个扁平指纹的巴掌图像中准确地分割所期望的单独的指纹。
4.考虑到墨水卡和接触式指纹读取器的性质，传统的接触式巴掌分割方法主要采用形状、纹理、取向和几何约束来标识每个指纹。
5.用于分割接触式指纹图像的这样的方法在以下文档中找到：us 7,072,496 b2，craig i. watson，“slap fingerprint segmentation evaluation ii
ꢀ‑ꢀ
procedures and results”，nist interagency/internal report (nistir)
ꢀ–ꢀ
7553，2009，brad ulery等人，“slap fingerprint segmentation evaluation 2004 analysis report”，nist interagency/internal report (nistir)
ꢀ–ꢀ
7209，2005，sklansky，j.“finding the convex hull of a simple polygon”，pattern recognition letters，第1卷第2期，pp 79-83，1982，christian wolf等人，“text localization, enhancement and binarization in multimedia documents”，international conference on pattern recognition，第4卷，第1037-1040页，2002，yong-liang zhang、gang xiao、yan-miao li、hong-tao wu和ya-ping huang，2010，slap fingerprint segmentation for live-scan devices and ten-print cards，in proceedings of the 2010 20th international conference on pattern recognition (icpr '10)。
6.非接触式指纹读取器通过高分辨率相机捕获巴掌图像，而无需在开放空间中与对象的任何触摸，这快得多，并且方便得多，但是由于对象的模态变化，使得用于接触式指纹图像的传统的巴掌分割算法在许多情况下失败。
7.事实上，来自非接触式读取器的巴掌图像中的手指彼此未明显地分离是非常常见
的。对于基于触摸的设备上的传统巴掌分割算法来说，这是最具挑战性的场景，所述算法是借助如下强有力的假设来开发的，即来自不同手指的指纹彼此良好地分离。
8.此外，在有或没有引导的情况下，巴掌（要成像的对象）可以以各种姿势置于设备上方，使得巴掌在捕获的图像中的外观（比如旋转、方向和位置）可以显著改变。
9.最后，与基于触摸的巴掌图像相比，非接触式的巴掌图像捕获整个巴掌，这对于依赖于纹理信息的传统方法来说是有问题的，因为上手掌可能示出与指纹相似的图案。
10.因此，期望的是设计一种新的方法和装置，以用于从由非接触式指纹读取器捕获的巴掌图像准确地标识和分割每个单独的指纹，其被期望适应对象的各种手形、手姿势和距离。
11.因此，进一步的替代和有利的解决方案在本领域中将是期望的。


技术实现要素：

12.本发明旨在提议一种适用于非接触式获取的巴掌图像的分割方法。
13.本发明在其最广泛的意义上被定义为一种用于分割巴掌图像并生成准确标记的单独指纹的方法，所述方法包括以下步骤：-在受控照明条件下，从非接触式指纹读取器接收输入图像；-计算接收图像中的方差，以估计作为输入图像中的前景巴掌掩模（mask）的巴掌区域；-通过找到每个手指的边界来标识单独的手指；-验证手指的数量和几何约束；-基于形状和几何信息来计算姿势和取向；-根据姿势、取向以及几何信息来标识每个检测到的手指上的有效指尖区域；-输出单独的指纹。
14.本发明是结合了非接触式指纹标识系统的硬件和软件能力两者的独特且高效的解决方案。它只需要两个图像来计算方差和最小的硬件设置来解决该问题。
15.有利地，在硬件方面中，在受控照明条件下获取的图像是在有和没有闪光灯的情况下获取的图像。
16.该方法的软件部分然后接收针对相同对象的两个巴掌图像，一个是在闪光灯打开的情况下，另一个是在闪光灯关闭的情况下，然后该装置能够传输、处理和保存捕获的图像和处理的单独指纹图像。在软件方面中，所提议的算法能够自适应地估计每个单独指纹的位置，然后生成它们的位置信息。
17.根据有利的实施例，单独手指标识步骤包括通过根据等式计算全局和局部动态两者的动态范围而以前景巴掌掩模应用于原始照明图像的自适应二值化子步骤，其中α(x,y)是局部动态因子，β(x,y)是全局动态因子，并且p、q是预定义的参数，该自适应二值化子步骤输出单独手指的掩模。
18.这样的自适应阈值的使用使得能够使单独手指的检测自动化。
19.根据本发明的有利特征，基于形状和几何信息来计算姿势和取向的步骤包括用于检测手指的指尖点的凸性检查。
20.这是用于确定巴掌的取向的简单方式。
21.根据本发明的优选实施例，基于形状和几何信息来计算姿势和取向的步骤包括定义每个单独手指掩模的中心线的子步骤，计算手指图像上沿着手指中心线的方向的梯度的子步骤，通过找到在到指尖点的一定距离内具有最大梯度的垂直线来检测第一手指关节的子步骤，指尖掩模由在第一手指关节和指尖点之间延伸的区域来限定。
22.梯度的使用使得能够自动定位捕获的手指的不同几何特性。
23.本发明还涉及一种非接触式获取指纹图像处理器，其连接到具有各种照明条件的至少非接触式指纹读取器，并适于在不同的照明条件下获取在读取器的附近的非接触位置中的巴掌/手指的图像，用于获取用户的指纹，所述处理器适于在受控的照明条件下分割从非接触式指纹读取器接收的巴掌图像，并生成准确标记的单独指纹，所述处理器适于计算接收图像中的方差，以估计作为输入图像中的前景巴掌掩模的巴掌区域，通过找到每个手指的边界来标识单独手指，验证手指的数量和几何约束，基于形状和几何信息来计算姿势和取向，根据姿势、取向以及几何信息来标识每个检测到的手指上的有效指尖区域，输出单独指纹。
24.这样的处理器使得能够实现本发明的方法，以分割如从非接触式指纹读取器接收的巴掌图像。
25.有利地，处理器适于通过根据等式计算全局和局部动态两者的动态范围来执行以前景巴掌掩模应用于原始照明图像的自适应二值化，其中α(x,y)是局部动态因子，β(x,y)是全局动态因子，并且p、q是预定义的参数，该自适应二值化子步骤输出单独手指的掩模。
26.同样有利地，处理器适于基于形状和几何信息来计算姿势和取向，从而使用凸性检查来检测手指的指尖点。
27.根据优选实施例，处理器适于基于形状和几何信息来计算姿势和取向，包括定义每个单独手指掩模的中心线，计算手指图像上沿着手指中心线的方向的梯度，通过找到在到指尖点的一定距离内具有最大梯度的垂直线来检测第一手指关节，指尖掩模由在第一手指关节和指尖点之间延伸的区域来限定。
28.为了实现前述和相关目的，一个或多个实施例包括在下文中充分描述并在权利要求中特别指出的特征。
附图说明
29.以下描述和附图详细阐述了某些说明性方面，并且仅指示了可以以其来采用实施例的原理的各种方式中的一些。当结合附图考虑时，其他优点和新颖特征将从以下详细描述中变得显而易见，并且所公开的实施例旨在包括所有这样的方面及其等同物。
30.·
图1表示非接触式指纹分割系统的示意图；
·
图2示出了图示图像处理工作流程的流程图；
·
图3示出了图示前景巴掌掩模估计的流程图；
·
图4示出了前景掩模估计的示例；
·
图5示出了图示单独手指标识的流程图；
·
图6图示了手指间隙标识；
·
图7图示了单独手指标识；
·
图8示出了图示指纹姿势估计与指尖标识的流程图；
·
图9图示了单独指尖标识；
·
图10示出了图示最终指纹生成过程的流程图；以及
·
图11示出了最终单独指纹分割的示例。
具体实施方式
31.为了更完整地理解本发明，现在将参考附图详细描述本发明。详细描述将说明和描述被认为是本发明的优选实施例的内容。当然应该理解，在不脱离本发明的精神的情况下，可以容易地在形式或细节上进行各种修改和变化。因此，旨在本发明可以不限于本文中示出和描述的确切形式和细节，也不限于少于本文中公开的和如下文中要求保护的整个发明的任何事物。相同的元件在不同的附图中已经用相同的参考符号来表示。为了清楚起见，在附图中仅已经示出对理解本发明有用的那些元件和步骤，并将对其进行描述。
32.本发明可以使用软件系统或硬件系统来实现。图1是所提议的非接触式指纹分割系统1的示意图，该系统至少包括控制器16，该控制器16包括但不限于cpu、fpga、dsp或gpu。控制器管理所有其他模块，即图像i/o 11和14，其由图像处理器12处理并存储在图像存储器13中。
33.该组i/o端口11和14包括但不限于usb 2/3、firewire、thunderbolt、sata、dma、以太网或互联网。这些端口11和14从非接触式指纹读取器10获取输入巴掌图像，并将输出指纹15发送到其他设备/系统。
34.图像处理器12可以通过任何编程语言来实现，所述编程语言包括但不限于c/c++、java、python、汇编或javascript。根据本发明，图像处理器12或处理模块从巴掌图像标识和提取单独指纹roi 15。
35.图像存储器13包括但不限于ram、rom、ssd、硬盘驱动器或nas。图像存储器13或存储模块保存中间结果和最终输出指纹。
36.图2是图示本发明中提议的图像处理工作流程的流程图，即如何分割巴掌图像并生成准确标记的单独指纹roi。在第一步骤s0中，在受控的照明条件下，从非接触式指纹读取器10接收巴掌图像。在步骤s1中，通过计算接收图像中的方差，该输入图像中的巴掌区域最初被估计为前景巴掌掩模。然后，在步骤s2中，通过找到每个手指的边界来标识单独的手指，同时验证手指的数量和几何约束。在下一步骤s3中，对于每个手指，基于形状和几何信息计算姿势和取向。在步骤s4中，根据姿势、取向以及几何信息，标识每个检测到的手指上的有效的指尖区域。然后输出单独的指纹roi 15。指尖区域被描述为旋转的矩形roi，分割的指纹图像和矩形roi的坐标两者然后被保存到存储装置或发送到其他系统。
37.图3是图示如图2中的步骤s1中描述的针对巴掌/前景区域标识的过程的流程图。在步骤i0中，非接触式指纹读取器在受控的照明条件下，例如使用闪光灯，捕获巴掌图像。在一定的照明条件下，与背景区域相比，前景巴掌区域在不同的图像中将表现出较大的照明变化。基于这些发现，在步骤i1中计算图像中的方差，并针对不同的图像区域设置自适应阈值。
38.然后，具有大于阈值的方差的像素作为前景巴掌区域，并且其他像素作为背景区域。巴掌掩模的像素值m(x,y)可以由以下等式确定：，其中id(x,y)是像素方差，t(x,y)是针对像素(x,y)的自适应阈值。因此在步骤i2中获得前景巴掌区域的初始巴掌掩模。然而，由于不均匀的照明条件和嘈杂的背景，初始巴掌掩模可能包含许多假估计。因此，在步骤i3中应用形态学操作。它包括打开和关闭以填充孔并去除初始掩模上的假嘈杂区域，以便获得如从其中闪光开启的巴掌图像if提取的如图4中所示的准确的巴掌区域掩模sm。
39.图5是图示针对单个手指标识的过程的流程图。作为非接触式指纹读取器10的优点之一，巴掌可以置于读取器上方，而不需要对设备的任何物理触摸，这有助于提高巴掌图像获取速度和便利性。然而，作为副作用（side effect），非接触式指纹读取器10对用于图像获取的手指的位置提供少得多的约束。因此，手指可以在捕获时旋转、倾斜或弯曲，并且此外，在4指巴掌图像中，手指可以彼此非常接近地相邻。
40.因此，传统的巴掌分割方法（其假设手指良好地分离）在非接触式指纹系统中在大多数情况下将失败。因此，标识有效指纹roi的最具挑战性的部分是标识每个单独的指纹。
41.本发明的单个手指标识方法包括第一步骤，其中接收两个图像，一个是原始图像if，另一个是如关于图3所述获得的前景掩模sm。
42.图6在底部图像fs上示出了需要从两个图像中确定的手指之间的间隙，尤其是当手指彼此相邻时。
43.在第一步骤f1中，以前景掩模为约束，将自适应二值化方法应用于原始图像if。在该方法中，通过计算全局和局部动态两者的动态范围来确定二值化的阈值，如以下等式中所示：，其中α(x,y)是针对每个像素(x,y)的局部动态因子，即以像素(x,y)为中心的滑动窗口内的平均值，x和y是像素的坐标。β(x,y)是基于整个图像的变化计算的全局动态因子，p和q是恒定的正值，其中p等于图像的最大标准偏差，即对于8位灰度图像为128，并且q等于根据不同应用在[0.1，0.6]的范围内的预设的偏差。该二值化使得能够定义分离手指的线，如图6的底部图像fs上所示。
[0044]
然后，如图7中所图示，为了标识每个单独的手指，首先在步骤f2中找到包围整个巴掌的凸包（convex hull），这有助于检测手指的尖部。然后，在步骤f3中，检查凸包内部的凸性，以便找到手指的基部/关节。通常，首先计算凸性缺陷，即不属于巴掌但位于凸包的内部的区域。在这种情况下，它指的是两个手指之间的区域，以及巴掌的两侧上的区域。因此，如由图像td所图示的，检测到与凸包的对应边缘（即手指的基部/关节）具有最大距离的凸缺陷中的点。最后，如由图像fd所图示的，通过组合指尖和手指基部的位置最终标识每个单独的手指，并且在步骤f4中针对其中的每个生成相应的掩模fm。
[0045]
在步骤f4处标识每个单独的手指之后，需要准确检测指尖的位置。
[0046]
图8是图示根据本发明的针对手指姿势估计和指尖分割的过程的流程图。图9图示了姿势估计和指尖标识。
[0047]
通过在步骤t1中找到手指掩模的中心线来估计手指姿势，如图9上在单独的手指掩模上示意性图示的那样。在其中手指不直的一些特殊情况下，估计中心线的平均角度。
[0048]
基于步骤t1的结果，计算手指图像fi上沿着手指中心线的方向的梯度，然后在手指姿势估计的步骤t2中，可以通过找到在到指尖点的一定距离内具有最大梯度的垂直线来检测第一手指关节。它使得能够确定指尖掩模tm。
[0049]
图10是图示用于生成最终单独指纹图像的过程的流程图。
[0050]
在第一步骤p1中接收输入图像，一个是巴掌指纹图像if，并且另一个是一组单独的指尖掩模tm，并且通过组合巴掌图像if和指尖掩模tm来生成单独的指纹图像。
[0051]
在步骤p2中，执行后处理，至少包括应用于单独指纹图像以便去除随机噪声的图像平滑和去噪操作。有利地，进一步的形态变换被应用于所获得的指纹图像，以去除结构噪声并平滑指纹的边缘。然后生成最终的单独指纹fif，也如图11上所示。
[0052]
在上述详细描述中，参考了附图，所述附图通过图示的方式示出了其中可以实施本发明的具体实施例。这些实施例被足够详细地描述，以使得本领域技术人员能够实施本发明。因此，上述详细描述不是要以限制性意义来理解，并且本发明的范围仅由适当解释的所附权利要求以及权利要求所赋予的等同物的全部范围来限定。