用于指纹识别的系统和方法与流程

本申请根据35u.s.c.§119(e)要求于2017年6月8日提交的美国临时专利申请序列号62/516,905,“systemandmethodforfingerprintrecognition”的优先权。所有前述专利申请的技术方案通过引用整体并入本文。

本公开一般地涉及指纹识别。

背景技术

对指纹识别存在两种类型的验证，1:1验证和1：n验证。在1：1验证中，设备上注册了一个指纹，并且唯一验证是尝试的用户是否与注册指纹正确匹配。一个非限制性的示例包括解锁手机的指纹验证。相比之下，1：n验证涉及在可能包含数千至数十亿指纹图像的大型数据库中搜索指纹以确定指纹的身份。这种识别也被称为潜在指纹匹配，其中“潜在”指纹可能指的是指纹的意外压痕，而不是从对象故意收集的指纹。一个非限制性的示例包括犯罪现场指纹匹配。1：n验证的问题包括指纹显示较差的质量或失真，或者只有一小部分指纹可用于匹配目的。

在指纹数据库为小规模或中等规模时，传统的指纹辨识技术已经被成功地用于解决犯罪。使用指纹解决犯罪的传统程序通常包括三个步骤：指纹采集，法医专家标记特征和匹配后端。

在指纹采集中，警察或其他调查主体从犯罪现场收集指纹。取决于指纹所附着的表面，不同的方法可以被使用。例如，在平坦的表面上，多光谱光源可以被用来使指纹可见。如果指纹附着在窗帘或其他织物上，则化学化合物可以被用于使指纹更可见以便拍照。最终，一组指纹图像将被获得。

在下一个步骤中，指纹图像被带回到办公室或实验室，以供法医专家标记具体的特征。通常，一个指纹需要大约半个小时来标记，并且整个犯罪现场可能需要大约十个小时。

在最后一个步骤中，标记的特征将被发送到匹配后端，以便从数据库中查找最佳候选。这通常需要几个小时来完成。传统技术严重依赖指纹的细节特征进行匹配。作为非限制性示例，细节(或微尺度)特征包括指纹中脊线/谷线的结尾和分叉。宏观尺度特征(诸如r)也可被用于执行滤波以加速过程。

然而，随着指纹数据库越来越大并且查询数目的增加，常规技术不能很好地满足需求。四个问题特别严重：(1)随着数据库中指纹数目的增加，准确度下降；(2)过程缓慢；(3)该过程需要专家的劳动，这增加了成本；以及(4)过去的数据和专家经验没有例如通过机器学习或人工智能而被利用。

技术实现要素：

本发明的实施例可以在速度、准确性和自动化方面相对于传统技术得到改进。本发明的实施例可以包括以下特征中的一些或全部。除了传统的基于细节的特征点之外，各种实施例可以包括其他学习的特征，包括介观特征。作为非限制性示例，传统方法也可以与大数据处理技术(诸如分布式计算和存储系统)以及主动深度学习相结合。高级加速方法可以针对多尺度特征而被定制。本发明的实施例从过去的数据和经验中进行学习，并在继续使用时提高准确度。

其他方面包括与上述任何相关的组件，设备、系统、改进、方法、处理、应用、计算机可读介质和其他技术。

附图说明

本公开的实施例具有其他优点和特征，当结合附图中的示例进行考虑时，从下面的具体实施方式和所附权利要求书中将更容易地明白这些优点和特征，其中：

图1是用于匹配指纹的系统的图。

图2是指纹匹配引擎的框图。

图3a是用于从未知指纹图像计算介观特征的流程图。

图3b和图3c是用于标识关键特征点的替代方法的流程图。

图4是用于计算两个指纹图像之间的总体相似度分数的流程图。

具体实施方式

图1是用于匹配指纹的系统的图。该系统包括已知指纹图像a、b、c等的数据库160，这些指纹图像通常已经被预处理以产生将被用于与未知指纹图像110进行匹配的表示165a、165b、165c等。在图1中，表示165是介观特征。介观特征是位于大致对应于图像中的一个像素的微尺度与大致对应于整个图像的宏观尺度之间的特征。微尺度特征是细节特征，例如指纹中脊线/谷线的结尾或分叉。宏观尺度特征包括核心和三角形手指类型。如以下示例中所述的，介观特征是基于指纹图像的空间频率表示来开发的。

具体地，空间频率小框架基被优化以表示指纹图像。通过分析已知的指纹图像，具有稀疏性的小框架基被开发。这部分通过放宽正交性要求来实现。此外，由于选择的方法，神经网络可以被成功部署以实现指纹匹配任务内的各种组件。

返回到图1，指纹匹配引擎180从未知指纹图像110自动提取介观特征115。在一种方法中，未知指纹图像的空间频率表示例如通过应用小框架基的分析运算符来计算，以获得一组多维系数。这些表示可以使用深度神经网络来增强，该深度神经网络可以是完全卷积的或者包括卷积和完全连接的层。关键特征点候选被提取，并且这些候选可以基于周围邻域的质量被改善。预定义或自适应选择的大小的样本补丁在关键特征点周围被获得，其中补丁的失真优选地被校正。来自补丁的介观嵌入特征115例如使用一个或多个深度神经网络来计算。双流和单流神经网络是所使用的深层神经网络的两个非限制性例子。

指纹匹配引擎180基于未知指纹图像110的介观特征115和已知指纹图像a、b、c的介观特征165a、165b、16cc等将未知指纹图像110与已知指纹图像a、b、c等的数据库进行匹配。在一种方法中，这些特征被组织成结构化阵列。这些特征使用几何哈希方法来被存储并扩展到存储器中。特征的相似度分数基于距离度量来被计算。例如，海明距离可被用于测量特征的相似度。在一种方法中，针对不同的介观特征对来计算成对相似度分数，介观特征对中的一个介观特征来自未知指纹图像，并且另一个介观特征来自已知指纹图像。这些被组合以获得总体相似度分数，如图1中的x.x所示。

已知指纹图像可以基于它们对于未知指纹图像110的相似度分数来排序。不同的结果190可以被提供：有序列表或基于预定义的阈值的匹配结果。

小框架基、小框架基的分析运算符和已知指纹图像的介观特征165可以全部被预先计算，并存储在数据库160中或存储在指纹匹配引擎180中。

图2是指纹匹配引擎的框图。引擎180包括不同的模块，这些模块在图2中被表示为方框。这些方框被组织成三列。左边列包含用于初始化整个框架的模块。这包括确定将要被使用的小框架基的模块201。中间列包含被用于获取指纹图像的表示的模块。这包括应用小框架基的分析运算符211、标识所得空间频率表示中的关键特征213、以及确定关键特征的介观特征215。它还包括诸如质量估计216和前景/背景标识217之类的任务，这些任务可以被用于改进指纹表示。右边列包含被用于比较不同指纹的模块。这包括诸如压缩到位矢量之类的特征压缩261、介观特征对的距离或相似度计算262以及将成对相似度分数组合成两个指纹图像的总体相似度分数263。如下所述，深度神经网络可以被训练来执行这些功能中的一些功能。

由左手边的模块实现的初始化过程在以下正文中被描述。图3a至图3c描述了由中间列中的模块实现的表示过程。右手边的模块的相似度评分在图4中被描述。

对于图像数据的处理而言，表示起着基本的作用。对于不同的视觉任务，最合适的表示会有所不同。例如，为了显示的目的，基于像素值的表示是有用的(记录每个像素的rgb值)。为了压缩的目的，使用局部余弦基或小波基是有用的。指纹图像具有特殊的结构，因为它们主要由不同曲率和图案的脊和纹理组成。因此，可以为指纹图像构建更有用的定制表示，而不是使用标准的基于像素值的表示。

相应地，已知的指纹图像被分析以开发针对指纹图像而被优化的小框架基。在一种方法中，所述基在以下意义上来说是最优的：在满足完美重建条件的所有小波框架中，所构建的小框架基为指纹图像提供最稀疏的表示。

小框架基的构建基于多分辨率分析(mra)理论。mallat(1989)和meyer(1995)介绍了实际多分辨率分析的出发点。小波是突出的例子。mra的一个优势是它伴随有快速分解和重建算法，这对于使其成为图像处理中的实用工具非常重要。

小波可以被推广到小波框架，其中正交性约束被丢弃。小波框架保留了所谓的完美重建属性。然而，小波框架是预定义的。针对手头具体数据进行优化的基甚至会更好。相应地，小框架基通过求解以下优化而被构建，其为酉扩展原理方程：

小框架基具有m个分解滤波器a1，...，am。小框架基从n个已知指纹图像xj被构建。是滤波器ai的分析或分解运算符。vi，j是通过将分解运算符应用于指纹图像xj而获得的多维系数。φ是稀疏诱导函数。即，φ是奖励系数vi，j的稀疏性的价值函数。分解滤波器a1，...，am被约束到满足所谓的完美重建属性的滤波器，这是上面的最后一个方程。在该方程中，m是采样矩阵。如果不涉及下采样，则m是单位矩阵。此外，如果k＝0则δk＝1,并且否则δk＝0。对方程1求解产生小框架基。在图2中，小框架确定模块201执行该任务，尽管它可以被离线地单独完成。

通常地说，小框架基提供了多尺度分析，并且该组滤波器ai包括不同尺度的滤波器。滤波器ai通常不相互正交。多维系数vi，j提供指纹图像的空间频率表示。

图3a是用于从未知指纹图像计算介观特征的流程图。该流程图从未知指纹图像开始，但是相同的过程可以被用来计算已知指纹图像的表示。

指纹图像被处理以计算310指纹图像的空间频率表示。指纹图像首先被预处理，使其具有相对均匀的对比度。归一化的指纹图像基于先前确定的小框架基被变换312为一组多维系数。即，小框架基的分析运算符被应用312到指纹图像。结果是一组多维系数。这些可以被后处理314，例如通过应用阈值或使用其他技术来抑制噪声。

所得空间频率表示被处理以标识330a关键特征点。多维系数具有张量格式。张量的每一部分称为通道。通道的峰值信号334和跨通道相关性332被计算以获得统计。噪声从这些统计中被过滤336，这些统计然后被聚合以获得局部峰值表示，这些局部峰值表示是关键特征点340。

基于指纹图像的关键特征点340和空间频率表示320，介观特征115然后被提取350。如前所述，指纹图像的局部峰值图(即，关键特征点340)被计算。该图然后被粗粒度化。描述相似系数的图的邻居关系的邻接图从粗粒度化的局部峰值图来构建。该图的边缘被扫描以找到候选奇异点352。候选奇异点的局部分析被执行以确定最终特征。在一种方法(参见图3c)中，水平集中的每个候选点的邻域被检查，如果方向分布较好，则该点被接受作为介观特征。这些特征也可以被量化354。

图3b和图3c是用于标识关键特征点的替代方法的流程图。这些技术将被分开说明，但是图3a至图3c的技术也可以被组合使用。图3b的方法330b考虑了指纹图像的质量。使用深度神经网络，关键特征点的质量被评估。关键特征点包括脊线/谷线的奇异性或空间频率表示的奇异性。例如，沿着具有高曲率的平滑线的点可以被包括。指纹图像的空间频率表示320被计算，并且候选关键特征点被提取362。候选特征点周围的补丁被采样，其中一个或多个深度神经网络评估364补丁的质量。深度神经网络可以包含单独的卷积层或者卷积层和完全连接层二者，并且可以包含双流和单流神经网络以及基于动态系统的神经网络。具有低质量的候选特征点被抑制366。

图3c的方法330c考虑关键特征点是位于指纹图像的前景还是背景中。以下示例仅使用前景，但背景也可以被使用。候选特征点被标识372。前景区域被估计372，然后如果候选点不在前景区域中，则候选点被抑制376。

侧面的图示出了用于估计374前景区域的一种方法。空间频率表示的水平集被计算381。水平集的法线图和切线图然后被计算382。对比度图和显著度图根据法线图和切线图来计算383。前景和/或背景然后使用预定义或自适应选择的阈值384来获得。.

计算背景和/或前景还可以基于深度神经网络。使用一个或多个深度神经网络，背景或前景显著度图根据空间频率表示来计算。如图3c所述，另一背景或前景显著度图被计算。两个显著度图然后被组合以产生最终的背景或前景区域。

图4是用于基于关键特征点和介观特征来计算两个指纹图像之间的总体相似度分数的流程图。图4的示例可以在图形处理单元(gpu)上实现。在其他实现中，可以使用张量处理单元(tpu)或其他ai专用芯片。这些特征被压缩并转换410成结构化阵列，诸如位阵列。匹配被转换为gpu设备上的位操作。成对相似度分数422基于位比较结果来计算，诸如计算420两个介观特征之间的逐位距离。局部分数被聚合430以计算指纹图像对的总体相似度得分490。这些分数提供了哪些已知指纹图像与未知指纹图像最相似的排名。

在另一个变体中，使用深度神经网络，处理后的指纹图像被分类为预定数目的类别。指纹图像的表示被计算。指纹图像被使用深度神经网络来预先计算，以获得粗糙特征。与深度神经网络相结合的分类器然后被用来获得指纹图像的特征以及类别标签。

应该理解，上述实施例仅仅是对本发明原理的应用的说明。本发明可以以其他具体形式来实施，而不脱离其精神或基本特征。例如，指纹识别技术也可以与其他常规技术相结合，诸如基于细节的技术。

在所有步骤中，预处理可以应用。可能的预处理步骤包括归一化图像或表示，例如归一化对比度；删除不可用的区域；以及基于脊线/谷线的光谱来增强脊线/谷线。

替代实施例被实现在计算机硬件、固件、软件和/或其组合中。实现方式可以在有形地体现在计算机可读存储设备中的计算机程序产品中被实现，计算机程序产品供可编程处理器执行；并且方法步骤可以由可编程处理器来执行，所述可编程处理器执行指令程序，以通过对输入数据进行操作并生成输出来执行功能。有利地，可以用一个或多个计算机程序来实现实施例，一个或多个计算机程序可在可编程计算机系统上执行，可编程计算机系统包括至少一个可编程处理器，其被耦合以从数据存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并向数据存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。每个计算机程序可以用高级过程或面向对象的编程语言来实现，或者如果需要的话可以用汇编或机器语言来实现；并且在任何情况下，语言可以是编译或解释语言。例如，合适的处理器包括通用和专用微处理器。通常，处理器将从可读存储器和/或随机存取存储器接收指令和数据。通常，计算机将包括一个或多个海量存储设备以用于存储数据文件；这样的设备包括磁性盘，例如内部硬盘和可移动盘；磁光盘；和光盘。适合于有形地体现计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，例如半导体存储器设备，如eprom、eeprom和闪存设备；磁盘，例如内部硬盘和可移动盘；磁光盘；以及cd-rom盘。任何前述可以由asic(专用集成电路)、fpga和其他形式的硬件来补充，或被并入到asic、fpga和其他形式的硬件中。