一种手指三模态融合识别方法、系统、设备及存储介质

1.本发明涉及生物特征识别技术领域，尤其涉及一种基于图卷积神经网络的 手指三模态融合识别方法、系统、设备及存储介质。


背景技术：

2.随着信息时代的快速发展，人们的生活工作中随处可以见到智能化的身份 识别系统，比如手机、安检机、门禁机以及各种网上支付软件等，这促使了身 份识别技术的发展；传统的身份识别技术已经不能满足人们对高性能身份鉴别 的需求，因此，以生物特征为基础的身份识别技术已经成为研究人员重点关注 的领域。
3.目前，生物特征识别技术已经成为模式识别领域的一个重要分支，也是人 工智能技术的重点发展方向之一，随着模式识别技术的发展，手指单模态生物 特征识别技术已经趋于成熟，仅仅依靠手指单模态进行身份鉴别，已经无法满 足人们对识别精度与稳定性的需求，而多模态生物特征识别技术可以充分利用 每种生物特征的信息，将这些信息有效的结合在一起，从而达到提高识别性能 的目的；由于手指三模态特征位置紧凑，便于特征采集，所以多被作为多模态 生物特征识别技术的研究对象，手指特征中的指纹、指静脉和指节纹具有相似 的纹理性特征，为其特征的统一表达奠定了基础，而且在身份认证方面，基于 指纹、指静脉和指节纹的手指三模态是互补的，比如：指静脉可以判断活体性， 但是指纹和指节纹不可以；指纹和指节纹特征图像十分清晰，但是由于采集设 备的原因，指静脉特征图像成像较为模糊；现有的手指三多模态特征融合识别 技术仍然存在两个主要问题亟待解决：
4.1)手指三模态特征图像尺寸不一致，这是影响多模态特征有效融合的重要 因素，现有的尺度归一化方法容易破坏图像的结构信息，无法实现稳定的特征 融合；
5.2)缺乏一种通用的特征表达方法，以将手指三模态特征提取到统一的特征 空间。


技术实现要素：

6.本发明提供一种手指三模态融合识别方法、系统、设备及存储介质，解决 的技术问题是，现有的手指三模态特征融合识别方法无法实现稳定的特征融合， 同时缺乏一种通用的特征表达方法。
7.为解决以上技术问题，本发明提供了一种手指三模态融合识别方法、系统、 设备及存储介质。
8.第一方面，本发明提供了一种手指三模态融合识别方法，所述方法包括以 下步骤：
9.对采集到的原始手指三模态图像进行超像素分割，得到超像素块；
10.将所述超像素块作为节点，构建手指三模态加权图；
11.将所述手指三模态加权图输入并行网络，对所述手指三模态加权图进行节 点归一化，得到手指三模态图特征；
12.根据预设条件选取融合方法，并利用选取的融合方法将所述手指三模态图 特征进行融合，得到融合特征；
13.将所述融合特征输入分类网络，得到识别结果；
14.其中，所述融合方法包括竞争融合方法和特征向量中心度融合方法。
15.在进一步的实施方案中，所述将所述超像素块作为节点，构建手指三模态 加权图，具体为：
16.将所述超像素块作为节点，节点的特征向量为对应所述超像素块的像素强 度值和质心空间坐标，同时以对应节点之间的特征空间相似度作为边权重，得 到手指三模态加权图；
17.其中，所述特征空间相似度为：
[0018][0019]
式中，b
ij
表示节点i和节点j之间的特征空间相似度，d
i
表示节点i的特征 向量，d
j
表示节点j的特征向量，σ为取值[0，1]的常数值。
[0020]
在进一步的实施方案中，若选取所述竞争融合方法，则所述利用选取的融 合方法将所述手指三模态图特征进行融合，得到融合特征的步骤，包括：
[0021]
选取任一所述手指三模态图特征，对其单通道中的节点特征向量进行排序， 得到各通道的通道排序；
[0022]
对于任一节点，将其在各通道中的通道排序进行相加，得到节点排序向量；
[0023]
根据节点排序向量对所有节点进行排序，得到节点竞争排序；
[0024]
基于所述节点竞争排序，根据节点特征向量以及节点间的连接关系获取所 述手指三模态图特征的第一特征矩阵和第一邻接矩阵；
[0025]
将所述手指三模态图特征的第一特征矩阵进行融合，得到第一特征融合矩 阵；
[0026]
将所述手指三模态图特征的第一邻接矩阵进行融合，得到第一邻接融合矩 阵；
[0027]
在所述竞争融合方法中，所述融合特征包括第一特征融合矩阵以及第一邻 接融合矩阵。
[0028]
在进一步的实施方案中，若选取所述特征向量中心度融合方法，则所述利 用选取的融合方法将所述手指三模态图特征进行融合，得到融合特征的步骤， 包括：
[0029]
计算各个节点特征向量中心度；
[0030]
根据所述特征向量中心度获取中心度向量；
[0031]
根据所述中心度向量对所有节点进行排序，得到节点中心度排序；
[0032]
基于所述节点中心度排序，根据节点特征向量以及节点间的连接关系获取 所述手指三模态图特征的第二特征矩阵以及第二邻接矩阵；
[0033]
将所述手指三模态图特征的第二特征矩阵进行融合，得到第二特征融合矩 阵；
[0034]
将所述手指三模态图特征的第二邻接矩阵进行融合，得到第二邻接融合矩 阵；
[0035]
在所述特征向量中心度融合方法中，所述融合特征包括第二特征融合矩阵 以及第二邻接融合矩阵。
[0036]
在进一步的实施方案中，所述并行网络包括三个具有相同网络结构的分支 网络；
[0037]
每个分支网络均包括依次连接的输入层、三个串联的第一卷积层、池化层 以及输出层，所述池化层为可微分的池化层。
[0038]
在进一步的实施方案中，所述根据预设条件选取融合方法的步骤包括：
[0039]
检测用户设定的待识别时间，并对所述待识别时间进行判断，当检测到所 述待识别时间处于第一预设范围，则选取所述竞争融合方法；当检测到所述待 识别时间处于第二预设范围，则选取所述特征向量中心度融合方法。
[0040]
在进一步的实施方案中，所述分类网络包括依次连接的三个第二卷积层以 及两个全连接层。
[0041]
第二方面，本发明提供了一种手指三模态融合识别系统，所述系统包括：
[0042]
加权图构建模块，用于对采集到的原始手指三模态图像进行超像素分割， 得到超像素块，同时将所述超像素块作为节点，构建手指三模态加权图；
[0043]
归一化处理模块，用于将所述手指三模态加权图输入并行网络，对所述手 指三模态加权图进行节点归一化，得到手指三模态图特征；
[0044]
特征融合模块，用于根据预设条件选取融合方法，并利用选取的融合方法 将所述手指三模态图特征进行融合，得到融合特征；
[0045]
特征识别模块，用于将所述融合特征输入分类网络，得到识别结果；
[0046]
其中，所述融合方法包括竞争融合方法和特征向量中心度融合方法。
[0047]
第三方面，本发明还提供了一种计算机设备，包括处理器和存储器，所述 处理器与所述存储器相连，所述存储器用于存储计算机程序，所述处理器用于 执行所述存储器中存储的计算机程序，以使得所述计算机设备执行实现上述方 法的步骤。
[0048]
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存 储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的 步骤。
[0049]
本发明提供了一种手指三模态融合识别方法、系统、设备及存储介质，通 过所述方法，不仅实现了手指三模态稳定的特征融合，而且提供了一种通用的 特征表达方法，实现了手指三模态的统一表达；与现有技术相比，该方法利用 超像素块保留了图像有效信息以及包含更多感知信息的特性，通过并行网络实 现了节点归一化，以保证用于融合的手指三模态图特征尺寸一致，同时本发明 通过两种不同特征融合方法实现了特征的有效融合，进一步提高了手指三模态 的识别精度。
附图说明
[0050]
图1是本发明实施例提供的一种手指三模态融合识别方法流程示意图；
[0051]
图2是本发明实施例提供的原始手指指纹模态图像构建过程示意图；
[0052]
图3是本发明实施例提供的一种手指三模态融合识别过程结构示意图；
[0053]
图4是本发明实施例提供的分支网络结构示意图；
[0054]
图5是本发明实施例提供的通过竞争融合方法排序的示意图；
[0055]
图6是本发明实施例提供的通过竞争融合方法融合的示意图；
[0056]
图7是本发明实施例提供的分类网络结构示意图；
[0057]
图8是本发明实施例提供的一种手指三模态融合识别系统框图；
[0058]
图9是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
[0059]
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明 目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成 对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以 对本发明进行许多改变。
[0060]
本发明实施例提供了一种手指三模态融合识别方法、系统、设备及存储介 质，如图1所示，该方法包括：
[0061]
s1.对采集到的原始手指三模态图像进行超像素分割，得到超像素块。
[0062]
在一个实施例中，本实施例首先采集手指上的指纹、指静脉和指节纹三种 模态的图像，得到原始手指三模态图像，然后利用超像素分割算法对所述原始 手指三模态图像分别进行分割，得到若干超像素块；其中，所述原始手指三模 态图像包括原始手指指纹模态图像、原始手指指静脉模态图像、原始手指指节 纹模态图像。
[0063]
s2.将所述超像素块作为节点，构建手指三模态加权图。
[0064]
在一个实施例中，本实施例将获得的每一个超像素块作为一个节点，并利 用节点构建手指三模态加权图，本实施例根据各节点特征向量构建手指三模态 加权图的特征矩阵，根据节点间的连接关系a
ij
构建手指三模态加权图的邻接矩 阵a，在邻接矩阵a中，a
ij
＝1表示节点i与节点j之间直接连接，a
ij
＝0表示 节点i与节点j之间无连接。
[0065]
本实施例将节点对应的超像素块的像素强度值和质心空间坐标作为节点的 特征向量v
i
＝(m
i
，c
i
)，其中，所述超像素块的像素强度值为：
[0066][0067]
式中，m
i
表示第i个超像素块的像素强度值，n
i
表示第i个超像素块的像素 总数，p
n
表示在第i个超像素块中，第n个像素的像素值。
[0068]
所述超像素块的质心空间坐标为：
[0069][0070]
式中，c
i
表示第i个超像素块的质心空间坐标，(x
i
，y
i
)表示第i个超像素块 的原始质心坐标，s
max
表示所述手指三模态加权图尺寸的最大值，用于归一化 原始质心坐标。
[0071]
在本实施例中，所述超像素块是由一系列位置相邻且颜色、灰度、纹理等 特征相似的像素点组成的区域，不仅保留了原始手指三模态图像的有效信息， 使得基于超像素块构建的手指三模态加权图的图结构较为稳定，计算效率也较 高，而且含有更多的感知信息，在体现原始手指三模态图像的随机性上表现出 较好的效果，从而提高手指三模态的识别精度。
[0072]
在本实施例中，手指三模态加权图中的边描述的是节点之间的连接关系， 边权值为节点间的特征空间相似度，所述特征空间相似度为：
[0073][0074]
式中，b
ij
表示节点i和节点j之间的特征空间相似度，d
i
表示节点i的特征 向量，d
j
表示节点j的特征向量，σ为取值[0，1]的常数值。
[0075]
在本实施例中，所述手指三模态加权图包括手指指纹模态加权图、手指指 静脉模态加权图、手指指节纹模态加权图；为了便于说明，图2示出了原始手 指指纹模态图像构建过程示意图，本实施例首先将原始手指指纹模态图像分割 为若干超像素块，然后将超像素块作为节点构建手指指纹模态加权图，最后将 节点特征向量映射至三维空间，所述三维空间中的三个维度分别为对应超像素 块的质心空间坐标和像素强度值；本发明实施例通过节点特征向量更好地还原 了原始手指三模态图像的纹理特征，并将原始手指三模态图像的纹理特征表现 为边权值，进一步提高了手指三模态的识别精度。
[0076]
s3.将所述手指三模态加权图输入并行网络，对所述手指三模态加权图进行 节点归一化，得到手指三模态图特征。
[0077]
由于原始手指三模态图像尺度的不一致，导致了构建手指三模态加权图也 具有不同的尺度，这极大地影响了手指三模态加权图的融合，因此，为了有效 地融合手指三模态加权图，如图3所示，本实施例通过并行网络将三个模态的 加权图进行节点归一化，得到手指三模态图特征。
[0078]
在一个实施例中，所述并行网络包括三个具有相同网络结构的分支网络， 分别为第一分支网络、第二分支网络和第三分支网络；在本实施例中，每个分 支网络均包括依次连接的输入层、三个串联的第一卷积层、一个池化层以及输 出层，其中，所述卷积层用于提取和抽象手指三模态加权图的局部特征，如图4 所示，为了得到多个卷积层的语义信息，本实施例将三个卷积层输出的局部特 征信息进行concatenate(特征联合)操作。
[0079]
在本实施例中，所述池化层采用的是可微分的池化层，即diffpool层， diffpool层的具体操作为：首先进行一次卷积操作，然后进行池化操作，因 此，在实际应用中，每个分支网络虽然仅包含了三个卷积层，但进行了四次卷 积操作。
[0080]
本实施例通过三个串联卷积层不仅提取了多层次、多尺度的局部特征信息， 而且避免了特征过于平滑的问题。
[0081]
s4.根据预设条件选取融合方法，并利用选取的融合方法将所述手指三模态 图特征进行融合，得到融合特征。
[0082]
由于在手指三模态图特征中，每个节点都具有不同的特征信息和结构信息， 这使得每个节点在图中都具有不同的作用，也可以理解为每个节点在图中有不 同的重要性，为了高效地融合手指三模态图特征，本实施例将不同手指三模态 图特征中重要程度排名相同的节点进行融合，但是，由于在原始的节点排序中， 手指三模态图特征中重要程度排名相同的节点并不是一一对应的，因此，为了 融合重要程度排名相同的节点，本发明实施例针对节点的特征信息和结构信息， 选取了两种不同的融合方法对所述手指三模态图特征进行融合。
[0083]
在一个实施例中，所述融合方法包括竞争融合方法和特征向量中心度融合 方法；其中，所述竞争融合针对节点的特征信息对节点进行排序，并对最终的 节点排序进行特征
融合；所述特征向量中心度融合方法针对节点的结构信息对 节点进行排序，并对最终的节点排序进行特征融合。
[0084]
所述根据预设条件选取融合方法的步骤包括：
[0085]
检测用户设定的待识别时间，并对所述待识别时间进行判断，当检测到所 述待识别时间处于第一预设范围，则选取所述竞争融合方法；当检测到所述待 识别时间处于第二预设范围，则选取所述特征向量中心度融合方法。
[0086]
在本实施例中，所述第一预设范围优先选取0～0.3秒，所述第二预设范围 优先选取0.3～0.5秒，本领域技术人员可根据具体实施情况调整第一预设范围 和第二预设范围，不局限于本发明实施例。
[0087]
在本实施例中，竞争融合方法虽然计算简单、识别效率高，但是其识别的 准确率低于特征向量中心度融合方法，而特征向量中心度融合方法虽然识别效 率不如竞争融合方法，但是其可以更加准确地描述节点在图中的重要性，使得 整体识别性能更好，准确率更高，本领域技术人员还可根据对识别效率和识别 准确度的不同需求选取相应的竞争融合方法和特征向量中心度融合方法进行融 合。
[0088]
在一个实施例中，若选取所述竞争融合方法，则所述利用选取的融合方法 将所述手指三模态图特征进行融合，得到融合特征的步骤，包括：
[0089]
选取任一所述手指三模态图特征，对其单通道中的节点特征向量进行排序， 得到各通道的通道排序；
[0090]
对于任一节点，将其在各通道中的通道排序进行相加，得到节点排序向量；
[0091]
根据节点排序向量对所有节点进行排序，得到节点竞争排序；
[0092]
基于所述节点竞争排序，根据节点特征向量以及连接关系获取所述手指三 模态图特征的第一特征矩阵和第一邻接矩阵；
[0093]
将所述手指三模态图特征的第一特征矩阵进行融合，得到第一特征融合矩 阵；
[0094]
将所述手指三模态图特征的第一邻接矩阵进行融合，得到第一邻接融合矩 阵。
[0095]
在所述竞争融合方法中，所述融合特征包括第一特征融合矩阵以及第一邻 接融合矩阵。
[0096]
需要说明的是，在本实施例中，由于节点特征向量中的元素包括节点对应 的超像素块的像素强度值和质心空间坐标，而质心空间坐标包括x方向上的质 心空间坐标和y方向上的质心空间坐标，因此，在任一所述手指三模态图特征 中，通道包括像素强度值、x方向上的质心空间坐标以及y方向上的质心空间坐 标三个单通道，比如：本实施例在像素强度值单通道中，对某一所述手指三模 态图特征中的像素强度值进行排序，得到节点像素强度值在该单通道中的通道 排序。
[0097]
本实施例通过将所述手指三模态图特征的第一特征矩阵进行拼接，得到第 一特征融合矩阵，具体为：
[0098]
f
fusion
＝[f1，f2，f3]
[0099]
式中，f
fusion
为第一特征融合矩阵，f1、f2、f3分别为手指三模态图特征节 点排序之后得到的第一特征矩阵，其中，所述第一特征矩阵中的每一行代表一 个节点的特征向量。
[0100]
本实施例通过将所述手指三模态图特征的第一邻接矩阵进行相加，得到第 一邻接融合矩阵，具体为：
[0101]
a
fusion
＝a1+a2+a3[0102]
式中，a
fusion
为第一邻接融合矩阵，a1、a2、a3分别为手指三模态图特征 节点排序之后得到的第一邻接矩阵。
[0103]
为了便于理解，本实施例以两个手指模态图特征g1(a1，f1)、g2(a2， f2)通过竞争融合方法进行排序融合为例说明：
[0104]
如图5所示，在任一手指模态图特征中，本实施例在各个通道对节点v1、v2、 v3进行排序，得到通道排序，然后根据通道排序得到节点竞争排序，手指模态 图特征g1的节点竞争排序为v2、v3、v1，手指模态图特征g2的节点竞争排序 为v2、v1、v3，基于节点竞争排序，根据节点特征矩阵f1、f2分别获取两个手 指模态图特征g1、g2的第一特征矩阵，根据邻接矩阵a1、a2分别获取两个手 指模态图特征g1、g2的第一邻接矩阵；然后，在图6中，将两个模态图特征 对应的第一特征矩阵进行拼接，得到第一特征融合矩阵，将两个模态图特征对 应的第一邻接矩阵相加，得到第一邻接融合矩阵，第一特征融合矩阵和第一邻 接融合矩阵为新模态图特征g3的节点特征矩阵f3和邻接矩阵a3。
[0105]
本实施例通过竞争融合方法将所述手指三模态图特征进行融合，可以使所 述手指三模态图特征中重要性程度相同的节点融合为新节点，新节点的序号即 为节点的重要性程度排序，将重要性程度相同节点的边权值相加，可以进一步 强化节点之间的连接，对于重要性程度较高的节点，强化节点之间的连接可以 使其在网络中发挥更大的作用，提高后续识别的精度。
[0106]
特征向量中心度是衡量节点在图中作用的经典方法，节点的度仅简单测量 每个节点有多少个邻居节点，然而，这并不足以测量图中一个节点的重要性， 因为节点的度并不考虑邻节点的重要性，不同于节点的度，特征向量中心度能 够考虑节点邻居的重要性，因此，本实施例选取特征向量中心度融合方法进行 特征融合。
[0107]
在一个实施例中，若选取所述特征向量中心度融合方法，则所述利用选取 的融合方法将所述手指三模态图特征进行融合，得到融合特征的步骤，包括：
[0108]
计算各个节点特征向量中心度；
[0109]
根据所述特征向量中心度获取中心度向量；
[0110]
在本实施例中，特征向量中心度的计算公式为：
[0111][0112]
式中，λ表示一个比例常数，e
i
表示节点i的特征向量中心度，e
j
表示节点j 的特征向量中心度，a
ij
表示节点i与节点j之间的连接关系，a
ij
＝1表示节点i 与节点j之间直接连接，否则a
ij
＝0，i∈{1，......，n}。
[0113]
在本实施例中，中心度向量ec＝{e1，e2，......，e
n
}，经过多次迭代后到 达稳定状态时可写成如下矩阵形式：
[0114]
ec＝λ*a*ec
[0115]
中心度向量ec是邻接矩阵a对应特征值λ的特征向量，采用幂迭代算法计 算中心度向量ec，得到：
[0116]
ec
(t+1)
＝a*ec
t
[0117]
式中，t是迭代次数，直到归一化的ec
′
(t+1)
＝ec
′
t
为止。
[0118]
根据所述中心度向量对所有节点进行排序，得到节点中心度排序；
[0119]
基于所述节点中心度排序，根据节点特征向量以及连接关系获取所述手指 三模态图特征的第二特征矩阵以及第二邻接矩阵；
[0120]
将所述手指三模态图特征的第二特征矩阵进行融合，得到第二特征融合矩 阵，具体为：
[0121]
f
′
fusion
＝[f
′1，f
′2，f
′3]
[0122]
式中，f
′
fusion
为第二特征融合矩阵，f
′1、f
′2、f
′3分别为手指三模态图特 征节点排序之后得到的第二特征矩阵，其中，所述第二特征矩阵中的每一行代 表一个节点的特征向量，f
′
fusion
表示将三个模态图特征对应的第二特征矩阵连 接后的特征融合矩阵。
[0123]
将所述手指三模态图特征的第二邻接矩阵进行融合，得到第二邻接融合矩 阵，具体为：
[0124]
a
′
fusion
＝a
′1+a
′2+a
′3[0125]
式中，a
′
fusion
为第二邻接融合矩阵，a
′1、a
′2、a
′3分别为手指三模态图特 征节点排序之后得到的第二邻接矩阵。
[0126]
在所述特征向量中心度融合方法中，所述融合特征包括第二特征融合矩阵 以及第二邻接融合矩阵。
[0127]
本实施例通过将所述手指三模态图特征的第二特征矩阵进行拼接，将所述 手指三模态图特征的第二邻接矩阵进行相加，实现了节点特征融合，在本实施 例中，特征向量中心度融合方法对每个节点的结构重要性进行排序，并将不同 图特征中结构重要性相似的节点之间融合，融合后的图的结构特征得到了加强， 从而可以抵消部分噪声，尤其是特征噪声；另外，由于特征向量中心度融合方 法能够更准确地描述节点在图中的重要性，使得整体识别性能更好，因此，特 征向量中心度融合方法更适用高性能识别的需求。
[0128]
在本实施例中，所述竞争融合方法关注节点的特征信息，且对结构噪声不 敏感，本实施例在通过竞争融合方法进行融合时并没有依赖结构信息，从而避 免结构噪声对融合带来的影响，提高了识别的精度；所述特征向量中心度融合 方法关注节点的结构信息，且对特征噪声不敏感，本实施例在通过特征向量中 心度融合方法进行融合时可以避免特征噪声对融合带来的影响。
[0129]
s6.将所述融合特征输入分类网络，得到识别结果。
[0130]
本实施例将通过竞争融合方法或者特征向量中心度融合方法得到的融合特 征输入分类网络，得到识别结果，从而实现图分类。
[0131]
在一个实施例中，如图7所示，所述分类网络包括依次连接的三个第二卷 积层以及两个全连接层，所述分类网络采用softmax函数。
[0132]
本实施例提供的一种手指三模态融合识别方法，通过分别对获取的指纹、 指静脉和指节纹模态图像进行结构化表达，得到手指三模态加权图，通过并行 网络对手指三模态加权图进行节点归一化处理，得到手指三模态图特征，同时 通过竞争融合、特征向量中心度融合对所述手指三模态图特征进行融合，从而 实现手指三模态融合识别；本实施例提供的手指三模态融合识别方法可以充分 利用手指各个模态的优点，弥补单模态的不足之处，同时通过并行网络保证了 手指三模态图特征稳定的特征融合，从而提高手指三模态的识别精度与稳定性。
[0133]
需要说明的是，上述各过程的序号的大小并不意味着执行顺序的先后，各 过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过 程构成任何限定。
[0134]
在一个实施例中，如图8所示，提供了一种手指三模态融合识别系统，所 述系统包括：
[0135]
加权图构建模块101，用于对采集到的原始手指三模态图像进行超像素分割， 得到超像素块，同时将所述超像素块作为节点，构建手指三模态加权图；
[0136]
归一化处理模块102，用于将所述手指三模态加权图输入并行网络，对所述 手指三模态加权图进行节点归一化，得到手指三模态图特征；
[0137]
特征融合模块103，用于根据预设条件选取融合方法，并利用选取的融合方 法将所述手指三模态图特征进行融合，得到融合特征；
[0138]
特征识别模块104，用于将所述融合特征输入分类网络，得到识别结果；
[0139]
其中，所述融合方法包括竞争融合方法和特征向量中心度融合方法。
[0140]
关于一种手指三模态融合识别系统的具体限定可以参见上述对于一种手指 三模态融合识别方法的限定，此处不再赘述。本领域普通技术人员可以意识到， 结合本技术所公开的实施例描述的各个模块和步骤，能够以硬件、软件或者两 者结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的 特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法 来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0141]
与现有技术相比，本技术提供的一种手指三模态融合识别系统通过归一化 处理模块以及特征融合模块，解决了现有的手指三模态特征融合识别方法无法 实现稳定的特征融合，同时缺乏一种通用的特征表达方法的技术问题，实现了 手指三模态图特征的有效融合，并基于分类网络进行手指三模态的识别，本发 明实施例充分地利用了指纹、指静脉和指节纹三个模态的识别信息，有效地提 高了识别系统的准确性，识别率高。
[0142]
图9是本发明实施例提供的一种计算机设备，包括存储器、处理器和收发 器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并 可以将存储的数据传输给处理器，处理器可以执行存储器存储的程序指令，以 执行上述方法的步骤。
[0143]
其中，存储器可以包括易失性存储器或非易失性存储器，或可包括易失性 和非易失性存储器两者；处理器可以是中央处理器、微处理器、特定应用集成 电路、可编程逻辑器件或其组合。通过示例性但不是限制性说明，上述可编程 逻辑器件可以是复杂可编程逻辑器件、现场可编程逻辑门阵列、通用阵列逻辑 或其任意组合。
[0144]
另外，存储器可以是物理上独立的单元，也可以与处理器集成在一起。
[0145]
本领域普通技术人员可以理解，图9中示出的结构，仅仅是与本技术方案 相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的 限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某 些部件，或者具有相同的部件布置。
[0146]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程 序，计算机程序被处理器执行时实现上述方法的步骤。
[0147]
本发明实施例提供的一种手指三模态融合识别方法、系统、计算机设备及 存储介质，该方法通过并行网络实现了节点的归一化，保留了节点的结构信息， 从而提高手指三
模态的与稳定性，通过两种不同的融合方法进行特征的有效融 合，提高了识别精度；本实施例提供的方法通过指纹、指静脉和指节纹三个模 态进行身份鉴别，有利于凸显具有优势的手指模态特征，手指多模态特征融合 利用特征间的独立性和互补性，可以弥补单模态生物特征识别的不足，有效提 高身份鉴别的有效性和可靠性。
[0148]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组 合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实 现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行 所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功 能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编 程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算 机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可 以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、 数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、 服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取 的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数 据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介 质(例如，dvd)、或者半导体介质(例如ssd)等。
[0149]
本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可 以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算 机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例 的流程。
[0150]
以上所述实施例仅表达了本技术的几种优选实施方式，其描述较为具体和 详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本 技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做 出若干改进和替换，这些改进和替换也应视为本技术的保护范围。因此，本申 请专利的保护范围应以所述权利要求的保护范围为准。