一种端到端的手指三模态特征融合分类方法及装置

1.本发明涉及特征分类的技术领域，特别是涉及一种端到端的手指三模态特征融合分类方法及装置。


背景技术：

2.近年来，深度学习技术在计算机视觉领域的飞速发展，为多模态生物特征融合技术带来了新的发展机遇。基于深度学习的生物特征识别技术在多个公开数据集上进行了测试，均取得了非常优秀的识别效果，大大超越了传统算法。其中，卷积神经网络(convolutional neural network，cnn)模型在单模态生物特征识别相关技术中得到了广泛应用，从图像增强，特征提取，到提高算法的鲁棒性，cnn算法都取得了令人满意的效果。
3.但在手指多模态融合识别的研究中，基于深度学习的算法并未得到良好应用。由于采集环境和手指三模态自身特性的影响，手指三模态图像数据存在尺度不一致的现象；传统的融合算法往往通过简单地剪裁和比例归一化等方法来调整图像的大小，这种简单粗暴的方法容易破坏图像的整体结构，造成有用信息的缺失。


技术实现要素：

4.本发明要解决的技术问题是：提供一种端到端的手指三模态特征融合分类方法及装置，提高手指三模态的特征提取、融合和分类的效率，同时保证获取信息的全面性。
5.为了解决上述技术问题，本发明提供了一种端到端的手指三模态特征融合分类方法，包括：
6.基于手指三模态图像采集设备采集手指三模态图像，其中，所述手指三模态图像包括指静脉图像、指纹图像和指节纹图像；
7.对所述指静脉图像、所述指纹图像和所述指节纹图像分别构建基于卷积神经网络的特征提取模型，以使所述特征提取模型对应提取指静脉特征、指纹特征和指节纹特征，输出尺寸一致的指静脉特征、指纹特征和指节纹特征；
8.构建基于卷积神经网络的手指三模态特征融合模型，将提取出的所有特征输入到所述手指三模态特征融合模型中，以使所述手指三模态特征融合模型对所有特征进行融合，得到手指三模态融合特征，并基于全连接层输出手指三模态融合特征的特征向量；
9.将所述特征向量与预设特征向量集中的每个向量分别进行距离测量，根据距离测量结果，对所述手指三模态图像进行分类。
10.在一种可能的实现方式中，基于手指三模态图像采集设备采集手指三模态图像，具体为：
11.所述手指三模态图像采集设备包括指节纹采集摄像头、指静脉采集摄像头、指纹采集仪和近红外光源；
12.当接收到图像采集指令时，控制所述指节纹采集摄像头采集指节纹图像，控制所述指纹采集仪采集指纹图像，同时控制所述指静脉采集摄像头采集指静脉图像，并在采集
所述指静脉图像时，开启所述近红外光源。
13.在一种可能的实现方式中，对所述指静脉图像、所述指纹图像和所述指节纹图像分别构建基于卷积神经网络的特征提取模型，具体为：
14.对所述指静脉图像构建基于卷积神经网络的指静脉特征提取模型，其中，所述指静脉特征提取模型包括六个卷积层；
15.对所述指纹图像构建基于卷积神经网络的指纹特征提取模型，其中，所述指纹特征提取模型包括四个卷积层；
16.对所述指节纹图像构建基于卷积神经网络的指节纹特征提取模型，其中，所述指节纹特征提取模型包括六个卷积层。
17.在一种可能的实现方式中，所述构建基于卷积神经网络的手指三模态特征融合模型，将提取出的所有特征输入到所述手指三模态特征融合模型中，以使所述手指三模态特征融合模型对所有特征进行融合，得到手指三模态融合特征，具体为：
18.构建基于卷积神经网络的手指三模态特征融合模型，其中，所述手指三模态特征融合模型包括两个卷积层；
19.将所述指静脉特征、所述指纹特征和所述指节纹特征输入到所述手指三模态特征融合模型中，以使所述手指三模态特征融合模型中的每一个卷积层分别对所述指静脉特征、所述指纹特征和所述指节纹特征进行多通道卷积操作，得到手指三模态融合特征。
20.在一种可能的实现方式中，根据距离测量结果，对所述手指三模态图像进行分类，具体为：
21.获取特征向量与预设特征向量集中的每个向量的距离测量结果，生成距离测量结果数据集，其中，所述预设特征向量集中每个向量包含预设的标签信息；
22.获取所述距离测量结果数据集中的最小值，判断所述最小值是否小于预设阈值，若是，则将所述最小值对应的预设特征向量集中向量的标签信息设置为所述特征向量的标签信息，若否，则对所述特征向量进行标签自定义设置。
23.本发明实施例还提供了一种端到端的手指三模态特征融合分类装置，包括：图像采集模块、手指三模态特征提取模块、手指三模态特征融合模块和分类模块；
24.其中，所述图像采集模块，用于基于手指三模态图像采集设备采集手指三模态图像，其中，所述手指三模态图像包括指静脉图像、指纹图像和指节纹图像；
25.所述手指三模态特征提取模块，用于对所述指静脉图像、所述指纹图像和所述指节纹图像分别构建基于卷积神经网络的特征提取模型，以使所述特征提取模型对应提取指静脉特征、指纹特征和指节纹特征，输出尺寸一致的指静脉特征、指纹特征和指节纹特征；
26.所述手指三模态特征融合模块，用于构建基于卷积神经网络的手指三模态特征融合模型，将提取出的所有特征输入到所述手指三模态特征融合模型中，以使所述手指三模态特征融合模型对所有特征进行融合，得到手指三模态融合特征，并基于全连接层输出手指三模态融合特征的特征向量；
27.所述分类模块，用于将所述特征向量与预设特征向量集中的每个向量分别进行距离测量，根据距离测量结果，对所述手指三模态图像进行分类。
28.在一种可能的实现方式中，所述图像采集模块，用于基于手指三模态图像采集设备采集手指三模态图像，具体为：
29.所述手指三模态图像采集设备包括指节纹采集摄像头、指静脉采集摄像头、指纹采集仪和近红外光源；
30.当接收到图像采集指令时，控制所述指节纹采集摄像头采集指节纹图像，控制所述指纹采集仪采集指纹图像，同时控制所述指静脉采集摄像头采集指静脉图像，并在采集所述指静脉图像时，开启所述近红外光源。
31.在一种可能的实现方式中，所述手指三模态特征提取模块，用于对所述指静脉图像、所述指纹图像和所述指节纹图像分别构建基于卷积神经网络的特征提取模型，具体为：
32.对所述指静脉图像构建基于卷积神经网络的指静脉特征提取模型，其中，所述指静脉特征提取模型包括六个卷积层；
33.对所述指纹图像构建基于卷积神经网络的指纹特征提取模型，其中，所述指纹特征提取模型包括四个卷积层；
34.对所述指节纹图像构建基于卷积神经网络的指节纹特征提取模型，其中，所述指节纹特征提取模型包括六个卷积层。
35.在一种可能的实现方式中，所述手指三模态特征融合模块，用于构建基于卷积神经网络的手指三模态特征融合模型，将提取出的所有特征输入到所述手指三模态特征融合模型中，以使所述手指三模态特征融合模型对所有特征进行融合，得到手指三模态融合特征，具体为：
36.构建基于卷积神经网络的手指三模态特征融合模型，其中，所述手指三模态特征融合模型包括两个卷积层；
37.将所述指静脉特征、所述指纹特征和所述指节纹特征输入到所述手指三模态特征融合模型中，以使所述手指三模态特征融合模型中的每一个卷积层分别对所述指静脉特征、所述指纹特征和所述指节纹特征进行多通道卷积操作，得到手指三模态融合特征。
38.在一种可能的实现方式中，所述分类模块，用于根据距离测量结果，对所述手指三模态图像进行分类，具体为：
39.获取特征向量与预设特征向量集中的每个向量的距离测量结果，生成距离测量结果数据集，其中，所述预设特征向量集中每个向量包含预设的标签信息；
40.获取所述距离测量结果数据集中的最小值，判断所述最小值是否小于预设阈值，若是，则将所述最小值对应的预设特征向量集中向量的标签信息设置为所述特征向量的标签信息，若否，则对所述特征向量进行标签自定义设置。
41.本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的手指三模态特征融合分类方法。
42.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的手指三模态特征融合分类方法。
43.本发明实施例一种端到端的手指三模态特征融合分类方法及装置，与现有技术相比，具有如下有益效果：
44.通过基于手指三模态图像采集设备采集手指三模态图像，并对指静脉图像、指纹图像和指节纹图像分别构建基于卷积神经网络的特征提取模型，以使所述特征提取模型对
应提取指静脉特征、指纹特征和指节纹特征，避免了现有技术中因手指三模态图像数据的尺寸不一致，而对图像数据进行裁剪或比例归一化来调整图像大小，导致图像信息缺失的问题。同时通过特征提取模型输出尺寸一致的指静脉特征、指纹特征和指节纹特征；将提取出的所有特征输入到构建的基于卷积神经网络的手指三模态特征融合模型中，以使所述手指三模态特征融合模型对所有特征进行融合，实现手指三模态特征的融合，并基于全连接层输出手指三模态融合特征的特征向量，最后基于特征向量之间的距离，实现对特征向量的分类。与为现有技术相比，本发明基于对指静脉图像、指纹图像和指节纹图像分别构建基于卷积神经网络的特征提取模型，避免因尺寸问题对输入的原始图像进行裁剪或比例归一化，保证了卷积神经网络能够从不同尺寸的手指三模态原始图像中提取特征，同时，构建基于卷积神经网络的特征提取模型和手指三模态特征融合模型，通过端到端的运算方式实现手指三模态的特征提取、融合与分类，提高手指三模态的特征提取、融合和分类的效率。
附图说明
45.图1是本发明提供的一种端到端的手指三模态特征融合分类方法的一种实施例的流程示意图；
46.图2是本发明提供的一种端到端的手指三模态特征融合分类装置的一种实施例的结构示意图；
47.图3是本发明实施例提供的手指三模态图像采集设备的结构示意图；
48.图4是本发明实施例提供的指节纹图像示意图；
49.图5是本发明实施例提供的指静脉图像示意图；
50.图6是本发明实施例提供的指纹图像示意图；
51.图7是本发明实施例提供的特征提取模型的结构示意图；
52.图8是本发明实施例提供的手指三模态特征融合模型的结构示意图。
具体实施方式
53.下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.实施例1
55.参见图1，图1是本发明提供的一种端到端的手指三模态特征融合分类方法的一种实施例的流程示意图，如图1所示，该方法包括步骤101－步骤104，具体如下：
56.步骤101：基于手指三模态图像采集设备采集手指三模态图像，其中，所述手指三模态图像包括指静脉图像、指纹图像和指节纹图像。
57.一实施例中，由于手指的指纹、指静脉和指节纹具有一定的空间连接关系，基于该空间连接关系设置手指三模态图像采集设备，手指三模态图像采集设备的结构如图3所示，该手指三模态图像采集设备包括指节纹采集摄像头、指静脉采集摄像头、指纹采集仪和近红外光源。其中，指节纹采集摄像头为双目摄像头，该双目摄像头上安装了红外截止滤光片；指静脉采集摄像头上安装了760mm－850mm的带通滤光片，指静脉采集摄像头通过搭配
760mm－850mm的近红外光源，用于采集指静脉图像；指节纹采集摄像头和指静脉采集摄像头设置在近红外光源的上方。
58.一实施例中，当接收到图像采集指令时，控制所述指节纹采集摄像头采集指节纹图像，采集到的指节纹图像如图4所示；同时通过开启近红外光源，控制所述静脉采集摄像头采集指静脉图像，采集到的指静脉图像如图5所示；还直接将手指指纹区域放置在采集仪上，控制所述指纹采集仪采集指纹图像，采集到的指纹图像如图6所示。
59.优选的，对于指节纹图像、指静脉图像和指纹图像的获取，是同时进行的，只需将手指放置在手指三模态图像采集设备上，即可完成对三个图像的获取。
60.一实施例中，采集的指节纹图像的尺寸为200
×
90像素，采集的指静脉图像的尺寸为91
×
200像素，采集的指纹图像的尺寸为152
×
152像素。
61.步骤102：对所述指静脉图像、所述指纹图像和所述指节纹图像分别构建基于卷积神经网络的特征提取模型，以使所述特征提取模型对应提取指静脉特征、指纹特征和指节纹特征，输出尺寸一致的指静脉特征、指纹特征和指节纹特征。
62.一实施例中，由于采集到的指静脉图像、指纹图像和指节纹图像的尺寸各不相同，因此，需要对指静脉图像、指纹图像和指节纹图像分别构建对应的特征提取模型，避免了现有技术中因手指三模态图像数据的尺寸不一致，而对图像进行裁剪或比例归一化来调整图像大小，导致图像信息缺失的问题。
63.一实施例中，对所述指静脉图像构建基于卷积神经网络的指静脉特征提取模型，其中，所述指静脉特征提取模型包括六个卷积层，每个卷积层选用非对称型卷积核；对所述指纹图像构建基于卷积神经网络的指纹特征提取模型，其中，所述指纹特征提取模型包括四个卷积层，每个卷积层选用对称型卷积核；对所述指节纹图像构建基于卷积神经网络的指节纹特征提取模型，其中，所述指节纹特征提取模型包括六个卷积层，每个卷积层选用非对称型卷积核。特征提取模型的结构如图7所示。
64.一实施例中，对于对称型卷积核和非对称型卷积核的选取，是基于获取的二维数据在x轴方向和y轴方向的信息密度是否对称进行选取的；当x轴方向和y轴方向信息密度对称时，选用对称型卷积核；当x轴方向和y轴方向信息密度不对称，其信息密度偏向于某一方向时，选用非对称型卷积核，以使侧重于提取信息密度较大方向的特征，使得提取的图像特征数据更准确。
65.一实施例中，指静脉特征提取模型、指纹特征提取模型和指节纹特征提取模型中的每一个卷积层分别对输入图像进行特征提取。
66.一实施例中，将步骤101中采集到的指静脉图像作为指静脉特征提取模型的输入，将步骤101中采集到的指纹图像作为指纹特征提取模型的输入；将步骤101中采集到的指节纹图像作为指节纹特征提取模型的输入。
67.一实施例中，由于特征提取模型为卷积神经网络模型，而卷积神经网络的输入层是由输入数据构成的，其输入通道数由输入数据的维度决定。本实施例中，步骤101中采集的指纹图像、指静脉图像和指节纹图像为灰度图，基于此，单个特征提取模型的输入层仅需设计一个通道，用于输入灰度图数据。
68.一实施例中，构建的特征提取模型包含多个卷积层，其中，每个卷积层后面包含池化层，且池化层后面还包括批归一化层。
69.一实施例中，为了提高卷积神经网络的训练效率，在特征提取模型的池化层后面构建批归一化层，具体的，网络训练过程中设置输入数据的最小批数，根据批归一化处理公式，对模型中每个卷积层的输出进行独立的批归一化处理，其中，批归一化处理公式为：
[0070][0071][0072][0073]
其中，j代表第j个特征，m为输入数据最小批数，uj为批数据的平均值，为批数据的方差，为批数据的归一化结果。
[0074]
一实施例中，由于对输入数据进行批归一化处理，使得特征具有相同的分布属性，避免了上层网络需要不停调整来适应输入数据分布变化的问题，提高了数据处理效率。
[0075]
一实施例中，在批归一化层还引入了可以学习的参数γ与β，可以有效地恢复数据本身的表达能力，用于对批归一化处理后的特征进行线性变换，基于设置γ2＝σ2，β＝u；实现了等价变换并保留了原始输入特征的分布信息。
[0076]
一实施例中，由于单个卷积层中包含多个卷积核，导致卷积层提取多个特征，因此，将特征提取模型的输入层后的卷积层设置为多通道卷积层，以满足多个特征输入的需要。
[0077]
作为本实施例中的一种举例说明，对三通道卷积层进行卷积操作时，将卷积层上的卷积核看做一个立方体，每个立方体由三个相同尺寸的二维卷积核构成。将立方体中的数字与其对应通道对应位置上的数字进行卷积，然后再将三个维度上卷积得到的数字相加就得到输出特征的第一个数据，基于从上往下，从左往右的顺序进行移动扫描，依次完成整个图像的卷积，得到每个卷积层提取的特征。
[0078]
一实施例中，由于每个特征提取模型中的卷积核的数量不同，导致输出的特征的维度也会不同，因此，本实施例中，还基于预设公式，计算特征的维度，具体的，在卷积过程中对padding方式选用valid；预设公式如下所示：
[0079][0080]
其中，h和w为输入图像的长和宽，n为卷积核数，卷积核的大小为k1×
k2×
3，h1和w1分别为输出的特征的长和宽，s1和s2分别为卷积过程中不同方向上的移动步长。
[0081]
一实施例中，在卷积层后设置池化层，在每一个卷积层提取到特征后，还需要将所有的特征放入到池化层中进行池化操作，以使提取主要特征；具体的，基于提取指纹特征、指静脉特征和指节纹特征的每层卷积层的卷积核的尺寸，配合池化层中设置的移动步长，用来调整特征的尺寸，以使得到尺寸一致的指纹特征、指节纹特征和指静脉特征。
[0082]
作为本实施例中的一种举例说明，设置前一层输出特征的尺寸为h1xw1，其中，w1为
前一层输出特征的宽，h1为前一层输出特征的长，卷积核的尺寸为k1×
k2，s为池化操作中的移动步长；且在进行池化操作后输出的尺寸一致的图像大小为w2×
h2：
[0083][0084]
本实施例，可针对构建的基于卷积神经网络的指静脉特征提取模型、指纹特征提取模型和指节纹特征提取模型分别设置不同的卷积核的尺寸、池化层中设置不同的池化核配合不同方向上的移动步长，使得构建的基于卷积神经网络的指静脉特征提取模型、指纹特征提取模型和指节纹特征提取模型输出尺寸一致的手指三模态特征。
[0085]
步骤103：构建基于卷积神经网络的手指三模态特征融合模型，将提取出的所有特征输入到所述手指三模态特征融合模型中，以使所述手指三模态特征融合模型对所有特征进行融合，得到手指三模态融合特征，并基于全连接层输出手指三模态融合特征的特征向量。
[0086]
一实施例中，构建的手指三模态特征融合模型为卷积神经网络模型，手指三模态特征融合模型的结构示意图如图8所示，其中，手指三模态特征融合模型包括两个卷积层，所有卷积层均选用对称型卷积核。且手指三模态特征融合模型的输入为步骤102中得到的所有特征，因此，设置手指三模态特征融合模型的第一个卷积层为多通道卷积，同样可知，由于第一层卷积设置了多个卷积核，第二个卷积层也是多通道卷积。
[0087]
一实施例中，将步骤102中得到的所有特征输入到所述手指三模态特征融合模型中，卷积层的操作就是对输入的所有特征中的每一个像素位置进行非线性变换，并映射成新值；具体的，卷积核的权重为a，特征图的每个像素用向量x表示，n为感受野内像素个数，则该位置卷积结果如下述公式所示：
[0088][0089]
其中，b为偏置，f为激活函数。
[0090]
一实施例中，对于构建的手指三模态特征融合模型，手指三模态特征融合模型中的每个卷积层后面均包含池化层；且为了提高网络的训练效率，同样需要在在池化层后面构建批归一化层，其中，对于构建的批归一化层的操作，请参考上述步骤102中，对特征提取模型的池化层后面构建批归一化层的操作，在此不再进行详细叙述。
[0091]
一实施例中，基于手指三模态特征融合模型的每个卷积层对输入的特征进行多通道卷积操作，得到手指三模态融合特征，并将所述手指三模态融合特征展开成为一维特征向量。
[0092]
一实施例中，将手指三模态融合特征转换为一维的特征向量输入到全连接层，具体的，将手指三模态融合特征与全连接层的所有节点进行连接，以使将提取到的特征信息进行综合，较大程度的保证了后续进行特征分类的准确性。
[0093]
步骤104：将所述特征向量与预设特征向量集中的每个向量分别进行距离测量，根据距离测量结果，对所述手指三模态图像进行分类。
[0094]
一实施例中，基于用户需求设置预设特征向量集，其中，预设特征向量集中的每个向量对应一个标签信息。
[0095]
一实施例中，将步骤103中得到的特征向量分别与所述预设特征向量集中的每个
向量分别进行距离测量，其中，向量之间进行距离测量可选用欧式距离、曼哈顿距离等方法进行计算。
[0096]
一实施例中，获取特征向量与预设特征向量集中的每个向量的距离测量结果，生成距离测量结果数据集，获取距离测量结果数据集中的最小值，判断所述最小值是否小于预设阈值，若是，则将该最小值对应的预设特征向量集中的向量的标签信息设置为特征向量的标签信息，实现对特征向量的分类；若否，则判断该特征向量为新特征向量，对所述特征向量进行标签自定义设置，形成新标签信息。
[0097]
综上，本实施例提供的一种端到端的手指三模态特融合分类方法，通过手指三模态图像采集设备采集手指三模态图像，并对指静脉图像、指纹图像和指节纹图像分别构建基于卷积神经网络的特征提取模型，以使所述特征提取模型对应提取指静脉特征、指纹特征和指节纹特征，避免了现有技术中因手指三模态图像数据的尺寸不一致，而对图像数据进行裁剪或比例归一化来调整图像大小，导致图像信息缺失的问题。同时通过特征提取模型输出尺寸一致的指静脉特征、指纹特征和指节纹特征；将提取出的所有特征输入到构建的手指三模态特征融合模型中，以使所述手指三模态特征融合模型对所有特征进行融合，实现手指三模态的特征融合，并基于全连接层输出手指三模态融合特征的特征向量，最后基于特征向量之间的距离，实现对特征向量的分类。与现有技术相比，本发明基于对指静脉图、指纹图和指节纹图分别构建基于卷积神经网络的特征提取模型，避免因尺寸问题对输入的原始图像进行裁剪或比例归一化，保证了卷积神经网络能够从不同尺寸的手指三模态原始图像中提取特征，同时，基于构建特征提取模型和手指三模态特征融合模型，通过端到端的运算方式实现手指三模态的特征提取、融合与分类，提高手指三模态的特征提取、融合和分类的效率。
[0098]
实施例2
[0099]
参见图2，图2是本发明提供的一种端到端的手指三模态特征融合分类装置的一种实施例的结构示意图，如图2所示，该结构包括图像采集模块201、手指三模态特征提取模块202、手指三模态特征融合模块203和分类模块204，具体如下：
[0100]
图像采集模块201，用于基于手指三模态图像采集设备采集手指三模态图像，其中，所述手指三模态图像包括指静脉图像、指纹图像和指节纹图像。
[0101]
手指三模态特征提取模块202，用于对所述指静脉图像、所述指纹图像和所述指节纹图像分别构建基于卷积神经网络的特征提取模型，以使所述特征提取模型对应提取指静脉特征、指纹特征和指节纹特征，输出尺寸一致的指静脉特征、指纹特征和指节纹特征。
[0102]
手指三模态特征融合模块203，用于构建基于卷积神经网络的手指三模态特征融合模型，将提取出的所有特征输入到所述手指三模态特征融合模型中，以使所述手指三模态特征融合模型对所有特征进行融合，得到手指三模态融合特征，并基于全连接层输出手指三模态融合特征的特征向量。
[0103]
分类模块204，用于将所述特征向量与预设特征向量集中的每个向量分别进行距离测量，根据距离测量结果，对所述手指三模态图像进行分类。
[0104]
一实施例中，图像采集模块201，用于基于手指三模态图像采集设备采集手指三模态图像，具体的，所述手指三模态图像采集设备包括指节纹采集摄像头、指静脉采集摄像头、指纹采集仪和近红外光源；当接收到图像采集指令时，控制所述指节纹采集摄像头采集
指节纹图像，控制所述指纹采集仪采集指纹图像，同时控制所述指静脉采集摄像头采集指静脉图像，并在采集所述指静脉图像时，开启所述近红外光源。
[0105]
一实施例中，手指三模态特征提取模块202，用于对所述指静脉图像、所述指纹图像和所述指节纹图像分别构建基于卷积神经网络的特征提取模型，具体的，对所述指静脉图像构建基于卷积神经网络的指静脉特征提取模型，其中，所述指静脉特征提取模型包括六个卷积层；对所述指纹图像构建基于卷积神经网络的指纹特征提取模型，其中，所述指纹特征提取模型包括四个卷积层；对所述指节纹图像构建基于卷积神经网络的指节纹特征提取模型，其中，所述指节纹特征提取模型包括六个卷积层。
[0106]
一实施例中，所述手指三模态特征融合模块203，用于构建基于卷积神经网络的手指三模态特征融合模型，将提取出的所有特征输入到所述手指三模态特征融合模型中，以使所述手指三模态特征融合模型对所有特征进行融合，得到手指三模态融合特征；具体的，构建基于卷积神经网络的手指三模态特征融合模型，其中，所述手指三模态特征融合模型包括两个卷积层；将所述指静脉特征、所述指纹特征和所述指节纹特征输入到所述手指三模态特征融合模型中，以使所述手指三模态特征融合模型中的每一个卷积层分别对所述指静脉特征、所述指纹特征和所述指节纹特征进行多通道卷积操作，得到手指三模态融合特征。
[0107]
一实施例中，分类模块204，用于根据距离测量结果，对所述手指三模态图像进行分类，具体的，获取特征向量与预设特征向量集中的每个向量的距离测量结果，生成距离测量结果数据集，其中，所述预设特征向量集中每个向量包含预设的标签信息；获取所述距离测量结果数据集中的最小值，判断所述最小值是否小于预设阈值，若是，则将所述最小值对应的预设特征向量集中向量的标签信息设置为所述特征向量的标签信息，若否，则对所述特征向量进行标签自定义设置。
[0108]
所属技术领域的技术人员可以清楚地了解到，为方便的描述和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0109]
进一步的，本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例所述的手指三模态特征融合分类方法。
[0110]
进一步的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例所述的手指三模态特征融合分类方法。
[0111]
综上，本发明一种端到端的手指三模态特征融合分类方法及装置，通过基于手指三模态图像采集设备采集手指三模态图像，对手指三模态图像中的指静脉图像、指纹图像和指节纹图像分别构建基于卷积神经网络的特征提取模型，用于提取手指三模态特征，将提取的手指三模态特征输入到构建的手指三模态特征融合模型中进行融合，得到手指三模态融合特征，并基于全连接层输出手指三模态融合特征的特征向量；并根据特征向量分别与预设特征向量集中的向量的距离测量结果实现分类。与现有技术相比，本发明的技术方案通过构建基于卷积神经网络的特征提取模型，保证了卷积神经网络能够从不同尺寸的手指三模态原始图像中提取特征，同时，基于手指三模态特征融合模型，能够实现对指静脉、指纹和指节纹特征的融合，基于端到端的运算方式提高了对整个流程的运算效率。
[0112]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。