基于规则图的手指静脉图像识别方法、装置及存储介质与流程

本发明涉及图像识别技术领域，尤其是涉及一种基于规则图的手指静脉图像识别方法、装置及存储介质。

背景技术：

经过不断的创新与应用，生物特征识别技术已与我国社会经济发展实现了深度融合。其中，手指静脉因具有多种优势成为了生物特征识别领域的研究热点。手指静脉图像是通过近红外光透射手指，利用图像传感器获得的。由于生物组织如皮肤、肌肉、汗腺、骨骼、脂肪、组织液、血液等对近红外光有不同的吸收、散射和折射作用，获取的手指静脉图像不仅含有血管影像也包含其它生物组织的影像。

近年来图神经网络不断发展，图神经网络在社交网络、推荐系统等领域均取得了较好的应用效果。众所周知，卷积神经网络在图像(image)、文本等欧式空间数据上取得了非常好的效果。但是，由于图数据(graph)是非欧几里得域的数据，结点的邻域结点是随机连接的，结点的邻居结点的数目是不确定的，卷积神经网络的核心技术——局部感受野无法在图数据上应用。

技术实现要素：

针对上述技术问题，本发明提供了一种基于规则图的手指静脉图像识别方法、装置及存储介质，将图数据转化为规范的图结构数据，并基于图结构数据，使卷积神经网络能够识别手指静脉图。所述技术方案如下：

第一方面，本发明实施例提供了一种基于规则图的手指静脉图像识别方法，步骤包括：

获取手指静脉图像并转化为构成不规则结构图的图数据；

对所述图数据进行分割并重新连接成图结构数据；

将所述图结构数据输入图卷积神经网络，以完成手指静脉图像识别。

在本发明第一方面的第一种可能的实现方式中，所述获取手指静脉图像并转化为图数据，具体为：

利用构图算法将获取到的手指静脉图像解析为多结点连接而成的不规则结构图；

对所述结构图中的所有结点进行编号，得到所述不规则结构图的邻接矩阵和特征矩阵。

在本发明第一方面的第二种可能的实现方式中，所述对所述图数据进行分割并重新连接成规则的图结构数据，具体为

将不规则结构图分割成多个包括若干结点的小图；

按照设定的连接规则调整每一所述小图的结点；

连接所有小图以生成图结构数据。

在本发明第一方面的第三种可能的实现方式中，所述将不规则结构图分割成多个包括若干结点的小图，具体为：

将邻接矩阵切分为包含设定结点数的邻接矩阵，同时将特征矩阵切分为包含设定结点数的特征矩阵。

在本发明第一方面的第四种可能的实现方式中，所述按照设定的连接规则调整每一所述小图的结点，具体为：

根据每一所述小图的结点编号，生成对应的邻接矩阵；

若所述邻接矩阵的某一列的非零元素小于两个，则增加非零元素；

若所述邻接矩阵的某一列的非零元素大于两个，则对元素进行排序。

在本发明第一方面的第五种可能的实现方式中，所述连接所有小图以生成图结构数据，包括：

将所有小图按顺序进行排列，对小图的相邻结点之间添加连接权重；所述连接权重通过计算相邻结点之间的特征相似度得到。

在本发明第一方面的第六种可能的实现方式中，所述将不规则结构图分割成多个包括若干结点的小图，其中，每一所述小图包含的结点数量为正整数的平方。

在本发明第一方面的第七种可能的实现方式中，所述图卷积神经网络，

根据输入图的结点的一阶邻域，通过卷积操作提取输入图的局部特征；

通过池化层整合池化感受野中的结点信息，以形成池化后的结点特征。

第二方面，本发明实施例提供了一种基于规则图的手指静脉图像识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于规则图的手指静脉图像识别方法。

第三方面，本发明实施例提供了一种基于规则图的手指静脉图像识别方法的存储介质，所述基于规则图的手指静脉图像识别方法的存储介质用于存储一个或多个计算机程序，所述一个或多个计算机程序包括程序代码，当所述计算机程序在计算机上运行时，所述程序代码用于执行上述基于规则图的手指静脉图像识别方法。

相比于现有技术，本发明实施例具有如下有益效果：

本发明提供了一种基于规则图的手指静脉图像识别方法、装置及存储介质，先将获取到的手指静脉图像转化为构成不规则结构图的图数据，从而把手指静脉图点集的抽象方式与指静脉图像的随机特性结合起来，最大程度地体现生物组织分布的随机性；但是，不规则结构图的图数据难以利用图卷积神经网络进行识别，需要根据变换规则将图数据转化为规范的图结构数据，最后利用图卷积神经网络进行识别，因此本方案能够保证手指静脉特征的区分性同时使识别性能得到提升。

附图说明

图1是本发明实施例中的一种基于规则图的手指静脉图像识别方法的步骤流程图；

图2是本发明实施例中的一种基于规则图的手指静脉图像识别方法的不规则结构图的示意图；

图3是本发明实施例中的一种基于规则图的手指静脉图像识别方法的分割手法示意图；

图4是本发明实施例中的一种基于规则图的手指静脉图像识别方法的将小图规则化处理的效果图；

图5是本发明实施例中的一种基于规则图的手指静脉图像识别方法的具备规范结构的模板图；

图6是本发明实施例中的一种基于规则图的手指静脉图像识别方法的小图连接的效果图；

图7是本发明实施例中的一种基于规则图的手指静脉图像识别方法的图卷积神经网络执行卷积的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明提供一种示例性实施例，一种基于规则图的手指静脉图像识别方法，步骤包括：

获取手指静脉图像并转化为构成不规则结构图的图数据；

对所述图数据进行分割并重新连接成图结构数据；

将所述图结构数据输入图卷积神经网络，以完成手指静脉图像识别。

可以理解的是，所述不规则结构图指的是，利用构图算法将手指静脉图像转化为，类似于拓扑图，包括若干结点并由结点连接关系构成的图像，该图像可反映手指静脉的轮廓，但是，由于构图算法的局限性，此时图中的结点连接无规律可循，这就使得很多在其他类型数据上有效算法在图数据上无法进行。

所述获取手指静脉图像并转化为图数据，具体为：

利用构图算法将获取到的手指静脉图像解析为多结点连接而成的不规则结构图；

对所述结构图中的所有结点进行编号，得到所述不规则结构图的邻接矩阵和特征矩阵。

在实际运算过程中，图数据可用邻接矩阵与结点特征矩阵进行表示。

请参见图2，本发明提供一种具体的实施例，在获取到图像传感器采集所得的原始手指静脉图像后，还需要对该手指静脉图像进行图像处理。本实施例采用构图算法根据手指静脉图像得到不规则结构图，图中结点数为n，结点的特征为维度为v的向量，对所述结构图中的所有结点进行编号，得到该图的邻接矩阵为n*n的矩阵l，其中矩阵的元素为对应边的权重；该图的特征矩阵为n*v的矩阵t，其中第i行为第i个结点的特征。

具体地，所述邻接矩阵l表示为：

所述特征矩阵t表示为：

所述对所述图数据进行分割并重新连接成规则的图结构数据，具体为

将不规则结构图分割成多个包括若干结点的小图；

按照设定的连接规则调整每一所述小图的结点；所述调整方式包括但不限于增加或删减、重新排序等等。

连接所有小图以生成图结构数据。

优选地，所述将不规则结构图分割成多个包括若干结点的小图，其中，每一所述小图包含的结点数量为正整数的平方。

请参见图3，在本实施例中，每9个结点分割成一个小图，即，原来的不规则结构图可切分为四个小图，每个小图包含9个结点，第一个小图由编号为1～9的结点组成，第二个小图由编号为10～18的结点组成，以此类推。

本发明提供一种具体的实施例，所述将不规则结构图分割成多个包括若干结点的小图，具体为：

将邻接矩阵切分为包含设定结点数的邻接矩阵，同时将特征矩阵切分为包含设定结点数的特征矩阵。

分割出的第一个小图的邻接矩阵l1为：

分割出的第一个小图的特征矩阵t1为：

可以理解的是，每个小图中结点之间的关系这一步并未破坏，则每个小图的邻接矩阵li和特征矩阵ti中的元素可直接从大规模图中取出。

请参见图4、5，由于不同的连接规则会产生多种邻接矩阵，因此需要限定一种规则化模板。

本发明提供一种具体实施例，所述按照设定的连接规则调整每一所述小图的结点，具体为：

根据每一所述小图的结点编号，生成对应的邻接矩阵；

若所述邻接矩阵的某一列的非零元素小于两个，则增加非零元素；

可以理解的是，所述邻接矩阵的某一列的非零元素小于两个，则增加非零元素，代表了所述邻接矩阵对应的小图补上哑结点，该哑结点只是为了补充结构完整性，并无实际意义。

若所述邻接矩阵的某一列的非零元素大于两个，则对元素进行排序。

其中一种实施方式为，根据一定的规则对结点进行排序，选择排序靠前2位的结点作为相应位置的结点，而相应的连接边的权重值和结点的特征则可根据该结点的所有连接点之间的关系计算。

需要说明的是，本实施例中，邻接矩阵中，元素值为1，代表相应结点与其他结点有连接；第一列代表了编号为1的结点。详细地，以某一小图的第一个结点1为例，该小图的邻接矩阵为tem_t：

由于邻接矩阵是沿对角线对称的，因此我们只需要关注矩阵tem_t的下三角矩阵即可，取li中第一列元素，代表了与第i个小图中的编号为1的结点有连接的结点，且元素值代表了连接权重，即元素值为1的地方代表相应结点有连接。

tem_t第一列的第二、第四行的元素值为1，代表了编号为1的结点与编号为2和4的结点相连。

请参见图6，将所有小图按顺序进行排列，对小图的相邻结点之间添加连接权重；所述连接权重根据两结点的特征计算获取，相邻结点属性的欧式距离重新计算，即计算相邻结点之间的特征相似度。

优选地，计算小图之间的相邻邻接点的特征相似度。具体计算如下：

其中，ei,j表示结点ti,k和tj,k的连接边权重，k为结点属性维度，z为归一化因子。

需要说明的是，由小图重新连接成的规则大图的特征矩阵可由小规则图的特征矩阵组合得到，只是添加的连接权重要补在相应的位置。

请参见图7，本发明还提供一种优选实施例，所述图卷积神经网络，

根据输入图的结点的一阶邻域，通过卷积操作提取输入图的局部特征；

具体地，卷积过程可由下式表示：

其中，w为可学习的卷积核参数，r为卷积核的感受野，ej为卷积核感受野内所有结点之间边的权重，表示串级连接规则。

可以理解的是，本实施例的卷积操作不仅考虑了目标结点一阶邻域的特征信息，而且也融入了边集权重，特征表达更加充分。

通过池化层整合池化感受野中的结点信息，以形成池化后的结点特征。

具体地，所述池化层的池化操作通过下式表示：

其中，tpool为池化后对应结点的特征，wi为可学习的权重参数，n^pool为池化感受野。

需要说明的是，池化后新构成的结构图的边的权重将相邻结点属性的欧式距离重新计算，即计算相邻结点间的特征相似度。

在本实施例中，将重新拼接而成的图作为图卷积神经网络的输入图，以完成手指静脉图像的识别。

本发明实施例还提供一种示例性实施例，一种基于规则图的手指静脉图像识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于规则图的手指静脉图像识别方法。

本发明提供一种示例性实施例，一种基于规则图的手指静脉图像识别方法的存储介质，所述基于规则图的手指静脉图像识别方法的存储介质用于存储一个或多个计算机程序，所述一个或多个计算机程序包括程序代码，当所述计算机程序在计算机上运行时，所述程序代码用于执行上述基于规则图的手指静脉图像识别方法。

本申请实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质的更具体的示例至少(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式只读存储器(cdrom)。另外，计算机可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本发明提供了一种基于规则图的手指静脉图像识别方法、装置及存储介质，先将获取到的手指静脉图像转化为构成不规则结构图的图数据，从而把手指静脉图点集的抽象方式与指静脉图像的随机特性结合起来，最大程度地体现生物组织分布的随机性；但是，不规则结构图的图数据难以利用图卷积神经网络进行识别，需要根据变换规则将图数据转化为规范的图结构数据，最后利用图卷积神经网络进行识别，因此本方案能够保证手指静脉特征的区分性同时使识别性能得到提升。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。