基于图卷积的虹膜图像分类方法与流程

技术邻域

本发明属于计算机视觉与数字图像处理和机器学习技术领域，具体涉及一种基于图卷积的虹膜图像分类方法。

背景技术：

随着互联网技术的发展和广泛应用，使得广大人民的生活越来越便利，这其中身份认证是一个重要的基础技术。不同于其他的身份认证技术，虹膜识别技术具有相对更高的稳定性、唯一性，被认为是最可靠、安全的方法之一，同时易于识别过程中的交互实现，尤其是虹膜识别过程不受口罩佩戴的影响，可实现一定距离范围内的零接触采集与认证，因此虹膜识别在身份认定领域具备极高的性能优势。虹膜识别技术已广泛地应用于电子商务、金融证券、信息安全、交通、公共安全和司法取证等各类社会活动。

随着虹膜识别在身份认证中广泛应用，虹膜识别系统也存在着诸多挑战。一方面，随着使用范围的迅速扩大，使用人数增多，虹膜数据库规模迅速增长。海量的数据库给数据存储带了考验，同时也大大增加了数据库搜索的范围，计算量加剧，响应变慢。另外一方面，随着虹膜识别在各种重要的安全邻域的应用，各种形式的攻击也是层出不穷。主要包括：在成像设备端采用假体攻击，篡改已采集的虹膜图像，篡改数据库特征等。其中，假体攻击对虹膜系统存在很大的威胁，虹膜假体攻击的方法很多，比如打印虹膜图片，3d打印带虹膜纹理的人眼，带纹理美通，屏幕攻击等等。虹膜假体可能很容易骗过常规的虹膜识别系统，例如在保险柜虹膜识别系统中，系统工作在识别模式，攻击者使用注册人员的虹膜打印图片或着屏幕显示虹膜照片来进行虹膜认证，完成保险柜开锁，导致保险柜的安全实效。因此，一个完整的虹膜识别系统，必须包含反虹膜假体攻击的方法。

面对上述挑战，研究虹膜图像分类方法变得十分急迫和重要。虹膜图像分类是指按照应用需求的不同将虹膜图像归类，主要包括：假体检测，性别分类，人种分类。有效的虹膜分类方法，可以在提供准确识别图像的同时，大幅提高虹膜识别系统的响应速度和系统整体安全性。

现有的虹膜图像分类方法，基本上根据先验知识来手工设计一些特征。例如对选择感兴趣区域roi进行特征提取，对提取的纹理特征进行训练并建模，实现了对虹膜图像的粗分类。或者利用对归一化的虹膜图像进行处理得到特征向量，然后将特征向量进行基于核方法的聚类，得到聚类结果，然后在用支持向量机进行分类。以上方法基本是针对单张虹膜图像进行特征向量获取，当单张虹膜图像质量过低，以上方法就会存在很大的局限性。

面对不断提升虹膜识别系统用户使用体验的需求，降低使用过程中对用户的种种约束，自然的导致虹膜图像质量波动幅度变大，使得虹膜特征提取难度增加，提取稳定和高区分性的特征变得复杂。难度具体体现在以下情形：存在虹膜区域遮挡，如头发丝、眼皮、眼镜光斑遮挡有效虹膜区域；如光线变化剧烈，虹膜图像有效区域过曝严重，如待识别目标快速移动，导致的成像运动模糊。当图像质量差，有效虹膜区域存在缺失的情况下，仅从单张虹膜图像判别是存在很大不可靠性的。

技术实现要素：

鉴于上述技术问题，本发明提供了一种基于图卷积的虹膜图像分类方法，包括了假体检测、性别分类和人种分类。本发明方法采用图卷积有效利用了虹膜图像之间的关系，通过对待测图像附近相似的多张邻居图像之间关系的机器学习，可以进一步加强对待测虹膜图像的判别能力，以此改进虹膜图像分类方法，提高虹膜图像分类的效率和精度，从而提高虹膜识别系统的效率和安全性。

为了实现本发明的目的，本发明采用的技术方案是：

基于图卷积的虹膜图像分类方法，包括以下步骤：

s1，建立虹膜图像样本库，对虹膜图像样本进行预处理，得到统一规格的虹膜图像样本库；

s2，对所述虹膜图像样本库进行分类，得到含有高级语义的多个正、负样本，利用卷积神经网络(convolutionalneuralnetwork，cnn)提取所述多个正、负样本的深度特征向量；

s3，构建虹膜分类器，根据所述深度特征向量计算所述样本间的余弦距离，利用最邻近节点法对每个图像选取k个邻居节点，并建立所述邻居节点的邻接矩阵，利用所述深度特征向量和邻接矩阵训练图卷积网络(graphconvolutionalnetwork，gcn)，得到虹膜分类器；

s4，测试阶段，输入测试图像，输出测试分类结果。

有益效果

从上述技术方案看出，本发明基于图卷积的虹膜图像分类方法至少具有以下有益效果其中之一：

1.全过程参数是通过学习得到，完全替代手工设计，提高了该方法对复杂环境下样本的适应能力；

2.本方法可在完成虹膜分类的同时，基于虹膜图像的特殊性质，对输入虹膜图像进行活体检测，在提供准确识别图像的同时，大幅提高虹膜识别系统的响应速度和系统整体安全性；

3.使用图卷积作为分类器，可以有效得利用图像之间的关系来寻找新的线索，解决单张图像因关键信息缺失(如遮挡，过曝)导致判别分类依据不足的问题；

4.通过图卷积分类器可以有效提高分类的准确程度，可提升识别图像的裕度，使低质量输入图像依然可以通过本方法进行分类。

本方法可提升虹膜识别系统用户使用体验的需求，降低使用过程中对用户的种种约束，应对由于虹膜图像质量波动幅度变大而导致的拒识和误识，有效降低虹膜特征提取难度，实现高区分性的特征的稳定提取。

附图说明

图1为本发明实施例基于图卷积的虹膜图像分类流程框图。

图2表示cnn模型回归得到的虹膜圆和瞳孔圆示例

图3表示预处理后的虹膜图像示例

图4a真是虹膜图像示例

图4b假体虹膜图像示例

图5a亚洲人虹膜图像示例

图5b非亚洲人虹膜图像示例

图6a女性虹膜图像示例

图6b男性虹膜图像示例

图7图卷积分类器网络结构示意图

图8虹膜样本之间特征信息融合示意图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。本发明实施提供了一种虹膜图像分类方法。具体来说，本发明提出了一种基于图卷积的虹膜图像分类方法，其基于cnn特征提取器和图卷积实现。

图1为据本发明实施例基于图卷积的虹膜图像分类流程框图，如图所示，本发明虹膜图像分类方法包括以下步骤：

s1，建立虹膜图像样本库，对虹膜图像样本进行预处理，得到统一规格的虹膜图像样本库；

s2，对所述虹膜图像样本库进行分类，得到含有高级语义的多个正、负样本，利用卷积神经网络(convolutionalneuralnetwork，cnn)提取所述多个正、负样本的深度特征向量；

s3，构建虹膜分类器，根据所述深度特征向量计算所述样本间的余弦距离，利用最邻近节点法对每个图像选取k个邻居节点，并建立所述邻居节点的邻接矩阵，利用所述深度特征向量和邻接矩阵训练图卷积网络(graphconvolutionalnetwork，gcn)，得到虹膜分类器；

s4，测试阶段，输入测试图像，输出测试分类结果。

更具体而言，所述的虹膜图像预处理包括以下子步骤：

s11对虹膜样本库里面的所有虹膜图像样本进行虹膜和瞳孔定位；

s12将虹膜图像缩放到统一大小；

所述的cnn特征提取器构建阶段包括以下子步骤：

s21建立分类样本虹膜图像库，使其包含多个分类的正样本和多个分类的负样本；

s22用预处理好的虹膜图像对cnn特征提取器进行训练，

s23然后对虹膜图像提取深度特征向量；

所述虹膜分类器的构建包括以下子步骤：

s31根据虹膜图像的深度特征，计算图像之间的余弦距离；

s32基于余弦距离采用knn为每个图像选取k个邻居节点；

s33根据邻居节点关系创建所有虹膜图像节点的邻接矩阵；

s34使用特征向量和邻接矩阵来训练图卷积网络，得到虹膜分类器。

所述判别阶段包含以下子步骤：

s41根据虹膜图像的深度特征，计算图像之间的余弦距离；

s42基于余弦距离采用knn为每个图像选取k个邻居节点；

s43根据邻居节点关系创建所有虹膜图像节点的邻接矩阵；

s44将深度特征向量和邻接矩阵输入到训练好的图卷积虹膜分类器中，根据分类器输出的结果对目标虹膜图像进行分类。

下面对本发明涉及的关键步骤进行逐一说明。所述方法中各个基本步骤的具体描述如下：

更加具体的，子步骤s11：采用训练好的cnn模型对虹膜图像的进行处理，预测出虹膜区域圆和瞳孔圆，如图2所示；

子步骤s12：以虹膜圆做外接正方形，裁剪出此区域，并统一缩放到224x224，如图3所示；

子步骤s21：建立分类样本虹膜图像库，使其均衡的包各个分类的正样本和负样本。涉及的常见的虹膜分类包括：假体分类、性别分类、人种分类等。所述的假体检测是包括活体虹膜图像和假体虹膜图像的分类；其中正样本为真实的活体虹膜图像，负样本为伪造的各种假体虹膜图像；请参照图4所示，图4a为活体虹膜图像示例，图4b为假体虹膜图像示例。所述的人种分类通常指的是黄种人和非黄种人的分类；其中正样本为亚洲人的虹膜图像，负样本为非亚洲人的虹膜图像；请参照图5所示，图5a为亚洲人虹膜图像，图5b为非亚洲人虹膜图像。所述性别分类：男女分类；其中，正样本为女性的虹膜图像，负样本为男性的虹膜图像；请参照图6所示，图6a为女性的虹膜图像示例，图6b为男性的虹膜图像示例。

子步骤s22：采用efficientnet-b0做为特征提取器，用于提取虹膜深度特征向量；efficientnet-b0权重参数基于imagenet预训练参数，采用efficientnet-b0的全连接层输出作为虹膜深度特征，用s21中的样本对cnn特征提取器进行训练，并用训练好的cnn特征提取器，为每个样本提取512纬的特征向量；

子步骤31：将每个虹膜样本图像提取的深度特征向量看作一个顶点，计算任意两个点直接的余弦距离d

其中，fi、fj分别表示这两个顶点的特征向量。

子步骤s32：基于上述余弦距离使用knn找出每个顶点的k个邻居节点。

子步骤s33：假设虹膜样本库总共有n个样本图，则依据每个节点的邻居关系得到n*n的邻接矩阵，其中任意一个元素aij满足下列条件：

子步骤34：根据图卷积定理，所述图卷积分类器设计如下：

其中，为拉普拉斯矩阵，a为邻接矩阵，is为单位矩阵，为的度矩阵，δ表示leakyrelu激活函数，fl+1为融合后的特征向量，fl为l层的输入矩阵，wl为l+1层的参数矩阵。

需要说明的是，fl+1是图卷积输出的特征向量256维。

具体地，公式2的作用是将邻接矩阵加入顶点的单位矩阵，以使得矩阵完整度得到提高。

具体地，公式4的作用是引入自身度矩阵，解决自传递问题，同时对邻接矩阵的归一化操作，通过对邻接矩阵两边乘以节点的度开方然后取逆得到。

顶点之间的特征之间相互融合示意图如图8所示。

经过图卷积层得到融合特征向量，融合特征向量综合了邻居节点的信息，将融合特征向量输入到全连接层进行分类预测，其中图卷积分类器网络结构如图7所示。

子步骤s41，利用s34中训练好的cnn特征提取器和s11和s12中的预处理操作得到待测试虹膜图像的深度特征向量，计算任意两个顶点之间的余弦距离，计算方法如公式1所示。

子步骤s42和s43操作与s32和s33步骤相同。

子步骤s44，在s42和s43的基础上，图卷积分类器可以直接预测出每个待测样本所属的类别。

图7图卷积分类器网络结构示意图，如图所示该分类器网络结构由三层组成：

其中，图卷积层，是一个单层的结构，输入是各个节点的特征和节点之间的关系(邻接矩阵)，输出是整合后的特征；其作用是融合邻居节点信息。

其中，全连接层(隐藏层)，是一个普通单层全连接层，输入是节点特征，输出是维度升高后的特征；作用是提高特征维度，丰富特征信息。

其中，全连接层(分类预测)，是一个普通单层全连接层，输入是隐藏层的输出特征，输出类别；此处的作用是做类别预测。

图8虹膜样本之间特征信息融合示意图，如图所示该层是一个单层图卷积层：

各个节点之间，在特征向量空间内存连接关系，根据这种距离关系，将附近邻居节点的特征信息融合到待判别的图像特征中形成新的融合后的特征向量。在收集图像的过程中，不可避免的会得到，信息缺损的图像。这种缺损可能是由于遮挡，光照，焦距不合适等诸多因素造成。但是其邻居节点，和其采集的空间维度，时间维度接近的图像可能是信息较完整的，通过综合这些邻居节点的信息，可以提升特征质量，更好的帮助做出更准确的分类。

在收集图像的过程中，不可避免的会得到，信息缺损的图像。这种缺损可能是由于遮挡，光照，焦距不合适等诸多因素造成。但是其邻居节点，和其采集的空间维度，时间维度接近的图像可能是信息较完整的，通过综合这些邻居节点的信息。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。