一种基于MaskR-CNN神经网络的虹膜图像中虹膜区域的分割方法与流程

本发明涉及图像分割技术领域，具体涉及一种基于maskr-cnn神经网络的虹膜图像中虹膜区域的分割方法。

背景技术：

随着人类科学技术的不断发展，虹膜识别技术在人们日常生活中越来越普及，其已经成功应用于国家安防、边境控制、银行金融、门禁考勤以及移动终端等领域。对于虹膜识别技术，在实际应用中，遇到许多技术挑战。特别是对于人们不是完全配合的场景(即复杂的、不可控制的场景)下，所采集到的人们的虹膜图像由于存在光照和距离变化，因此虹膜图像具有低分辨率、高噪声、斜眼、模糊和被遮挡等特性。使得将图像中的虹膜区域精确地分割出来尤为困难，进而影响了对人们进行虹膜识别的准确率和及时性。

目前，为了分割虹膜图像中的虹膜区域，典型的虹膜分割方法可以分为两大类：基于图像处理的传统方法和基于深度学习的分割方法。在文献中，已经提出了各种基于传统图像处理的虹膜分割方法，包括积分微分算子法，无监督学习，改进的hough变换等。除了这些依赖于手工特征和专用的预处理和后处理的传统方法之外，基于深度学习的现代方法最近获得了普及，并达到了最先进的准确性。这些方法通常使用深度神经网络进行像素方式的语义分割，以区分虹膜和非虹膜区域。然而，这类方法存在的问题是，它们没有明确地定位出虹膜区域的内外边界圆。而我们知道，确定虹膜区域的内外圆边界是虹膜分割的重要步骤，是后续虹膜归一化算法的重要输入参数。因此准确虹膜定位对虹膜识别的整体准确性非常重要。

技术实现要素：

针对现有技术的不足，本发明提出一种基于maskr-cnn神经网络的虹膜图像中虹膜区域的分割方法，解决了现有技术中存在的至少一个问题。

本发明的技术方案是这样实现的：

一种基于maskr-cnn神经网络的虹膜图像中虹膜区域的分割方法，包括如下步骤：

s100，建立用于虹膜分割的改进的maskr-cnn神经网络，所述神经网络的输入为待分割的虹膜图像；

s200，训练所述神经网络前，标注训练用的样本虹膜图像集，所述标注包括：1)生成每幅样本虹膜图像的虹膜区域二值掩码图；2)标注虹膜区域的双圆边界信息；由于可以使用在通用目标检测数据集上已经训练好的maskr-cnn做为预训练模型，因此不需要标注大量数据就能完成模型训练。

s300，将已标注的所述样本虹膜图像分别输入到所述分割神经网络中，对所述神经网络进行训练，直到所述神经网络的模型收敛；

s400，将需要进行虹膜区域分割的虹膜图像，输入到完成训练的所述maskr-cnn神经网络中，得到虹膜区域的双圆边界信息和二值掩码图；

s500：根据s400得到的虹膜区域的双圆边界信息和二值掩码图完成虹膜区域的分割。

进一步的，所述改进的maskr-cnn神经网络具体包括：

卷积神经网络骨干架构，用于对输入的待分割虹膜图像进行特征提取，得到所述待分割虹膜图像的特征图(featuremaps)；

双圆区域推荐网络(dc-rpn)，将所述特征图作为输入，生成所述待分割虹膜图像的多个候选双圆区域(roi)，以及每个候选双圆区域的目标概率值，其中所述候选双圆区域为可能的虹膜区域；

候选区域归一化层，将所述双圆区域推荐网络产生的大小尺度不同的候选双圆区域进行候选区域归一化(roinormalization)操作，方便后续网络处理；以及

连接在候选区域归一化层后的两个检测分支：一个分支为双圆的分类和回归网络(dc-crn)，用于进行进一步的分类和双圆回归操作，从而得到精确的虹膜区域双圆边界；另一个分支为用于生成二值掩码图的掩码网络(masknetwork)。

进一步的，所述双圆区域推荐网络(dc-rpn)具体的网络结构包括一个3×3的卷积层，和其连接两个1×1的卷积层，其中一个是用来进行分类的并产生所述候选双圆区域目标概率值的分类层，另一个用于给所述候选双圆区域精确定位的双圆回归层。

进一步的，所述双圆区域推荐网络(dc-rpn)的具体工作内容包括：

所述3×3的卷积层对于所述特征图(featuremaps)的每个位置进行滑窗，通过不同半径的k个双圆锚点(double-circleanchor)产生k个向量，其中k为大于2的正整数；

然后分类层分类每个锚点是否包含虹膜目标计算目标概率值，以及双圆回归层通过双圆回归得到虹膜内外圆的具体位置。

dc-rpn在特征图每个位置上产生大小不同的k个双圆锚点，每个双圆锚点由6个变量表示，分别为每个双圆锚点的外圆圆心横坐标、外圆圆心纵坐标、外圆半径、内圆圆心横坐标、内圆圆心纵坐标以及内圆半径的值。其中，圆心坐标和双圆在特征图上的具体位置对应，内圆和外圆半径为模型的超参数。

进一步的，所述双圆回归层通过双圆回归得到虹膜内外圆的具体位置，具体内容如下：

已知6个变量分别表示每个双圆锚点的外圆圆心横坐标、外圆圆心纵坐标、外圆半径、内圆圆心横坐标、内圆圆心纵坐标以及内圆半径的值；6个坐标偏移量为分别对应双圆锚点6个变量的平移缩放值，为dc-rpn网络的输出，通过双圆回归得到。则最终的dc-rpn产生的候选双圆圆心和半径值可以由以下公式获得：

进一步的，所述候选区域归一化层，将所述双圆区域推荐网络产生的大小尺度不同的候选双圆区域进行候选区域归一化(roinormalization)操作，具体内容为：通过将直角坐标转换成极坐标，将大小尺度不同的所述候选双圆区域转化成固定大小的矩形区域，并得到归一化的特征图。

如权利要求2所述的分割方法，其特征在于，所述双圆的分类和回归网络(dc-crn)由两个隐藏的1024维全连接(fc)层组成，后面全连接两个分支，分别用于最终分类和双圆回归；

所述掩码网络(masknetwork)是一个全卷积网络，包括四个3×3卷积层，接在其后的2×2转置卷积层，和输出二值掩码的1×1卷积层。

进一步的，所述s300训练所述神经网络的损失函数具体包括：双圆区域推荐网络(dc-rpn)的损失函数、双圆的分类和回归网络(dc-crn)的损失函数和掩码网络(masknetwork)的损失函数，网络总的损失函数为：

l＝ldc-rpn+ldc-crn+lmask。

进一步的，所双圆区域推荐网络(dc-rpn)的损失函数包含候选区域分类损失和双圆坐标回归损失两部分，定义如下：

在训练时，双圆区域推荐网络(dc-rpn)会产生多个双圆区域推荐，表示推荐区域的分类损失；为双圆回归损失；

双圆的分类和回归网络(dc-crn)的损失函数同样包含：候选区域分类损失和双圆坐标回归损失两部分，是对归一化后的候选区域的精确调整：

掩码网络(masknetwork)的损失函数为二分类损失，表示归一化候选区域内每一个像素点是虹膜的概率：

lmask＝lmask(m,m^*)。

进一步的，所述s200中的标注，具体包括：

1)对所述样本虹膜图像的虹膜区域的像素标注为0，对非虹膜像素标注为1，即实现二进制码标注，生成真实虹膜区域的二值掩码图；

2)对虹膜区域的双圆边界信息，即内圆和外圆进行标注，记录下内外圆的圆心和半径。

本发明提供的一种虹膜图像中虹膜区域的分割方法，其基于改进的maskr-cnn神经网络，对于提高虹膜分割的准确率具有重要意义，其有益效果体现在以下几个方面：

1、本发明通过将改进后的maskr-cnn神经网络用在虹膜分割与定位中，实现自动学习得到分割以及归一化后的虹膜图像以及对应的二值掩码图，无需人工参与；

2、与通常的深度神经网络相比，本发明通过使用改进的maskr-cnn网络，可以得到精确的虹膜区域内外圆边界信息，从而可以直接得到后续虹膜识别需要的归一化后的虹膜图像；

3、本发明是端到端的方法，省去了传统虹膜分割的预处理过程，精度更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于maskr-cnn神经网络的虹膜图像中虹膜区域的分割方法一个实施例的流程示意图；

图2为本发明一个实施例的maskr-cnn的神经网络的具体网络结构示意图；

图3为本发明一个实施例的双圆区域推荐网络(dc-rpn)的具体网络结构示意图；

图4为本发明一个实施例的候选区域归一化层的roinormalization操作示意图；

图5为本发明一个实施例的双圆的分类和回归网络(dc-crn)和掩码网络(masknetwork)的具体网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1-5，一种基于maskr-cnn神经网络的虹膜图像中虹膜区域的分割方法，包括如下步骤(流程图参见图1)：

s100，建立用于虹膜分割的改进的maskr-cnn神经网络，所述神经网络的输入为待分割的虹膜图像；

s200，训练所述神经网络前，标注训练用的样本虹膜图像集，所述标注包括：1)生成每幅样本虹膜图像的虹膜区域二值掩码图；2)标注虹膜区域的双圆边界信息；

s300，将已标注的所述样本虹膜图像分别输入到所述分割神经网络中，对所述神经网络进行训练，直到所述神经网络的模型收敛；

s400，将需要进行虹膜区域分割的虹膜图像，输入到完成训练的所述maskr-cnn神经网络中，得到虹膜区域的双圆边界信息和二值掩码图；

s500：根据s400得到的虹膜区域的双圆边界信息和二值掩码图完成虹膜区域的分割。

本方法由于可以使用在通用目标检测数据集上已经训练好的maskr-cnn做为预训练模型，因此不需要标注大量数据就能完成模型训练。

进一步的，s100，建立用于虹膜分割的改进的maskr-cnn的神经网络，其网络结构参见图2，包括四个主要步骤：

首先，卷积神经网络骨干架构用于虹膜图像的特征提取。骨干网络输出虹膜图像特征图featuremap。

其次，一种双圆区域推荐网络(double-circleregionproposalnetwork,dc-rpn)采用这些虹膜图像特征图featuremaps作为输入，为实例对象生成候选区域(roi)。生成多个候选的虹膜区域双圆(内外圆)，每个候选内外圆都带有一个目标概率值。

dc-rpn具体的优选的网络结构为一个的3×3卷积层，再接两个1×1的卷积层，其中一个是用来进行分类并产生目标概率值的分类层(classification)，另一个用于给候选双圆区域精确定位的双圆回归层(double-circleregression)。

进一步的，具体方式为卷积层对于特征图featuremap的每个位置进行滑窗，通过不同半径的k个双圆锚点(double-circleanchor)产生k个向量，然后分类每一个锚点是否包含虹膜目标以及通过双圆回归得到虹膜内外圆的具体位置。dc-rpn具体网络结构如图3所示。

dc-rpn在特征图每个位置上产生大小不同的k个双圆锚点，每个双圆锚点由6个变量表示，分别为每个双圆锚点的外圆圆心横坐标、外圆圆心纵坐标、外圆半径、内圆圆心横坐标、内圆圆心纵坐标以及内圆半径的值。其中，圆心坐标和双圆在特征图上的具体位置对应，内圆和外圆半径为模型的超参数。

进一步的，双圆回归具体步骤如下：已知6个变量分别表示每个双圆锚点的外圆圆心横坐标、外圆圆心纵坐标、外圆半径、内圆圆心横坐标、内圆圆心纵坐标以及内圆半径的值；6个坐标偏移量为分别对应双圆锚点6个变量的平移缩放值，通过dc-rpn网络回归得到；则最终的dc-rpn产生的候选双圆圆心和半径值可以由以下公式获得：

dc-rpn会产生多个候选双圆区域，其中多个候选双圆区域表示可能的虹膜区域，然后候选区域归一化(roinormalization)操作会将大小尺度不同的双圆候选区域归一化，转化成固定大小的矩形区域，方便后续网络处理。处理的原理很简单，既将直角坐标转换成极坐标，如图4所示，转换时坐标的对应关系如下：

x(r,θ)＝(1-r)xp(θ)+rxs(θ)

y(r,θ)＝(1-r)yp(θ)+rys(θ)

其中，(x(r,θ)，y(r,θ))是原始双圆区域的直角坐标；(r，θ)是转换后的矩形区域的坐标；(xp(θ)，yp(θ))和(xs(θ)，ys(θ))分别是对应角度的内圆和外圆上的点。

经过归一化操作的候选双圆区域会被输入到两个检测分支：一个是双圆的分类和回归网络(double-circleclassificationandregressionnetwork,dc-crn)，进行进一步的分类和双圆回归操作，从而得到精确的虹膜区域双圆边界；一个是掩码网络(masknetwork)，生成二值掩码图。

dc-crn由两个隐藏的1024维全连接(fc)层组成，后面全连接两个分支，分别用于最终分类和双圆回归。

掩码产生网络是一个全卷积网络，它由四个3×3卷积层组成，后面是一个2×2转置卷积层，最后1×1卷积层输出二值掩码。具体的网路结构见图5。

进一步的：s200，具体内容包括：

预先对一些预先选择的虹膜图像进行标注。标注包括：

1)对图像的虹膜区域的像素标注为0，对非虹膜像素标注为1，即实现二进制码标注，生成真实的虹膜二进制掩码图。

2)对虹膜区域的内圆和外圆进行标注，记录下内外圆的圆心和半径。

进一步的：s300，具体内容包括：

将已标注的所述虹膜图像输入到所述分割神经网络中，对所述神经网络进行训练，使得神经网络的模型收敛。

训练过程具体为，将已标注的所述虹膜图像输入到所述卷积神经网络中，使用随机梯度下降法对所述神经网络进行训练，并通过前向传播算法生成输入虹膜图像的虹膜区域内外圆以及双圆区域内每个像素的类别。通过计算其与所述虹膜图像预先标注好的真实类别(二进制掩码)以及真实双圆的误差，使用反向传播方法进行网络参数的更替，对所述神经网络的模型进行训练，直至模型收敛，完成训练过程，训练过程即通过损失函数进行网络参数的优化过程。

在实施例中，需要说明的是，所述神经网络的模型收敛的标准即为损失函数计算的损失不再随着迭代次数而下降。网络的损失函数如下定义：

dc-rpn网络的损失函数包含候选区域分类损失和双圆坐标回归损失两部分，定义如下：

在训练时，dc-rpn会产生多个双圆区域推荐，表示推荐区域的分类损失；为双圆回归损失。

dc-crn网络的损失函数同样包含候选区域分类损失和双圆坐标回归损失两部分，是对归一化后的候选区域的精确调整：

掩码网络的损失函数为二分类损失，表示归一化候选区域内每一个像素点是虹膜的概率：

lmask＝lmask(m,m^*)

因此，网络总的损失函数为：

l＝ldc-rpn+ldc-crn+lmask

进一步的，s400，具体内容包括：

将需要进行虹膜区域分割的待测试虹膜图像，输入到完成训练的所述改进maskr-cnn神经网络中，获得1)所述待测试虹膜图像虹膜区域的内外圆边界信息，2)根据所得内外圆归一化的虹膜区域图像，3)以及对应的二值掩码图。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。