基于循环注意力机制的虹膜图像防伪检测方法

1.本发明属于生物特征识别技术领域。具体地，涉及一种基于循环注意力机制的虹膜图像防伪检测方法。


背景技术：

2.虹膜识别因具有唯一性、稳定性和非接触性等优势，是一种高精度的身份认证方法。由于隐形眼镜的透光特性，佩戴纹理隐形眼镜后能在虹膜传感器上获得带纹理的虹膜图像，从而隐藏甚至伪造虹膜纹理。佩戴纹理隐形眼镜是目前隐蔽性最好、检测难度最大的虹膜伪造手段，会严重影响虹膜识别系统的安全性，因此对纹理隐形眼镜虹膜进行检测是保证生物特征识别安全性的重要环节。
3.传统的虹膜防伪检测方法主要基于虹膜的光学特性或纹理特征进行检测，需要手动设计和提取特征描述子，实时性和准确率都不佳。目前基于深度学习的虹膜防伪检测网络，需要对虹膜图像进行预处理，手工定位关键区域，影响检测的实时性、准确性和泛化性。


技术实现要素：

4.针对现有基于深度学习的虹膜防伪检测方法中的问题，本发明的目的是提供一种基于循环注意力机制的虹膜图像防伪检测方法，包括以下步骤：
5.s1，将待检测的全局虹膜图像输入虹膜防伪检测网络模型；
6.其中，所述虹膜防伪检测网络模型包括多级网络结构单元依次连接构成的循环网络结构，每级所述网络结构单元由特征分类网络和注意力网络构成，且同级网络结构单元内的特征分类网络和注意力网络共享特征提取网络，所述特征分类网络基于所述特征提取网络提取的特征获取输入至所述网络结构单元的图像属于伪造虹膜图像的预测概率，所述注意力网络基于所述特征提取网络提取的特征对输入至所述网络结构单元的图像中的关键区域进行定位以获得关键区域参数；
7.s2，通过所述虹膜防伪检测网络模型中的第一级网络结构单元对所述全局虹膜图像进行处理，获得第一级特征尺度的所述预测概率和所述关键区域参数；
8.s3，通过所述虹膜防伪检测网络模型中的每一级网络结构单元执行以下操作：基于输入至当前级网络结构单元的当前特征尺度下的输入图像和所述当前级网络单元输出的所述当前级特征尺度的关键区域参数，得到下一级特征尺度的输入图像，并由下一级网络结构单元对所述下一级特征尺度的输入图像进行处理，获得所述下一级网络结构单元对应的下一级特征尺度的所述预测概率和所述关键区域参数；
9.s4，将至少两个不同级特征尺度的所述预测概率进行融合，得到所述全局虹膜图像为真实虹膜的图像或伪造虹膜的图像的判定结果。
10.在一些可选的实施方式中，所述特征分类网络包括所述特征提取网络和第一全连接层；所述注意力网络包括所述特征提取网络和第二全连接层。
11.在一些可选的实施方式中，所述第二全连接层包括双层全连接层。
12.在一些可选的实施方式中，所述特征提取网络为mobilenetv2。
13.在一些可选的实施方式中，所述虹膜防伪检测网络模型包括三级所述网络网络结构单元，其中，第一级所述网络结构单元对应的关键区域包括虹膜区域，第二级所述网络结构单元对应的关键区域包括虹膜的纹理区域。
14.在一些可选的实施方式中，所述将至少两个不同级特征尺度的所述预测概率进行融合，得到所述全局虹膜图像为真实虹膜的图像或伪造虹膜的图像的判定结果，包括：
15.将第二级特征尺度的所述预测概率和第三级特征尺度的所述预测概率取平均值或加权和，得到融合概率，根据所述融合概率获得所述判定结果。
16.在一些可选的实施方式中，各级所述网络结构单元中的所述特征分类网络的结构一致，各级所述网络结构单元中的所述注意力网络的结构一致。
17.在一些可选的实施方式中，所述关键区域参数包括关键区域的中心坐标和区域边长。
18.在一些可选的实施方式中，所述基于输入至当前级网络结构单元的当前特征尺度下的输入图像和所述当前级网络单元输出的所述当前级特征尺度的关键区域参数，得到下一级特征尺度的输入图像，包括：
19.基于所述当前级特征尺度的关键区域参数，生成用于定位关键区域的图像掩膜，将所述图像掩膜与所述当前特征尺度下的输入图像进行逐像素相乘的裁剪操作，并由裁剪后的区域图像进行双线性插值上采样得到所述下一级特征尺度的输入图像。
20.在一些可选的实施方式中，所述关键区域参数包括关键区域的中心坐标和区域边长；所述图像掩膜通过如下方式生成：
21.根据所述关键区域的中心坐标和区域边长获得所述关键区域的左上角坐标(x
tl
,y
tl
)和右下角点坐标(x
br
,y
br
)。
22.确定掩膜m为：
23.m(
·
)＝[σ(x-x
tl
)-σ(x-x
br
)]
·
[σ(y-y
tl
)-σ(y-y
br
)]
[0024]
其中σ(
·
)表示的是sigmoid函数。
[0025]
上述实施例提供的方法将解决细粒度图像分类问题的循环注意力机制应用于虹膜图像的检测来提升伪造虹膜图像的检测精度，能对可区分真实虹膜图像和伪造的纹理的虹膜图像的关键区域进行无监督定位，并融合多层级尺度特征进行判别，提升了检测的实时性，在一些实施方式中，在特征提取部分采用轻量级卷积神经网络，降低了硬件设备的算力和内存门槛，使得方法可以运行在小型化、低功耗的设备(如嵌入式边缘计算设备)上，更好地平衡了检测精度和运算成本。
附图说明
[0026]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
[0027]
图1为基于循环注意力机制的虹膜图像防伪检测方法的一个实施例的流程示意图。
[0028]
图2为本发明实施例的虹膜防伪检测网络模型的一个示例性框架图。图中，201、特征分类网络；202、注意力网络；203、网络结构单元。
[0029]
图3a、图3b、图3c依次为虹膜区域、虹膜纹理区域、插值后的虹膜纹理区域的图像中心坐标和区域边长位置参数的示意图。
[0030]
图4a和图4b分别为虹膜区域的图像掩膜示意图和虹膜纹理区域的图像掩膜示意图。
具体实施方式
[0031]
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施例对本发明作进一步的详细说明：
[0032]
如图1所示，本技术实施例提供了一种基于循环注意力机制的虹膜图像防伪检测方法，该方法可运行在诸如计算机、笔记本电脑、服务器等具有图像/图形处理能力的电子设备上。在本实施例中，上述方法流程包括以下步骤：
[0033]
s1，将待检测的全局虹膜图像输入虹膜防伪检测网络模型。
[0034]
在本实施例中，设计并训练一个基于循环注意力机制的虹膜防伪检测网络模型。
[0035]
所述虹膜防伪检测网络模型包括多级网络结构单元依次连接构成的循环网络结构，每级所述网络结构单元由特征分类网络和注意力网络构成，且同级网络结构单元内的特征分类网络和注意力网络共享特征提取网络，所述特征分类网络基于所述特征提取网络提取的特征获取输入至所述网络结构单元的图像属于纹理隐形眼镜虹膜图像的预测概率，所述注意力网络基于所述特征提取网络提取的特征对输入至所述网络结构单元的图像中的关键区域进行定位以获得关键区域参数。
[0036]
其中，同级网络结构单元内的特征分类网络和注意力网络共享特征提取网络是指，在一个网络结构单元内包含一个特征提取网络，该特征提取网络的结果分别输出至特征分类网络的分类模块和注意力网络的回归模块进行进一步处理，获得的处理结果为该级网络结构单元的输出结果。
[0037]
在一些实施方式中，特征分类网络中的分类模块包括第一全连接层，即特征分类网络包括所述特征提取网络和第一全连接层；注意力网络的回归模块包括第二全连接层，即注意力网络包括所述特征提取网络和第二全连接层。这样，通过第一全连接层和第二全连接层分别实现概率预测和关键区域参数的计算。
[0038]
可选地，注意力网络中的第二全连接层包括双层全连接层。
[0039]
所述虹膜防伪检测网络模型利用区域定位和特征提取之间存在的相互关联性，通过多次循环对网络的定位能力和提取能力进行交替训练，从而达到相互强化的目的，最终使网络聚焦于关键区域的微小特征差异进行检测。
[0040]
s2，通过所述虹膜防伪检测网络模型中的第一级网络结构单元对所述全局虹膜图像进行处理，获得第一级特征尺度的所述预测概率和所述关键区域参数。
[0041]
将待检测的全局虹膜图像输入s1中的第一级网络结构单元，利用第一级网络结构单元中的特征分类网络和注意力网络对输入的虹膜图像进行处理，得到第一级特征尺度下输入的图像属于伪造虹膜的预测概率、关键区域的中心坐标和区域边长。其中，第一级网络结构单元中的特征提取网络对输入的图像进行特征提取，特征分类网络中的分类模块对特征提取网络提取出的特征图进行分类，获得第一级特征尺度下输入图像属于伪造虹膜的预测概率；注意力网络中的回归模块基于特征提取网络提取出的特征图进行回归，获得第一
级特征尺度下的关键区域定位结果，包括关键区域的中心点坐标和关键区域的边长。
[0042]
s3，通过所述虹膜防伪检测网络模型中的每一级网络结构单元执行以下操作：基于输入至当前级网络结构单元的当前特征尺度下的输入图像和所述当前级网络单元输出的所述当前级特征尺度的关键区域参数，得到下一级特征尺度的输入图像，并由下一级网络结构单元对所述下一级特征尺度的输入图像进行处理，获得所述下一级网络结构单元对应下一级特征尺度的所述预测概率和所述关键区域参数。
[0043]
以下以第一级网络结构单元为例，描述s3的具体实施方式：
[0044]
该级网络结构单元的输入图像为全局虹膜图像，根据步骤s2中输入至该级网络结构单元的输入图像和该级网络结构单元输出的关键区域的中心坐标和区域边长定位虹膜区域。
[0045]
具体地，根据当前特征尺度(即第一级特征尺度)的虹膜图像中心坐标和区域边长(x
t
,y
t
,l
t
)可得到一个矩形区域范围(x
tl
,y
tl
,x
br
,y
br
)，由该范围定义一个连续可导的掩膜函数m：
[0046]
m(
·
)＝[σ(x-x
tl
)-σ(x-x
br
)]
·
[σ(y-y
tl
)-σ(y-y
br
)]
[0047]
其中σ(
·
)表示的是sigmoid函数，其取值范围在0～1之间。该掩膜函数在矩形区域范围内接近为1，其它区域接近为0。因此，可以将该级网络结构单元的输入图像与其逐像素相乘得到裁剪后的虹膜区域图像。
[0048]
在第一级网络结构单元完成上述处理步骤之后，对后续的网络结构单元，逐级执行以上描述的处理步骤，直到生成整个网络模型的最后一级网络结构单元的输入图像之后，由最后一级网络结构单元对本级的输入图像进行处理，获得最后一级网络结构单元对应的最后一级特征尺度的预测概率。
[0049]
s4，将至少两个不同级特征尺度的所述预测概率进行融合，得到所述全局虹膜图像为真实虹膜的图像或伪造虹膜的图像的判定结果。
[0050]
通过将步骤s3获得的多个不同级的网络结构单元输出的预测概率进行融合，可获得融合概率，根据融合概率与阈值的关系判断全局虹膜图像为真实虹膜的图像或伪造虹膜的图像。例如，可设置一阈值，当融合概率大于该阈值时判定为真实虹膜的图像，当融合概率小于该阈值时判定为伪造虹膜的图像。
[0051]
可选地，上述多个不同级的网络结构单元输出的预测概率进行融合的方式可以为求平均值，或者加权求和。
[0052]
上述实施例提供的方法将解决细粒度图像分类问题的循环注意力机制应用于虹膜图像的检测来提升伪造虹膜图像的检测精度，能对可区分真实虹膜图像和伪造的纹理的虹膜图像的关键区域进行无监督定位，并融合多层级尺度特征进行判别，提升了检测的实时性。
[0053]
在一些可选的实施方式中，虹膜防伪检测网络模型包括三级所述网络网络结构单元，其中，第一级所述网络结构单元对应的关键区域包括虹膜区域，第二级所述网络结构单元对应的关键区域包括虹膜的纹理区域。
[0054]
在该实施方式中，上述步骤s3具体可按照如下方式实现：
[0055]
s31，根据步骤s2定位出的关键区域的中心坐标和区域边长确定掩膜函数，利用该掩膜函数对输入至第一级网络结构单元的全局虹膜图像进行裁剪处理，获得虹膜区域图像
作为第二级网络结构单元的输入图像；
[0056]
s32，将s31获取的输入图像输入第二级网络结构单元，由第二级网络结构单元的特征分类网络和注意力网络分别获取第二级特征尺度下预测为伪造虹膜的预测概率和第二级特征尺度下定位出的关键区域的中心坐标和区域边长；
[0057]
s33，根据步骤s32中的关键区域的中心坐标和区域边长确定掩膜函数，利用该掩膜函数对中输入至第二级网络结果单元的输入图像(虹膜区域图像)进行处理，获取虹膜纹理区域图像。
[0058]
s34，将步骤s32获取的虹膜纹理区域图像输入至第三级网络结构单元，获取第三级特征尺度下的预测概率。
[0059]
s35，将第二级(虹膜区域)和第三级(虹膜纹理区域)特征尺度下的预测概率进行平均或加权求和，得到融合概率，根据融合概率与预设阈值的关系确定虹膜图像的真伪判别结果。
[0060]
上述实施方式通过从原始的全局虹膜图像中逐级定位虹膜区域和虹膜纹理区域，实现了自适应的虹膜纹理区域定位，并且采用了较精简的模型结构，降低了对运行该方法的设备的算力要求，使得方法可部署于轻量化的设备上。
[0061]
下面结合附图，对本实施例进一步描述。
[0062]
参见图2、图3和图4，详见下文描述：
[0063]
图2为本发明实施例提供的虹膜防伪检测方法中，虹膜防伪检测网络模型的结构示意图。
[0064]
参见图2所示，虹膜防伪检测网络模型包括由多级网络结构单元203形成的循环网络结构，每级网络结构单元由特征分类网络201和注意力网络202两部分构成，不同级别尺度的特征分类网络可有相同的结构，但参数独立；不同级别的注意力网络可有相同的结构，但参数独立。其中，特征分类网络包含一个特征提取网络、一个全连接层和一个softmax层；注意力网络包含一个特征提取网络和两个全连接层。
[0065]
需要说明的是，参见下表1所示的特征提取网络，在本发明中，特征提取网络使用轻量级特征提取网络mobilenetv2，其使用深度可分离卷积进行特征提取，特征层由conv2d和bottleneck组成，其中bottleneck使用的是倒残差结构，既能增加特征的重复利用率，又能提升计算效率。因此，使用mobilenetv2作为特征提取网络，大幅减少了网络的参数量(params)和计算量(flops)，可以降低防伪检测网络的运算成本，更有利于防伪检测网络在虹膜识别系统中的集成部署。
[0066]
表1：mobilenetv2特征提取网络特征层结构的示意图。
[0067][0068]
本技术上述实施例的方法可以应用于针对佩戴纹理隐性眼镜的伪造虹膜的图像的检测，在一些实施方式中，上述方法还可以包括上述虹膜防伪检测网络模型的训练步骤。具体实现上，所述训练步骤包括：
[0069]
首先，建立实验数据集。实验选用包含真实虹膜样本和隐形眼镜虹膜样本的两个公开数据库iiitd cli和nd系列对网络进行训练和测试。数据样本的人种分布覆盖了欧美和亚洲，隐形眼镜来自强生、视康、博士伦等不同品牌，确保了数据样本的多样性。iiitd cli数据库由印度理工学院德里分校提供，包含来自101位实验者的6570张样本图像，图像分辨率为640
×
480像素。nd系列数据库来自美国圣母大学的计算机视觉实验室，共计18196张样本图像，图像分辨率同为640
×
480像素。将各个数据集的样本图像归一化为448x448像素，再按照7:3的比例将数据集随机划分为训练集和测试集。
[0070]
其次，设置训练参数和评价指标。训练阶段首先加载经过imagenet预训练的mobilenetv2对网络模型中的多级网络结构单元中的特征分类网络进行初始化，之后采用带动量的批量随机梯度下降算法(batch stochastic gradient descent，bsgd)更新网络参数。训练过程中，将学习率的初始值设为0.001；动量因子设为0.9；权重衰减设为0.0005；batch的大小为32；迭代次数为50次。测试阶段使用正确分类率(correct classification rate,ccr)和受试者工作特性曲线(receiver operating characteristic,roc)作为衡量检测精度的评价指标，使用网络参数量params和每秒浮点运算次数flops作为衡量运算成本的评价指标。
[0071]
然后，定义网络损失函数。用两个不同的损失函数对网络进行优化：对特征分类网络使用分类损失函数(classification loss)；对注意力网络使用排序损失函数(pairwise ranking loss)，网络定义总体损失函数定义如下：
[0072][0073]
其中，x
t
表示第t张虹膜图像；s表示第s级特征尺度；l
cls
(
·
)代表分类损失函数；l
rank
(
·
)代表排序损失函数。分类损失使用交叉熵损失函数cross entropy进行计算，l
cls
(
·
)的计算公式如下：
[0074]
l
cls
(y
t*
,y
ts
)＝[y
t*
·
lny
ts
+(1-y
t*
)
·
ln(1-y
ts
)]
[0075]
其中，y
ts
表示第s级特征分类网络对样本的预测值，y
t*
表示样本的标签值。使用交叉熵损失函数可以避免网络出现梯度弥散问题，使特征分类网络的预测结果有效地向真实标签收敛。排序损失通过相邻两级特征分类网络对真实标签的预测误差进行计算，l
rank
(
·
)的计算公式如下：
[0076][0077]
其中，和分别表示第s级和第s+1级特征分类网络对真实标签的预测概率，margin代表的是间隔差值，将其设置为0.05。当时损失较小，说明注意力网络所定位到的特征区域位置更有利于检测真伪虹膜的微小特征差异，能让下一级特征分类网络预测的更准确。
[0078]
最后，根据上述设置条件，固定注意力网络的各层参数，训练多级网络结构单元中的特征分类网络直至收敛；然后固定特征分类网络的各层参数，训练注意力网络直至收敛。在每个训练轮次中迭代交替进行直至两种网络的损失都收敛。
[0079]
参见图3所示，在本发明的实施例中，具体实现上，上述基于输入至当前级网络结构单元的当前特征尺度下的输入图像和所述当前级网络单元输出的所述当前级特征尺度的关键区域参数，得到下一级特征尺度的输入图像的一种实施方式为：
[0080]
基于所述当前级特征尺度的关键区域参数，生成用于定位关键区域的图像掩膜，将所述图像掩膜与所述当前特征尺度下的输入图像进行逐像素相乘的裁剪操作，并由裁剪后的区域图像进行双线性插值上采样得到所述下一级特征尺度的输入图像。
[0081]
以第一级网络结构单元为例，具体来说，首先，注意力网络将特征提取网络生成的特征图映射为虹膜区域的位置参数x
t
,y
t
,l
t
(t＝1,2,
…
,n，代表第t张虹膜图像)，其中x
t
,y
t
分别为对应区域的中心坐标，l
t
是区域边长的一半。
[0082]
其次，根据区域位置参数获得虹膜区域左上角(top-left)坐标(x
tl
,y
tl
)和右下角点坐标(bottom-right)(x
br
,y
br
)，计算公式如下：
[0083]
x
tl
＝x
t-l
t
,y
tl
＝y
t-l
t
[0084]
x
br
＝x
t
+l
t
,y
br
＝y
t
+l
t
[0085]
然后，再根据虹膜区域的顶点坐标定义图像掩模m，将m与虹膜图像x
t
进行逐像素相乘进行裁剪操作，即可得到裁剪后的虹膜区域图像x
t
'，同理，利用第二级注意力网络获得裁剪后的虹膜纹理区域图像x”t
，计算公式如下：
[0086]
x
′
t
＝x
t
⊙
m(x
tl
，y
tl
，x
br
，y
br
)
[0087]
最后，将剪裁后的虹膜区域图像和虹膜纹理区域图像经过双线性插值上采样后，得到不同特征尺度的虹膜图像(即不同级网络结构单元的输入图像)。
[0088]
参见图4所示，需要说明的是，用于剪裁图像的图像掩模m是一个连续可导的掩模函数，以确保在网络训练优化的过程中能够进行反向传播，定义公式如下：
[0089]
m(
·
)＝[σ(x-x
tl
)-σ(x-x
br
)]
·
[σ(y-y
tl
)-σ(y-y
br
)]
[0090]
其中，σ(
·
)表示的是sigmoid函数，其取值范围在0～1之间。只有位于虹膜区域(纹理区域)内的像素点(满足x介于x
tl
和x
br
之间，且y介于y
tl
和y
br
之间)才能使m(
·
)的结果趋近于1，其他像素点的结果都趋近于0，由此生成一个近似的二值图像掩模。
[0091]
对于本发明的实施例，通过保留虹膜区域尺度下和虹膜纹理区域尺度下的对真实标签的预测概率，融合多层级尺度特征，获得了更加准确的待检测虹膜图像是否为纹理隐形眼镜虹膜的真伪判别结果。在包含真实虹膜样本和隐形眼镜虹膜样本的两个公开数据库(iiitd cli和nd系列)上进行实验验证，结果表明rainet的检测精度优于其他防伪检测网络，在同传感器、跨传感器、跨数据库等不同实验条件下的平均正确分类率分别达到
99.93％、97.31％和97.86％。
[0092]
与现有技术相比，本技术的实施例具有如下的有益效果：
[0093]
1、本技术提供了一种基于循环注意力机制的虹膜防伪检测方法，引入循环注意力机制先后进行多个层级的关键区域定位，例如依次对原始虹膜图像的虹膜区域和虹膜纹理区域进行无监督定位，使网络能模拟人眼的视觉特性不断聚焦于真伪虹膜关键区域之间的微小特征差异，相比于其他虹膜防伪检测网络具有更好的准确性和泛化性。
[0094]
2、采用mobilenetv2对特征分类网络进行轻量化处理，解决了使用循环网络结构导致运算成本过高的问题；另外，构建端到端网络无需复杂的图像预处理或人工标注，适合集成到虹膜识别系统中，应用部署在边缘计算设备上。
[0095]
以上所述仅是本发明的优选实施方式。需要理解的是，本发明并不局限于上述特定实施方式，在不脱离本发明原理的前提下，本领域技术人员可以做出各种改进或润饰，这并不影响本发明的实质内容。