一种基于频谱的指纹纹理特征提取方法

1.本发明是一种神经网络改进方法，具体是一种基于频谱attention的指纹纹理特征提取方法，在特征提取过程中引入了图像的频谱特征，提高特征提取的效果。


背景技术：

2.指纹识别已广泛应用于日常生活的很多领域。一些犯罪分子为了避免被识别到，通过切割、移植、燃烧等方式改变指纹的脊状结构，由此产生的指纹称为形变指纹。他们就以形变指纹干扰识别系统，逃避检查。
3.指纹图像具有很好的纹理性，用深度学习的方法可以很好的提取指纹图像的特征，并加以识别。
4.指纹图像的频谱图也有明显特征，高频和低频比较明显，在频谱图上呈现圆环状态。普通的深度学习网络并不会针对指纹的这种频谱纹理特征进行学习。


技术实现要素：

5.为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于频谱attention的指纹纹理特征提取方法，通过添加的频谱attention模块帮助卷积神经网络更好地提取指纹的纹理特征，提高形变指纹的识别精度。本发明为了利用这种频谱上的特征，在深度学习的方法上添加了频谱attention的模块，提升特征提取的效果。
6.为达到上述发明创造目的，本发明采用如下技术方案：
7.一种基于频谱的指纹纹理特征提取方法，在卷积神经网络中添加了一个频谱attention模块，包括以下操作步骤：
8.步骤1、将输入的特征图进行傅里叶变换从时域图转换为频谱图，采用的公式如式(1)所示：
[0009][0010]
在式(1)中u和v是频率变量，x和y是空间域图像变量；j为虚数单位，f(x,y)为时域图像表示，m1，n1为时域图像的尺寸大小，f(u,v)为频域图像表示；
[0011]
步骤2、经过傅里叶变换的频谱图实部和虚部分离成两张特征图；
[0012]
步骤3、两张特征图分别经过卷积核为1*1，3*3，1*1三个卷积层进行网络学习，提取频谱特征，卷积公式如式(2)所示：
[0013][0014]
式(2)中h(m,n)是卷积后的图像；f是卷积前的时域图像，ω是一个矩形卷积核，ω(s,t)为卷积核ω中s行，t列的值大小；f(m-s,n-t)为图像f中第m行第n列像素f(m,n)沿横坐标移动距离s、沿纵坐标移动距离t；
[0015]
步骤4、将通过卷积层的特征图重新合并成频谱图，经过傅里叶反变换回到时域特
征图，用到的公式如式(3)：
[0016][0017]
在式(3)中m2，n2为频域图像的尺寸大小；
[0018]
步骤5、将得到的时域图经过softmax得到对应0-1范围上的映射值；
[0019]
步骤6、将映射值与原图相乘进行attention计算；
[0020]
步骤7、将频谱attention模块嵌入不同的网络层，进行计算。
[0021]
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
[0022]
1.本发明不只关注了图像的时域特征，还关注了指纹图像的频谱特征，将指纹图像的时域特征和频谱特征相结合，更好得保留了指纹图像的纹理特征，提高了形变指纹的识别精度；
[0023]
2.本发明利用了纹理图像在频域上的特征，进行深度学习的训练，结合了图像的时域特征和频谱特征，更好地提取了指纹图像的纹理特征，从而提高形变指纹的识别精度；本发明是基于inceptionv3所做的实验，也可以适用于其它深度学习网络。
附图说明
[0024]
图1为本发明方法提取的形变指纹图像。
[0025]
图2为本发明方法提取的指纹图像的频谱图。
[0026]
图3为本发明方法的频谱attention结构图。
[0027]
图4为本发明方法的频谱attention中的卷积网络结构
[0028]
图5为本发明方法提取的训练loss图。
具体实施方式
[0029]
以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：
[0030]
实施例一：
[0031]
在本实施例中，一种基于频谱的指纹纹理特征提取方法，在卷积神经网络中添加了一个频谱attention模块，包括以下操作步骤：
[0032]
步骤1、将输入的特征图进行傅里叶变换从时域图转换为频谱图，采用的公式如式(1)所示：
[0033][0034]
在式(1)中u和v是频率变量，x和y是空间域图像变量；j为虚数单位，f(x,y)为时域图像表示，m1，n1为时域图像的尺寸大小，f(u,v)为频域图像表示；
[0035]
步骤2、经过傅里叶变换的频谱图实部和虚部分离成两张特征图；
[0036]
步骤3、两张特征图分别经过卷积核为1*1，3*3，1*1三个卷积层进行网络学习，提取频谱特征，卷积公式如式(2)所示：
[0037]
[0038]
式(2)中h(m,n)是卷积后的图像；f是卷积前的时域图像，ω是一个矩形卷积核，ω(s,t)为卷积核ω中s行，t列的值大小；f(m-s,n-t)为图像f中第m行第n列像素f(m,n)沿横坐标移动距离s、沿纵坐标移动距离t；
[0039]
步骤4、将通过卷积层的特征图重新合并成频谱图，经过傅里叶反变换回到时域特征图，用到的公式如式(3)：
[0040][0041]
在式(3)中m2，n2为频域图像的尺寸大小；
[0042]
步骤5、将得到的时域图经过softmax得到对应0-1范围上的映射值；
[0043]
步骤6、将映射值与原图相乘进行attention计算；
[0044]
步骤7、将频谱attention模块嵌入不同的网络层，进行计算。
[0045]
本实施例基于频谱attention的指纹纹理特征提取方法，利用了纹理图像在频域上的特征，进行深度学习的训练，结合了图像的时域特征和频谱特征，更好地提取了指纹图像的纹理特征，从而提高形变指纹的识别精度。本实施例方法是基于inceptionv3所做的实验，也可以适用于其它深度学习网络。
[0046]
实施例二：
[0047]
本实施例与实施例一基本相同，特别之处在于：
[0048]
在本实施例中，将特征图输入到inceptionv3深度学习网络中，网络结构如下表1所示。
[0049]
表1.本发明实施例二inceptionv3网络结构数据表
[0050]
网络层类型网络层结构输入尺寸卷积层3*3卷积，步长为23*299*299卷积层3*3卷积，步长为132*149*149卷积层3*3卷积，步长为132*147*147池化层3*3池化，步长为264*147*147卷积层3*3卷积，步长为164*73*73卷积层3*3卷积，步长为280*73*73池化层3*3池化，步长为1192*71*713*inception多个卷积层组成192*35*355*inception多个卷积层组成288*35*352*inception多个卷积层组成768*17*17全局池化层8*8卷积，步长为12048*8*8全连接层 2048*1*1
[0051]
将频谱attention模块加入到inception网络中的inception层，辅助提取纹理特征。
[0052]
频谱attention模块的步骤如下所示：
[0053]
步骤1、将输入的原图进行傅里叶变换从时域图转换为频谱图，采用的公式如式(1)所示：
[0054][0055]
在式(1)中u和v是频率变量，x和y是空间域图像变量；j为虚数单位，f(x,y)为时域图像表示，m1，n1为时域图像的尺寸大小，f(u,v)为频域图像表示；
[0056]
步骤2、将经过傅里叶变换的频谱图实部和虚部分离成两张特征图。
[0057]
步骤3、将两张特征图分别经过卷积核为1*1，3*3，1*1三个卷积层进行网络学习，提取频谱特征，卷积公式如式(2)所示：
[0058][0059]
式(2)中h(m,n)是卷积后的图像；f是卷积前的时域图像，ω是一个矩形卷积核，ω(s,t)为卷积核ω中s行，t列的值大小；f(m-s,n-t)为图像f中第m行第n列像素f(m,n)沿横坐标移动距离s、沿纵坐标移动距离t；
[0060]
步骤4、将通过卷积层的特征图重新合并成频谱图，经过傅里叶反变换变回时域图，用到的公式如式(3)：
[0061][0062]
在式(3)中m2，n2为频域图像的尺寸大小；
[0063]
步骤5、将得到的时域图经过softmax得到对应0-1范围上的映射值。
[0064]
步骤6、将映射值与原图相乘进行attention计算。
[0065]
步骤7、重复步骤1-6，将频谱attention模块加入到所有的inception层，进行网络训练。
[0066]
本发明中使用的频谱attention模块的意义是希望在频谱图的特征提取过程中选择出纹理特征较为突出的频段，用attention的方式加强这部分频段的图像在时域图上的特征，更好的提取指纹的纹理特征。
[0067]
实验结果经整理后如下：
[0068]
数据集为自己收集处理的形变指纹数据。参见表2。
[0069]
表2.相同训练轮数(epoch)下识别精度对比表
[0070] epoch10epoch20epoch30inception网络96.8297.3897.36本发明96.9397.5197.52
[0071]
本实施例是基于inceptionv3网络所做的实验，但可应用于其他网络的特征提取。
[0072]
本实施例不只关注了图像的时域特征，还关注了指纹图像的频谱特征，将指纹图像的时域特征和频谱特征相结合，更好得保留了指纹图像的纹理特征，提高了形变指纹的识别精度；本实施例利用了纹理图像在频域上的特征，进行深度学习的训练，结合了图像的时域特征和频谱特征，更好地提取了指纹图像的纹理特征，从而提高形变指纹的识别精度；本发明是基于inceptionv3所做的实验，也可以适用于其它深度学习网络。
[0073]
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下
做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。