一种手指多模态生物特征球形粒化和匹配方法与流程

本发明属于生物特征识别技术领域，具体涉及一种手指多模态生物特征球形粒化和匹配方法。

背景技术：

多模态生物特征识别技术作为一种新的身份识别技术，目前已广泛应用于安防监控、电子商务、出入口管理等领域。但是，由于不同模态的生物特征在表现形式和分析方法上均存在较大差异，科学合理的多模态生物特征融合识别框架理论仍比较缺乏。目前，粒计算作为处理信息和知识过程的一种新的研究方法，为多模态生物特征识别提供了一种新思路。采用合适的粒化方法对图像进行合理地表示和有效地融合是多模态生物特征识别的基础，同时，针对于特定形式的粒，准确而高效的匹配方法对于多模态生物特征识别具有重要意义。但目前缺少有效的方法。

技术实现要素：

为了解决上述问题，本发明的目的在于提供一种手指多模态生物特征球形粒化和匹配方法。

为了达到上述目的，本发明提供的手指多模态生物特征球形粒化和匹配方法包括按顺序进行的下列步骤：

1)首先对多个不同个体的单模态原始指静脉ROI图像、指纹ROI图像和指节纹ROI图像利用静态小波变换方法分别进行两层分解，由此获得多幅包括指静脉、指纹和指节纹在内的三个模态的低频图像；

2)将上述多幅三个模态的低频图像分别进行图像对准，包括尺寸归一化和数值归一化处理；

3)将上述每幅归一化后的单模态低频图像中所有像素值采用按行串联的方法形成一个高维向量，以该向量在高维空间中对应的点为球心，零为半径，构造一个原子超球粒，这样每一幅归一化后的单模态低频图像就形成一个指静脉、指纹或指节纹原子超球粒；

4)以每一个体的指静脉、指纹和指节纹原子超球粒为顶点确定一个三角形△₁(G_FV，G_FP，G_FKP)，该三角形的重心对应原子超球粒G_c1；同时原子超球粒G_c1与指静脉原子超球粒G_FV和指节纹原子超球粒G_FKP又可以唯一地确定一个三角形△₂(G_FV，G_c1，G_FKP),该三角形的重心对应原子超球粒G_c2；连接原子超球粒G_c2与指静脉原子超球粒G_FV而形成一条线段，以该线段的中点作为球心C_Fs，线段长度的一半作为半径R_Fs画圆而形成一个融合超球粒G_Fs；

5)将上述融合超球粒随机分成两部分，一部分作为训练样本，另一部分作为测试样本；对训练样本中的每一个融合超球粒给定一个类别标签而作为一个模板超球粒，即属于同一个体的三模态图像具有相同的类别标签，并将所有模板超球粒按半径大小升序排列，构建模板数据库；而将测试样本中的所有融合超球粒作为类别标签未知的待匹配超球粒；

6)通过分析模板数据库中同类别超球粒的半径差来确定半径容差alw的取值，根据模板数据库中两两超球粒之间的夹角余弦相似度来确定最大相似度阈值SimTh的取值。

7)从测试样本中选定一个待匹配超球粒Gx＝(Cx,Rx)，根据假设的半径容差alw确定半径检索范围为[Rx-alw,Rx+alw]，那么所有半径在该范围内的模板超球粒均为下一步的匹配对象；之后根据式(8)所示的夹角余弦公式分别计算出待匹配超球粒与匹配对象中每一个模板超球粒的球心向量的相似度，并确定出相似度最大值maxSim；然后对相似度最大值maxSim与相似度阈值SimTh进行比较，若相似度最大值maxSim大于或等于相似度阈值SimTh，则相似度最大值maxSim对应的模板超球粒的类别即为待匹配超球粒的类别；反之，待匹配超球粒的类别无法确定，说明该超球粒未在模板数据库中进行注册；最后，通过判断待匹配超球粒获得的类别与其自身的类别是否一致来确定特征匹配是否成功，由此可以确定出待匹配超球粒与哪个模板超球粒属于同一个体，从而完成识别过程。

在步骤2)中，所述的尺寸归一化处理方法是将指纹低频图像调整到119×100像素，指静脉低频图像调整到70×170像素，指节纹低频图像调整到70×170像素。

在步骤2)中，所述的数值归一化处理方法是按式(1)对上述低频图像进行数值归一化，使得每幅低频图像的像素值都在0和1之间，计算公式如下：

${I_{i,j}}^{*}=\frac{I_{i,j}-I_{min}}{I_{max}-I_{\min }}---\left(1\right)$

其中，I_i,j表示低频图像中像素点(i，j)的原像素值，I_min表示整幅图像所有像素值中的最小值，I_max表示整幅图像所有像素值中的最大值，I_i,j^*表示低频图像中像素点(i，j)归一化后的像素值。

在步骤3)中，所述的指静脉原子超球粒G_FV、指纹原子超球粒G_FP、指节纹原子超球粒G_FKP的表达式如下：

$G_{FV}=(C_{fv},0),C_{fv}=\[I_{1,1}^{fv},I_{1,2}^{fv},...,I_{M_v,N_v}^{fv}\]---\left(2\right)$

$G_{FP}=(C_{fp},0),C_{fp}=\[I_{1,1}^{fp},I_{1,2}^{fp},...,I_{M_p,N_p}^{fp}\]---\left(3\right)$

$G_{FKP}=(C_{fkp},0),C_{fkp}=\[I_{1,1}^{fkp},I_{1,2}^{fkp},...,I_{M_k,N_k}^{fkp}\]---\left(4\right)$

其中，FV表示指静脉，FP表示指纹，FKP表示指节纹；C_fv，C_fp，C_fkp分别表示对应模态的球心向量；分别表示对应模态的图像上某一像素点(m,n)的像素值。

在步骤4)中，所述的原子超球粒G_c1、原子超球粒G_c2和融合超球粒G_Fs的计算公式分别为：

$G_{c1}=(C_{c1},0),C_{c1}\left(i\right)=\frac{C_{fv}\left(i\right)+C_{fp}\left(i\right)+C_{fkp}\left(i\right)}{3},(i=1,2,...,N)---\left(5\right)$

$G_{c2}=(C_{c2},0),C_{c2}\left(i\right)=\frac{C_{fv}\left(i\right)+C_{c1}\left(i\right)+C_{fkp}\left(i\right)}{3},(i=1,2,\mathrm{...},N)---\left(6\right)$

$G_{Fs}=\left(\frac{1}{2}\right(C_{fv}+C_{in}),\frac{1}{2}\left|\right|C_{fv}-C_{in}\left|{|}_2\right)---\left(7\right)$

其中，N表示空间维数，数值等于11900，||*||₂表示2范数，即两点间的欧式距离；C_fv，C_fp，C_fkp分别表示指静脉、指纹和指节纹原子超球粒的球心向量。

在步骤7)中，所述的夹角余弦公式为：

$Sim(C_1,C_2)=\frac{C_1\·C_2}{\left|C_1\right|*\left|C_2\right|}---\left(8\right)$

式中，C₁，C₂为任意两个融合超球粒的球心向量，·表示向量数量积，|*|表示向量的模。

本发明提供的手指多模态生物特征球形粒化和匹配方法能够有效地将指纹、指静脉和指静脉进行粒化表示，并根据空间位置关系，有效地将三个模态图像融合起来，形成的融合超球粒包含了三个模态的所有像素特点，并针对超球粒的特点，提出了一种快速的匹配方法进行身份识别，实验结果表明本发明提出的手指多模态生物特征球形粒化和匹配方法具有运算速度快、匹配准确率高的特点。

附图说明

图1为指静脉图像的两层静态小波分解结果。

图2为手指三模态图像的尺寸归一化处理结果。

图3为三模态生物特征粒化融合方法示意图。

具体实施方式

下面结合附图和具体实施例对本发明提供的手指多模态生物特征球形粒化和匹配方法进行详细说明。

本发明提供的手指多模态生物特征球形粒化和匹配方法包括按顺序进行的下列步骤：

1)首先对多个不同个体的单模态原始指静脉ROI图像、指纹ROI图像和指节纹ROI图像利用静态小波变换方法分别进行两层分解，由此获得多幅包括指静脉、指纹和指节纹在内的三个模态的低频图像；图1示出指静脉图像的两层静态小波分解结果，其中图1(a)为原始图像，图1(b)为低频分量，图1(c)和图1(d)均为中频分量，图1(e)为高频分量；

2)将上述多幅三个模态的低频图像分别进行图像对准，包括尺寸归一化和数值归一化处理；

所述的尺寸归一化处理方法是将指纹低频图像调整到119×100像素，指静脉低频图像调整到70×170像素，指节纹低频图像调整到70×170像素；图2为手指三模态图像的尺寸归一化处理结果，其中图2(a)为指纹低频图像，图2(b)为指静脉低频图像，图2(c)为指节纹低频图像。尺寸归一化处理的目的是使得三个模态的低频图像形成的像素值向量具有相同的维度，从而保证在相同的维度下进行后面的球形粒化。

所述的数值归一化处理方法是按式(1)对上述低频图像进行数值归一化，使得每幅低频图像的像素值都在0和1之间，计算公式如下：

${I_{i,j}}^{*}=\frac{I_{i,j}-I_{min}}{I_{max}-I_{\min }}---\left(1\right)$

其中，I_i,j表示低频图像中像素点(i，j)的原像素值，I_min表示整幅图像所有像素值中的最小值，I_max表示整幅图像所有像素值中的最大值，I_i,j^*表示低频图像中像素点(i，j)归一化后的像素值。

3)将上述每幅归一化后的单模态低频图像中所有像素值采用按行串联的方法形成一个高维向量，以该向量在高维空间中对应的点为球心，零为半径，构造一个原子超球粒，分别用G_FV表示指静脉原子超球粒、G_FP表示指纹原子超球粒、G_FKP表示指节纹原子超球粒。这样每一幅归一化后的单模态低频图像就形成一个指静脉、指纹或指节纹原子超球粒，它们的表达式如下：

$G_{FV}=(C_{fv},0),C_{fv}=\[I_{1,1}^{fv},I_{1,2}^{fv},...,I_{M_v,N_v}^{fv}\]---\left(2\right)$

$G_{FP}=(C_{fp},0),C_{fp}=\[I_{1,1}^{fp},I_{1,2}^{fp},...,I_{M_p,N_p}^{fp}\]---\left(3\right)$

$G_{FKP}=(C_{fkp},0),C_{fkp}=\[I_{1,1}^{fkp},I_{1,2}^{fkp},...,I_{M_k,N_k}^{fkp}\]---\left(4\right)$

其中，FV表示指静脉，FP表示指纹，FKP表示指节纹；C_fv，C_fp，C_fkp分别表示对应模态的球心向量；分别表示对应模态的图像上某一像素点(m,n)的像素值。

4)根据空间位置关系，每一个体的指静脉、指纹和指节纹原子超球粒可唯一地确定一个三角形，如图3所示，本步骤以每一个体的指静脉、指纹和指节纹原子超球粒为顶点确定一个三角形△₁(G_FV，G_FP，G_FKP)，该三角形的重心对应原子超球粒G_c1，计算方法见式(5)；同时原子超球粒G_c1与指静脉原子超球粒G_FV和指节纹原子超球粒G_FKP又可以唯一地确定一个三角形△₂(G_FV，G_c1，G_FKP),该三角形的重心对应原子超球粒G_c2，计算方法见式(6)；连接原子超球粒G_c2与指静脉原子超球粒G_FV而形成一条线段，以该线段的中点作为球心C_Fs，线段长度的一半作为半径R_Fs画圆而形成一个融合超球粒G_Fs，计算公式见式(7)。该融合超球粒包含了三个模态的信息，可以代替三模态图像进行特征匹配。

$G_{c1}=(C_{c1},0),C_{c1}\left(i\right)=\frac{C_{fv}\left(i\right)+C_{fp}\left(i\right)+C_{fkp}\left(i\right)}{3},(i=1,2,...,N)---\left(5\right)$

$G_{c2}=(C_{c2},0),C_{c2}\left(i\right)=\frac{C_{fv}\left(i\right)+C_{c1}\left(i\right)+C_{fkp}\left(i\right)}{3},(i=1,2,\mathrm{...},N)---\left(6\right)$

$G_{Fs}=\left(\frac{1}{2}\right(C_{fv}+C_{in}),\frac{1}{2}\left|\right|C_{fv}-C_{in}\left|{|}_2\right)---\left(7\right)$

其中，N表示空间维数，数值等于11900，||*||₂表示2范数，即两点间的欧式距离；C_fv，C_fp，C_fkp分别表示指静脉、指纹和指节纹原子超球粒的球心向量。

本步骤的融合方法是根据三模态图像的像素值向量在高维空间中的位置关系来构造几何结构三角形，并利用该几何结构的特点进行相应的粒计算，使得融合超球粒倾向于指静脉图像，指节纹图像次之，最后是指纹图像，这样的融合超球粒既包含了各个模态的信息，又突出了三种图像在融合时的贡献程度。

5)将上述融合超球粒随机分成两部分，一部分作为训练样本，另一部分作为测试样本；对训练样本中的每一个融合超球粒给定一个类别标签而作为一个模板超球粒，即属于同一个体的三模态图像具有相同的类别标签，并将所有模板超球粒按半径大小升序排列，构成模板数据库；而将测试样本中的所有融合超球粒作为类别标签未知的待匹配超球粒；

6)通过分析训练样本中同类别超球粒的半径差来确定半径容差alw的取值，根据训练样本中两两超球粒之间的夹角余弦相似度来确定最大相似度阈值SimTh的取值。

所述的半径容差alw和最大相似度阈值SimTh的数值选取选择依据的原则是：

合适的半径容差alw使得同类样本尽可能多地包含半径检索范围确定的匹配对象中，同时确保能够获得较高的识别精度和较快的识别效率。合适的最大相似度阈值SimTh使得属于相同类别的两两超球粒的相似度大于等于最大相似度阈值SimTh，属于不同类别的两两超球粒的相似度小于最大相似度阈值SimTh。

7)从测试样本中选定一个待匹配超球粒Gx＝(Cx,Rx)，根据假设的半径容差alw确定半径检索范围为[Rx-alw,Rx+alw]，那么所有半径在该范围内的模板超球粒均为下一步的匹配对象；之后根据式(8)所示的夹角余弦公式分别计算出待匹配超球粒与匹配对象中每一个模板超球粒的球心向量的相似度，并确定出相似度最大值maxSim；然后对相似度最大值maxSim与相似度阈值SimTh进行比较，若相似度最大值maxSim大于或等于相似度阈值SimTh，则相似度最大值maxSim对应的模板超球粒的类别即为待匹配超球粒的类别；反之，待匹配超球粒的类别无法确定，说明该超球粒未在模板数据库中进行注册；最后，通过判断待匹配超球粒获得的类别与其自身的类别是否一致来确定特征匹配是否成功，由此可以确定出待匹配超球粒与哪个模板超球粒属于同一个体，从而完成识别过程。

$Sim(C_1,C_2)=\frac{C_1\·C_2}{\left|C_1\right|*\left|C_2\right|}---\left(8\right)$

式中，C₁，C₂为任意两个融合超球粒的球心向量，·表示向量数量积，|*|表示向量的模。

为了充分论证本发明方法的可行性和有效性，本发明人采集了500个不同个体的10幅单模态原始指纹ROI图像(152×152像素)、10幅指静脉ROI图像(91×200像素)和10幅指节纹ROI图像(90×200像素)，总共15000幅手指单模态ROI图像，并按上述方法进行了实验。实验环境为标准PC机，实验平台为Matlab R2010a。

实验步骤主要包括图像预处理，球形粒化，粒化融合和特征匹配四个过程。匹配实验采用交叉验证法中的留一法进行识别精度的确定。由于每一个体都有10幅三模态图像，经过球形粒化和融合后，每一个体共有10个融合超球粒，所以，每次一轮实验，随机选取1个作为待匹配超球粒，剩下的9个作为模板超球粒；这样，每轮实验中，模板数据库中共有500*9个模板超球粒，测试样本中共有500*1个待匹配超球粒。

按上述方法随机分配样本，进行20次实验，将它们平均值作为最后的结果。实验中，通过判断待匹配超球粒经特征匹配获得的类别与其本身的类别是否一致来确定匹配是否成功，将匹配成功的超球粒个数在总的待匹配超球粒中所占的比例作为正确识别率(CCR)。实验结果如下：

表1.500×10×3个样本的处理时间

由表1可得，本发明方法对所有样本(500个人，每人3个模态，每个模态10幅图)共15000张图像进行预处理、球形粒化和粒化融合，花费时间都较少，说明本发明方法简单高效。

表2.本发明方法的识别性能

注：设定相似度阈值SimTh为0.9。

其中，匹配时间/s是指测试样本中所有待匹配超球粒全部匹配完成的时间成本；平均匹配/s是指测试样本中中每个待匹配超球粒单次匹配的平均耗时。

由表2可知，本发明方法获得了较高的正确识别率(CCR)，并且随着半径容差alw的不断增大，需要与待匹配超球粒进行特征匹配的范围也在不断扩大，即每一个待匹配超球粒需要进行一一匹配的模板超球粒的个数也在不断增多，故匹配时间也随着增加，但是正确识别率也有一定的提高。同时，我们可以看到，对于11900维这样的高维数据，本发明方法的时间花费(匹配时间/s、平均匹配/s)是较少的，这是因为通过半径选定匹配范围后，待匹配超球粒只需与满足条件的模板超球粒进行相似性度量，而不需要与模板数据库中所有模板超球粒进行一一比对，匹配效率自然就高了。

综合表1和表2可得，本发明提供的手指多模态生物特征球形粒化和匹配方法能够简单高效地将手指三模态图像在高维空间下进行有效地融合，同时针对融合超球粒的特点提出的特征匹配方法能够快速而准确地进行图像匹配，以较少的时间成本获得了较高的识别精度，说明本发明方法同时具有一定的可行性和有效性。