一种离线身份认证的方法和装置与流程

本发明涉及模式识别领域，尤其涉及一种离线身份认证的方法和装置。

背景技术：

在基于身份证进行身份认证时，一方面要鉴别证件本身的真假，另一方面要鉴别当前使用者与身份证合法持有者是否一致。前者可利用芯片防伪技术，根据在读卡器上是否机读成功来判断，若要进一步鉴别身份，还需要结合公安部门的身份证系统进行联网核查与辨伪。这种在线鉴别的方法，一方面需要获取公安系统人脸数据库的访问授权才能进行，使得应用场合受到限制，另一方面无法自动鉴别芯片为真、表面图像为假的假身份证情况，这种假证可以机读成功，联网核查的身份为真，但芯片存储的头像与证件表面的图像并不一致，要鉴别这种假证，需要靠肉眼比对芯片头像、证件表面头像以及持证人像的三方一致性，这无疑加重了检查人员的负担，甚至容易造成误检和漏检。针对这个问题，需要提供一种智能鉴别方法，一方面可以不依赖于公安部人脸数据库，实现离线鉴别，另一方面可同时比对芯片头像、证件表面头像以及持证人像的一致性，自动给出认证通过与否的鉴别结果，提高认证效率。

技术实现要素：

本发明实施例提供了一种离线身份认证的方法和装置，能够解决现有技术依赖于公安部人脸数据库并且难以识别芯片头像、证件表面头像以及持证人像的三方一致性的问题。

本发明实施例提供的一种离线身份认证的方法，包括：

获取两幅以上用于身份认证的图像，构成待认证的多元图像组；

提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；

根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；

将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多 元图像组中的图像一致与否进行认证判决，得到身份认证结果。

可选地，所述多元图像组为三元图像组，具体包括身份证的芯片图像、证件的表面图像和现场人脸图像。

可选地，所述SVM分类器由以下步骤预先完成训练：

预先获取作为样本的身份证的芯片图像、证件的表面图像和现场人脸图像，构成训练集的三元样本组，所述训练集中的三元样本组分为数量比例适当的正样本和负样本；

提取所述三元样本组中每个图像的级联PCA卷积特征，得到对应的样本特征向量；

根据所述样本特征向量和带监督信号的分数融合策略对所述三元样本组的图像信息进行融合，得到对应的样本融合向量；

将所述样本融合向量送入所述SVM分类器中进行训练，得到完成训练的SVM分类器。

可选地，提取所述待认证的三元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量具体包括：

将所述待认证的三元图像组中每个图像投入预训练完成的深度卷积神经网络；

从所述深度卷积神经网络的卷积组中抽取N个中间子层的卷积输出作为级联层，并依次逐级对得到的级联层作PCA变换，最后输出对应的特征向量，N≥2。

可选地，所述深度卷积神经网络包括五个卷积组和两个全连接层，每个所述卷积组包括两个卷积子层和一个池化层；从所述深度卷积神经网络中抽取N个中间子层的卷积输出作为级联层，并依次逐级对得到的级联层作PCA变换，最后输出对应的特征向量具体包括：

提取第四个卷积组的池化层输出，将所有输出值串成一个第一向量；

对所述第一向量进行PCA变换，保留第一数量个主成分分量得到第一插入向量；

提取第五个卷积组的池化层输出，将所有输出值串成一个第二向量，并将所述第一插入向量插入到所述第二向量的头部；

对插入后的所述第二向量进行PCA变换，保留第二数量个主成分分量得到第二插入向量；

提取第二个全连接层的输出为第三向量，并将所述第二插入向量插入到所述第三向量的头部；

对插入后的所述第三向量进行PCA变换，保留第三数量个主成分分量得到对应的所述特征向量。

可选地，根据所述特征向量和带监督信号的分数融合策略对所述待认证的三元图像组的图像信息进行融合，得到对应的融合向量具体包括：

计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数；

计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号；

根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号，预设的所述决策权重与所述待认证的三元图像组中每两副图像一一对应；

将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量。

可选地，根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号具体包括：

将三个匹配支的预设决策权重的比值转换成整数比后，再归一化到0～7的范围内，三个所述匹配支分别为芯片图像与表面图像、芯片图像与现场人脸图像、以及表面图像与现场人脸图像；

将归一化后的所述匹配支对应的决策权重的比值进行二进制编码转换，得到对应的初步编码；

将所述差值信号对应的最高位编码插入所述初步编码中，得到对应的权值信号；

其中，若所述差值信号大于0，其对应的最高位编码为1，反之，其对应的最高位编码为0。

本发明实施例提供的一种离线身份认证的装置，包括：

多元图像获取模块，用于获取两幅以上用于身份认证的图像，构成待认证的多元图像组；

卷积特征提取模块，用于提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；

分数融合模块，用于根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；

认证判决模块，用于将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。

可选地，所述多元图像组为三元图像组，具体包括身份证的芯片图像、证件的表面图像和现场人脸图像。

可选地，所述分数融合模块包括：

匹配分数计算单元，用于计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数；

差值信号计算单元，用于计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号；

权值信号计算单元，用于根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号，预设的所述决策权重与所述待认证的三元图像组中每两副图像一一对应；

融合向量合成单元，用于将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中，首先，获取两幅以上用于身份认证的图像，构成待认证的多元图像组；然后，提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；接着，根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；最后，将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。在本发明实施例中，可以在离线情况下，对身份证等证件的芯片图像、表面 图像和现场人脸图像从整体决策出发进行对比，通过训练完成的SVM分类器单次决策给出认证结果，无需依赖公安部人脸数据库的同时，减轻检查人员的负担，提高认证效率。

附图说明

图1为本发明实施例中一种离线身份认证的方法一个实施例流程图；

图2为本发明实施例中一种离线身份认证的方法另一个实施例流程图；

图3为本发明实施例中一种离线身份认证的方法一个应用场景下的原理示意图；

图4为本发明实施例中深度卷积神经网络模型和级联PCA卷积原理示意图；

图5为本发明实施例中带监督信号的分数融合策略的原理示意图；

图6为本发明实施例中权值信号的编码示意图；

图7为本发明实施例中一种离线身份认证的装置一个实施例结构图；

图8为本发明实施例中一种离线身份认证的装置另一个实施例结构图。

具体实施方式

本发明实施例提供了一种离线身份认证的方法和装置，用于解决现有技术依赖于公安部人脸数据库并且难以识别芯片头像、证件表面头像以及持证人像的三方一致性的问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中一种离线身份认证的方法一个实施例包括：

101、获取两幅以上用于身份认证的图像，构成待认证的多元图像组；

其中，两幅用于身份认证的图像例如可以为身份证的芯片图像和证件的表面图像，或者可以为身份证的芯片图像和现场人脸图像。

102、提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；

在构成待认证的多元图像组之后，可以提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量。

103、根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；

在得到对应的特征向量之后，可以根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量。

104、将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。

在得到对应的融合向量之后，可以将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。例如，假设该多元图像组包括身份证的芯片图像和证件的表面图像，则对该芯片图像与该表面图像是否一致进行认证判决。

本实施例中，首先，获取两幅以上用于身份认证的图像，构成待认证的多元图像组；然后，提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；接着，根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；最后，将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。在本实施例中，可以在离线情况下，对用于身份认证的图像从整体决策出发进行对比，通过训练完成的SVM分类器单次决策给出认证结果，无需依赖公安部人脸数据库的同时，减轻检查人员的负担，提高认证效率。

为便于理解，下面对本发明实施例中的一种离线身份认证的方法进行详细描述，请参阅图2，本发明实施例中一种离线身份认证的方法另一个实施例(以身份证的图像认证为例)包括：

201、获取身份证的芯片图像、证件的表面图像和现场人脸图像，构成待认证的三元图像组；

首先，可以获取身份证的芯片图像、证件的表面图像和现场人脸图像，构成待认证的三元图像组。其中，芯片图像可以由读卡装置直接获得，证件 的表面图像可以通过扫描装置获得，现场人脸图像可以由拍照装置获得，采集到的图像通过人脸检测器检测出人脸区域。

需要说明的是，本实施例中，采用三张图像构成多元图像组，也即三元图像组，分别为身份证的芯片图像、证件的表面图像和现场人脸图像，可完成通过身份证芯片的身份认证识别，当该芯片图像、表面图像和现场人脸图像的判决结果为一致时，身份认证通过。

202、将所述待认证的三元图像组中每个图像投入预训练完成的深度卷积神经网络；

在获取到待认证的三元图像组之后，可以将所述待认证的三元图像组中每个图像投入预训练完成的深度卷积神经网络。其中，如图4所示，深度卷积神经网络由若干个卷积组和若干个全连接层组成，每个卷积组则由若干个卷积子层和一个池化层组成。本实施例中，为使最后输出的特征向量更合理，所述深度卷积神经网络选取为依次由五个卷积组和两个全连接层组成。并且在抽取卷积特征时，提取五个卷积组中最后两个卷积组的池化层的输出(如图4中的pool4、pool5)以及最后一个全连接层的输出(如图4中的fc2)，并逐级进行PCA变换以保留每层输出的主成分分量。

在投入深度卷积神经网络之后，需要从所述深度卷积神经网络中抽取N(N≥2)个中间子层的卷积输出作为级联层，并依次逐级对得到的级联层作PCA变换，最后输出对应的特征向量，具体可见步骤203至208的描述。

203、提取第四个卷积组的池化层输出，将所有输出值串成一个第一向量；

如图4所示，在将所述待认证的三元图像组中每个图像投入预训练完成的深度卷积神经网络之后，可以提取第四个卷积组的池化层(pool4)输出，将所有输出值串成一个第一向量。

204、对所述第一向量进行PCA变换，保留第一数量个主成分分量得到第一插入向量；

在将所有输出值串成一个第一向量之后，可以对所述第一向量进行PCA变换，保留第一数量个主成分分量得到第一插入向量(PP1)。其中，第一数量可以根据具体情况进行设定，例如可以是前1024个。

205、提取第五个卷积组的池化层输出，将所有输出值串成一个第二向量， 并将所述第一插入向量插入到所述第二向量的头部；

如图4所示，在保留第一数量个主成分分量得到第一插入向量之后，可以提取第五个卷积组的池化层(pool5)输出，将所有输出值串成一个第二向量，并将所述第一插入向量插入到所述第二向量的头部。

206、对插入后的所述第二向量进行PCA变换，保留第二数量个主成分分量得到第二插入向量；

在将所述第一插入向量插入到所述第二向量的头部之后，可以对插入后的所述第二向量进行PCA变换，保留第二数量个主成分分量得到第二插入向量(PP2)。其中，第二数量可以根据具体情况进行设定，例如可以是前512个。

207、提取第二个全连接层输出的第三向量，并将所述第二插入向量插入到所述第三向量的头部；

在对插入后的所述第二向量进行PCA变换，保留第二数量个主成分分量得到第二插入向量之后，可以提取第二个全连接层输出的第三向量，并将所述第二插入向量插入到所述第三向量(fc2)的头部。

208、对插入后的所述第三向量进行PCA变换，保留第三数量个主成分分量得到对应的所述特征向量；

在将所述第二插入向量插入到所述第三向量的头部之后，可以对插入后的所述第三向量进行PCA变换，保留第三数量个主成分分量得到对应的所述特征向量(PP3)。其中，第三数量可以根据具体情况进行设定，例如可以是前256个。

可以理解的是，对于一个待认证的三元图像组中三幅图像，每幅图像均对应一个所述特征向量，一个三元图像组对应有三个特征向量。

209、计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数；

在得到对应的所述特征向量之后，可以计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数。可以理解的是，三个特征向量中，每两个特征向量之间可以计算一个余弦相似度(余弦相似度可用于评价两个特征向量的相似程度)，因此，三个特征向 量两两组合，共可计算得到三个余弦相似度，并将余弦相似度的结果作为对应两个特征向量之间的匹配分数。

具体地，两幅图像(I₁，I₂)的余弦相似性度量公式为：其中n是特征向量的维数，f_1k是I₁特征向量的第k个元素，f_2k是I₂特征向量的第k个元素。由此得到芯片图像与证件的表面图像的匹配分数为s₁，此匹配支记为p1分支；芯片图像与现场人脸图像的匹配分数为s₂，此匹配支记为p2分支；证件图像与现场人脸图像的匹配分数为s₃，此匹配支记为p3分支。

210、计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号；

在计算得到对应的三个匹配分数之后，可以计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号。

需要说明的是，可以在训练样本集(详见步骤213)中，利用1:1验证算法得到每个匹配支的经验阈值，经验阈值计算公式为： 其中m是样本对的数量，S_i是第i个样本对的相似度，y_i是第i个样本对的类标，样本对为同一个人时，其类标为1；样本对为不同人时，其类标为-1。δ{}是一个指示函数，其定义如下： 最后得到三个匹配支的经验阈值为T₁，T₂，T₃。

本步骤中，将每个匹配支上的匹配分数与其对应的经验阈值进行相减，得到三个匹配支的差值信号分别可以为d₁＝s₁-T₁，d₂＝s₂-T₂，d₃＝s₃-T₃。

211、根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号；

在得到所述差值信号之后，可以根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号，预设的所述决策权重与所述待认证的三元图像组中每两副图像一一对应。具体地，包括以下步骤：

1、将三个匹配支的预设决策权重的比值转换成整数比后，再归一化到0～7的范围内，三个所述匹配支分别为芯片图像与证件的表面图像、芯片图像与现场人脸图像、以及证件的表面图像与现场人脸图像；

2、将归一化后的所述匹配支对应的决策权重的比值进行二进制编码转换，得到对应的初步编码；

3、将所述差值信号对应的最高位编码插入所述初步编码中，得到对应的权值信号；

其中，若所述差值信号大于0，其对应的最高位编码为1，反之，其对应的最高位编码为0。

例如，假设p1分支、p2分支、p3分支的决策权重之比为5：3：2时，编码之后分别为101，011，010。若当前p1分支的差值信号为正，则p1分支的高四位为1，最终p1分支的权值信号二进制编码为1101，转换成十进制数为13。从而，最终得到各个匹配支的权值信号分别为c₁,c₂,c₃。

212、将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量；

在得到所述匹配分数、所述差值信号和所述权值信号之后，可以将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量。例如，在一具体应用场景下，合成公式可以为：x＝[s₁,s₂,s₃,d₁,d₂,d₃,c₁,c₂,c₃]。

213、将所述融合向量送入预先完成训练的SVM分类器中对所述芯片图像、所述表面图像和所述现场人脸图像一致与否进行认证判决，得到身份认证结果。

在得到合成后的对应融合向量之后，可以将所述融合向量送入预先完成训练的SVM分类器中对所述芯片图像、所述表面图像和所述现场人脸图像一致与否进行认证判决，得到身份认证结果。

需要说明的而是，所述SVM分类器可以由以下步骤预先完成训练：

A、预先获取作为样本的身份证的芯片图像、证件的表面图像和现场人脸图像，构成训练集的三元样本组，所述训练集中的三元样本组分为数量比例适当的正样本和负样本；

B、提取所述三元样本组中每个图像的级联PCA卷积特征，得到对应的样本特征向量；

C、根据所述样本特征向量和带监督信号的分数融合策略对所述三元样本组的图像信息进行融合，得到对应的样本融合向量；

D、将所述样本融合向量送入所述SVM分类器中进行训练，得到完成训练的SVM分类器。

其中，上述步骤A、B和C，与前述步骤201～212在原理上基本类似，此处不再赘述。需要说明的是，所述训练集中的三元样本组分为数量比例适当的正样本和负样本；作为正样本的所述三元样本组，其三幅图像的身份均一致，即对应的SVM分类器的认证判决结果为认证通过，输出结果为1。与之相反，作为负样本的所述三元样本组，其三幅图像的身份并不一致，对应的SVM分类器的认证判决结果为认证不通过，输出结果为-1。对于负样本而言，由于只要三幅图像中任意一副图像与其它图像不一致，则三幅图像的身份不一致。因此负样本的组合变化种类较多，为了减少样本空间的冗余，可以采取以下方式确定负样本：在确定所述负样本时，选取芯片图像、表面图像和现场人脸图像三张图像中有两张图像的身份一致，另外一张图像的身份与所述两张图像不同的所述三元样本组作为负样本。可以理解的是，对于三张图像身份互不相同的情况，可用任意一种“2+1”模式将其判定为负类，因此在构建样本空间中可不考虑，从而减少样本空间的冗余，提高SVM分类器对负样本的学习效率。

另外，可以理解的是，将所述融合向量送入预先完成训练的SVM分类器之后，由SVM分类器给出认证判决结果。若SVM分类器输出值为1，表示三幅图像身份一致，身份认证通过；反之，若输出值为-1，表示三幅图像身份不一致，身份认证不通过。

为便于理解，根据图2所描述的实施例，下面以一个实际应用场景对本发明实施例中的一种离线身份认证的方法进行描述：

在一具体的应用场景中，一种离线身份认证的方法的流程如图3所示，采用SVM分类器作为分类决策器，包括训练阶段和实施(测试)阶段两个部分。

在训练阶段，从训练图像库中提取样本，构造适当的正负三元组训练样本，然后通过级联PCA卷积特征提取模块和带监督信号的分数融合模块，输入到SVM分类器中进行训练。在构造三元正负样本组时，正样本组合比较确定，即为三张图像身份完全一致的三元组；而负样本组合变化很多，为了减少样本空间的冗余，我们采用了“2+1模式”，即选取三张图像中有两张身份一致，另一张身份与之不同的三元组作为负样本。样本构成具体如下：正样 本类标为1，负样本类标为-1，正样本为三张图像的身份特征相同，代表同一个人的三元组，用表示，负样本为三张图像中至少有一张图像与其他图像的身份特征不同的三元组，可能的组合有对于三张图像身份互不相同的情况，可用其中任意一种“2+1模式”将其判定为负类，因此在构建样本空间中可不考虑，从而减少样本空间的冗余，提高分类器对负样本的学习效率。

在实施(测试)阶段，三张人脸图像从统一的图像采集模块中获得，通过同样的级联PCA卷积特征提取模块和带监督信号的分数融合模块，输入到训练好的SVM分类器中进行识别和认证。由于训练与实施(测试)阶段的特征提取与信息融合过程相同，因此下面内容将主要从实施阶段介绍本方法的关键技术的实现。

实施(测试)阶段的图像采集模块输出三张人脸图像。其中芯片图像可由读卡装置直接获得，证件表面图像通过扫描装置获得，现场人脸图像由拍照装置获得，采集到的图像通过人脸检测器检测出人脸区域。在获取现场人脸图像时，采集到的人脸图像会经过质量评价算法的筛选过滤，以保证采集到的图像质量，若不符合质量要求，可自动发送指令要求持证人重新采集。对采集到的图像进行人脸对齐、光照矫正等预处理操作后，作为采集模块的最终输出。

在特征提取阶段，基于深度学习算法，从预训练的深度卷积神经网络模型中抽取多个子层的卷积输出，并通过逐级PCA变换，构成级联PCA卷积特征。其工作原理如图4所示，预训练的深度卷积神经网络由五个卷积组和两个全连接层构成，每个卷积组内有两个卷积子层和一个池化层。在抽取卷积特征时，提取最后两个卷积组的池化层的输出(pool4、pool5)以及最后一个全连接层的输出(fc2)，并逐级进行PCA变换以保留每层输出的主成分分量。具体操作如下：

1、提取第四个卷积组的池化层输出pool4，将所有值串成一个向量；

2、对pool4向量进行PCA变换，保留前n¹(例如n¹＝1024)个主成分分量得到PP1；

3、提取第五个卷积组的池化层输出pool5，将所有值串成一个向量，并将PP1插入到向量头部；

4、对组合之后的pool5向量进行PCA变换，保留前n²(例如n²＝512)个主成分分量得到PP2；

5、提取第二个全连接层的输出fc2，将PP2插入到向量头部；

6、对组合之后的fc2向量进行PCA变换，保留前n³(例如n³＝256)个主成分分量得到PP3，PP3为最终提取的级联PCA卷积特征。

在分数融合阶段，采用带监督信号的分数融合策略，其基本思想是：基于匹配分数构建两种监督信号，一种是差值信号，一种是权值信号，将这两种信号与匹配分数结合起来对三元图像组进行联合编码。其中差值信号是指每个匹配支上(两张图像的匹配关系为一个匹配支)的匹配分数与其经验阈值之间的差值，差值越大代表该匹配分数的可信度越高。权值信号是基于各匹配支的决策权重的不同，将决策权重与当前匹配分数进行编码得到。在进行三方认证时，芯片图像和证件表面图像的采集环境是可控的，但现场人像的图像质量包括很多不可控因素，比如姿态、光照、遮挡等，因此在联合比对的过程中，芯片图与证件表面图这一匹配支的决策权重可以较大，而另外两个匹配支的决策权重相对较小。带监督信号的分数融合策略的工作原理如图5所示，具体实现方案如下：

1、芯片图像、证件表面图像、现场人脸图像分别按照上述过程提取各自的级联PCA卷积特征，采用余弦相似度来度量两两之间的相似性。两幅图像(I₁，I₂)的余弦相似性度量公式为：其中n是特征向量的维数，f_1k是I₁特征向量的第k个元素，f_2k是I₂特征向量的第k个元素。由此得到芯片头像与证件头像的匹配分数为s₁，此匹配支记为p1分支；芯片头像与现场人脸图的匹配分数为s₂，此匹配支记为p2分支；证件头像与现场人脸图的匹配分数为s₃，此匹配支记为p3分支。

2、在训练样本集中，利用1:1验证算法得到每个匹配支的经验阈值，阈值计算公式为：其中m是样本对的数量，S_i是第i个样本对的相似度，y_i是第i个样本对的类标，样本对为同一个人时类标为1，为不同人时类标为-1。是一个指示函数，其定义如下： 最后得到三个匹配支的经验阈值分别为T₁，T₂，T₃。

3、计算差值信号，将每个匹配支上的匹配分数与其经验阈值进行相减，得到三个匹配支的差值信号分别为：d₁＝s₁-T₁，d₂＝s₂-T₂，d₃＝s₃-T₃。

4、计算权值信号，每个匹配支上的权值信号用四个比特位表示，其中最高位由差值信号进行编码，由δ{(s-T)＞0}决定，即s＞T时编码为1，s＜T时编码为0。低三位由决策权重进行编码，将三个匹配支的决策权重比转换成整数比之后再归一化到0～7的范围内，每个匹配支上的决策权重分别用三个比特位进行编码，比如，p1分支、p2分支、p3分支的决策权重之比为5：3：2时，编码之后分别为101，011，010。若当前p1分支的差值信号为正，则p1分支的高四位为1，最终p1分支的权值信号二进制编码为1101，转换成十进制数为13，编码示意图如图6所示。通过上述操作，得到各个匹配支的权值信号分别为c₁,c₂,c₃。

5、将匹配分数、差值信号、权值信号合成最终的带监督信号的分数融合向量：x＝[s₁,s₂,s₃,d₁,d₂,d₃,c₁,c₂,c₃]。

6、在决策阶段，待测样本(由图像采集模块获取的芯片头像、证件表面头像、现场人像的三元组)根据上述过程提取级联PCA卷积特征之后，根据匹配分数生成带监督信号的融合向量，由训练好的SVM分类器自动给出判决结果，结果为1代表三张图像身份一致，身份认证通过；结果为-1代表三张图像身份不一致，身份认证不通过。

综上所述，本方案提出的离线身份认证算法，可以在未联网的情况下，同时比对身份证芯片图像、证件表面图像和现场人脸图像的三方一致性，有效实现基于身份证的三方身份认证，特别有效解决芯片为真、表面信息为假的假身份证问题。在进行三张图像的比对时，从整体决策的角度出发，将认证通过与否看作待决策的两类，采用分类算法给出一致性的判决结果，从而避免了因三次两两比对以及人为设定决策优先级的判决规则而导致的决策模糊。特别地，基于深度卷积神经网络提出了具有较强鲁棒性和泛化能力的级联PCA卷积特征作为图像的特征描述，并在信息融合阶段提出带监督信号的分数融合策略，丰富了融合向量在度量空间的模式表达，使得分类器能充分学习三元图像组的模式映射关系，给出准确的判决结果，比基于简单阈值的判决和人为设定决策优化级的策略更加智能可靠。

上面主要描述了一种离线身份认证的方法，下面将对一种离线身份认证的装置进行描述，请参阅图7，本发明实施例中一种离线身份认证的装置一个实施例包括：

多元图像获取模块701，用于获取两幅以上用于身份认证的图像，构成待认证的多元图像组；

卷积特征提取模块702，用于提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；

分数融合模块703，用于根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；

认证判决模块704，用于将所述融合向量送入预先完成训练的SVM分类器中对所述芯片图像、所述表面图像和所述现场人脸图像一致与否进行认证判决，得到身份认证结果。

本实施例中，首先，多元图像获取模块701获取两幅以上用于身份认证的图像，构成待认证的多元图像组；然后，卷积特征提取模块702提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；接着，分数融合模块703根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；最后，认证判决模块704将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。在本实施例中，可以在离线情况下，对用于身份认证的图像从整体决策出发进行对比，通过训练完成的SVM分类器单次决策给出认证结果，无需依赖公安部人脸数据库的同时，减轻检查人员的负担，提高认证效率。

为便于理解，下面对本发明实施例中的一种离线身份认证的装置进行详细描述，请参阅图8，本发明实施例中一种离线身份认证的装置另一个实施例包括：

多元图像获取模块801，用于获取两幅以上用于身份认证的图像，构成待认证的多元图像组；

卷积特征提取模块802，用于提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；

分数融合模块803，用于根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；

认证判决模块804，用于将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。

本实施例中，所述多元图像组可以为三元图像组，具体包括身份证的芯片图像、证件的表面图像和现场人脸图像。

本实施例中，所述SVM分类器可以由以下模块预先训练得到：

三元样本获取模块805，用于预先获取作为样本的身份证的芯片图像、证件的表面图像和现场人脸图像，构成训练集的三元样本组，所述训练集中的三元样本组分为数量比例适当的正样本和负样本；

样本卷积特征提取模块806，用于提取所述三元样本组中每个图像的级联PCA卷积特征，得到对应的样本特征向量；

样本分数融合模块807，用于根据所述样本特征向量和带监督信号的分数融合策略对所述三元样本组的图像信息进行融合，得到对应的样本融合向量；

分类器训练模块808，用于将所述样本融合向量送入所述SVM分类器中进行训练，得到完成训练的SVM分类器。

本实施例中，所述分数融合模块803包括：

匹配分数计算单元8031，用于计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数；

差值信号计算单元8032，用于计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号；

权值信号计算单元8033，用于根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号，预设的所述决策权重与所述待认证的三元图像组中每两副图像一一对应；

融合向量合成单元8034，用于将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案 的本质脱离本发明各实施例技术方案的精神和范围。