基于深度学习的个体身份识别方法
【专利摘要】一种基于深度学习的个体身份识别方法，包括：利用已标记好身份的个体数据进行配对，建立正负训练样本，利用所述训练样本对建立的双通道卷积神经网络模型进行训练，直至所述神经网络模型收敛，得到训练后的神经网络模型参数；利用训练好的神经网络模型和相关参数，对待识别的个体图片和已注册的个体图片进行匹配，根据匹配相似度大小排序，确定待识别个体图片的身份并输出结果。本发明的识别方法将特征提取和距离度量统一在同一个端到端的网络中，实现整体的全局优化；利用深度网络来学习特征和度量矩阵，具有更强的泛化性，克服了在复杂大规模数据下的个体身份识别问题；可以达到实时的速度，具有很大的实用价值。
【专利说明】
基于深度学习的个体身份识别方法
技术领域
[0001] 本发明设及视频监控与模式识别领域，特别设及一种基于深度学习的个体身份识 别方法，该方法主要解决基于不同视角或者摄像机下的个体身份识别问题。
【背景技术】
[0002] 目前，基于不同视角或者摄像机下的个体身份识别问题大多遵循着传统的解决框 架，即先对不同视角下的两张个体图片进行特征提取，然后通过样本学习，建立特征度量矩 阵，对两张图片的特征进行匹配，计算其距离，之后通过距离判断两张个体图片是否属于同 一人。该框架的效果依赖于提取的特征表达和度量矩阵的强弱。而现今为止，人为设计的特 征和度量矩阵都存在着泛化性差，难W胜任复杂大规模数据的问题。
[0003] 随着大数据时代的到来，个体身份识别的数据库也越来越大，同时，深度学习也在 计算机视觉的各个领域取得成功应用。鉴于人为设计的特征和度量矩阵存在的问题，本发 明提出一种基于深度学习的个体身份识别方法。该方法将特征提取和矩阵度量统一在同一 个网络中，通过对网络参数的训练让网络自己学习特征和度量矩阵，在一定程度上克服了 在复杂大规模数据下的个体身份识别问题。
【发明内容】
[0004] 如上所述，本发明的目的是提供一种基于深度学习的个体身份识别方法，该方法 主要解决基于不同视角或者摄像机下的个体身份识别问题。
[0005] 为了实现上述目的，本发明提供了一种基于深度学习的个体身份识别方法，包括 W下步骤：
[0006] 步骤SI,利用已标记好身份的个体数据进行配对，建立正负训练样本，利用所述训 练样本对建立的双通道卷积神经网络模型进行训练，直至所述神经网络模型收敛，得到训 练后的神经网络模型参数；
[0007] 步骤S2,利用步骤Sl训练好的神经网络模型和相关参数，对待识别的个体图片和 已注册的个体图片进行匹配，根据匹配相似度大小排序，确定待识别个体图片的身份并输 出结果。
[000引其中，在步骤S1中，建立的正负训练样本中正负样本的比例为1:1~10，优选为1: 5。
[0009]其中，在步骤Sl中，所述建立的双通道卷积神经网络模型为两个通道融合的卷积 神经网络，所述卷积神经网络主要分为两大模块，分别是特征提取模块和距离度量模块;其 中，所述特征提取模块包含kl个卷积层，kl>0,优选为2,分别对两张个体图片单独进行卷 积，第一个卷积层有96个11*11的卷积子，步长为4个像素;第二个卷积层有256个5巧的卷积 子，步长为1个像素;之后网络将卷积后的两张图片的特征进行合并，然后送入到所述距离 度量模块中；所述距离度量模块包含k2个卷积层，k2>0,用来对合并后的特征进行进一步 卷积操作;得到的结果再通过m个全连接层，m>0,用于对提取出的基于图片对的特征响应 图进行数值预测，得到相似度分数，并进行身份判断，输出匹配结果。
[0010] 其中，在步骤Sl中，所述利用训练样本对建立的双通道卷积神经网络模型进行训 练的步骤包括：
[0011] 步骤S121，对所述建立的双通道卷积神经网络模型中各层的权值参数进行赋值；
[0012] 步骤S122,将建立好的正负样本均匀打乱，并将图片缩放到224*224的统一大小， W图片对的形式送入所述双通道卷积神经网络模型中去，采用前向传播算法提取它们的相 应的特征；
[0013] 步骤S123,在所述双通道卷积神经网络模型的距离度量模块中，把两张图像各自 的256个特征响应图合到一起，即形成512个大小为13*13的特征响应图；将运512个特征响 应图作为输入，送到所述距离度量模块中，分别经过=个卷积层，最后得到256个大小为13* 13的最终的特征响应图；运=个卷积层包含的卷积子个数分别为384、384、256，且其步长均 为1;前两个卷积层之后并未包含汇聚层，仅在第=个卷积层之后包含一个汇聚窗口大小为 3*3、步长为2的卷积层；
[0014] 步骤S124,通过所述距离度量模块后的=个全连接层来对提取出的基于图片对的 特征响应图进行数值预测，得到相似度分数，并进行身份判断，输出匹配结果；
[0015] 步骤S125,利用匹配结果与真实结果之间的误差，采用误差反向传播算法来训练 所述双通道卷积神经网络模型的参数；
[0016] 步骤Sl 26，重复W上过程，直至上述双通道卷积神经网络模型收敛。
[0017] 其中，在步骤S121中，采用高斯随机函数来对所述建立的双通道卷积神经网络模 型中各层的权值参数进行赋值。
[0018] 其中，在步骤S124中，所述=个全连接层的节点数分别为4096,4096和2。
[0019] 其中，在步骤S124中，所述最后一层的2个节点分别对应相似度0和1的概率，当相 似度大于0.5时，预测该对个体图片对应的个体具有相同身份，即正样本对;反之，则具有不 同身份，即负样本对。
[0020] 其中，在步骤S125中，损失函数如下式：
[0021]
[0022] 其中，N为训练样本的数量，y是训练样本的标签，1为正样本对，0为负样本对;PO和 Pi为最后一个全连接层的输出，即深度网络计算出来的相似度概率;所述损失函数用来表 示步骤S125中匹配结果与真实结果之间的误差。
[0023] 其中，在步骤S2中所述对待识别的个体图片和已注册的个体图片进行匹配，得到 匹配结果的步骤包括：
[0024] 步骤S21，选取一张待识别的个体图片，在已注册的个体图片中选取一张个体图 片，按与训练过程相同的缩放方法缩放到224*224大小，将两张缩放后图片形成图片对，放 入到已训练好权值参数的网络模型中去，计算其相似度；
[0025] 步骤S22,在参考集中选择另一张图片，与待识别的个体图片形成图片对，重复上 述过程，直至遍历完参考集中的所有图片；
[0026] 步骤S23:根据匹配相似度大小排序，确定待识别个体图片的身份并输出结果。
[0027] 其中，在步骤S23中，对于待识别图片，选择所有已注册的个体图片中与其相似度 最高的作为其对应的个体图片，得到身份结果。
[0028] 本发明与现有的方法相比具有几个明显优点：（1)将特征提取和距离度量统一在 同一个端到端的网络中，实现整体的全局优化；（2)利用深度网络来学习特征和度量矩阵， 取代传统的人为设计的特征提取方法和距离度量矩阵，具有更强的泛化性，一定程度上克 服了在复杂大规模数据下的个体身份识别问题；（3)该方法可W达到实时的速度，具有很大 的实用价值，可被广泛应用于监控场景，如商场、小区等安全监控、人员跟踪等。
【附图说明】
[0029] 图1为本发明的基于深度学习的个体身份识别方法的流程图。
【具体实施方式】
[0030] 为使本发明的目的、技术方案和优点更加清楚明白，W下结合具体实施例，并参照 附图，对本发明作进一步的详细说明。
[0031] 本发明公开了一种基于深度学习的个体身份识别方法，该方法利用非共享权重的 双通道卷积神经网络构建了基于卷积神经网络的匹配模型，该模型包含了特征提取和距离 度量两个功能模块。本发明的个体身份识别方法的整个技术方案流程如图1所示。该方法具 体包含了训练和测试两个过程。下面对发明中所设及到的技术细节予W详细说明。
[0032] 步骤SI,训练过程：
[0033] 步骤Sll:利用已标记好身份的个体数据进行配对，建立正负训练样本。
[0034] 抽取身份相同的个体图片对作为正样本，抽取身份不同的个体图片对作为负样 本。图片的抽取应按照相等的几率从不同视角或摄像机下的图片数据中抽取，保证用于训 练的正负样本中不同视角的图片尽量均匀。其次，正负样本的总量需保持合适的比例，如1: 5。由于相同身份的个体图片对数量远小于不同身份的个体图片对，因而若正负样本比例过 于失衡会导致网络模型在训练时过拟合于少量的正样本。
[0035] 步骤S12:搭建深度学习的网络结构，利用训练样本对网络进行训练，直至模型收 敛，得到训练后的模型参数。
[0036] 首先，根据图1所示的卷积神经网络模型建立好网络模型，并采用高斯随机函数来 对网络中各层的权值参数进行赋值。
[0037] 其中，该建立的卷积神经网络模型为两个通道融合的卷积神经网络。该网络主要 分为两大模块，分别是特征提取模块和距离度量模块。其中，特征提取模块包含kl个卷积层 化1>〇,优选为2)，分别对两张个体图片单独进行卷积，第一个卷积层有96个11*11的卷积 子，步长为4个像素;第二个卷积层有256个5巧的卷积子，步长为1个像素。之后网络将卷积 后的两张图片的特征进行合并(注:在通道层面的合并，即原特征通道数为C，两特征合并后 通道数为2c)，然后送入到距离度量模块中去。距离度量模块包含k2个卷积层化2>0,优选 为3)用来对合并后的特征进行进一步卷积操作。运=个卷积层包含的卷积子个数分别为 384、384、256，且其步长均为1。得到的结果再通过111个全连接层(111>0，优选为3)，用于对提 取出的基于图片对的特征响应图进行数值预测，得到相似度分数，并进行身份判断，输出匹 配结果。=个全连接层的节点数分别为4096,4096和2。最后一层的2个节点分别对应相似度 O和I的概率。
[0038] 将建立好的正负样本均匀打乱，并将图片缩放到224*224的统一大小，W图片对的 形式送入到上述匹配网络中去，采用前向传播算法提取它们的相应的特征。如图1中特征提 取模块所示，图片对中的每一张图片分别通过特征提取模块中的两个卷积层提取出256个 大小为13* 13的特征响应图。其中，第一个卷积层有96个11 * 11的卷积子，步长为4个像素;第 二个卷积层有256个5巧的卷积子，步长为1个像素。每个卷积层后面都分别接有一个汇聚 层。第一个卷积层和第二个卷积层后面的汇聚层中汇聚窗口大小均为3*3,步长也均为2个 像素。
[0039] 之后，在网络模型中的距离度量模块中，把两张图像各自的256个特征响应图合到 一起，即形成512个大小为13*13的特征响应图。将运512个特征响应图作为输入，送到距离 度量模块中去，分别经过=个卷积层，最后得到256个大小为13*13的最终的特征响应图。运 =个卷积层包含的卷积子个数分别为384、384、256，且其步长均为1。前两个卷积层之后并 未包含汇聚层，仅在第=个卷积层之后包含一个汇聚窗口大小为3*3，步长为2的卷积层。
[0040] 距离度量模块后包含=个全连接层，用于对提取出的基于图片对的特征响应图进 行数值预测，得到相似度分数，并进行身份判断，输出匹配结果。=个全连接层的节点数分 另Ij为4096,4096和2。最后一层的2个节点分别对应相似度0和1的概率。例如，相似度取之为0 到l之间时，可设定当相似度大于0.5时，预测该对个体图片对应的个体具有相同身份，即正 样本对;反之，则具有不同身份，即负样本对。
[0041] 利用匹配结果与真实结果之间的误差，采用误差反向传播算法来训练所述双通道 卷积神经网络模型的参数。采用损失函数表示匹配结果与真实结果之间的误差，具体公式 如下式：
[0042]
[0043] 其中，N为训练样本的数量，y是训练样本的标签，1为正样本对，0为负样本对。PO和 Pi为最后一个全连接层的输出，即深度网络计算出来的相似度概率。
[0044] 重复W上过程，直至上述网络模型收敛。
[0045] 上述误差反向传播算法主要用于多层模型的训练，其主体是激励传播W及权重更 新两个环节的反复迭代，直至达到收敛条件时停止。在激励传播阶段，先将特征a和特征b送 入网络模型中的特征提取模块和距离度量模块，得到匹配结果，然后将匹配结果与真实结 果求差，从而获得输出层与监督层的误差。在权重更新阶段，先将已知误差与本层响应对前 一层响应的函数的导数相乘，从而获得两层之间权重矩阵的梯度，然后沿运个梯度的反方 向W某个比例调整权重矩阵。随后，将该梯度当作前一层的误差从而计算前一层的权重矩 阵。W此类推完成对整个模型的更新。
[0046] 步骤S2,测试过程：
[0047] 步骤S21:利用训练好的模型和相关参数，对待识别的个体图片和已注册的个体图 片进行匹配，得到匹配结果。
[0048] 该过程主要是利用训练好的网络模型对待识别的个体图片和已注册的个体图片 进行匹配，计算相似度，从而进行身份判断。运里将待识别的个体图片称作测试集，已注册 的个体图片称作参考集。换句话说就是对每一张测试集中的个体图片，计算其与参考集中 的所有个体图片的相似度，找到其在参考集中的对应的个体图片。
[0049] 首先，在测试集中选取一张待识别的个体图片，在参考集中选取一张个体图片，按 与训练过程相同的缩放方法缩放到224*224大小，将两张缩放后图片形成图片对，放入到已 训练好权值参数的网络模型中去，计算其相似度。
[0050] 之后，在参考集中选择另一张图片，与待识别的个体图片形成图片对，重复上述过 程，直至遍历完参考集中的所有图片。
[0051] 步骤S22:根据匹配相似度大小排序，确定带识别个体图片的身份并输出结果。
[0052] 对于待识别图片，选择所有参考集个体图片中与其相似度最高的作为其对应的个 体图片，得到身份结果。
[0053] 本发明的特征提取和距离度量均通过训练样本的监督学习得到，无需人工干预。 在复杂大规模数据的场景下能更好的拟合视角间的差异信息，在处理多视角的个体身份识 别时具有较高的准确度。该方法可被广泛应用于监控场景，如商场、小区等安全监控、人员 里艮臣宗^。
[0054] W上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细说明，应理解的是，W上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在 本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护 范围之内。
【主权项】
1. 一种基于深度学习的个体身份识别方法，其特征在于，包括以下步骤： 步骤Sl，利用已标记好身份的个体数据进行配对，建立正负训练样本，利用所述训练样 本对建立的双通道卷积神经网络模型进行训练，直至所述神经网络模型收敛，得到训练后 的神经网络模型参数； 步骤S2,利用步骤Sl训练好的神经网络模型和相关参数，对待识别的个体图片和已注 册的个体图片进行匹配，根据匹配相似度大小排序，确定待识别个体图片的身份并输出结 果。2. 如权利要求1所述的个体身份识别方法，其特征在于，在步骤Sl中，建立的正负训练 样本中正负样本的比例为1:1~10,优选为1:5。3. 如权利要求1所述的个体身份识别方法，其特征在于，在步骤Sl中，所述建立的双通 道卷积神经网络模型为两个通道融合的卷积神经网络，所述卷积神经网络主要分为两大模 块，分别是特征提取模块和距离度量模块;其中，所述特征提取模块包含kl个卷积层，kl > 〇，优选为2，分别对两张个体图片单独进行卷积，第一个卷积层有96个11*11的卷积子，步长 为4个像素;第二个卷积层有256个5*5的卷积子，步长为1个像素;之后网络将卷积后的两张 图片的特征进行合并，然后送入到所述距离度量模块中；所述距离度量模块包含k2个卷积 层，k2>0,用来对合并后的特征进行进一步卷积操作;得到的结果再通过m个全连接层，m> 0,用于对提取出的基于图片对的特征响应图进行数值预测，得到相似度分数，并进行身份 判断，输出匹配结果。4. 如权利要求3所述的个体身份识别方法，其特征在于，在步骤Sl中，所述利用训练样 本对建立的双通道卷积神经网络模型进行训练的步骤包括： 步骤S121，对所述建立的双通道卷积神经网络模型中各层的权值参数进行赋值； 步骤S122,将建立好的正负样本均匀打乱，并将图片缩放到224*224的统一大小，以图 片对的形式送入所述双通道卷积神经网络模型中去，采用前向传播算法提取它们的相应的 特征； 步骤S123,在所述双通道卷积神经网络模型的距离度量模块中，把两张图像各自的256 个特征响应图合到一起，即形成512个大小为13*13的特征响应图；将这512个特征响应图作 为输入，送到所述距离度量模块中，分别经过三个卷积层，最后得到256个大小为13*13的最 终的特征响应图；这三个卷积层包含的卷积子个数分别为384、384、256,且其步长均为1;前 两个卷积层之后并未包含汇聚层，仅在第三个卷积层之后包含一个汇聚窗口大小为3*3、步 长为2的卷积层； 步骤S124,通过所述距离度量模块后的三个全连接层来对提取出的基于图片对的特征 响应图进行数值预测，得到相似度分数，并进行身份判断，输出匹配结果； 步骤S125,利用匹配结果与真实结果之间的误差，采用误差反向传播算法来训练所述 双通道卷积神经网络模型的参数； 步骤S126,重复以上过程，直至上述双通道卷积神经网络模型收敛。5. 如权利要求1所述的个体身份识别方法，其特征在于，在步骤S121中，采用高斯随机 函数来对所述建立的双通道卷积神经网络模型中各层的权值参数进行赋值。6. 如权利要求4所述的个体身份识别方法，其特征在于，在步骤S124中，所述三个全连 接层的节点数分别为4096，4096和2。7. 如权利要求4所述的个体身份识别方法，其特征在于，在步骤S124中，所述最后一层 的2个节点分别对应相似度O和1的概率，当相似度大于O . 5时，预测该对个体图片对应的个 体具有相同身份，即正样本对;反之，则具有不同身份，即负样本对。8. 如权利要求4所述的个体身份识别方法，其特征在于，在步骤S125中，损失函数如下 式：其中，N为训练样本的数量，y是训练样本的标签，1为正样本对，O为负样本对;Po和pi为 最后一个全连接层的输出，即深度网络计算出来的相似度概率;所述损失函数用来表示步 骤S125中匹配结果与真实结果之间的误差。9. 如权利要求1所述的个体身份识别方法，其特征在于，在步骤S2中所述对待识别的个 体图片和已注册的个体图片进行匹配，得到匹配结果的步骤包括： 步骤S21，选取一张待识别的个体图片，在已注册的个体图片中选取一张个体图片，按 与训练过程相同的缩放方法缩放到224*224大小，将两张缩放后图片形成图片对，放入到已 训练好权值参数的网络模型中去，计算其相似度； 步骤S22,在参考集中选择另一张图片，与待识别的个体图片形成图片对，重复上述过 程，直至遍历完参考集中的所有图片； 步骤S23:根据匹配相似度大小排序，确定待识别个体图片的身份并输出结果。10. 如权利要求9所述的个体身份识别方法，其特征在于，在步骤S23中，对于待识别图 片，选择所有已注册的个体图片中与其相似度最高的作为其对应的个体图片，得到身份结 果。
【文档编号】G06K9/62GK106022380SQ201610353576
【公开日】2016年10月12日
【申请日】2016年5月25日
【发明人】黄凯奇, 陈威华, 康运锋
【申请人】中国科学院自动化研究所