一种基于暹罗网络的多输入跨视角步态识别方法及装置与流程

本发明涉及步态识别的技术领域，尤其涉及一种基于暹罗网络的多输入跨视角步态识别方法及装置。

背景技术：

目前，步态识别是一种生物特征，其原始数据是呈现步行者的视频序列。它特别适用于远距离的人体识别，与指纹、虹膜等其他生物特征相比，不需要被识别者进行配合。因此，在远距离和不受控制的场景中，步态特征更容易进行人体识别。随着人工智能和计算机技术发展，生产管理、安防监控等领域对人的身份辨识和智能化管理需求逐步迫切，而通过传统的人脸识别等方法往往存在许多弊端，特别是工业车间光线不充足的复杂场景下难以实现远距离身份辨识，而步态识别可根据人的行走步态体型特征进行识别，解决复杂环境远距离身份识别难题，是未来远距离场景身份识别的主流方向。

然而，步态识别容易受到个体内变化的影响，如视野、服装、步行速度、鞋子和摄像机视角等；目前步态识别的主要方法有两种：第一类是重建人体3d模型，但是此类方法通常需要在完全控制和协作环境下的多个校准相机。第二类是人工提取人体步态视角不变下的特征，但是此类方法只有在特定环境条件下才能有较好效果。现在缺乏一种针对视角变化下的步态进行匹配的识别方法。

技术实现要素：

本发明的目的在于克服现有技术的不足，本发明提供了一种基于暹罗网络的多输入跨视角步态识别方法及装置，针对一对一和一对多的匹配方式提出了步态验证暹罗网络和步态识别暹罗网络，分别在不同的匹配方式下有更好的基准。

为了解决上述技术问题，本发明实施例提供了一种基于暹罗网络的多输入跨视角步态识别方法，所述方法包括：

基于行人步态数据集，通过计算行人步态周期获取能量图probe和gallery，以及基于ou-isirmvlp数据集获取属于同一行人的正样本能量图positive和不属于同一行人的负样本能量图negative；

基于所述能量图probe和gallery，搭建改进的步态验证暹罗网络，并通过所述改进的步态验证暹罗网络得到l21和l22，以及基于所述能量图probe、所述正样本能量图positive和负样本能量图negative，搭建改进的步态识别暹罗网络，并通过所述改进的步态识别暹罗网络得到l23、l24、l25和l26；

通过所述l21和l22计算得出对比损失函数，并训练步态验证暹罗网络的卷积网络参数，使得所述对比损失函数达到最低，以及通过所述l23、l24、l25和l26计算得出三重对比损失函数，并训练步态识别暹罗网络的卷积网络参数，使得所述三重对比损失函数达到最低；

当所述对比损失函数和所述三重对比损失函数达到最低时，对其他行人重复进行搭建改进的步态验证暹罗网络和步态识别暹罗网络、计算得出对比损失函数和三重对比损失函数、训练步态验证暹罗网络的卷积网络参数和步态识别暹罗网络的卷积网络参数来进行跨视角验证和识别；

对所述验证和识别的效果进行评估。

可选的，所述行人步态数据集需对每个行人进行轮廓提取，进行二值化处理；

通过所述二值化处理，在同一视角下，得到由二值轮廓序列构成的二值轮廓图，每个所述二值轮廓图的长度和宽度随后被调整至相同的长度和宽度的固定值；

通过所述二值轮廓图中的二值轮廓的宽高比变化周期，得到与二值轮廓图对应的行人在与二值轮廓图对应的特定视角下的步态周期；

通过分析所述步态周期后，对在相同周期下的所有二值轮廓图求均值得到平均轮廓图像，所述平均轮廓图像包括能量图probe和gallery。

可选的，所述步态验证暹罗网络包括第一验证模块和第二验证模块，其中，所述第一验证模块包括2个平行卷积网络，所述第二验证模块包括1个平行卷积网络；

所述第一验证模块和所述第二验证模块的每个平行卷积网络均共享卷积网络参数，并均由5个卷积层、2个池化层和1个全连接层构成。

可选的，所述步态识别暹罗网络包括第一识别模块和第二识别模块，其中，所述第一识别模块包括3个并行卷积网络，所述第二识别模块包括2个并行卷积网络；

所述第一识别模块和所述第二识别模块的每个并行卷积网络均共享卷积网络参数，并均由5个卷积层、2个池化层和1个全连接层构成。

可选的，所述基于所述能量图probe和gallery，搭建改进的步态验证暹罗网络，并通过所述改进的步态验证暹罗网络得到l21和l22包括：

将所述能量图probe和gallery分别输入至所述第一验证模块的2个平行卷积网络中，所述第一验证模块输出所述能量图probe和gallery的gies的特征向量的欧式距离平方l21；

将所述能量图probe和gallery处理为单张能量图并输入至所述第二验证模块，所述第二验证模块输出为所述能量图probe和gallery的差的gies的特征向量的长度平方l22。

可选的，所述基于所述能量图probe、所述正样本能量图positive和负样本能量图negative，搭建改进的步态识别暹罗网络，并通过所述改进的步态识别暹罗网络得到l23、l24、l25和l26包括：

将所述能量图probe、正样本能量图positive和负样本能量图negative分别输入至所述第一识别模块的3个并行卷积网络中，所述第一识别模块输出所述能量图probe和所述正样本能量图positive的特征向量的欧氏距离平方l23，以及所述能量图probe和所述负样本能量图negative的特征向量的欧氏距离平方l24；

将所述能量图probe和正样本能量图positive的对应像素值相减得到第一识别能量图，将能量图probe和负样本能量图negative的对应像素值相减得到第二识别能量图；将所述第一识别能量图和所述第二识别能量图分别输入至所述第二识别模块的2个并行卷积网络，所述第二识别模块输出所述第一识别能量图的特征向量的长度平方l25，以及所述第二识别能量图的特征向量的长度平方l26。

可选的，所述通过所述l21和l22计算得出对比损失函数，并训练步态验证暹罗网络的卷积网络参数，使得所述对比损失函数达到最低包括：

通过计算求得所述l21和l22的均值l2ave；

基于所述均值l2ave，通过计算得出对比损失函数lcont，其中，所述对比损失函数lcont的具体计算公式如下：

其中，m表示数据集中与行人匹配的能量图的数量，y1m和y2m表示第m个输入能量图对所属的行人识别符id，margin表示赋值为3，表示第m个输入能量图对在第一验证模块和第二验证模块下的l21和l22的平均l2范数；

基于所述均值l2ave和对比损失函数lcont，对所述步态验证暹罗网络中的所述第一验证模块和所述第二验证模块的平行卷积网络的卷积网络参数进行训练；

基于所述训练的结果，使得所述对比损失函数达到最低，即使得属于同一行人的probe和gallery要比数据集中属于不同行人的能量图对具有更小的。

可选的，所述通过所述l23、l24、l25和l26计算得出三重对比损失函数，并训练步态识别暹罗网络的卷积网络参数，使得所述三重对比损失函数达到最低包括：

通过计算求得所述l23和l25的均值l21ave，以及求得所述l24和l26的均值l22ave；

基于所述均值l21ave和l22ave，通过计算得出对三重比损失函数ltrip，其中，所述三种对比损失函数ltrip的具体计算公式如下：

其中，m表示数据集中与行人匹配的能量图的数量，margin表示赋值为3；

基于所述均值l21ave、l22ave和三重比损失函数ltrip，对所述步态识别暹罗网络中的所述第一识别模块和所述第二识别模块的并行卷积网络的卷积网络参数进行训练；

基于所述训练的结果，使得均值l21ave小于均值l22ave，使三重比损失函数ltrip达到最低。

可选的，所述ou-isirmvlp数据集在所述跨视角验证和识别完成之后，采用等错误率eers作为验证评估指标，采用一级识别率rank-1作为识别评估指标，对跨视角验证和识别效果进行评估。

另外，本发明实施例还提供一种基于暹罗网络的多输入跨视角步态识别装置，所述装置包括：输入设备、存储模块、处理器和输出设备；

所述输入设备用于向所述处理器发送两个步态数据的数据和判断指令；

所述存储模块用于存储所述行人步态数据集和所述ou-isirmvlp数据集；

所述处理器用于从所述存储模块的数据集中选择行人，获取能量图probe和gallery以及相应的正样本能量图positive和负样本能量图negative，进行所述权利要求1-9的计算过程，通过训练和调整卷积网络参数，使所述最低对比损失函数的最低三重对比损失函数均达到最低，得到经过优化的步态验证暹罗网络和步态识别暹罗网络；

所述输出设备用于输出经过优化的所述步态验证暹罗网络和所述步态识别暹罗网络的识别和验证结果以及评估结果。

在本发明实施中，通过利用数据集获得特定行人和其他行人的能量图，建立基于暹罗卷积神经网络的步态验证和步态识别的暹罗网络，由两个不同的模块进行判断，利用特征向量在二维空间的距离进行比较，判断能量图是否被准确地识别；在此基础之上，对识别和验证暹罗网络进行训练并调整卷积网络参数，当损失函数足够低，即准确度足够高时，步态验证和步态识别的暹罗网络能够应用到实际测试中，适合于一对一的步态验证，所采用的模块融合的验证和识别的方式具有高准确率的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中一种基于暹罗网络的多输入跨视角步态识别方法的流程示意图；

图2是本发明实施例中一种基于暹罗网络的多输入跨视角步态识别装置的结构组成示意图；

图3是本发明实施例中步态验证暹罗网络的结构示意图；

图4是本发明实施例中步态识别暹罗网络的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

请参阅图1，图1是本发明实施例中一种基于暹罗网络的多输入跨视角步态识别方法的流程示意图。

如图1所示，一种基于暹罗网络的多输入跨视角步态识别方法，所述方法包括：

s11：基于行人步态数据集，通过计算行人步态周期获取能量图probe和gallery，以及基于ou-isirmvlp数据集获取属于同一行人的正样本能量图positive和不属于同一行人的负样本能量图negative；

在本发明具体实施过程中，所述行人步态数据集需对每个行人进行轮廓提取，进行二值化处理；通过所述二值化处理，在同一视角下，得到由二值轮廓序列构成的二值轮廓图，每个所述二值轮廓图的长度和宽度随后被调整至相同的长度和宽度的固定值；通过所述二值轮廓图中的二值轮廓的宽高比变化周期，得到与二值轮廓图对应的行人在与二值轮廓图对应的特定视角下的步态周期；通过分析所述步态周期后，对在相同周期下的所有二值轮廓图求均值得到平均轮廓图像，所述平均轮廓图像包括能量图probe和gallery。需要说明的是，所述gallery用于判断是否与probe属于同一行人。

在本发明具体实施过程中，所述ou-isirmvlp数据集在所述跨视角验证和识别完成之后，采用等错误率eers作为验证评估指标，采用一级识别率rank-1作为识别评估指标，对跨视角验证和识别效果进行评估。

s12：基于所述能量图probe和gallery，搭建改进的步态验证暹罗网络，并通过所述改进的步态验证暹罗网络得到l21和l22，以及基于所述能量图probe、所述正样本能量图positive和负样本能量图negative，搭建改进的步态识别暹罗网络，并通过所述改进的步态识别暹罗网络得到l23、l24、l25和l26；

在本发明具体实施过程中，所述步态验证暹罗网络包括第一验证模块和第二验证模块，其中，所述第一验证模块包括2个平行卷积网络，所述第二验证模块包括1个平行卷积网络；结合附图3所示，附图3示出本发明实施例中步态验证暹罗网络的结构示意图，所述第一验证模块和所述第二验证模块的每个平行卷积网络均共享卷积网络参数，并均由5个卷积层、2个池化层和1个全连接层构成。

具体的，所述基于所述能量图probe和gallery，搭建改进的步态验证暹罗网络，并通过所述改进的步态验证暹罗网络得到l21和l22包括：将所述能量图probe和gallery分别输入至所述第一验证模块的2个平行卷积网络中，所述第一验证模块输出所述能量图probe和gallery的gies的特征向量的欧式距离平方l21；将所述能量图probe和gallery处理为单张能量图并输入至所述第二验证模块，所述第二验证模块输出为所述能量图probe和gallery的差的gies的特征向量的长度平方l22。

在本发明具体实施过程中，所述步态识别暹罗网络包括第一识别模块和第二识别模块，其中，所述第一识别模块包括3个并行卷积网络，所述第二识别模块包括2个并行卷积网络；结合附图4所示，附图4示出本发明实施例中步态识别暹罗网络的结构示意图，所述第一识别模块和所述第二识别模块的每个并行卷积网络均共享卷积网络参数，并均由5个卷积层、2个池化层和1个全连接层构成。

具体的，所述基于所述能量图probe、所述正样本能量图positive和负样本能量图negative，搭建改进的步态识别暹罗网络，并通过所述改进的步态识别暹罗网络得到l23、l24、l25和l26包括：将所述能量图probe、正样本能量图positive和负样本能量图negative分别输入至所述第一识别模块的3个并行卷积网络中，所述第一识别模块输出所述能量图probe和所述正样本能量图positive的特征向量的欧氏距离平方l23，以及所述能量图probe和所述负样本能量图negative的特征向量的欧氏距离平方l24；将所述能量图probe和正样本能量图positive的对应像素值相减得到第一识别能量图，将能量图probe和负样本能量图negative的对应像素值相减得到第二识别能量图；将所述第一识别能量图和所述第二识别能量图分别输入至所述第二识别模块的2个并行卷积网络，所述第二识别模块输出所述第一识别能量图的特征向量的长度平方l25，以及所述第二识别能量图的特征向量的长度平方l26。

s13：通过所述l21和l22计算得出对比损失函数，并训练步态验证暹罗网络的卷积网络参数，使得所述对比损失函数达到最低，以及通过所述l23、l24、l25和l26计算得出三重对比损失函数，并训练步态识别暹罗网络的卷积网络参数，使得所述三重对比损失函数达到最低；

具体的，所述通过所述l21和l22计算得出对比损失函数，并训练步态验证暹罗网络的卷积网络参数，使得所述对比损失函数达到最低包括：

通过计算求得所述l21和l22的均值l2ave；

基于所述均值l2ave，通过计算得出对比损失函数lcont，其中，所述对比损失函数lcont的具体计算公式如下：

其中，m表示数据集中与行人匹配的能量图的数量，y1m和y2m表示第m个输入能量图对所属的行人识别符id，margin表示赋值为3，表示第m个输入能量图对在第一验证模块和第二验证模块下的l21和l22的平均l2范数；

基于所述均值l2ave和对比损失函数lcont，对所述步态验证暹罗网络中的所述第一验证模块和所述第二验证模块的平行卷积网络的卷积网络参数进行训练；

基于所述训练的结果，使得所述对比损失函数达到最低，即使得属于同一行人的probe和gallery要比数据集中属于不同行人的能量图对具有更小的。

具体的，所述通过所述l23、l24、l25和l26计算得出三重对比损失函数，并训练步态识别暹罗网络的卷积网络参数，使得所述三重对比损失函数达到最低包括：

通过计算求得所述l23和l25的均值l21ave，以及求得所述l24和l26的均值l22ave；

基于所述均值l21ave和l22ave，通过计算得出对三重比损失函数ltrip，其中，所述三种对比损失函数ltrip的具体计算公式如下：

其中，m表示数据集中与行人匹配的能量图的数量，margin表示赋值为3；

基于所述均值l21ave、l22ave和三重比损失函数ltrip，对所述步态识别暹罗网络中的所述第一识别模块和所述第二识别模块的并行卷积网络的卷积网络参数进行训练；

基于所述训练的结果，使得均值l21ave小于均值l22ave，使三重比损失函数ltrip达到最低。

s14：当所述对比损失函数和所述三重对比损失函数达到最低时，对其他行人重复进行搭建改进的步态验证暹罗网络和步态识别暹罗网络、计算得出对比损失函数和三重对比损失函数、训练步态验证暹罗网络的卷积网络参数和步态识别暹罗网络的卷积网络参数来进行跨视角验证和识别；

具体的，当所述对比损失函数和所述三重对比损失函数达到最低时，对其他行人重复s12-s13的过程进行跨视角验证和识别。

s15：对所述验证和识别的效果进行评估。

具体实施中，采用了ou-isirmvlp数据集，包括了10307行人的步态数据，对于每个人和每个视角下包含两段序列；其中，5153人用于训练暹罗卷积网络和调整暹罗卷积网络参数，5154人用于测试，其结果被进行评估；对于验证和识别的效果进行评估，采用eers作为验证性能指标，采用rank-1作为识别评估指标；在步态识别暹罗网络下eers的均值达到2.4；在步态识别暹罗网络下rank-1的均值达到52.7。在实际运用中，在采用本实验或类似的数据集进行训练后，便可对实际随机的行人进行验证和识别，同样具备高准确率。

在本发明实施中，通过利用数据集获得特定行人和其他行人的能量图，建立基于暹罗卷积神经网络的步态验证和步态识别的暹罗网络，由两个不同的模块进行判断，利用特征向量在二维空间的距离进行比较，判断能量图是否被准确地识别；在此基础之上，对识别和验证暹罗网络进行训练并调整卷积网络参数，当损失函数足够低，即准确度足够高时，步态验证和步态识别的暹罗网络能够应用到实际测试中，适合于一对一的步态验证，所采用的模块融合的验证和识别的方式具有高准确率的特点。

实施例

请参阅图2，图2是本发明实施例中一种基于暹罗网络的多输入跨视角步态识别装置的结构组成示意图。

如图2所示，一种基于暹罗网络的多输入跨视角步态识别装置，所述装置包括：输入设备11、存储模块12、处理器13和输出设备14；

所述输入设备11用于向所述处理器发送两个步态数据的数据和判断指令；

所述存储模块12用于存储所述行人步态数据集和所述ou-isirmvlp数据集；

所述处理器13用于从所述存储模块的数据集中选择行人，获取能量图probe和gallery以及相应的正样本能量图positive和负样本能量图negative，进行所述权利要求1-9的计算过程，通过训练和调整卷积网络参数，使所述最低对比损失函数的最低三重对比损失函数均达到最低，得到经过优化的步态验证暹罗网络和步态识别暹罗网络；

所述输出设备14用于输出经过优化的所述步态验证暹罗网络和所述步态识别暹罗网络的识别和验证结果以及评估结果。

具体地，本发明实施例的装置相关功能模块的工作原理可参见方法实施例的相关描述，这里不再赘述。

在本发明实施中，通过利用数据集获得特定行人和其他行人的能量图，建立基于暹罗卷积神经网络的步态验证和步态识别的暹罗网络，由两个不同的模块进行判断，利用特征向量在二维空间的距离进行比较，判断能量图是否被准确地识别；在此基础之上，对识别和验证暹罗网络进行训练并调整卷积网络参数，当损失函数足够低，即准确度足够高时，步态验证和步态识别的暹罗网络能够应用到实际测试中，适合于一对一的步态验证，所采用的模块融合的验证和识别的方式具有高准确率的特点。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种基于暹罗网络的多输入跨视角步态识别方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。