步态识别模型训练方法、步态识别方法及装置与流程

本申请涉及计算机视觉，尤其涉及一种步态识别模型训练方法、步态识别方法及装置。

背景技术：

1、行人步态是非常重要的生物特征之一，它具有远程识别行人身份的唯一性能力，与人脸、虹膜、指纹等其他生物特征相比，步态具有下列显著优势：1)可以通过远程、非接触的方式获取；2)难以模仿或伪装；3)即使在低质视频中，仍然可以有效地获取行人步态。近几年来，视频监控系统中的步态识别引起了研究人员的广泛关注，研究成果可以应用于边防安全管理、智慧营区、仓库安全管理、智慧安防、智能刑侦、身份识别等领域，这些具有挑战性的应用在很大程度上依赖于步态识别准确率。

2、目前，关于步态识别方法的研究主要分为两大类。第一类是基于模型的步态识别方法：通过对人体四肢的运动进行建模，并从步态图像中提取人体结构，进而实现步态识别任务。一些研究人员通过计算光流场对步态序列中的两点数据进行统计、并对行人肢体运动进行编码形成两点步态，通过应用人体比例测量方法对人员下肢姿势进行建模等方法实现步态识别。然而，在低质监控视频中，很难精确估计行人步态的运动模型参数，导致这类方法识别准确率不高。第二类是基于外观的步态识别方法：从获取的步态图像序列中提取步态特征，即使在低分辨率视频中也可以完成步态识别任务。研究者们提出了基于深度学习、任意视角转换模型(avtm)、步态时序模板等识别方法，将多视角、多通道的步态序列映射到相同的状态空间进行步态匹配。这类方法通常使用步态能量图(gei)作为处理对象，由于gei在计算过程中会损失步态大量的动态信息，gei仅仅能够表示步态的少量动态信息，导致步态周期性运动特征无法被有效利用，识别准确率也不高，不能达到应用要求。

3、综上，现有的步态识别方法存在识别准确率不高的问题。

技术实现思路

1、本申请实施例提供一种步态识别模型训练方法、步态识别方法及装置，以提高步态识别的准确率。

2、一种步态识别模型训练方法，包括：

3、获取步态图像序列训练对和标签，所述标签用于表征步态图像序列训练对是否属于同一身份；

4、将构成训练对的两个步态图像序列分别输入至两个并行的视觉几何组(visualgeometry group，vgg)网络，得到两个步态图像序列的空间特征向量集；

5、将两个空间特征向量集分别输入至两个并行的长短期记忆(long short termmemory，lstm)网络，得到两个步态图像序列的周期性运动特征向量集；

6、将两个步态图像序列的周期性运动特征向量集分别输入至两个并行的特征融合单元，得到两个融合后的步态图像序列的特征向量，其中，vgg网络+lstm网络+特征融合单元构成孪生lstm架构网络中一条子网络，该条子网络构成步态识别模型；

7、将两个融合后的特征向量输入至对比损失目标函数，得到损失值，该损失值用于表征两个融合后的特征向量与标签的差异度，并在第二次及以后的每次迭代中，判断该损失值是否减小，若是，则根据该损失值调整孪生lstm架构网络的训练参数，并再次将步态图像序列训练对输入至调整后的孪生lstm架构网络中，直至损失值不再减小，训练结束。

8、一种步态识别方法，包括：

9、获取待识别的步态图像序列；

10、将其输入训练好的vgg网络，得到步态图像序列的空间特征向量集；

11、将步态图像序列的空间特征向量集输入训练好的lstm网络，得到步态图像序列的周期性运动特征向量集；

12、将周期性运动特征向量集输入特征融合单元，得到用于实现步态识别的融合后的步态图像序列的特征向量；

13、其中，训练好的vgg网络和训练好的lstm网络采用上述训练方法训练得到。

14、一种步态识别模型训练装置，包括：

15、样本获取单元，用于获取步态图像序列训练对和标签，所述标签用于表征步态图像序列训练对是否属于同一身份；

16、两个并行的vgg网络训练单元，用于接收构成训练对的两个步态图像序列，得到两个步态图像序列的空间特征向量集；

17、两个并行的lstm网络训练单元，用于接收两个空间特征向量集，得到两个步态图像序列的周期性运动特征向量集，其中，vgg网络+lstm网络+特征融合单元构成孪生lstm架构网络中一条子网络，该条子网络构成步态识别模型；

18、两个并行的特征融合单元，用于将两个步态图像序列的周期性运动特征向量集分别进行特征融合，得到两个融合后的步态图像序列的特征向量；

19、损失计算单元，用于将两个融合后的特征向量输入至对比损失目标函数，得到损失值，该损失值用于表征两个融合后的特征向量与标签的差异度；

20、判断单元，用于在第二次及以后的每次迭代中，判断该损失值是否减小，若是，则触发参数调整单元和样本获取单元，直至损失值不再减小；

21、参数调整单元，用于根据损失值调整孪生lstm架构网络的训练参数。

22、一种步态识别装置，包括：

23、待识别图像获取单元，用于获取待识别的步态图像序列；

24、训练好的vgg网络，用于提取待识别的步态图像序列中的空间特征向量集；

25、训练好的lstm网络，用于从步态图像序列的空间特征向量集中提取步态图像序列的周期性运动特征向量集；

26、特征融合单元，用于对周期性运动特征向量集进行特征时序融合，得到用于实现步态识别的融合后的特征向量；

27、其中，训练好的vgg网络和训练好的lstm网络通过上述步态识别模型训练装置训练得到。

28、本申请实施例中，先利用孪生lstm架构网络对vgg网络和lstm网络进行训练，训练好之后，取孪生lstm架构网络的一路子网络作为步态识别训练模型，进行步态识别。通过vgg网络学习步态的外观特征，通过lstm网络学习步态的周期性运动特征，并对学习到的周期性运动特征进行融合，由于融合了步态序列显著的空间和时间特征，因此，一定程度上提高了步态识别准确率。

技术特征：

1.一种步态识别模型训练方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，将两个步态图像序列的周期性运动特征向量集分别输入至两个并行的特征融合单元，包括：

3.如权利要求1所述的方法，其特征在于，在训练过程中随机丢掉lstm网络40％～60％神经元输出。

4.如权利要求1所述的方法，其特征在于，lstm网络的层数为1，隐藏单元数量大于等于3096。

5.如权利要求1所述的方法，其特征在于，对比损失目标函数的不属于同一身份的步态图像序列训练对的最小距离间隔大于等于0.5小于等于1.5。

6.如权利要求1所述的方法，其特征在于，所述vgg网络的为vgg16网络，其全连接fc8层的输出参数为步态图像类别数目。

7.一种步态识别方法，其特征在于，包括：

8.一种步态识别模型训练装置，其特征在于，包括：

9.一种步态识别装置，其特征在于，包括：

技术总结
本申请实施例提供了一种步态识别模型训练方法、步态识别方法及装置，识别方法包括：获取待识别的步态图像序列；将其输入训练好的视觉几何组VGG网络，得到步态图像序列的空间特征向量集；将步态图像序列的空间特征向量集输入训练好的长短期记忆LSTM网络，得到步态图像序列的周期性运动特征向量集；将周期性运动特征向量集输入特征融合单元，得到用于实现步态识别的融合后的步态图像序列的特征向量。由于融合了步态序列显著的空间和时间特征，因此，一定程度上提高了步态识别准确率。

技术研发人员：杨凯文,李双群,胡星,李克鑫,尹航,谢丛茵
受保护的技术使用者：中电长城圣非凡信息系统有限公司
技术研发日：
技术公布日：2024/1/15