基于4D成像雷达的行人步态多模态融合识别方法与系统

本发明属于生物特征识别与雷达信号处理领域，具体涉及一种基于4d成像雷达的行人步态多模态融合识别方法。

背景技术：

1、步态是一种生物特征，主要指人类的行走方式和走路姿态，人类的步态各不相同并且难以伪装和模仿，因此基于步态的身份识别在近年来得到了大量的关注。与指纹识别、虹膜识别、人脸识别等常见的生物识别技术相比，步态识别可以实现非接触式、非侵入式、中远距离的被动身份识别，可广泛应用于安全监控、门禁系统、智能家居、人机交互等领域。

2、目前获取人类步态数据的方式主要依赖于视觉传感器，基于视觉传感器的步态识别方法从图像或视频中提取行人轮廓进行识别，但多数视觉传感器对环境中的光线强度变化非常敏感，同时要求行人与传感器之间不能存在遮挡，并且视觉传感器会侵犯用户隐私，这导致该方法在很多场景下无法适用。

3、由于毫米波雷达技术的不断发展，基于毫米波雷达的步态识别方法逐渐得到关注。与视觉传感器相比，毫米波雷达在光线条件很差的情况下依然能正常工作，毫米波的穿透性允许行人与传感器之间存在遮挡，此外，通过毫米波雷达采集步态数据能够有效避免侵犯用户隐私。而相较于普通毫米波雷达，4d成像雷达能够提供更高分辨率的距离、速度、水平角和俯仰角四维信息，从而形成高质量的行人目标点云。

4、目前基于毫米波雷达的步态识别方法主要依赖于微多普勒时频图与点云序列这两种步态数据，二者都是通过对雷达原始回波数据进行特定的信号处理手段而获得。微多普勒时频图反映行人躯干和四肢等部位产生的独特微动信息，对微多普勒时频图进行特征提取和分类能够实现身份识别。但由于毫米波雷达只能测量行人目标的径向速度，当行人相对于雷达处于不同角度时，微多普勒时频图会发生严重的畸变，从而影响步态识别性能。行人的点云序列也是重要的步态特征，能够体现每个人独特的行走方式和空间变化信息，对点云序列进行特征提取和分类同样能够实现身份识别。但由普通毫米波雷达生成的点云稀疏多变，并且缺乏微动信息，导致其表征能力有限。无论是微多普勒时频图还是点云序列，单一模态的步态数据都存在其固有的缺陷，表征能力有待进一步提高。

5、现有的基于毫米波雷达的步态识别方法在检测行人的过程中，会受到由多径效应产生的鬼目标的影响，导致获取的步态数据不完整。在电磁环境复杂的场景下，鬼目标与噪声点的数量增加，会严重影响真实目标步态数据的获取。

6、因此，如何提高雷达步态数据的表征能力，并且消除鬼目标对于行人步态数据的影响成为了亟待解决的问题。

7、现有技术提供了一种基于多特征匹配层融合的步态身份识别装置，该装置应用于计算机视觉、模式识别、图像处理和人工智能领域，该装置包括三个主要单元：运动目标检测单元、步态分类与身份识别单元和无线通信单元；运动目标检测单元包括高清摄相头、红外触动开关、补光模块和视频发送模块；步态分类与身份识别单元包括视频接收模块、基于多特征匹配层融合的步态身份识别软件、计算机以及身份信息信号发送模块；无线通信单元包括身份信息信号接收模块、身份信息信号处理模块和接收身份信息的移动终端；这些单元通过信号连接进行通信。然而，现有技术存在一个限制，无法提供更高分辨率的距离、速度、水平角和俯仰角四维信息，从而无法形成高质量的行人目标点云。

技术实现思路

1、本发明为克服上述现有技术利用单一模态数据进行行人步态识别时不准确的缺陷，提供一种基于4d成像雷达的行人步态多模态融合识别方法与系统，提高了行人步态识别的准确性与鲁棒性。

2、为解决上述技术问题，本发明的技术方案如下：

3、本发明提供了一种基于4d成像雷达的行人步态多模态融合识别方法，所述方法包括：

4、s1：使用4d成像雷达进行行人目标探测，获得目标点云簇及其对应的慢时间信号；初始化轨迹，获得初始轨迹集合；

5、s2：基于目标点云簇及其对应的慢时间信号和初始轨迹集合进行关联，输出新的轨迹集合其中，tr表示的是轨迹的索引，代表第tr个轨迹，k为当前的第k帧，为单条轨迹，tk为新的轨迹集合的总数；

6、s3：基于新的轨迹集合，提取行人目标4d点云序列与微多普勒时频图其中，obj为行人目标的轨迹索引，1：k表示从第一帧到第k帧，t表示信号的时间维度，是信号的时间维度的采样点，fd为信号的多普勒频率维度，p表示点云；

7、s4：基于行人目标4d点云序列与微多普勒时频图对构建的双模态步态识别网络模型进行训练，获得训练好的双模态步态识别网络模型

8、s5：获取待识别的行人步态数据，输入训练好的双模态步态识别网络模型中，获得行人步态的识别结果。

9、优选地，所述s1的具体方法为：

10、s11：获取4d成像雷达目标探测时的快时间-慢时间-通道三维中频信号sk(n，m，l)，其中，s为毫米波雷达的信号，n、m、l分别是4d成像雷达在快时间维、慢时间维和通道维度的采样索引，k为时间步，表示当前第k帧；

11、s12：对快时间-慢时间-通道三维中频信号sk(n，m，l)沿快时间维度执行时频变换得到距离-慢时间-通道三维信号sk(r，m，l)，其中，r为4d成像雷达在距离维度的采样索引；

12、s13：对距离-慢时间-通道三维信号sk(r，m，l)沿慢时间维度执行时频变换得到距离-速度-通道三维信号sk(r，υ，l)，沿水平通道维度执行时频变换得到距离-慢时间-方位角三维信号sk(r，m，θ)，其中，v为4d成像雷达在速度维度的采样索引，θ为4d成像雷达在方位角维度的采样索引；

13、s14：对距离-速度-通道三维信号sk(r，υ，l)沿通道维度非相干累加，得到距离-速度图|sk(r，υ)|，对距离-速度图|sk(r，υ)|逐单元进行动态阈值判别，得到初步检测目标点其中，j为第j个初步检测目标点，jk为初步检测点的总数；

14、s15：针对每个初步检测目标点，取其对应的通道维信号根据4d成像雷达的天线排布方式将通道维信号构造为水平-垂直二维通道信号对水平-垂直二维通道信号执行二维时频变换得到角度谱其中，θ为4d成像雷达在方位角维度的采样索引，φ为4d成像雷达在方位角维度的采样索引，lθ为4d成像雷达在θ方位角维度下的通道维度的采样索引，lφ为4d成像雷达在φ方位角维度下的通道维度的采样索引；

15、s16：通过对角度谱进行峰值搜索确定初步检测目标点对应的水平角集合和俯仰角集合根据初步检测目标点及对应的和进行坐标变换后可以得到所有4d检测目标点其中x，y，z分别表示目标点的三维信息，υ表示目标点相对于雷达的径向速度，q为第q个4d检测目标点，qk为所有4d检测目标点的总数，j表示第j个初步检测点，k表示第k帧，θ表示水平角，φ表示俯仰角，表示所有初步检测目标点对应的水平角集合，表示所有初步检测目标点对应的俯仰角集合；

16、s17：根据距离信息对所有4d检测目标点执行点云聚类，得到dk个目标对应的目标点云簇并计算得到每个目标点云簇的中心点其中其中，i为第i目标点云簇，qk为所有4d检测目标点的总数，dk为所有4d点云簇的总数；

17、s18：根据目标点云簇的距离和方位角信息从距离-慢时间-方位角三维信号sk(r，m，θ)中提取所有目标点云簇对应的慢时间维信号其中，dk为第dk个慢时间维信号。

18、优选地，所述s2的具体方法为：

19、s21：进行初始化轨迹；

20、s22：对初始轨迹的状态进行预测，其中，为单条轨迹，tr表示的是轨迹的索引，代表第tr个轨迹，k为当前的第k帧，tk-1为当前设定轨迹的总数；

21、s23：将当前帧内的4d点云簇与初始化轨迹进行关联；

22、s24：对于已关联的目标点云簇与初始轨迹更新其状态的预测值目标点云序列关联目标慢时间维信号轨迹存在时长age、轨迹可见帧数υiscount以及轨迹连续不可见帧数coninυiscount，其中，d′k为已关联的目标点云簇总数，t′k-1为已关联的轨迹总数，1：k-1为第一帧到第k-1帧；

23、s25：对于未关联任何目标的轨迹更新其状态的预测值目标点云序列关联目标慢时间维信号轨迹存在时长age、轨迹可见帧数υiscount以及轨迹连续不可见帧数coninυiscount，其中，t′k-1为已关联的轨迹总数，tk-1为当前设定轨迹的总数；

24、s26：对于未关联任何轨迹的目标点云簇建立新的轨迹组成第一轨迹集合；基于初始轨迹集合和第一轨迹集合组成现有轨迹集合；其中，dk为所有4d点云簇的总数，d′k为已关联的目标点云簇总数；

25、s27：设置判定条件，对于现有轨迹集合进行判定，满足所述判定条件的被认为是鬼目标的轨迹，从现有轨迹集合进行删除，并输出新的轨迹合集其中tr表示的是轨迹的索引，代表第tr个轨迹，k-1为当前的第k-1帧，为单条轨迹，tk为新的轨迹集合的总数。

26、优选地，所述s27的判定条件：

27、

28、其中th1为第一判定阈值，th2为第二判定阈值；其中，age为轨迹存在时长，υiscount为轨迹可见帧数，coninυiscount为轨迹连续不可见帧数。

29、优选地，所述s4的双模态步态识别网络模型包括：

30、点云特征提取子网络、微动特征提取子网络、特征拼接子网络和身份识别子网络；

31、点云特征提取子网络和微动特征提取子网络的输出端均与特征拼接子网络的输入端连接，特征拼接子网络的输出端与身份识别子网络的输入端连接。

32、优选地，所述s4具体方法为：

33、s41：构建点云特征提取子网络和微动特征提取子网络，行人步态样本的4d点云序列pobj输入点云特征提取子网络得到4d点云序列深层特征，同时将同一行人步态样本的微多普勒时频图|sobj(t，fd)|输入微动特征提取子网络得到微多普勒时频图深层特征，其中，obj为行人目标的轨迹索引；

34、s42：将4d点云序列深层特征与微多普勒时频图深层特征一同输入特征拼接子网络；

35、s43：将特征拼接子网络的输出特征输入身份识别子网络，得到行人身份类别概率向量

36、优选地，所述的点云特征提取子网络包括依次连接的多层感知机、最大池化层、时域卷积层和第一平均池化层，利用共享的多层感知机提取每帧点云的特征，通过最大池化层和时域卷积层提取时间相关的点云序列特征，最后通过第一平均池化层对深层特征进行汇总，得到整个点云序列的深层特征。

37、优选地，所述的微动特征提取子网络包括依次连接的卷积编码器、第二平均池化层和全连接层，通过卷积编码器提取微多普勒时频图的特征，再通过第二平均池化层降低特征维度，最后通过全连接层提取深层特征。

38、本发明还提供了一种基于4d成像雷达的行人步态多模态融合识别系统，用于实现上述的方法，所述系统包括：

39、数据获取模块，使用4d成像雷达进行行人目标探测，获得目标点云簇及其对应的慢时间信号；初始化轨迹，获得初始轨迹集合；

40、数据关联模块，基于目标点云簇及其对应的慢时间信号和初始轨迹集合进行关联，输出新的轨迹集合；

41、数据提取模块，基于新的轨迹集合，提取行人目标4d点云序列与微多普勒时频图；

42、模型训练模块，基于行人目标4d点云序列与微多普勒时频图对构建的双模态步态识别网络模型进行训练，获得训练好的双模态步态识别网络模型；

43、步态识别模块，获取待识别的行人步态数据，输入训练好的双模态步态识别网络模型中，获得行人步态的识别结果。

44、与现有技术相比，本发明技术方案的有益效果是：

45、本发明通过融合与行人步态相关的4d点云序列和微多普勒时频图，结合时空变化信息与微动信息，有效解决了单一模态雷达步态数据表征能力低下的问题，从而提升了步态识别的准确性与鲁棒性。为此，本发明基于双模态步态识别网络模型，分别用于从4d点云序列中提取与行人步态相关的时空变化信息，以及从微多普勒时频图中提取与行人步态相关的微动信息，以保证步态识别的稳健性。此外，本发明针对鬼目标持续时间短、易丢失的特性，提出了跟踪算法来有效追踪行人目标，并删除丢失轨迹以消除鬼目标对行人步态数据的影响。因此，该发明能够在电磁环境复杂的情况下提取准确的行人目标的步态数据。