基于轻量化网络和BiGRU的人体连续动作识别方法

本发明属于超宽带雷达目标探测领域，具体涉及一种基于轻量化网络和bigru的人体连续动作识别方法。

背景技术：

1、人类的肢体语言包含了丰富的信息，通过对人体动作的识别，可以分析出人体行为的意向，这在医疗看护、人机交互等领域有着广泛的应用前景和意义。

2、人体动作识别技术大致可分为基于可穿戴式设备，如：利用陀螺仪和加速度计等；以及基于非接触式设备，摄像头或者雷达等。穿戴式设备因需随身佩戴，给使用者带来不便；摄像头对光照条件敏感而且隐私得不到保护。基于雷达系统的监测技术辅助生活因其不受光照影响以及保护隐私的特点而备受关注。

3、基于雷达的人体动作识别分类，在深度学习领域，大部分是将雷达数据解释为二维图像，然后输入到卷积神经网络中进行识别，卷积神经网络针对图像的特征提取有着良好的表现，但是为了得到高识别精度，所设计的卷积神经网络会比较复杂，而且参数量庞大，对于计算机性能有更高的要求。目前基于雷达的人体活动研究，大部分数据处理都是针对单个动作，忽略了人体动作的随机性以及动作与动作之间的真实过渡。

技术实现思路

1、本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于轻量化网络和bigru的人体连续动作识别方法，旨在解决现有技术中基于雷达识别连续人体动作准确率低、所用网络模型参数量庞大的技术问题。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种基于轻量化网络和bigru的人体连续动作识别方法，包括：

4、步骤1：利用超宽带雷达采集不同人体连续动作的回波信号数据，并将回波信号数据按动作进行分类；

5、步骤2：对步骤1获取的回波信号进行滤波处理，再采用联合时频分析方法分析信号来获取人体连续动作的微多普勒谱，即时间-多普勒频率图，制作时频图像数据集；

6、步骤3：构建squeezenet-bigru网络模型，利用双向门控循环单元bigru对时间序列的特征提取的显著优势，与squeezenet相结合用于超宽带雷达人体连续动作识别；

7、步骤4：将步骤2获取的时频图像数据集划分为训练集和测试集，训练集对步骤3构建的squeezenet-bigru网络模型进行预训练，测试集对预训练后的squeezenet-bigru网络模型进行测试，确定最优网络模型；

8、步骤5：将时间-多普勒频率图输入到步骤4获取的最优网络模型中，对人体连续动作进行识别分类。

9、进一步，步骤1中，人体连续动作回波信号数据采集的设备为超宽带雷达。

10、进一步，步骤2包括：

11、步骤2.1采用动目标检测mti方法去除静态杂波；

12、步骤2.2采用gabor滤波器进行短时傅里叶变换，并将信号的幅度值转换为分贝值，得到时间-多普勒频率图；

13、步骤2.3将时间-多普勒频率图缩放为统一大小，制作时频图像数据集，时频图像数据集包括行走-站立、行走-下蹲、行走-坐下、慢跑-站立、慢跑-下蹲、慢跑-坐下这六种连续动作。

14、进一步，步骤3中，构建squeezenet-bigru网络模型：

15、所述squeezenet-bigru网络模型共包含了16层，其中包括1个输入层，1个卷积层，1个最大池化层，3个平均池化层，7个用于提取多普勒信息的空间特征fire module，2个提取时间特征的门控循环单元gru模块，以及1个输出层。

16、5、根据权利要求4所述的基于轻量化网络和bigru的人体连续动作识别方法，其特征在于，所述步骤3中，构建squeezenet-bigru模型：

17、门控循环单元gru模块设置在平均池化层之后，bigru包括两个方向相反的门控循环单元gru，同时学习过去的状态信息和未来的状态信息，squeezenet-bigru网络模型从时间序列和空间特征上区分不同的人体连续动作。

18、6、根据权利要求5所述的一种基于轻量化网络和bigru的人体连续动作识别方法，其特征在于，步骤3中，双向gru模块设置：

19、双向gru，一个将{z1,...,zt}映射到另一个是方向相反的gru，将{z1,...,zt}映射到对于当前状态的隐藏信息同时学习了过去的状态信息和未来的状态信息，其中{z1,...,zt}表示更新门控信号，表示下一时刻隐藏状态，表示上一时刻隐藏状态。

20、进一步，squeezenet-bigru网络模型结构具体设置如下：

21、第一卷积层采用96个11*11的卷积核，步长为4，填充为0；三个最大池化层以及平均池化层采用3*3的卷积核，步长为2；

22、用于增加卷积的通道数的fire模块，不改变特征的尺寸大小，经过三组fire模块后，卷积通道数变为384；

23、将经过squeezenet网络特征提取得到的空间特征信息，变为一维向量输入到两个方向相反的gru中，并进行6倍下采样，再将2个gru输出的特征向量进行拼接，拼接后的特征向量经过dropout层和softmax层，得到分类结果。

24、进一步，步骤4中，对squeezenet-bigru网络模型进行预训练，确定最优模型，包括：

25、将百分之七十的时频图像数据集作为训练数据，训练squeezenet-bigru网络模型，将剩余百分之三十时频图像数据集作为测试数据对训练后的网络模型进行测试，若识别准确率小于阈值，则重新设置超参数、重新选取训练数据训练squeezenet-bigru网络模型，直至识别准确率不小于阈值。

26、本发明与现有技术相比具有以下有益效果：

27、1、本发明提供了一种基于轻量化网络和bigru的人体连续动作识别方法，通过将雷达采集的人体连续动作回波信号进行预处理，然后将预处理后的信号经过短时傅里叶变换得到时间-多普勒频率图，将时间-多普勒频率图输入到squeezenet-bigru网络模型中进行空间特征和时间特征提取，完成人体连续动作识别。

28、2、本发明相比于现有技术中的人体动作识别方法，采用轻量级squeezenet网络，既保证了卷积神经网络在空间特征提取方面的优势，也减少了参数，提高了模型运算速度。

29、3、现有技术中基于雷达的人体动作识别，大部分都是针对单个人体动作的研究，本发明主要研究人体连续动作，并且考虑到实际人类活动的时变性，本文将squeezenet网络与双向gru结合，共同提取空间和时间特征，可以有效提高人体连续动作的识别率。

技术特征：

1.一种基于轻量化网络和bigru的人体连续动作识别方法，其特征在于，包括：

2.根据权利要求1所述的基于轻量化网络和bigru的人体连续动作识别方法，其特征在于，所述步骤1中，人体连续动作回波信号数据采集的设备为超宽带雷达。

3.根据权利要求1所述的一种基于轻量化网络和bigru的人体连续动作识别方法，其特征在于，所述步骤2包括：

4.根据权利要求1所述的一种基于轻量化网络和bigru的人体连续动作识别方法，其特征在于，所述步骤3中，构建squeezenet-bigru网络模型：

5.根据权利要求4所述的基于轻量化网络和bigru的人体连续动作识别方法，其特征在于，所述步骤3中，构建squeezenet-bigru模型：

6.根据权利要求5所述的一种基于轻量化网络和bigru的人体连续动作识别方法，其特征在于，步骤3中，双向gru模块设置：

7.根据权利要求4所述的基于轻量化网络和bigru的人体连续动作识别方法，其特征在于，所述squeezenet-bigru网络模型结构具体设置如下：

8.根据权利要求1所述的基于轻量化网络和bigru的人体连续动作识别方法，其特征在于，所述步骤4中，对squeezenet-bigru网络模型进行预训练，确定最优模型，包括：

技术总结
本发明公开了一种基于轻量化网络和BiGRU的人体连续动作识别方法，利用超宽带雷达获取人体连续动作回波数据，根据多普勒效应，绘制人体连续动作的时间多普勒频谱图，将其输入到设计的SqueezeNet‑BiGRU网络模型中提取空间特征和时间特征，进行训练和识别。本发明的优势在于采用轻量级SqueezeNet网络模型提取空间特征，减少了网络参数，提高运算速度；结合GRU模块捕捉人体运动时间序列的依赖关系，提高了人体连续动作的识别率。

技术研发人员：张朝霞,符文林,海泽瑞,王丽春,陈帅,陈泓扬
受保护的技术使用者：太原理工大学
技术研发日：
技术公布日：2024/1/16