一种毫米波雷达人体行为识别方法

本发明涉及人体行为识别领域，具体为一种毫米波雷达人体行为识别方法。

背景技术：

1、人体行为识别(har)在安全预警、异常检测等许多领域都有十分广阔的应用前景，这些领域需要快速准确地识别人体行为。同时，伴随着人工智能的普及与发展，该技术的灵活性与准确性得到进一步的提升。基于摄像头的har存在隐私泄露问题，并且不适合黑暗或其他低光照场景。而基于雷达的har因其全天时全天候、隐私性强、适应任何光照条件等优点引起了广泛的关注。特别地，调频连续波(fmcw)雷达有着高分辨率、高检测精度、体积小、成本低等优势在har中表现更突出。

2、在雷达中利用目标运动产生的微多普勒特征(mdf)进行目标识别已经有广泛应用。在基于雷达微多普勒特性的har中，人体躯干运动产生的多普勒提供的特征差异非常的小，而我们区分度较高的特征主要来自于四肢摆动产生的微多普勒，所以mdf是识别人体不同行为的依据。mdf是人体运动产生的微多普勒频移随时间变化的特征，可以在联合时频域中观察。如何提取有效的mdf是har任务的一个核心问题。在早期阶段，研究者需要依靠先验知识来手动提取mdf，或者通过经验模态分解(emd)提取mdf，再结合传统的机器学习(ml)实现har。然而，这种方式提取的特征不仅费时费力，而且只适合于具体的某个任务，限制了网络的泛化能力。

3、近些年来深度学习(dl)的快速发展给基于雷达的har带来了新的研究思路。对比传统的ml，dl不会依赖人工经验提取特征，它能够自动学习数据内在的特征，性能卓越，泛化能力强。典型的dl模型卷积神经网络(cnn)及其多种深层变体形式已经广泛应用在har任务中。参考文献率先将深度cnn应用于har，并取得不错的分类效果。而在har中利用多维cnn提取不同特征进行融合以提高识别精度。另外，浅层cnn网络可以降低网络复杂度，提高网络运行效率。如只设计了两层cnn检测人体运动，该网络参数量少，对算力要求不高，但对于某些行为的识别效果较差。在上述提及的模型将人体行为的表征图视为一种视觉图像，通过深层网络从中提取像素间的空间关联特征。然而，雷达采集的原始人体回波信号是一种时序数据，其mdf具有空间和时间关联性，深层的多维cnn忽略了时序间的时间依赖关系，限制了识别精度，为此我们提出了一种毫米波雷达人体行为识别方法。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种毫米波雷达人体行为识别方法，解决了上述的问题。

3、(二)技术方案

4、为实现上述所述目的，本发明提供如下技术方案：一种毫米波雷达人体行为识别方法，包括以下步骤：

5、第一步：对采集的雷达人体回波信号进行预处理生成mdm图，提取出来

6、第二步：通过短时傅里叶变换对进行处理，生成mdm，利用生成的mdm构建人体行为数据集，包括训练数据集otrain和测试数据集otest；

7、第三步：利用基于时间切片分割的vit网络模型从构建的mdm数据集中提取mdf特征实现har。

8、优选的，所述第一步中的预处理包括以下步骤：

9、s1：雷达接收人体和周围环境反射回来的信号，并与发射信号进行混频，输出的结果是中频信号；

10、s2：使用2d fft进行距离压缩和角度压缩，将每一帧信号的能量集中在目标的位置和角度网格上，生成慢时间维度若干二维矩阵

11、s3：背景杂波抑制，采用相量均值相消算法移除大部分强静止杂波，同时不会影响人体运动信号。经过杂波移除的二维矩阵序列为

12、s4：采用滑动平均-有序统计的恒虚警率(maos-cfar)算法来锁定人体目标运动网格。将目标所在网格沿慢时间维度的向量提取出来

13、优选的，所述中频信号为：

14、

15、式中，fc为雷达载波频率，b为信号带宽，t为信号持续时间，r为雷达到目标之间的距离，v为目标的径向速度，c表示光速。n＝0，1，2，...，n-1是单chirp上的采样点数，l＝0，1，2，...，l-1是单帧中的chirp数，t表示当前的第t帧。

16、优选的，所述第三步的具体步骤如下：

17、s1：将mdm按照时间顺序划分成许多相同时间步长的图块，每个图块之间没有重叠。每个图块都可以视作一个一维的微多普勒时间序列，分别对这些时间序列进行向量化，在时间维度上提取相邻时序的位置关系，保留了mdm完整的时间信息；

18、s2：先用一维cnn生成每一切片序列的特征序列，再和分类用的token序列一起，采用1维位置编码给切片序列加入位置信息；

19、s3：将特征序列传入归一化模块生成三个可训练的变量q，k，v，将三个参数传入多头注意力机制中进行训练；

20、s4：将所有训练样本依照s1-s3训练vit模型，训练好的模型用于otest样本数据，测试har的最终识别效果。

21、优选的，所述s3的具体步骤如下：

22、

23、multiheadattention(q,k,v)＝concat(head1...headi)wo；

24、headi＝attention(q,k,v)；

25、多头注意力将q和k映射到原始高维空间的多个不同子空间以计算相似度，这需要q-k-v缩放。这个缩放步骤是由多个线性模块在编码块的输入上完成的。线性模块的数量由头的数量决定。将q-k-v的比例分组送入多个比例点注意力模块，分别提取多普勒序列的时间序列特征。最后，利用concat合成不同注意力网络输出的特征信息。多头注意力的本质是通过融合来自不同分布子空间的注意力信息来发现不同尺度的多普勒序列之间的特征相关性。这种空间分解和再合成可以降低每次注意力头计算时的向量维数，在一定程度上防止过拟合。

26、(三)有益效果

27、与现有技术相比，本发明提供了一种毫米波雷达人体行为识别方法，具备以下有益效果：

28、1、该毫米波雷达人体行为识别方法，采用按列而不是按块进行mdm图像划分，遵循了mdm图片是体现微多普勒分量时变变化的特性。通过1维位置编码给予图片切片位置编码，充分提取时序的空-时特征。

29、2、该毫米波雷达人体行为识别方法，采用多头注意力机制聚焦更重要的时间特征，保证所有时间的有效利用，有效提高人体行为的识别准确率。

技术特征：

1.一种毫米波雷达人体行为识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种毫米波雷达人体行为识别方法，其特征在于：所述第一步中的预处理包括以下步骤：

3.根据权利要求2所述的一种毫米波雷达人体行为识别方法，其特征在于：所述中频信号为：

4.根据权利要求1所述的一种毫米波雷达人体行为识别方法，其特征在于：所述第三步的具体步骤如下：

5.根据权利要求4所述的一种毫米波雷达人体行为识别方法，其特征在于：所述s3的具体步骤如下：

技术总结
本发明涉及人体行为识别领域，且公开了一种毫米波雷达人体行为识别方法，包括以下步骤：第一步：对采集的雷达人体回波信号进行预处理生成MDM图，提取出来第二步：通过短时傅里叶变换对进行处理，生成MDM，利用生成的MDM构建人体行为数据集，包括训练数据集Otrain和测试数据集Otest；第三步：利用VIT网络模型从构建的MDM数据集中提取MDF特征实现HAR，该毫米波雷达人体行为识别方法，采用按列而不是按块进行MDM图像划分，遵循了MDM图片是体现微多普勒分量时变变化的特性。通过1维位置编码给予切片后图片位置编码，充分提取时序的空‑时特征。

技术研发人员：浣沙,熊文鑫,王昭越,吴利媚,张曼,曹忠,尚文利
受保护的技术使用者：广州大学
技术研发日：
技术公布日：2024/1/12