一种基于神经网络和毫米波雷达的双目标位置及手势识别方法

本发明涉及毫米波雷达，具体涉及一种基于神经网络和毫米波雷达的双目标位置及手势识别方法。

背景技术：

1、人类-计算机交互是元宇宙的一个关键特征，无线传感可用于生命信号检测、健康监测和手势识别等功能。传统的手势识别技术要求用户佩戴不舒服的传感器，在低光条件下其性能会下降。相比之下，无线传感是非接触式的、不受光的影响；因此，它引起了研究者的注意。有几种无线传感技术，其中，wifi和线性调频连续波（lfmcw）雷达的研究最为广泛。lfmcw 雷达特别有趣，因为它可以用来测量目标的速度和距离，并且适用于高精度的目标探测。一般来说，基于雷达的手势识别可分为信号预处理和特征分类两个阶段。首先采集雷达信号，通过三维傅里叶变换获得距离、多普勒和角度图像，并确定手势的运动参数。其次，对特征图像进行处理。特征图像通常包含噪声；因此，为了减少干扰，采用了邻域阈值检测、恒定误报率（cfar）和梯度阈值方法。因此，从处理后的图像中选择特征。通过确定有用的特征子集，可以提高调频连续波（fmcw）雷达系统手势识别的精度；因此，提出了一种结合特征选择和量子启发式进化算法的。此外，还提出了局部聚合描述子净向量（netvlad）方法，作为一种基于无监督范围-多普勒特征的学习方法。此外，还有时空信息可以提取来增强信号模式与手势之间的相关性，这可以将轻量级网络的精度提高到 97% 。

2、利用手势特征图像进行分类本质上是一个图像分类问题；因此，卷积神经网络（cnn）被广泛应用于手势分类。此外，通过信号处理得到的特征图像帧之间的关系中还存在一个时间因素；因此，通常使用长短期记忆（lstm）网络。在一项研究中，使用 cnn 提取手势特征，比较了四种不同的分类架构，并对分类器的参数进行了优化，以提高分类精度。在另一项研究中，开发了距离-多普勒矩阵聚焦（rdmf）算法，并采用了三维 cnn+lstm 网络。对于12种手势分类的训练和测试数据集，该方法的平均准确率均大于 97.9%。另外，雷达节拍信号的正交和同相分量被映射到一个深度卷积神经网络的三个输入通道，形成一个到达角矩阵和两个光谱图。所得到的手势分类的准确率超过 95%。在此基础上，分析了影响识别模式和准确性的负面因素，并提出了多种解决方案。特别是噪声会影响特征映射中的特征分布，这使得特征难以提取。因此，提出了基于 lfmcw 雷达的时间顺序膨胀三维（ts-i3d）方法。该方法的平均识别准确率为 96.17%。对于不允许用户定义手势的问题，提出了一种使用元学习方法训练的模型来实现用户定义的动态手势识别（dhgr）。此外，为了解决缺乏大量影响监督学习网络性能的标记数据的问题，提出了一种半监督倾斜框架，即在目标域中使用大量的未标记数据和在源域中使用少量的标记数据。然而，这些方法仅限于单目标手势的识别和分类。

技术实现思路

1、本专利介绍了一种一种基于神经网络和毫米波雷达的双目标位置及手势识别方法。本研究采用中国科学技术大学的数据集进行。首先，使用 3d-fft 来估计快时、慢时和天线域内的距离、多普勒和角度参数，并使用静态杂波滤除来获得双目标动态范围角度图像（drai）。其次，设计了一种可以将一个双目标手势的 drai 分离为两个单目标手势的drais 的手势分离网络。对于特征提取和分离手势的分类，利用特征图像各帧之间的时间序列关系训练 cnn+lstm 模型来获得分类，这样就可以得到了双目标的位置和手势类别。

2、总的来说，本发明分三个部分介绍所提出的双目标手势分离与识别方法。首先使用 3d-fft 来估计双目标的快时、慢时和天线域内的距离、多普勒和角度参数。然后，开发了一种手势分离网络，将双目标手势分离为两个单目标手势。然后，建立了一个卷积神经网络和长短期记忆（cnn+lstm）模型来进行分类识别。最后，实验表明所提出的双目标姿态分离和分类识别（dgscr）系统对新环境和新位置下的手势具有较高的识别精度。

3、本发明所采用技术方案的具体步骤如下：

4、实验对象静站在距离毫米波雷达1m-2m。首先，对目标 a(x1, y1) 和 b(x2, y2)的 drais 进行采样，以确定它们的相对权重。然后，通过使用与原始数据集相同的环境来生成新的数据集。对于这五个位置，x1 , x2和y1 , y2。也就是说，位置 5 与位置 1、2 和3 相结合。同样，位置 4 与位置 1、2和 3 相结合。这些组合分别被标记为 p4-p1、p4-p2、p4-p3、p5-p1、p5-p2 和 p5-p3。进一步，将位置 4 和位置 5 合并，标记为 p4-p5 和 p5-p4，以便进行进一步分析，因为它们的坐标相同。因此，旧的数据集形成了新的数据集的标签。最后，我们将把训练后的权重应用于双目标场景。

5、首先在提取手势信号之前，有必要根据3d-fft变换来确定双目标的距离速度和角度及手势特征图。

6、然后，在上一步的基础上引入双目标手势分离网络，通过多次训练得到权重模型，使得双目标手势分离成单目标手势。

7、最后根据分离成的单目标手势来通过cnn+lstm进行识别。

8、本发明通过以上两步，为双目标手势分离和分类识别问题提供高效准确地解决方案。进一步，通过仿真和实验对方法的有效性进行了验证。

技术特征：

1.一种基于深度神经网络和毫米波雷达的双目标手势识别方法，其特征主要包括三个部分：雷达回波预处理获取双目标的位置（距离、速度和角度）以滤除杂波获取3d数据；双目标手势分离网络的研究；cnn+lstm网络的应用。

2.根据权利要求1所述的雷达回波预处理，其特征是，有必要根据3d-fft变换来确定双目标的位置（距离、速度和角度）和手势特征图。

3.根据权利要求1所述的双目标手势分离网络的研究，其特征是，在上一步的基础上引入双目标手势分离网络，通过多次训练得到权重模型，使得双目标手势分离成单目标手势。

4.根据权利要求1所述的cnn+lstm网络的应用，其特征是，分离成的单目标手势来通过cnn+lstm进行识别。实验表明该算法该体系结构具有自适应性，并具有良好的识别精度。

技术总结
本发明为一种基于神经网络和毫米波雷达的双目标位置及手势识别方法，为毫米波雷达的双目标手势分离问题提供了新的解决方案。总的来说，该方法具有如下方面特点：(1)我们分别获取了双目标的位置（距离、速度和角度）。(2)我们证明了一个双目标手势的DRAI是由两个单目标手势的DRAI权重组成的。(3)我们提出了一个将雷达理论和神经网络相结合的DGSCR系统。(4)我们对不同位置和环境进行了比较实验和广泛的评估。实验结果表明，该体系结构具有自适应性，得到两个目标在什么位置做了什么手势的结果，并具有良好的识别精度。

技术研发人员：马永涛,赵海波,鲁艺为,宫霄霖,李卓
受保护的技术使用者：天津大学
技术研发日：
技术公布日：2024/2/29