一种基于微多普勒特征和深度学习的姿态识别方法与流程

本发明专利属于数字信号处理器应用，具体涉及基于微多普勒特征和深度学习的姿态识别方法。

背景技术：

1、随着信息技术的应用从传统的工业领域逐渐拓展到智慧交通、智能家居、养老产业、消费电子、智能安防等场景，各种基于计算机与人之间的感知、识别等人机交互技术得到了长足发展。人们需要计算机能够迅速理解人类传递的各种信息，并根据不同信息特征做出更加自然的决策与反馈。

2、人体姿势一方面是表示人类状态最为直观的方式，另一方面也因为其特征明显易于观察而成为计算机感知环境的重要方向。因此，小到识别手势控制家电、控制汽车内的仪器，大到对人体动作姿态的安防和预警，都离不开高精度的姿态识别。

3、在各种姿态信号采集器中，毫米波雷达不仅仅能实现非接触式隔空检测，还能保护隐私，对灯光等环境因素要求较低。这使得使用毫米波雷达替代视觉摄像头的方式逐渐成为主流趋势。但是对于毫米波雷达采集的数据，并不能充分得利用，造成姿态估计的准确度不理想，投入实际应用时仍有漏检、误检。

4、有鉴于此，提出结合使用微多普勒特征和深度学习模型，提取毫米波雷达三个特征域下的有效特征，送入深度学习模型，以实现被识别对象动作姿态的准确分类。

5、发明专利内容

6、本发明专利所要解决的技术问题是针对现有技术的不足，提供一种基于微多普勒特征和深度学习的姿态识别方法。

7、本发明专利解决上述技术问题的技术方案如下：

8、一种基于微多普勒特征和深度学习的姿态识别方法，其特征在于，所述方法包括：多普勒特征提取模块、深度学习分类模块；由多普勒特征提取模块处理由雷达采集到的数据，将得到的三个特征域的特征图送入深度学习模块用于姿态识别，最后确定姿态识别的分类结果。

9、进一步地，所述的多普勒特征提取模块，其特征在于，对于雷达接收的非平稳信号，在三个不同的特征域内提取目标随时间变化的距离和速度信息：即1)距离-时间域，2)微多普勒特征域，3)距离-多普勒域。

10、进一步地，所述的距离-时间域，其特征在于，接收到的信号可以表示为一个二维矩阵，每一行对应一个距离仓，每一列对应一个不同的脉冲，它也表示慢时间；在测量以扫描速率 f返回的离散基带同相和正交分量后，将复杂数据组织成一个二维数组；然后，应用快速傅里叶变换(fft)提取目标的距离轮廓；采用低通滤波器来去除静止杂波。

11、进一步地，所述的微多普勒特征域，其特征在于，本发明专利将短时傅里叶变换应用于慢时间数据；微多普勒特征域是信号功率随慢时间 n和多普勒频率 f的变化，在本发明专利中，使用1024个频率样本，长度为128的汉宁窗函数和32个样本的窗重叠生成微多普勒特征域。

12、进一步地，所述的距离-多普勒域，其特征在于，将傅里叶变换应用到距离慢时域中，创建一个三维数据立方体，其中包含距离和多普勒坐标；距离-多普勒处理在多普勒域和距离域提供了相当高的分辨率，以分辨具有相似速度的近距离目标，这些目标无法通过分别检查距离慢时域或微多普勒信号来分辨。

13、进一步地，所述的深度学习分类模块，其特征在于，搭建基于图像transformer网络的分类模型；所述网络的输入为所述多普勒特征提取模块得到的三个特征域的特征图，输入前，使用图像拼接技术，将三个特征图按照距离-时间域、微多普勒特征域和距离-多普勒域的顺序拼成一个大特征图；输出经sigmoid函数得到特征属于各种动作的概率分布，选择分类概率最大的动作为分类结果。

14、本发明专利的有益效果是：对毫米波雷达信号采取多重特征的采集，在距离-时间域、微多普勒特征域和距离-多普勒域三个不同的特征域内提取目标随时间变化的距离和速度信息。并融合拼接三个特征域的特征信息，通过基于图像transformer网络的分类模型对特征域信息分类，明确估计的姿态。本发明专利通过设计三种特征空间，充分提取动作特征，提升transformer分类网络的准确度。

15、本发明专利附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明专利实践了解到。

技术实现思路

技术特征：

1.一种基于微多普勒特征和深度学习的姿态识别方法，其特征在于，所述方法包括：多普勒特征提取模块、深度学习分类模块；由多普勒特征提取模块处理由雷达采集到的数据，将得到的三个特征域的特征图送入深度学习模块用于姿态识别，最后确定姿态识别的分类结果。

2.根据权利要求1所述的多普勒特征提取模块，其特征在于，对于雷达接收的非平稳信号，在三个不同的特征域内提取目标随时间变化的距离和速度信息：即1)距离-时间域，2)微多普勒特征域，3)距离-多普勒域。

3.根据权利要求2所述的距离-时间域，其特征在于，接收到的信号可以表示为一个二维矩阵，每一行对应一个距离仓，每一列对应一个不同的脉冲，它也表示慢时间；在测量以扫描速率f返回的离散基带同相和正交分量后，将复杂数据组织成一个二维数组；然后，应用快速傅里叶变换(fft)提取目标的距离轮廓；采用低通滤波器来去除静止杂波。

4.根据权利要求2所述的微多普勒特征域，其特征在于，本发明将短时傅里叶变换应用于慢时间数据；微多普勒特征域是信号功率随慢时间n和多普勒频率f的变化，

5.根据权利要求2所述的距离-多普勒域，其特征在于，将傅里叶变换应用到距离慢时域中，创建一个三维数据立方体，其中包含距离和多普勒坐标；距离-多普勒处理在多普勒域和距离域提供了相当高的分辨率，以分辨具有相似速度的近距离目标，这些目标无法通过分别检查距离慢时域或微多普勒信号来分辨。

6.根据权利要求1所述的深度学习分类模块，其特征在于，搭建基于图像transformer网络的分类模型；所述网络的输入为所述多普勒特征提取模块得到的三个特征域的特征图，输入前，使用图像拼接技术，将三个特征图按照距离-时间域、微多普勒特征域和距离-多普勒域的顺序拼成一个大特征图；输出经sigmoid函数得到特征属于各种动作的概率分布，选择分类概率最大的动作为分类结果。

技术总结
本发明专利公开了一种基于微多普勒特征和深度学习方法的姿态识别方法，涉及数字信号处理器应用技术领域，包括：多普勒特征提取模块、深度学习分类模块。由多普勒特征提取模块提取雷达数据的距离‑时间域、微多普勒特征域和距离‑多普勒域特征，融合特征图后送入深度学习模块进行姿态识别。本发明专利通过设计三种特征空间，充分提取目标随时间变化的距离和速度信息，能准确估计姿态。

技术研发人员：张灿,郑晓君,范伟,李天敏
受保护的技术使用者：北京算丰征途科技有限公司
技术研发日：
技术公布日：2024/1/16