一种基于FMCW雷达的人体动作识别方法

本发明属于涉及毫米波雷达和神经网络，具体的说是涉及一种基于fmcw雷达的人体动作识别方法。

背景技术：

1、人体动作识别(human activity recognition,har)技术可用于分析人类的步态、活动水平、反应水平以及跌倒检测等，近年来被广泛应用于医疗健康、辅助驾驶、安保防护，环境检测等领域。例如船舶航行异常行为检测、地铁站运乘环境中危险人群识别等。在智能家居邻域，har技术可以在有人进入房间时自动打开空调和灯光；在医疗保健邻域、har技术可以在患者康复过程中给予帮助，识别患者的行动状况等。随着老龄人口的增加，人类活动识别(har)已经成为热门话题。

2、目前人体动作识别技术主要分为三类：一是非接触式探测技术，如毫米波雷达；二是穿戴式传感器监测技术，如手机，智能手环；三是计算机视觉技术，如视频监控。其中相较于计算机视觉识别技术，基于雷达技术的人体动作识别，对光强变化不敏感，具有一定的穿透性，能够在能见度低的复杂天气环境下依然能进行目标识别。而且与传统摄像头相比具有无隐私顾虑、穿透能力更强、在任何光线条件下均可传导等优点。且极大地提高了观测对象的隐私保护程度。因此，越来越多的研究者开始重视基于雷达技术的人体动作识别研究。但现有技术中的毫米波雷达进行人体动作识别时会受到环境光纤昏暗、电磁波、摄像头视距等因素的影响且还容易泄露个人隐私。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于毫米波(fmcw)雷达的人体动作识别方法，该方法能够在环境光线昏暗，电磁波，摄像头视距等限制因素都被革除的同时保证数据的隐私性，并实现高效的人体动作识别。本发明的动作识别方法的数据流是雷达信号，而非光学信号本身，即使信号泄露，也很难直接看到任何有用的信息，为系统安全性提供了保障。此外，基于fmcw雷达的人体动作识别可以集成在体积小的高速芯片上，为嵌入便携设备提供可能。

2、为了达到上述目的，本发明是通过以下技术方案实现的：

3、本发明是一种基于fmcw雷达的人体动作识别方法，包括如下步骤：

4、步骤1，数据采集；对fmcw雷达系统初始化，配置人体动作信息采样的参数，包括收发天线对，采样点数，采样时间，使用的带宽等；

5、步骤2，雷达数据处理；对于获得的射频信息进行相应的预处理；首先进行距离fft得到距离-时间图，去除静态物体之后，使用capon波束形成算法计算距离-方位角热图，之后使用ca-cfar算法对热图去噪，利用dbscan算法来去除cfar算法给出的点集中的离群点，利用多普勒fft计算径向速度，实现射频信号采样数据到三维点云的转化；获取的点云数据形式为(x,y,z,i,v,r)，x,y,z为点的三维坐标，i为雷达信号强度，v为径向速度，r为距离；

6、步骤3，空间特征提取网络；提取点云数据的空间特征；网络输入格式为(b,f,n,d)，b为网络训练的批尺寸，f为点云帧数，n为一帧点云含有点的个数，d为每个点包含的特征维数，在经过多个特征提取模块之后输出点云特征；针对单帧点云pi，使用knn算法获取每个点的近邻点，每个点与其近邻点构成边，每帧点云构成一张图；针对多帧点云p{pi,pi+1,...pn}，用滑动窗口处理，窗口内每帧点云同一编号的点为近邻点，点与点之间构成边，每个窗口构成图；用mlps对边进行建模；用gnn对两个维度的图并行处理后对特征进行融合；搜索所有原始点，用max函数进行聚合；使用结果特征再次作为新图输入到下一个特征提取模块，多次迭代更新点云特征；网络输出格式为(b,f,c)，b为网络训练的批尺寸，f为点云帧数，c为每帧点云的高维特征；

7、步骤4，时序特征提取网络；提取数据帧之间的时序特征；将空间特征提取网络的结果输入到一维卷积层和批处理归一化层，使用relu激活函数之后输入到由多个自注意力层组成的编码器-encoder中,编码器输出结果放到由一维卷积层，批处理归一化层，relu激活函数组成的解码器-decoder中解码；解码结果与输入特征做差，用mean函数聚合；网络输出格式为(b,c)，b为网络训练的批尺寸，c为大小为128的高维特征；

8、步骤5，分类器；将特征提取网络输出的高维特征放到线性层中降维，经过dropout层后由softmax函数输出分类结果；

9、步骤6，训练完成的系统可通过雷达射频信号实现对人体动作的识别。

10、本发明的进一步改进在于：步骤1中，通过fmcw雷达采集人体动作的原始信号，设每个调频连续脉冲chirp的周期为t,s为频率增长斜率，τ为信号从雷达到人体然后返回的延迟，f为雷达的载波频率，雷达的发射信号s1表示为：

11、s1＝sin(2πft+πst·t)

12、接受信号s2表示为：

13、s2＝sin[2πf(t-τ)+πs(t-τ)2]

14、经过混频器和低通滤波器后，输出的中频信号s为：

15、

16、对上式进行一维傅里叶变换得到中频信号的频率为fif，设人体到雷达的距离为d，光速为c，公式为：

17、

18、用上述方法重复对多个线性调频脉冲chirp进行相同处理，将处理后的信号拼接成一帧数据，得到来自于雷达的射频信号。

19、本发明的进一步改进在于：步骤2中，雷达的射频信号采样数据是复数矩阵，将其变形为四维张量，四个维度依次为天线维度，帧维度，调频信号维度以及采样维度；对射频信号采样数据在采样维度进行一维fft变换，得到横坐标为时间，纵坐标为待测物体到雷达距离的距离-时间图。

20、本发明的进一步改进在于：步骤2中，静止物体在经过多普勒fft后都落于速度为0的原点上，将原点的幅度改为0，即可去除静止物体；fft后的结果的原点等于数据的平均值，只需将距离fft后的结果减去在调频信号维度的平均值，即可实现去除静态物体的效果。

21、本发明的进一步改进在于：步骤2中，数学上可以将每个天线接收到的信号乘以导引向量a来改变每个天线信号的相位，a的构造公式如下：

22、

23、其中θ为信号到达角度，d为接收天线间距，λ为信号波长，nr为接受天线数量；

24、可由mvdr(最小方差无畸变波束形成算法)得到引导向量a下的信号强度p和各天线权重w，mvdr形式化表示如下：

25、

26、wha＝1

27、其中r为噪声的协方差矩阵，使用雷达信号x来估计：

28、

29、其中nc为每帧内调制信号的数量；经过数学推导，各天线权重w和信号强度p的计算公式如下:

30、

31、

32、对于雷达每一帧不同距离的信号,构造180个角度的导引向量，对它们分别应用一遍capon波束形成算法，计算出它们的信号强度p，得到每一帧的距离-方位角热图。

33、本发明的进一步改进在于：步骤2中，恒虚警率检测算法(ca-cfar)对距离-方位角热图进行去噪通过下述公式实现：

34、

35、其中pf为虚警率，n为用于计算附件平均值的点的数量；算法通过设置a保证虚警率为恒定，只有在cfar算法中被认定为真实的点才会被保留。

36、本发明的进一步改进在于：步骤2中，dbscan算法首先找出所有在ε半径内有超过m个点的中心点，距离不超过ε的中心点构成连通图，每个连通图中心点附近ε半径内所有点构成一个类别，没有被划分为任何类别的点为离群点。

37、本发明的进一步改进在于：步骤2中，可以通过每个点对于反射信号的相位变化来计算该点的径向速度：

38、

39、其中λ为信号波长，tc为调制信号时长。

40、本发明的进一步改进在于：步骤3中，将每帧点云数量固定为n，以满足神经网络的批处理，对大于n的点云进行不重复下采样，保证每个点至少被采样过一次，对小于n的点云进行随机上采样。

41、本发明的进一步改进在于：步骤3中，步骤3中，knn算法中k近邻数量取每帧点云数量的一半，即认为在有n个点的一帧点云中，每个点有n/2个近邻点。

42、本发明的进一步改进在于：步骤3中，滑动窗口大小设置为3帧，步长设置为1帧，滑动窗口造成的帧缺失由前后帧补充。

43、本发明的进一步改进在于：步骤3中，更新点云特征的迭代次数t设置为3；更新点的特征遵循如下公式：

44、

45、其中s为点的特征，e为近邻点之间构成的图，eij为近邻点之间的边，f(.)计算两个点之间的特征，max函数用来聚集每个点的特征，g(.)利用聚集的特征来更新点的特征。

46、本发明的进一步改进在于：步骤4中，encoder设置为4层自注意力层，串行连接，前一层的输出为后一层的输入。

47、本发明的进一步改进在于：步骤5中，空间特征提取网络与时间特征提取网络与分类器串行连接，同步训练，整个网络的目标是使预测结果与标签的差值最小，损失定义为带权交叉熵函数：

48、

49、其中m为类别数，pc表示预测样本属于c的概率，yc为one-hot向量，ωc为类别权重。

50、本发明的有益效果是：

51、(1)本发明利用fmcw雷达进行人体动作识别，雷达的电磁波不受光照、烟雾、可视距离等因素的影响，所以对于环境的要求较低，即使环境条件发生变化也可以有较高的动作感知可靠性和准确性；

52、(2)本发明利用fmcw雷达进行人体动作识别，其数据流是雷达信号，而非光学图像本身，即使信号泄露，攻击方也很难直接看到任何有用的信息，这对系统的安全性提供了一定的保障；

53、(3)本发明利用fmcw雷达进行人体动作识别，fmcw雷达的人体动作识别可以集成在能耗低、体积小的高速处理芯片上，具有较高的可移植性。