一种基于毫米波雷达的手势识别系统的制作方法

本发明涉及一种基于毫米波雷达的手势识别系统，属于数字信号处理技术领域。

背景技术：

随着智能生活的到来与不断发展，越来越多的研究人员开始研究人机交互(hci)，以便更加方便的控制智能设备，提高人们的生活质量。手势识别作为人机交互的重要方式受到了不少研究人员的喜爱。目前最为常用的手势识别方式主要是基于视觉和基于传感器的方法。基于视觉的手势识别最为常见，常用的一种方式是通过摄像头对静态或动态手势进行采集，再通过模式识别与神经网络等算法的处理，最终可实现对手势进行识别。基于视觉的手势图像可以很好的描述手势轮廓、形状等信息，具有表达直观、且识别率高的优点，但这种方式不仅容易受到视觉设备视距限制，图像处理算法也较为复杂，而且容易受到外界光线的影响，在强光和光线较暗情况下难以工作。而传感器技术可以很好的解决上述问题，并注重保护用户隐私。

当前比较常用的传感技术有超声波、红外线、视频成像、激光雷达和毫米波雷达等技术。毫米波雷达可以在大范围内测量目标且响应时间短，受雨雪、雾霾等环境的影响小，除受天气影响小外，毫米波还有诸多优点，一是处理毫米波信号所需的系统组件(如天线)的尺寸可以很小，另一项优势是高准确度。工作频率为76–81ghz(对应波长约为4mm)的毫米波系统将能够检测小至零点几毫米的移动。因此毫米波雷达技术在手势识别应用上具有非常可观的研究前景。

人工神经网络(ann)无需事先确定输入输出之间映射关系的数学方程，通过不断训练自身网络，学习某种规则，从而得到最接近期望输出值的结果，其功能的核心是算法。bp神经网络是一种按误差反向传播算法训练的多层前馈网络，它的学习思想是梯度下降法，通过反向传播算法不断调整网络的权值和阈值，使网络的误差平方和最小。bp神经网络广泛应用于图像识别、语音分析等众多领域，是目前应用最广泛的神经网络模型之一。

技术实现要素：

发明目的：为了克服现有技术的不足，本发明提供一种基于毫米波雷达的手势识别方法，通过毫米波雷达传感器的高速度分辨率、高距离分辨率、高角度分辨率、以及抗干扰能力，并结合神经网络可对预定义的手势进行有效识别，提高识别效率。

技术方案：为实现上述目的，本发明的提供一种基于毫米波雷达的手势识别系统，包括电源模块、毫米波雷达、pc端；其中电源模块为毫米波雷达提供工作电源，毫米波雷达模块由收发天线、射频收发模块bss、信号处理模块组成，pc端通过可视化界面gui实时显示手势识别结果。

所述收发天线包括两根发射天线tx1，tx2和四根接收天线rx1，rx2，rx3，rx4，等效于8根虚拟天线。

信号处理模块包括数字信号处理子系统dss模块和主子系统mss模块。

dss模块通过数字信号处理dsp核心完成对信号的低级别信号处理，并通过共享内存的方式将数据传输给mss模块进行高级别信号处理。

所述系统通过毫米波雷达发射信号，发射端首先由频率综合器产生原始lfmcw信号，经过倍频器倍频到指定频率，然后分为两路信号，一路发射信号送至接收端混频器入口，等待与接收信号混频；另外一路发射信号经过功率放大器放大，通过发射天线发射出去；

发射出去的电磁波信号遇到障碍物后返回，通过接收天线接收，接受信号首先经过低噪声放大器，滤除噪声影响，然后与其中一路发射信号混频，产生中频if模拟信号，中频信号经过a/d变换转变为中频if数字信号，存储在adc缓冲区中，等待进行信号处理。

所述dsp系统首先将adc缓冲区中的if数据转移到dsp的临时存储器中，并对if信号进行距离维fft、速度多普勒维fft、单元平均-恒虚警检测ca-cfar、角度维fft基带信号处理得到手势目标的距离、速度、方位角参数，进一步得到雷达立方特征图。

所述mss子系统对dsp子系统传递过来的信号执行更高级别的算法处理，即构建雷达距离-多普勒-天线range-doppler-antenna特征图，并从中提取手势特征，对二层神经网络进行训练，然后用经过训练的神经网络对测试样本进行识别，最后输出识别结果。有益效果：本发明的一种基于毫米波雷达的手势识别系统，与现有技术相比，具有以下优点：

1.本发明提供的手势识别方法，通过毫米波雷达传感器的高速度分辨率、高距离分辨率、高角度分辨率、以及抗干扰能力，并结合神经网络可对预定义的手势进行有效识别，提高识别效率。

附图说明

图1为预定义需要识别的六种手势示意图；

图2为本发明的总体结构框图；

图3为本发明进行手势识别的算法流程框图；

图4为本发明系统的实际运行效果图。

具体实施方式

本发明提供了一种基于毫米波雷达的手势识别系统，包括电源模块、毫米波雷达、pc端；其中电源模块为毫米波雷达提供工作电源，毫米波雷达模块由收发天线、射频收发模块(bss)、信号处理模块组成，pc端通过可视化界面(gui)实时显示手势识别结果；所述收发天线包括两根发射天线tx1，tx2和四根接收天线rx1，rx2，rx3，rx4，等效于8根虚拟天线；信号处理模块包括数字信号处理子系统(dss)模块和主子系统(mss)模块其中dss模块通过数字信号处理(dsp)核心完成对信号的低级别信号处理，并通过共享内存的方式将数据传输给mss模块进行高级别信号处理。

所述系统通过毫米波雷达发射信号，发射端首先由频率综合器产生原始lfmcw信号，经过倍频器倍频到指定频率，然后分为两路信号，一路发射信号送至接收端混频器入口，等待与接收信号混频；另外一路发射信号经过功率放大器放大，通过发射天线发射出去；

发射出去的电磁波信号遇到障碍物后返回，通过接收天线接收，接受信号首先经过低噪声放大器，滤除噪声影响，然后与其中一路发射信号混频，产生中频(if)模拟信号，中频信号经过a/d变换转变为中频(if)数字信号，存储在adc缓冲区中，等待进行信号处理。

dsp系统首先将adc缓冲区中的if数据转移到dsp的临时存储器中，并对if信号进行距离维fft、速度(多普勒)维fft、单元平均-恒虚警检测(ca-cfar)、角度维fft基带信号处理得到手势目标的距离、速度、方位角参数，进一步得到雷达立方特征图；

所述mss子系统对dsp子系统传递过来的信号执行更高级别的算法处理，即构建雷达距离-多普勒-天线(range-doppler-antenna)特征图，并从中提取手势特征，对二层神经网络进行训练，然后用经过训练的神经网络对测试样本进行识别，最后输出识别结果。

实施例1

一种基于毫米波雷达的手势识别系统，包括以下步骤:

a.根据实际需求设计需要识别的六种手势，如图1所示，包括：从左到右滑动、从右到左滑动、从下到上滑动、从上到下滑动、顺时针旋转手指、逆时针旋转手指六种手势。

b.使用usb数据线将雷达与电源模块、pc端连接，被测人需坐在雷达前方大约0.2m处，手掌置于雷达正前方，保证手势能够被雷达捕获。

c.使用arm来实现射频前端参数的配置，设置发射端发射锯齿波调制的fmcw波，启始频率为77gh，上升斜率为30mhz/us，adc采样点数为256个/扫频，雷达扫频信号为128个/帧，每帧时间为40ms，接收端采集回波信号。

d.如图2所示，接收端首先将接收到的信号经过adc采样处理，并存入adc缓存中。

e.在dsp子系统中需进行基带信号的处理，首先将adc缓存中的数据转移到dsp的临时存储器中，并对其进行加窗处理，加窗函数的作用在于减少频谱泄漏，然后对其做距离fft，最后将fft的结果存入内存中。对一帧内的所有线性调频信号(chirp)重复执行此步骤，直到结束。

f.如图3所示，当一帧内所有线性调频信号都执行完距离fft并存入内存后，dsp将每个距离单元对应的距离fft结果取出，并对其进行加窗和速度维fft，接着对速度维fft的结果取模、取2的对数，并将8根虚拟天线的结果相加。紧接着在速度维上做单元平均-恒虚警检测(ca-cfar)，标记出速度单元上有目标的速度单元，再对标记出的速度单元做距离维ca-cfar，最后再对有目标的距离单元和多普勒单元进一步做峰值聚焦。峰值聚焦之后就可以根据距离单元和多普勒单元确定手势目标的距离和速度，接下来就需对目标所在的距离和速度单元对应的8根虚拟天线做角度fft，求出目标角度，并转换为x-y坐标形式(以雷达为原点)存储在内存中。

g.在dsp中执行完if信号的基带信号算法处理后，可得到对应目标的距离、速度、角度维信息，接下来可使用特征提取函数提取出每种手势的对应下列6种特征：加权平均距离(weightedrange)、加权平均多普勒(weighteddoppler)、瞬时能量(instenergy)、加权平均方位角(weightedazimuth)、加权平均俯仰角(weightedelevation)、方位角多普勒相关性(azimuthdopplercorrelation)。

h.一旦这些特征向量计算完成后，可将其传递给mss子系统。在mss子系统中，将特征向量作为输入通过一个二层神经网络进行训练。

i.将步骤(g)中提取到的手势特征信息保存并存储，把样本数据随机分为训练样本和测试样本，训练样本用于对二层神经网络进行训练。然后用经过训练的神经网络对手势测试样本进行识别，最后输出手势识别结果。对于从左到右滑动、从右到左滑动、从下到上滑动、从上到下滑动、顺时针旋转手指、逆时针旋转手指六种手势，每种手势重复100次，共600组样本，其中训练样本为360组，包含每种手势各60组，测试样本240组，包含每种手势各40组。测试结果如表1所示。

j.综上所述，本发明通过使用毫米波雷达作为手势传感器，对回波信号经过基带信号处理和神经网络训练处理后，最终能实现对手势的实时、高准确率的识别。