一种基于超高分辨率雷达精细手势库的建立与识别方法与流程

本发明属于人机交互领域中的雷达手势识别技术领域，具体涉及一种基于超高分辨率雷达精细手势库的建立与识别方法。

背景技术：

手势是人类交流的一种常见形式，同时也为人机交互的实现提供了可能性。这项技术使计算机无需传统的鼠标和键盘等交互硬件就能理解人类指令。例如，在汽车当中采用基于手势识别的用户界面可以提高驾驶员的安全性。它允许司机在与车内的信息、娱乐或控制等设备交互时专注于驾驶，降低了交通安全事故发生的概率。

与传统的手势识别相比，基于雷达的手势识别方法有其自身的优点：对光照条件具有较强的鲁棒性；由于直接检测运动目标，计算复杂度较低；由于电磁波的穿透能力，具有遮挡处理能力；不用穿戴额外的辅助设备，具有高度的灵活性和舒适度。这使得雷达手势识别有望成为新一代人机交互方式，提高了交互过程中的自然性和效率。

在进行人机交互的有效距离空间内，大幅度手势不符合人的操作习惯，并且需要对某些手势进行准确量化来实现精细的控制指令。因此，手势的设计直接影响人机交互过程中指令传达和控制的准确率和实时性。在超高分辨率雷达进行手势识别的过程中，首先要考虑的就是如何设计精细手势。考虑超高分辨率雷达对物体微小运动的敏感性和人们在日常生活中对手势含义的约定，迫切需要建立一个精细手势识别样本库来更好地服务于人机交互领域当中雷达手势识别方法的研究。同时，对于建立的精细手势识别库来说，如何通过对采集到的超高分辨率雷达回波信号分析，来实现多种精细手势的准确识别。这将是雷达手势识别在推广和应用当中存在的重要问题。

技术实现要素：

针对上述问题，考虑超高分辨率雷达在手势识别过程中对设备的控制需求，本发明在以单个手部为主要对象的基础上设计了不同类别的精细手势，来构建精细手势识别样本库。基于建立的精细手势库，考虑不同手势产生的超高分辨雷达回波信号之间的差异性，来实现各种手势的识别。

本发明由以下设计步骤实现，构建的精细手势库及单个手势样本识别流程见附图1和附图3。

步骤1、考虑人机交互过程中人类使用日常手势习惯以及超高分辨雷达手势信号识别方法，设计了43种符合用户交互习惯、能够应用于多种控制应用场景的手势，构建超高分辨率雷达手势识别的精细手势库。定义手势如下所示：

动态手掌类：手掌前推、手掌后拉、向左滑动、向右滑动、向上滑动、向下滑动、顺时针画圈和逆时针画圈；

动态组合类：五指抓取后移动和食指点击后移动；

动态多手指类：五指握拳、五指张开、五指抓取、四指弯曲、四指舒展、两指放大和两指缩小；

动态单手指类：食指左滑、食指右滑、食指上滑、食指下滑、食指逆时针旋转、食指顺时针旋转、食指单击、食指双击和食指画叉；

静止数字组合类：数字1，2，3，4，5，6，7，8，9，10；

静止多手指组合类：大拇指朝上、大拇指朝下、大拇指与食指相接成环、中指伸直、大拇指与食指交叉、食指和中指并拢朝上、大拇指食指和小指伸直。

步骤2、基于步骤1中建立适用于高分辨雷达识别的手势识别库，对于单个待识别手势样本，根据手势运动状态的差异性，通过检测待识别手势样本数据中瞬时能量序列方差大小实现静态类手势或者动态类手势的判定。

对于一个需要识别的手势数据样本，依次选取n个回波组成单个数据帧，分别沿快时间维度和慢时间维度进行傅里叶变换获得对应的距离-多普勒谱，对其幅值求和获得瞬时能量值序列。设定瞬时能量序列方差阈值λ，若基于单个手势数据样本获得的瞬时能量序列方差大于λ，则判定该手势为动态类手势，否则为静态类手势。

步骤3、基于步骤2的判断结果，若该手势属于静态类手势，得益于雷达的超高分辨率，手势回波中的高分辨距离像(hrrp)包含有较丰富的有关手势几何结构的特征，通过提取雷达观测到的手势目标hrrp的多个特征：散射中心点数、熵、标准差和回波功率，采用支持向量机(svm)进行精细手势库当中静态手势的分类识别。

雷达观测目标得到的一个回波在空间上进行n点采样得到对应的hrrp，记为：x＝[x1,x2,…xn]。散射中心点数特征定义为：

其中，u(·)为单位阶跃函数。该特征主要反映了hrrp中超过均值的距离单元数目；熵定义为：

该特征反映了目标散射中心的能量平均分布情况；标准差定义为：

该特征反映了目标散射中心偏离均值的程度；回波功率定义为：

该特征反映了目标雷达散射截面积的大小。

基于以上hrrp几何结构特征，分别提取精细手势库当中的静态手势对应的特征序列。采用svm分类器进行模型的训练，然后进行待识别样本的手势类别输出。

步骤4、基于步骤2的判断结果，若该手势属于动态类手势，则可以通过径向运动变化范围来实现动态手掌类、动态组合类手势与动态多手指、动态单手指类手势的分类判别。

与其它类动态手势相比，动态手掌类、动态组合类手势运动幅度较大，回波反射信号强，在径向距离上的运动变化较大，以此设定径向运动变化阈值d。通过检测运动手势在径向距离上的变化范围，即对单个手势样本的hrrp序列沿慢时间维度求和得到该运动手势在径向距离上的变化范围曲线通过检测该曲线波峰宽度与径向运动变化阈值d对比，如果大于阈值d，则判定该手势为动态手掌类或者动态组合类手势，否则为动态多手指或者动态单手指类手势。

步骤5、基于步骤4的判断结果，若该手势属于动态手掌类或者动态组合类手势。这类手势在超高分辨率雷达中获取的时间距离曲线运动范围和形状差异大，雷达回波明显。因此通过拟合运动曲线的上下边界来提取如下手势样本特征：运动径向距离、平均速度、运动面积和宽度序列方差，采用k-最近邻(knn)分类器对该类手势进行分类识别。最后，对于手掌滑动和画圈类手势来说，运动特征相似度高，通过雷达检测手势运动过程中的角度变化情况实现对手势类别进一步判定。

针对单个手势的雷达回波二维矩阵，沿快时间维度做快速傅里叶变换(fft)得到对应的hrrp序列随时间变化产生的hrrp幅值强度位置变化就构成了一条与之对应的运动曲线。不同手势的运动过程以及径向几何结构差异就导致不同运动曲线的差异性。拟合运动曲线的上下边界位置索引构成上边界序列：

u＝[u1,u2,…ut].

下边界序列：

d＝[d1,d2,…,dt].

则依次提取运动径向距离、平均速度、运动面积和宽度序列方差4个特征，分别如下：

基于以上手势运动曲线特征，采用knn分类器对进行模型的训练，然后进行待识别样本的手势类别判定。如果判定出待识别手势样本为手掌滑动和画圈类手势，结合雷达检测到手势的运动角度变化来进行运动方向的进一步判定。

步骤6、基于步骤4的判断结果，若该手势属于动态多手指或者动态单手指类手势。这类手势运动范围较小，雷达回波信号较弱，故提取手势运动过程中产生的多普勒频移变化来对手势运动状态进行放大。将提取到的多普勒频移变化特征送入到长短期记忆(lstm)网络进行该类手势的识别分类。

本发明的有益效果为，为了更好地实现基于雷达手势识别的人机交互过程的控制需求，建立了包含43种精细手势的样本库。该发明建立的超高分辨率雷达手势识别样本库充分考虑了样本手势在人们日常活动中的约定含义以及熟悉度，以便于在人机交互的应用过程中操作简单和满足大部分控制需求。同时，针对建立的样本库，充分考虑了不同手势在超高分辨率雷达回波当中的差异与特点，采用类似决策树的思想，对一个待识别手势样本数据先按照其特点将其归属到某手势类当中，最后采用对应的特征提取和分类器实现手势的识别分类。该发明提出的手势库识别流程简单、计算复杂度较低，能够广泛地应用于人机交互的应用场景当中。

附图说明

图1为精细手势库的总览；

图2为全部精细手势示意图；

图3为单个待识别手势样本识别流程图。

具体实施方式

下面结合附图进一步对本发明进行说明。

在本发明中，精细手势库的建立考虑了动态手势和静态手势的区别与联系。在此基础上针对动态手势的手掌、多手指、单手指和连续组合运动手势，以及静态手势的数字组合和多手指组合手势进行了手势的设计，精细手势库总览见附图1，其对应的精细手势示意图见附图2。特别需要注意的是，所有设计的精细手势在进行人机交互的过程中都应该面对雷达天线发出的波束，其距离可根据应用需求和手势识别研究方法灵活设置。

在动态手势的设计中，许多手势的运动轨迹具有相似性，仅仅运动轨迹和方向的差别。例如手掌的上下滑动、两指缩放和食指的顺时针和逆时针旋转等，它们的差异体现在运动轨迹的方向上面，这类手势可以定义为子类手势。对于人机交互的方向性控制需求，提高这种子类手势的识别准确率应该具有积极意义。

在连续组合手势的设计过程当中，需要考虑的是如何确定为单个动态手势还是连续组合手势的问题。连续组合手势基本上是单个相同或者不同动态手势在时间上的连续,并且连续组合手势当中的后续单个手势的移动方向也是灵活多变的。这不仅对雷达手势识别方法的准确性提出了进一步的要求，还增加了人机交互过程中实现复杂控制需求的可能性。

基于所建立的精细手势样本库，本发明在考虑不同手势的雷达回波信号差异基础上，提出了针对不同类别手势的识别方法，具体识别流程见附图3。对于待识别的手势样本，首先根据其瞬时能量序列方差阈值和径向运动变化阈值进行手势粗类别的判定，然后基于每种类别提取不同的手势特征来进行手势的分类识别。在整个手势库的识别框架下，先要根据不同手势定义采集合适数量的雷达回波数据构成模型训练数据集，分别训练3个不同粗类别的手势分类器。在模型训练过程中达到一定的手势识别精度以后，就可以将模型用于对应手势类别的单个手势样本分类识别。

综上所述，本发明基于超高分辨率雷达，构建了符合日常手势习惯和满足多种交互控制需求的精细手势识别样本库，并在此基础上提出了适用于单个手势样本的识别流程方法，能够满足较高的手势识别率和多种人机交互的应用场景。