基于多任务学习的FMCW毫米波雷达的手势识别方法

基于多任务学习的fmcw毫米波雷达的手势识别方法
技术领域
1.本发明涉及手势识别技术领域，尤其涉及一种基于多任务学习的fmcw(frequency modulated continuous wave,调频连续波)毫米波雷达的手势识别方法。


背景技术：

2.近些年来，人机交互技术被逐渐应用到日常生活中，手势识别作为人类交互方式中最直观的手段之一，使得用户能够通过手掌或手指的运动以更自然的方式与机器进行交互，逐渐成为研究热点。已有的手势识别方案根据数据来源可以分为基于视觉传感器、基于惯性传感器和基于无线射频传感器的手势识别方法。基于光学传感器的手势识别方案利用摄像头捕捉包含手势的场景视频，然后利用计算机算法对图像中的手势特征进行识别、提取和分类，其硬件系统相对简单，所采集到的图像视频等能够提供高空间分辨率的信息，但也因为需要处理二维甚至三维图像数据，数据量大且计算成本较高，所需的大功耗使其难以应用在便携设备中。此外，基于光学传感器的手势识别对环境光线较为敏感，容易出现视觉盲区和光线遮挡，限制了用户的使用范围，并且存在用户隐私泄露的风险。惯性传感器可以测量物体的加速度、可以测量物体的，但是其要求使用者在执行动作时一直穿戴该设备，使用体验较差。
3.随着射频技术和集成电路的发展，基于雷达、wifi等无线信号的手势识别方法逐渐引起了学者们的关注。相比于光学传感器和惯性传感器，无线信号对环境要求低，其中，毫米波雷达具有很多独特的优点。首先，雷达发射和接收信号、采集手势信息不会受到天气条件和环境光照的影响，使系统能够覆盖的应用场景得到很大的改善。雷达还可以穿透遮挡传播，使得在部分遮挡或完全遮挡情况下实现手势交互成为可能。其次，毫米波雷达接收回波比光学方案能耗低，能更好地集成到嵌入式设备中，其便易性优于穿戴设备方案。同时雷达信号更具有安全性和保密性，基本上不会泄露用户隐私。此外，毫米波雷达传感器与其它低频段射频传感器相比，具有更窄的波束窄小和更高的空间分辨率。毫米波雷达因为上述的诸多优点，近年来得到了研究者的关注，但由于基于毫米波雷达的手势识别方法在数据采集、特征提取融合、手势分类算法设计等环节的设计上均存在固有的差别，所以其算法发展仍然没有十分成熟，还存在一些局限性，例如，未能充分利用雷达所能提供的信息，识别模型大小和时间复杂度较大。
4.从特征提取方法和手势分类方法两个方面来说，基于雷达的手势识别方法，在雷达手势识别的技术研究和应用过程中，虽然己经取得了一定的成果，但仍然存在一些挑战：
5.(1)标记数据集的构建。在运用深度学习进行手势识别时，充足的手势数据是模型训练的基础，而基于已有的硬件平台，手势数据的获取需要大量时间，非常昂贵。
6.(2)多维手势特征提取。已有的算法以微多普勒谱图和距离多普勒谱图作为网络输入数据时数据量大且各目标点特征之间没有对应，且缺乏对于方位角和俯仰角信息的利用和融合，未能有效充分地利用雷达提供的信息，影响手势的识别准确率。
7.(3)分类器设计。在利用深度学习对雷达手势进行分类时，多采用单一种类的识别
模型，识别算法计算量大、模型复杂度高，输入数据的有效特征未能被充分提取，从而导致手势分类准确率不高。
8.综上，如何有效便捷地提取多维手势特征，以及如何设计分类器提高手势分类的准确率，仍然是本领域技术人员亟待解决的问题。


技术实现要素：

9.本发明提供一种基于多任务学习的fmcw毫米波雷达的手势识别方法，用以解决现有的多维手势特征提取不够有效便捷，手势分类的准确率不高的问题。
10.本发明提供一种基于多任务学习的fmcw毫米波雷达的手势识别方法，包括：
11.获取待识别手势的目标特征向量时序序列；
12.将所述目标特征向量时序序列输入多任务学习手势识别模型，输出手势类别结果；
13.其中，所述多任务学习手势识别模型是基于样本目标特征向量时序序列、对应的手势类别标签和对应的手势轨迹标签进行训练得到的，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。
14.根据本发明提供的一种基于多任务学习的fmcw毫米波雷达的手势识别方法，所述多任务学习手势识别模型在训练过程中包括手势识别分类和重构手势轨迹两个学习任务。
15.根据本发明提供的一种基于多任务学习的fmcw毫米波雷达的手势识别方法，所述多任务学习手势识别模型在训练过程中的总体损失函数为手势识别分类部分和重构手势轨迹部分的两个部分的损失函数的加权。
16.根据本发明提供的一种基于多任务学习的fmcw毫米波雷达的手势识别方法，所述多任务学习手势识别模型在训练过程中的训练网络结果包括：
17.顺次连接的一维cnn(convolutional neural network,卷积神经网络)层、lstm(long short-term memory,长短期记忆网络)层和一维转置卷积层；
18.以及，顺次连接的一维cnn层、lstm层和全连接层。
19.根据本发明提供的一种基于多任务学习的fmcw毫米波雷达的手势识别方法，所述一维cnn层有128个卷积核，所述全连接层具有softmax激活函数，所述一维转置卷积使用的是128个大小为7
×
1的反卷积核。
20.根据本发明提供的一种基于多任务学习的fmcw毫米波雷达的手势识别方法，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的，具体包括：
21.以特定的多维度融合的特征提取算法对fmcw毫米波雷达获取的手势信号的空间和时序特征进行了提取，将每一时刻的距离、角度和速度信息一一对应以向量的形式进行特征融合，得到目标特征向量时序序列和样本目标特征向量时序序列。
22.本发明还提供一种基于多任务学习的fmcw毫米波雷达的手势识别方法，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的，具体包括：
23.对于每一帧fmcw毫米波雷达获取的手势识别原始特征中的距离值，先对中频信号
做快时间的fft，去除静态杂波后通过cfar检测可能存在的目标距离；
24.然后对相应距离处使用capon算法计算方位角角度谱并通过cfar(constant false alarm rate,恒虚警)检测特定距离处可能存在的目标方位角；
25.在相应距离和方位角处使用capon算法计算俯仰角角度谱并通过cfar检测特定距离和方位角处存在的目标俯仰角；
26.最后利用波束形成计算每个目标点的目标速度；
27.将目标距离、目标方位角、目标俯仰角和目标速度构建成目标手势识别特征，进行多普勒fft处理，再基于密度聚类，提取聚类中心作为目标特征向量时序序列和样本目标特征向量时序序列。
28.根据本发明提供的一种基于多任务学习的fmcw毫米波雷达的手势识别装置，包括：
29.获取单元，用于获取待识别手势的目标特征向量时序序列；
30.识别单元，用于将所述目标特征向量时序序列输入多任务学习手势识别模型，输出手势类别结果；
31.其中，所述多任务学习手势识别模型是基于样本目标特征向量时序序列、对应的手势类别标签和对应的手势轨迹标签进行训练得到的，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。
32.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于多任务学习的fmcw毫米波雷达的手势识别方法的步骤。
33.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于多任务学习的fmcw毫米波雷达的手势识别方法的步骤。
34.本发明提供的基于多任务学习的fmcw毫米波雷达的手势识别方法，通过获取待识别手势的目标特征向量时序序列；将所述目标特征向量时序序列输入多任务学习手势识别模型，输出手势类别结果；其中，所述多任务学习手势识别模型是基于样本目标特征向量时序序列、对应的手势类别标签和对应的手势轨迹标签进行训练得到的，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。现实了有效便捷的获取用户手势多维特征，并且通过多任务学习提高了手势识别分类的准确率。
附图说明
35.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明提供的基于多任务学习的fmcw毫米波雷达的手势识别方法的流程示意图；
37.图2为本发明提供的fmcw毫米波雷达硬件平台的实体结构图；
38.图3是本发明对雷达发射信号参数配置的界面的示意图；
39.图4为本发明提供的多任务学习网络示意图；
40.图5为本发明提供的多任务学习网络框架示意图；
41.图6为本发明提供的多维特征提取流程图；
42.图7为本发明提供的训练过程中验证准确率的变化；
43.图8为本发明提供的测试集分类结果的混淆矩阵；
44.图9为本发明提供的基于多任务学习的fmcw毫米波雷达的手势识别装置的结构示意图；
45.图10是本发明提供的电子设备的结构示意图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.现有的手势识别分类技术中普遍存在多维手势特征提取不够有效便捷，手势分类的准确率不高的问题。下面结合图1描述本发明的基于多任务学习的fmcw毫米波雷达的手势识别方法。图1为本发明提供的基于多任务学习的fmcw毫米波雷达的手势识别方法的流程示意图，如图1所示，该方法包括：
48.步骤110，获取待识别手势的目标特征向量时序序列。
49.具体地，获取待识别手势的目标特征向量时序序列，即待识别手势的距离、速度、方位角和俯仰角形成的特征向量进过多维特征融合提取后得到的目标特征向量，然后再从时序上将多帧目标特征向量拼接在一起，得到目标特征向量时序序列，以供对其对应的手势类型进行识别。
50.步骤120，将所述目标特征向量时序序列输入多任务学习手势识别模型，输出手势类别结果；
51.其中，所述多任务学习手势识别模型是基于样本目标特征向量时序序列、对应的手势类别标签和对应的手势轨迹标签进行训练得到的，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。
52.具体地，将目标特征向量时序序列输入多任务学习手势识别模型，输出预测标签，即输入的目标特征向量时序序列对应的手势类别识别结果。其中，多任务学习手势识别模型是经过大量目标特征向量时序序列样本和与样本一一对应的手势类别标签和手势轨迹标签进行训练后得到的，使用的样本标签数量越多，模型训练完成后的使用准确率越高。而本发明实施例中使用的训练模型是多任务学习型，即该模型除了输出手势分类结果，还可以输出类似于轨迹重构的结果，这样两个学习任务一起在各自标签的监督下对网络中的待调参数进行调整，使得模型训练完成后得到的模型用于识别手势时结果更为准确。此处需要说明的是目标特征向量时序序列和样本目标特征向量时序序列均是通过预设算法对
fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。
53.此处需要进一步说明的是，本方法使用fmcw毫米波雷达的硬件实验平台及软件采集数据，然后针对所采集的雷达手势信号设计了一种多维度融合的特征提取方法，在已建立的雷达手势数据集的基础上开展手势识别算法研究，提出了基于多任务的神经网络结构，充分利用雷达提取的参数信息以达到较高的分类准确率和较快的分类速度。
54.图2为本发明提供的fmcw毫米波雷达硬件平台的实体结构图，如图2所示，本发明实施例采用的fmcw毫米波雷达平台主要由两部分构成，包括德州仪器公司的iwr 1443雷达模块以及dca1000数据采集板。其中，iwr1443雷达开发板主要负责产生和发射线性调频波，接收并解调目标回波，获得载有目标信息的中频信号。dca1000数据采集板负责将中频信号传输到个人计算机以进行下一步的数据处理。软件方面，图3是本发明对雷达发射信号参数配置的界面的示意图，如图3所示，本发明实施例采用ti公司开发的mmwave studio上位机软件对雷达进行配置，并采集数据存储到pc端。
55.由于商用雷达的方向图的增益下降很快，没有考虑到手势识别应用的需求，针对本发明所要采用的手势和手势识别的应用场景，设计天线优化算法对阵列天线方向图进行优化，以提高感兴趣目标区域的方向图增益，减少其他区域的干扰，并期望通过分析雷达信号采集平台的配置参数，找到用于手势识别的fmcw毫米波雷达系统的最佳配置，最大化利用雷达性能并在此基础上采集手势数据构建手势数据集。
56.本发明实施例提供的基于多任务学习的fmcw毫米波雷达的手势识别方法，通过获取待识别手势的目标特征向量时序序列；将所述目标特征向量时序序列输入多任务学习手势识别模型，输出手势类别结果；其中，所述多任务学习手势识别模型是基于样本目标特征向量时序序列和对应的手势类别标签进行训练得到的，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。现实了有效便捷的获取用户手势多维特征，并且通过多任务学习提高了手势识别分类的准确率。
57.基于上述实施例，该方法中，所述多任务学习手势识别模型在训练过程中包括手势识别分类和重构手势轨迹两个学习任务。
58.具体地，在训练过程中多任务学习手势识别模型包括手势识别分类和重构手势轨迹两个学习任务，即在训练过程中使用的标签包括对应于样本目标手势特征向量时序序列的手势类别标签，还包括对应于样本目标手势特征向量时序序列的手势轨迹标签，这两个标签分别用于在“校正”预测标签和重构轨迹的同时合并调节模型网络中的待调参数。
59.基于上述实施例，该方法中，所述多任务学习手势识别模型在训练过程中的总体损失函数为手势识别分类部分和重构手势轨迹部分的两个部分的损失函数的加权。
60.具体地，将压缩表示后的数据作为重构手势轨迹部分和手势识别分类部分的输入，并将重构手势轨迹部分和手势识别分类部分的损失函数的加权和作为总体的损失函数，旨在通过重构任务协助网络中的特征提取模块能够更好地对输入数据进行特征提取，以提高手势识别分类部分的性能。
61.基于上述实施例，该方法中，所述多任务学习手势识别模型在训练过程中的训练网络结果包括：
62.顺次连接的一维cnn层、lstm层和一维转置卷积层；
63.以及，顺次连接的一维cnn层、lstm层和全连接层。
64.具体地，图4为本发明提供的多任务学习网络示意图，如图4所示，多任务学习手势识别模型在训练过程中的训练网络结果包括：顺次连接的一维cnn层、lstm层和一维转置卷积层(1d cnn transpose)；以及，顺次连接的一维cnn层、lstm层和全连接层。网络框架示意图如图4所示，本发明所使用的神经网络结构主要可分为四个阶段：特征提取、编码、分类和重构。在特征提取阶段，利用一维卷积运算从输入的距离、角度等时序轨迹中提取适当且充分的特征，提取的特征在编码阶段通过lstm层映射到隐藏层，模型中的lstm将输入数据转换为经过学习的压缩表示形式，压缩表示作为分类和重构阶段的输入。分类阶段由一个全连接层组成，该层通过应用softmax函数，根据学习到的输入轨迹特征计算输出的条件概率。在重建或解码阶段，输入轨迹的压缩表示被送至几个一维转置卷积层，这些层试图重建输入的特征轨迹。
65.基于上述实施例，该方法中，所述一维cnn层有128个卷积核，所述全连接层具有softmax激活函数，所述一维转置卷积层使用的是128个大小为7
×
1的反卷积核。
66.具体地，图5为本发明提供的多任务学习网络框架示意图，如图5所示，一维cnn的输入为4
×
100，该层有128个卷积核。一维cnn层之后是lstm层，lstm层的输出再被输入到具有softmax激活函数的全连接层。全连接层的输出再输入到7个一维转置卷积层，前两层使用32个大小为7
×
1的反卷积核，接卸来的两层使用64个大小为7
×
1的反卷积核，之后的两层使用的是128个大小为7
×
1的反卷积核，最后的一维转置卷积层使用的是128个大小为7
×
1的反卷积核。另外，所有的卷积和转置层都使用整流线性单元(relu)作为激活函数。为了避免模型过拟合，在模型的最后一维转置卷积层中使用了dropout。
67.基于上述实施例，该方法中，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的，具体包括：
68.以特定的多维度融合的特征提取算法对fmcw毫米波雷达获取的手势信号的空间和时序特征进行了提取，将每一时刻的距离、角度和速度信息一一对应以向量的形式进行特征融合，得到目标特征向量时序序列和样本目标特征向量时序序列。
69.具体地，设计了一种多维度融合的特征提取方法，对手势信号的空间和时序特征进行了提取，将每一时刻的距离、角度、速度信息一一对应以向量的形式进行特征融合，解决了以图片作为网络输入数据量大且各目标点特征之间没有对应的问题，更加精确地体现手部在运动时随时间的变化规律。
70.基于上述实施例，该方法中，所述所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的，具体包括：
71.对于每一帧fmcw毫米波雷达获取的手势识别原始特征中的距离值，先对中频信号做快时间的fft，去除静态杂波后通过cfar检测可能存在的目标距离；
72.然后对相应距离处使用capon算法计算方位角角度谱并通过cfar检测特定距离处可能存在的目标方位角；
73.在相应距离和方位角处使用capon算法计算俯仰角角度谱并通过cfar检测特定距离和方位角处存在的目标俯仰角；
74.最后利用波束形成计算每个目标点的目标速度；
75.将目标距离、目标方位角、目标俯仰角和目标速度构建成目标手势识别特征，进行多普勒fft处理，再基于密度聚类，提取聚类中心作为目标特征向量时序序列和样本目标特征向量时序序列。
76.具体地，为了充分利用雷达提供的有效信息并对各个特征进行整合，本发明实施例设计了一种多维特征融合的手势特征提取方法，使每一时刻的每个目标间的距离、速度、方位角和俯仰角特征对应起来，更精确地体现了手部在运动时随时间的变化规律，减小了分类模型的输入尺寸，减少了分类模型前向传播的计算量，图6为本发明提供的多维特征提取流程图，具体步骤如图6所示。在每一帧中，先对中频信号做快时间的fft，去除静态杂波后通过cfar检测可能存在目标的距离，然后对相应距离处使用capon算法计算方位角角度谱并通过cfar检测特定距离处可能存在目标的方位，同理在相应距离和方位角处检测目标存在的俯仰角，计算出目标的距离、方位角和俯仰角之后，对8路回波信号进行波束形成，然后对慢时间维进行多普勒fft，计算每个目标点的速度，并根据每一帧的目标点在空间中的位置对进行聚类，将聚类中心作为当前帧目标的位置，以此构建特征向量。
77.在对雷达原始回波信号进行预处理之后，将每个手势用距离、角度、速度的时序轨迹来进行了表示，并以连续100帧的距离、方位角、俯仰角、速度向量作为分类器的输入建立了手势数据集。为了能够充分利用提取到的手势特征向量，使用基于多任务学习的网络框架来进行手势识别。
78.本发明实施例的关键点在于：1、首先设计了一种多维度融合的特征提取方法，对手势信号的空间和时序特征进行了提取，将每一时刻的距离、角度、速度信息一一对应以向量的形式进行特征融合，解决了以图片作为网络输入数据量大且各目标点特征之间没有对应的问题，更加精确地体现手部在运动时随时间的变化规律；使用卡尔曼滤波对手势轨迹进行平滑处理的同时，利用参数的改变进行结果的微调，在保证滤波效果的同时增加了样本数量，实现了样本增强；2、其次，设计了一个多任务学习网络框架，将整体网络框架分为轨迹重构和手势分类两个任务模块，通过重构任务协助网络中的共享部分更好地对输入数据进行特征提取。首先通过一维卷积层提取输入信息的特征，然后运用lstm层对提取到的信息进行编码，也就是压缩表示；下一步再将压缩表示后的数据作为重构部分和分类部分的输入，并将重构部分和分类部分的损失函数的加权和作为总体的损失函数，旨在通过重构任务协助网络中的特征提取模块能够更好地对输入数据进行特征提取，以提高分类部分的性能。
79.与现有的技术比较，本发明实施例的优点是：首先设计了一种多维度融合的特征提取方法，对手势信号的空间和时序特征进行了提取，将每一时刻的距离、角度、速度信息一一对应以向量的形式进行特征融合，解决了以图片作为网络输入数据量大且各目标点特征之间没有对应的问题，更加精确地体现手部在运动时随时间的变化规律；实验表明不同手势动作的轨迹存在明显差异，均表现出了不同的特点。
80.实验验证过程：
81.使用所设计的多任务学习模型对手势数据集进行训练和分类，使用总样本的80％用来对模型进行训练，其余20％的样本用来测试。根据所使用的网络结构及损失函数，本发明采用adam优化器，学习率设置为0.0005，epoch设置为50，batchsize设置为32，然后对网
络进行训练和测试，统计实验结果。最后，模型对6种手势的平均识别准确率为99％，图7为本发明提供的训练过程中验证准确率的变化，图8为本发明提供的测试集分类结果的混淆矩阵。如图8所示，八类手势的总体识别准确率最后收敛在99％，其中被错误分类的主要是第三类手势向左滑动和第四类手势向右滑动，根据分析主要原因可能在于这两类手势仅在方位角特征上有所差异，而其余特征轨迹基本相同，故混淆概率更大。
82.将本发明中的多任务网络结构和去除重构模块的单任务网络结构以及infineon公司的工作进行了比较，为了验证识别性能，本发明采用以下参数分别从分类性能和时间复杂度两个方面对算法进行比较：
83.(1)准确率(accuracy)：测试集中分类正确的样本数与总样本数的比值，可以反映识别算法对数据集的判定能力。
84.(2)浮点运算数(floating point operations,flops)：为计算量，可以用来衡量模型的复杂度。
85.(3)参数数量：神经网络参数的数量，可以衡量模型的大小。
86.表1为不同方法性能比较，采用本发明中采集的样本对识别方案进行验证，分类性能和算法复杂度的比较如表1所示。
87.表1不同方法性能比较
[0088][0089]
由表1可知，在分类性能方面，本发明所使用的多任务网络结构相较于去除重构模块的单任务模块，针对相同的数据集，其平均识别准确率提高了3％，说明多任务结构相较于没有增加多任务模块的网络结构而言，在重构任务的辅助下，能够更好地提取到手势参数中的空间特征和时序特征；而infineon公司所用方法仅达到了87.5％的识别准确率，主要原因在于其将距离多普勒图像序列作为网络输入，仅利用了手势的距离信息和速度信息而未能利用横向的角度信息，故难以识别有角度变化而径向速度和径向距离变化不明显的手势，造成总体识别准确率的降低。在算法时间复杂度方面，使用参数数量表示了分类模型的大小，使用flops评估了正向传播时模型的计算量，可以看出本发明工作与单任务网络相比在时间复杂度相同时可以拥有更高的识别准确率；与3d cnn相比参数数量，模型参数量和flops更少的同时拥有更高的识别准确率，说明本发明所提出的算法优于infineon公司所用方法。将本算法与其它算法进行了比较，并分析了分类性能的影响因素，实验结果表明本发明工作的平均识别准确率可以达到99％，优于所比较的算法。
[0090]
下面对本发明提供的基于多任务学习的fmcw毫米波雷达的手势识别装置进行描述，下文描述的基于多任务学习的fmcw毫米波雷达的手势识别装置与上文描述的基于多任务学习的fmcw毫米波雷达的手势识别方法可相互对应参照。
[0091]
图9为本发明提供的基于多任务学习的fmcw毫米波雷达的手势识别装置的结构示意图，如图9所示，该装置包括获取单元910和识别单元920，其中，
[0092]
所述获取单元910，用于获取待识别手势的目标特征向量时序序列；
[0093]
所述识别单元920，用于将所述目标特征向量时序序列输入多任务学习手势识别模型，输出手势类别结果；
[0094]
其中，所述多任务学习手势识别模型是基于样本目标特征向量时序序列、对应的手势类别标签和对应的手势轨迹标签进行训练得到的，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。
[0095]
本发明提供的基于多任务学习的fmcw毫米波雷达的手势识别装置，通过获取待识别手势的目标特征向量时序序列；将所述目标特征向量时序序列输入多任务学习手势识别模型，输出手势类别结果；其中，所述多任务学习手势识别模型是基于样本目标特征向量时序序列、对应的手势类别标签和对应的手势轨迹标签进行训练得到的，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。现实了有效便捷的获取用户手势多维特征，并且通过多任务学习提高了手势识别分类的准确率。
[0096]
在上述实施例的基础上，该装置中，所述多任务学习手势识别模型在训练过程中包括手势识别分类和重构手势轨迹两个学习任务。
[0097]
在上述实施例的基础上，该装置中，所述多任务学习手势识别模型在训练过程中的总体损失函数为手势识别分类部分和重构手势轨迹部分的两个部分的损失函数的加权。
[0098]
在上述实施例的基础上，该装置中，所述多任务学习手势识别模型在训练过程中的训练网络结果包括：
[0099]
顺次连接的一维cnn层、lstm层和一维转置卷积层；
[0100]
以及，顺次连接的一维cnn层、lstm层和全连接层。
[0101]
在上述实施例的基础上，该装置中，所述一维cnn层有128个卷积核，所述全连接层具有softmax激活函数，所述一维转置卷积层使用的是128个大小为7
×
1的反卷积核。
[0102]
在上述实施例的基础上，该装置中，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的，具体包括：
[0103]
以特定的多维度融合的特征提取算法对fmcw毫米波雷达获取的手势信号的空间和时序特征进行了提取，将每一时刻的距离、角度和速度信息一一对应以向量的形式进行特征融合，得到目标特征向量时序序列和样本目标特征向量时序序列。
[0104]
在上述实施例的基础上，该装置中，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的，具体包括：
[0105]
对于每一帧fmcw毫米波雷达获取的手势识别原始特征中的距离值，先对中频信号做快时间的fft，去除静态杂波后通过cfar检测可能存在的目标距离；
[0106]
然后对相应距离处使用capon算法计算方位角角度谱并通过cfar检测特定距离处可能存在的目标方位角；
[0107]
在相应距离和方位角处使用capon算法计算俯仰角角度谱并通过cfar检测特定距离和方位角处存在的目标俯仰角；
[0108]
最后利用波束形成计算每个目标点的目标速度；
[0109]
将目标距离、目标方位角、目标俯仰角和目标速度构建成目标手势识别特征，进行多普勒fft处理，再基于密度聚类，提取聚类中心作为目标特征向量时序序列和样本目标特征向量时序序列。
[0110]
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(communicationsinterface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行基于多任务学习的fmcw毫米波雷达的手势识别方法，该方法包括：获取待识别手势的目标特征向量时序序列；将所述目标特征向量时序序列输入多任务学习手势识别模型，输出手势类别结果；其中，所述多任务学习手势识别模型是基于样本目标特征向量时序序列、对应的手势类别标签和对应的手势轨迹标签进行训练得到的，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。
[0111]
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0112]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于多任务学习的fmcw毫米波雷达的手势识别方法，该方法包括：获取待识别手势的目标特征向量时序序列；将所述目标特征向量时序序列输入多任务学习手势识别模型，输出手势类别结果；其中，所述多任务学习手势识别模型是基于样本目标特征向量时序序列、对应的手势类别标签和对应的手势轨迹标签进行训练得到的，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。
[0113]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于多任务学习的fmcw毫米波雷达的手势识别方法，该方法包括：获取待识别手势的目标特征向量时序序列；将所述目标特征向量时序序列输入多任务学习手势识别模型，输出手势类别结果；其中，所述多任务学习手势识别模型是基于样本目标特征向量时序序列、对应的手势类别标签和对应的手势轨迹标签进行训练得到的，所述目标特征向量时序序列和所述样本目标特征向量时序序列均是通过预设算法对fmcw毫米波雷达获取的手势识别原始数据进行处理后得到的。
[0114]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0115]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0116]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。