跨域手势识别模型训练方法、识别方法、装置及存储介质

本发明涉及射频信号传感，尤其涉及一种跨域手势识别模型训练方法、识别方法、装置及存储介质。

背景技术：

1、目前，手势识别的方法主要可分为三种，分别是基于专用传感器、基于视频图像和基于射频信号的方法。其中，基于专用传感器的手势识别方法要求用户穿戴专用的传感器。这种方法的优点是容易采集手势数据，受环境的影响较小，因此易于实现。但是这种方法需要佩戴传感器，会给用户带来不便。而基于视频图像的手势识别方法则是利用视频图像采集设备对用户的手势动作进行采集，然后通过对这些数据进行处理实现手势的识别。这种方法不需要携带传感器，因此十分便捷，但是基于视频图像的手势识别方法的缺点是视频图像对环境敏感，而且摄像头等设备会侵犯用户的隐私。基于射频信号的手势识别方法通过射频设备收集手势数据进行处理。相较于基于专用传感器和基于视频图像的手势识别方法，基于射频信号的手势识别方法既无需用户佩戴专用传感器设备，也不需要考虑光线的影响，不需要使用摄像头，不会侵犯用户的隐私。因此，基于射频信号的手势识别方法具有很好的研究前景。

2、然而，无线信号及其特征高度特定于执行手势的人所处的环境以及其所在的位置和方向(下文将这些与手势无关的因素统称为领域因素)，用某个领域的无线信号的特征训练的手势分类器通常到了另一个域后识别准确率就会大幅度下降。

3、为了实现无线信号的跨域识别，相关技术中每次都需要将新的目标域采集的数据添加到分类模型中，需要在数据收集以及模型再训练方面进行额外的工作，而且现实世界中具有无限多个域，因此这种方法并不具有实用性。在其他相关技术，也有提取与领域无关的手势特征来进行手势识别的方法，但这种方法需要部署多个设备并提前知道收发器的准确位置，同样限制了该方法的实用性。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种跨域手势识别模型训练方法，能够在减少模型训练工作量的情况下实现不同目标域上的手势识别。

2、一方面，本发明实施例提供了一种跨域手势识别模型训练方法，包括以下步骤：

3、获取不同域的多个信道状态信息；

4、对多个所述信道状态信息进行预处理，得到训练数据集；

5、对所述训练数据集进行任务生成操作，得到单域任务和多域任务；

6、分别基于单域任务和多域任务的数据训练嵌入网络和关系网络，其中，所述嵌入网络用于对输入的数据进行划分得到支持集和查询集，分别对支持集和查询集中的数据进行特征提取对应得到支持集数据特征和查询集数据特征；所述关系网络用于根据支持集数据特征和查询集数据特征确定关系得分，根据关系得分确定查询集数据的预测手势分类结果；

7、根据训练完成的嵌入网络和关系网络得到跨域手势识别模型。

8、根据本发明一些实施例，所述对多个所述信道状态信息进行预处理，得到训练数据集包括以下步骤：

9、基于权值的天线共轭乘法分别去除多个所述信道状态信息中的相位偏移片段，得到第一预处理数据集；

10、采用小波变换算法去除所述第一预处理数据集中信道状态信息的噪声，得到第二预处理数据集；

11、采用主成分分析算法对所述第二预处理数据集中的信道状态信息进行降维操作，得到第三预处理数据集；

12、将所述第三预处理数据中的信道状态信息进行短时傅里叶变换，得到训练数据集。

13、根据本发明一些实施例，所述嵌入网络包括支持集模块和查询集模块，所述支持集模块用于对划分到支持集中的数据进行特征提取，所述查询集模块用于对划分到查询集中的数据进行特征提取；

14、所述支持集模块和所述查询集模块均包括依次连接的卷积残差网络单元和卷积池化网络单元；所述卷积残差网络单元包括依次连接的自关联信息提取层、多个卷积层和连接层，所述连接层用于对最后一个卷积层的输出和所述自关联信息提取层的输入进行整合得到卷积残差网络单元的输出；所述卷积池化网络单元包括依次连接的卷积层、归一化层和池化层。

15、根据本发明一些实施例，所述关系网络包括依次连接的特征拼接层、卷积池化网络单元、全连接层和分类层，所述特征拼接层用于对所述嵌入网络输出的支持集数据特征和查询集数据特征进行拼接得到串联特征向量，所述卷积池化网络单元用于对串联特征向量进行降维操作，所述全连接层用于根据降维后串联特征向量预测关系得分，所述分类层用于根据所述关系得分确定查询集数据的预测手势分类结果。

16、根据本发明一些实施例，所述自关联信息提取层用于提取输入矩阵的多个通道特征，将其中一个所述通道特征与周围[-du,du]×[-dv,dv]的所有通道特征按位相乘，得到自关联信息提取层的输出矩阵，其中，du和dv分别为预设的超参数。

17、根据本发明一些实施例，所述分别基于单域任务和多域任务的数据训练嵌入网络和关系网络包括以下步骤：

18、将所述单域任务的数据依次输入嵌入网络和关系网络进行预测分类，得到单域任的务数据的第一预测手势分类结果，根据所述第一预测手势分类结果计算单域任务上的嵌入网络和关系网络的第一损失值，根据所述第一损失值更新所述嵌入网络和关系网络的参数；

19、将所述多域任务的数据依次输入基于单域任务的数据更新后的嵌入网络和关系网络进行预测分类，得到多域任务的数据的第二预测手势分类结果，根据所述第二预测手势分类结果计算多域任务上的嵌入网络和关系网络的第二损失值，根据所述第二损失值更新所述嵌入网络和关系网络的参数。

20、另一方面，本发明实施例还提供一种手势识别方法，包括以下步骤：

21、获取待识别的信道状态信息；

22、将所述信道状态信息输入跨域手势识别模型，得到手势分类结果；

23、其中，所述跨域手势识别模型由权利要求1至6任一项所述的跨域手势识别模型训练方法训练得到。

24、另一方面，本发明实施例还提供一种跨域手势识别模型训练装置，包括：

25、第一模块，用于获取不同域的多个信道状态信息；

26、第二模块，用于对多个所述信道状态信息进行预处理，得到训练数据集；

27、第三模块，用于对所述训练数据集进行任务生成操作，得到单域任务和多域任务；

28、第四模块，用于分别基于单域任务和多域任务的数据训练嵌入网络和关系网络，其中，所述嵌入网络用于对输入的数据进行划分得到支持集和查询集，分别对支持集和查询集中的数据进行特征提取对应得到支持集数据特征和查询集数据特征；所述关系网络用于根据支持集数据特征和查询集数据特征确定关系得分，根据关系得分确定查询集数据的预测手势分类结果；

29、第五模块，用于根据训练完成的嵌入网络和关系网络得到跨域手势识别模型。

30、另一方面，本发明实施例还提供一种电子装置，包括：

31、至少一个处理器；

32、至少一个存储器，用于存储至少一个程序；

33、当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如前面所述的跨域手势识别模型训练方法或者手势识别方法。

34、另一方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如前面所述的跨域手势识别模型训练方法或者手势识别方法。

35、本发明上述的技术方案至少具有如下优点或有益效果之一：本发明获取不同域的多个信道状态信息，对多个信道状态信息进行预处理后得到训练数据集，对训练数据集进行任务生成操作得到单域任务和多域任务，分别基于单域任务和多域任务的数据训练嵌入网络和关系网络，根据训练完成的嵌入网络和关系网络得到跨域手势识别模型，分别基于单域任务和多域任务训练模型能够提高模型在不同域中适应性。嵌入网络对输入的数据进行划分得到支持集和查询集，分别对支持集和查询集中的数据进行特征提取对应得到支持集数据特征和查询集数据特征，关系网络根据支持集数据特征和查询集数据特征确定关系得分，根据关系得分确定查询集数据的预测手势分类结果，嵌入网络和关系网络基于元学习思想将数据划分为支持集和查询集对模型进行同步预测和训练，能够提高模型在不同域上的学习能力，降低跨域手势识别模型对训练数据量的要求，实现在不同目标域上的高性能手势识别。