一种手势的识别方法及装置、电子设备、存储介质与流程

1.本发明涉及数据识别的技术领域，特别是涉及一种手势的识别方法及装置、电子设备、存储介质。


背景技术：

2.手势识别作为人机交互的重要组成部分，其研究发展影响着人机交互的自然性和灵活性。
3.随着手势识别应用的场景越来越多，且应用的场景越来越复杂，现有的手势识别的方法可能难以兼容于新出现的场景；这可能会导致针对新的场景中，现有的手势识别的方法难以准确进行手势识别，进而可能会影响到用户的使用。
4.因此，如何提高手势识别的方法的兼容性和拓展性，成了手势识别中亟需解决的问题。


技术实现要素：

5.鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种手势的识别方法及装置、电子设备、存储介质，包括：
6.一种手势的识别方法，方法包括：
7.分别获取不同种类传感器针对同一用户展示同一个手势的目标信号数据；
8.分别从每个目标信号数据中提取对应的目标特征矩阵，并融合所有的目标特征矩阵，得到目标融合特征矩阵；
9.将目标融合特征矩阵输入预置的预测模型中，得到手势的识别结果。
10.可选地，融合所有的目标特征矩阵，得到目标融合特征矩阵，包括：
11.对每个目标特征矩阵进行降维处理，得到对应的降维特征矩阵；
12.融合所有的降维特征矩阵，得到目标融合特征矩阵。
13.可选地，融合所有的降维特征矩阵，得到目标融合特征矩阵，包括：
14.将降维特征矩阵两两融合，每次融合均生成一个目标子特征矩阵；
15.确定每个目标子特征矩阵的目标权重信息，并根据每个目标子特征矩阵和对应的目标权重信息，得到目标融合特征矩阵。
16.可选地，分别从每个目标信号数据中提取对应的目标特征矩阵，包括：
17.对目标信号数据进行预处理；
18.从预处理后的目标信号数据中，提取对应的目标特征矩阵。
19.可选地，不同种类的传感器至少包括肌电信号传感器、微型惯性传感器和手指弯曲传感器中的两种；
20.目标信号数据包括以下至少两种：
21.从肌电信号传感器获取的第一信号数据；
22.从微型惯性传感器获取的第二信号数据；
23.从手指弯曲传感器获取的第三信号数据。
24.可选地，方法还包括：
25.确定与识别结果对应的目标指令，目标指令用于对目标设备进行控制。
26.本发明实施例还提供了一种手势的识别装置，装置包括：
27.信号获取模块，用于分别获取不同种类传感器针对同一用户展示同一个手势的目标信号数据；
28.融合模块，用于分别从每个目标信号数据中提取对应的目标特征矩阵，并融合所有的目标特征矩阵，得到目标融合特征矩阵；
29.预测模块，用于将目标融合特征矩阵输入预置的预测模型中，得到手势的识别结果。
30.可选地，融合模块，包括：
31.降维子模块，用于对每个目标特征矩阵进行降维处理，得到对应的降维特征矩阵；
32.向量融合子模块，用于融合所有的降维特征矩阵，得到目标融合特征矩阵。
33.可选地，向量融合子模块，用于将降维特征矩阵两两融合，每次融合均生成一个目标子特征矩阵；确定每个目标子特征矩阵的目标权重信息，并根据每个目标子特征矩阵和对应的目标权重信息，得到目标融合特征矩阵。
34.可选地，融合模块，包括：
35.预处理子模块，用于对目标信号数据进行预处理；
36.特征提取子模块，用于从预处理后的目标信号数据中，提取对应的目标特征矩阵。
37.可选地，不同种类的传感器至少包括肌电信号传感器、微型惯性传感器和手指弯曲传感器中的两种；
38.目标信号数据包括以下至少两种：
39.从肌电信号传感器获取的第一信号数据；
40.从微型惯性传感器获取的第二信号数据；
41.从手指弯曲传感器获取的第三信号数据。
42.可选地，装置还包括：
43.指令生成模块，用于确定与识别结果对应的目标指令，目标指令用于对目标设备进行控制。
44.本发明实施例还提供了一种电子设备，包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上的手势的识别方法。
45.本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上的手势的识别方法。
46.本发明实施例具有以下优点：
47.本发明实施例中，可以先分别获取不同种类传感器针对同一用户展示同一个手势的目标信号数据；然后分别从每个目标信号数据中提取对应的目标特征矩阵，并融合所有的目标特征矩阵，得到目标融合特征矩阵；再将目标融合特征矩阵输入预置的预测模型中，得到手势的识别结果。通过本发明实施例，实现了基于不同传感器所采集的信号数据融合得到的特征矩阵来进行手势的识别，既保证了手势识别中数据的多样性和一致性，使得手
势识别的方法能够兼容于新出现的各种场景，进而提高了手势识别的方法的兼容性和扩展性，以及各种场景下识别结果的准确性；又使得细微差别的手势能够被识别出来。
附图说明
48.为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
49.图1是本发明实施例的一种手势的识别方法的步骤流程图；
50.图2是本发明实施例的另一种手势的识别方法的步骤流程图；
51.图3是本发明实施例的一种特征提取融合的过程的示意图；
52.图4是本发明实施例的一种模型训练的过程的示意图；
53.图5是本发明实施例的一种数据传输的过程的示意图；
54.图6是本发明实施例的一种手势识别的过程的示意图；
55.图7是本发明实施例的一种手势的识别装置的结构框图。
具体实施方式
56.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.参照图1，示出了本发明实施例的一种手势的识别方法的步骤流程图，包括如下步骤：
58.步骤101、分别获取不同种类传感器针对同一用户展示同一个手势的目标信号数据；
59.其中，不同种类的传感器至少包括肌电信号传感器、微型惯性传感器和手指弯曲传感器中的两种；目标信号数据可以包括以下至少两种：
60.从肌电信号传感器获取的第一信号数据；从微型惯性传感器获取的第二信号数据；从手指弯曲传感器获取的第三信号数据。
61.肌电信号传感器可以指能感受肌肉运动单位(由肌肉纤维细胞)动作电位波形，并转换成可用输出信号的传感器；第一信号数据可以包括由肌电信号传感器输出的表面肌电信号数据。
62.微型惯性传感器可以包括加速度计和角速度传感器，加速度计可以指测量运载体线加速度的仪表，角速度传感器可以指用来感测与维持方向的装置；第二信号数据可以包括加速度计测量得到的加速度，和角速度传感器测量得到的角速度数据。
63.手指弯曲传感器可以指用于测量手指弯曲度的测量传感器；第三信号数据可以包括由手指弯曲传感器输出的、用于表征手指弯曲度的手指关节形变信号数据。
64.在实际应用中，用户可以通过执行不同手势，来对目标设备进行控制，例如：当用户想要控制目标设备的界面向左滑动时，可以执行用于控制界面向左滑动对应的第一手势
(可以是五指向左滑动)，当用户想要控制目标设备的界面向右滑动时，可以执行用于控制界面向右滑动对应的第二手势(可以是五指向右滑动)。
65.为了能够对用户所执行的手势进行识别，以确定用户当前所执行的手势是哪一种手势，可以预先在用户的手臂或者手指上部署传感器，例如：可以在手臂上部署肌电信号传感器或者微型惯性传感器，也可以在手指上部署手指弯曲传感器，本发明实施例对此不作限制。
66.如果仅采用单一的传感器对用户的手势进行信号数据的采集的话，可能导致最终手势识别的结果不准确，例如：肌电信号传感器在面对细微的手势变化时，所采集的生物电信号是很相近，如果在此时进行手势识别的话，可能会出现手势识别准确率低的问题；又例如：手指弯曲传感器能对手指弯曲进行准确的检测，但是却不支持手势中手指不弯曲情况下的横向和纵向移动的检测；还例如：微型惯性传感器不能敏感地球自转角速，只能保证低精度粗对准或者需要进一步的精度校准处理。
67.且单一的传感器由于所采集的信号数据单一，这可能会导致后续应用于新出现的场景时，难以兼容于新出现的场景，进而导致新场景下的手势识别的结果的准确性较低。
68.因此，为了能够对用户的手势进行准确的识别，在本发明实施例中，可以预先在用户的手臂上，和/或手指上部署多个不同种类的传感器，例如：可以在用户的手臂上部署肌电信号传感器和微型惯性传感器；或者可以在用户的手臂上部署肌电信号传感器，以及在用户的手指上部署手指弯曲传感器；或者可以在用户的手臂上部署微型惯性传感器，以及在用户的手指上部署手指弯曲传感器；再或者，在用户的手臂上部署肌电信号传感器和微型惯性传感器，以及在用户的手指上部署手指弯曲传感器，本发明实施例对此不作限制。
69.当一用户想要对目标设备进行控制时，可以执行对应的手势；此时，部署在该用户身上的不同种类的传感器，可以针对同一用户所展示的同一手势进行数据的采集，并生成对应的目标信号数据，例如：如果部署的传感器包括肌电信号传感器的话，则可以得到第一信号数据，如果部署的传感器包括微型惯性传感器的话，则可以得到第二信号数据，如果部署的传感器包括手指弯曲传感器的话，则可以得到第三信号数据。
70.不同种类的传感器在生成对应的目标信号数据后，可以将所采集到的所有的目标信号数据输出至微处理器，以便综合不同种类的传感器所采集到的信号数据，来对用户所展示的手势进行识别。
71.步骤102、分别从每个目标信号数据中提取对应的目标特征矩阵，并融合所有的目标特征矩阵，得到目标融合特征矩阵；
72.微处理器在获取到目标信号数据后，针对每个目标信号数据，可以从中提取对应的目标特征矩阵。
73.例如：如果获取到的目标信号数据包括第一信号数据的话，则可以对第一信号数据中所包括的表面肌电信号数据进行特征的提取，以获取到对应的目标特征矩阵。
74.如果获取到的目标信号数据包括第二信号数据的话，则可以对第二信号数据中所包括的加速度和角速度数据进行特征的提取，以获取到对应的目标特征矩阵。
75.如果获取到的目标信号数据包括第三信号数据的话，则可以对第三信号山护具中所包括的手指关节形变信号数据进行特征的提取，以获取到对应的目标特征矩阵。
76.在获取到每个目标信号数据对应的目标特征矩阵后，为了保证数据的一致性，可
以将所有的目标特征矩阵融合成一个目标融合特征矩阵。
77.步骤103、将目标融合特征矩阵输入预置的预测模型中，得到手势的识别结果。
78.在得到目标融合特征矩阵后，可以向该目标融合特征矩阵输入至预置的预测模型中；预置的预测模型可以是针对融合后的特征矩阵设置的，本发明实施例对此不作限制。
79.在将目标融合特征矩阵输入预测模型后，预测模型可基于目标融合特征矩阵对用户所展示的手势进行识别，并输出该手势对应的识别结果；识别结果可以用于表征用户所展示的手势。
80.本发明实施例中，可以先分别获取不同种类传感器针对同一用户展示同一个手势的目标信号数据；然后分别从每个目标信号数据中提取对应的目标特征矩阵，并融合所有的目标特征矩阵，得到目标融合特征矩阵；再将目标融合特征矩阵输入预置的预测模型中，得到手势的识别结果。通过本发明实施例，实现了基于不同传感器所采集的信号数据融合得到的特征矩阵来进行手势的识别，既保证了手势识别中数据的多样性和一致性，使得手势识别的方法能够兼容于新出现的各种场景，进而提高了手势识别的方法的兼容性和扩展性，以及各种场景下手势识别结果的准确性；又使得细微差别的手势能够被识别出来。
81.参照图2，示出了本发明实施例的另一种手势的识别方法的步骤流程图，包括如下步骤：
82.步骤201、分别获取不同种类传感器针对同一用户展示同一个手势的目标信号数据；
83.当一用户想要对目标设备进行控制时，可以执行对应的手势；此时，部署在该用户身上的不同种类的传感器，可以针对同一用户所展示的同一个手势进行数据的采集，并生成对应的目标信号数据，例如：如果部署的传感器包括肌电信号传感器的话，则可以得到第一信号数据，如果部署的传感器包括微型惯性传感器的话，则可以得到第二信号数据，如果部署的传感器包括手指弯曲传感器的话，则可以得到第三信号数据。
84.作为一示例，不同种类的传感器在生成对应的目标信号数据后，可以将所采集到的所有的目标信号数据输出至手势数据采集模块，然后手势数据采集模块可以将目标信号数据转发至微处理器，以便综合不同种类的传感器所采集到的信号数据，来对用户所展示的手势进行识别。
85.其中，可以在微处理器中部署预置的预测模型，以便直接由微处理基于目标信号数据进行手势的识别；也可以在云平台中部署预置的预测模型，当微处理器获取到目标信号数据后，微处理器可以将目标信号数据发送至云平台，以由云平台基于目标信号数据进行手势的识别，本发明实施例对此不作限制。
86.以下实施例主要是针对的微处理器进行识别的场景，云平台进行识别的场景与微处理器进行识别的场景类似，对于相似之处便不再赘述。
87.步骤202、对目标信号数据进行预处理；
88.微处理在获取到目标信号数据后，可以先对目标信号数据进行预处理；预处理可以包括信号方法、滤波、降噪等，本发明实施例对此不作限制。
89.作为一示例，当目标信号数据包括第一信号数据时，可以先对第一信号数据进行信号放大的预处理，然后对第一信号数据进行中值滤波的预处理，再对第一信号数据中进行采样的预处理，以剔除无效的信号数据。
90.再然后，可以基于表面肌电信号数据的上升沿和下降沿，对第一信号数据进行分割，从而得到至少一个分割分析窗口。
91.例如：可以先确定t
i-1为动作的起始点，ti为手势动作结束点。0-t秒表面肌电信号数据采集的有效信号为s0(0，t)，分割分析窗口分为n个信号片段si(i＝0～n)；
[0092][0093]
其中，n＝1时t≥t1，t≥t1+t2…
tn。
[0094]
作为另一示例，当目标信号数据包括第二信号数据时，可以利用低通滤波方法对加速度计和角速度传感器所采集的数据进行滤波去噪的预处理。
[0095]
例如：利用低通滤波方法对加速度计和角速度传感器所采集的数据进行滤波去噪的预处理，生成加速度幅值w0(0,t)、线性加速度α0(0,t)、垂直于水平方向的加速度avo0(0,t)；
[0096][0097][0098][0099]
其中，i＝1是，t≥t1；t≥t≥t1+t2…
tn。
[0100]
作为又一示例，当目标信号数据包括第三信号数据时，可以先对第三信号数据进行滤波的预处理，然后基于对第一信号数据进行分割后的分割结果，对第三信号数据进行相应的分割。
[0101]
例如：可以先确定t
i-1为动作的起始点，ti为手势动作结束点。0-t秒形变电信号采集的有效信号为st0(0，t)，分割分析窗口为n个信号片段sti(i＝0～n)；
[0102][0103]
其中，n＝1时t≥t1，t≥t1+t2…
tn。
[0104]
步骤203、从预处理后的目标信号数据中，提取对应的目标特征矩阵；
[0105]
在对目标信号数据进行预处理后，微处理器可以基于预处理后的目标信号数据们进行特征矩阵的提取。
[0106]
作为一示例，如果目标信号数据包括第一信号数据的话，则微处理器可以确定信号片段si(i＝0～n)对应的特征矩阵。
[0107]
例如：在t
i-1
～ti秒的第i个信号的特征向量为si(t
i-1
，i)，可以将平均绝对幅值(后续称作mav)、威尔逊幅值(后续称作wamp),以及波形长度(后续称作wl)作为表面肌电信号数据的特征值。
[0108]
mav可以反映肌电获取的强度：
[0109][0110]
其中，n为序列的点数，x为表面肌电信号数据时域序列。
[0111]
wamp是威尔逊提出计算肌电信号幅值变化数量方法，合适的阈值50-100uv；表示表面肌电信号数据的频率信息，反映肌肉收缩的力度，其公式如下：
[0112][0113]
其中：
[0114]
wl可以指对某一分析窗中的波形长度的统计，波形可以体现该样本的持续时间、幅度值、频率的特征：
[0115][0116]
在得到mav、wamp和wl后，可以组成第一信号数据中t时刻对应的目标特征矩阵，例如：如果部署有四个肌电信号传感器的话，可以得到目标特征矩阵mww：
[0117][0118]
作为另一示例，如果目标信号数据包括第二信号数据，则微处理器可以采用短时傅里叶变化，来获取对应的特征矩阵。
[0119]
例如：在t
i-1
～ti秒的第i个信号的特征向量为sii(w0，a0，av0)(t
i-1
，t)；可以采用matlab工具中的spectrogram函数来进行短时傅里叶变换：
[0120]
[s，f，t，p]＝spectrogram(x，window，noverlap，nfft，fs)
ꢀꢀ
(9)
[0121]
其中，x为输入信号的向量。默认情况下，即没有后续输入参数，x将被分成8段分别做变换处理，如果x不能被平分成8段，则会做截断处理。
[0122]
window为窗函数，如果window为一个整数，x将被分成window段，每段使用hamming窗函数加窗。如果window是一个向量，x将被分成length(window)段，每一段使用window向量指定的窗函数加窗。
[0123]
noverlap为每一段的重叠样本数，默认值可以是在各段之间产生50％的重叠。
[0124]
nfft为做傅里叶变换的长度，这里可以默认为256和大于每段长度的最小2次幂之间的最大值。
[0125]
fs为采样频率hz，这里可以指定采样频率为200hz。
[0126]
s为输入信号x的短时傅里叶变换。
[0127]
f为在输入变量中使用f频率向量，函数会使用goertzel方法计算在f指定的频率处计算频谱图。
[0128]
t为频谱图计算的时刻点。
[0129]
p为能量谱密度(后续称作psd)，对于实信号，p是各段psd的单边周期估计；对于复信号，当指定f频率向量时，p为双边psd。
[0130]
当预先部署了四个微型惯性传感器的话，则可以得到目标特征矩阵sftp：
[0131][0132]
作为又一示例，如果目标信号数据包括第三信号数据，则微处理器可以确定信号片段sti(i＝0～n)对应的特征矩阵。
[0133]
例如：预先在每个手指部署一个手指弯曲传感器；然后，针对t
i-1
～ti秒的第i个信号片段，可以计算五个手指弯曲传感器各自的幅平均值，若幅平均值大于静止状态下幅值的预设倍数的话，则认定这段时间手指处于弯曲，标记手指状态gs为1；若幅平均值小于静止状态下幅值的预设倍数的话，标记手指状态为0。
[0134]
然后，可以得到目标特征矩阵gs：
[0135][0136]
步骤204、对每个目标特征矩阵进行降维处理，得到对应的降维特征矩阵；
[0137]
在确定每个预处理后的目标信号数据对应的目标特征矩阵后，为了对数据进行可视化，以便对数据进行观察和探索，以及为了简化机器学习模型的训练和预测，可以再对每个目标特征矩阵进行降维处理，并分别得到每个目标特征矩阵降维后的对应的降维特征矩阵。
[0138]
具体的，可以先对目标特征矩阵进行去均值操作；然后计算目标特征矩阵的协方差矩阵，在对协方差矩阵做特征分解。
[0139]
之后，再去最大的d个特征值所对应的特征向量，并组成投影矩阵；再将目标特征矩阵与投影矩阵相乘，从而得到降维为d维后的矩阵。
[0140]
接上例，如果是第一信号数据对应的目标特征矩阵的话，则mww4行3列*dm3行1列＝》4行*1列(dm为3*1维特征向量)；从而，t时刻的mww降维为一维mww
·
：
[0141]
mww`＝[mav` wamp` wl` wavmpl`]t。
[0142]
其中，wavmpl可以指mww4行3列*dm3行1列后的4行1列数据中的第4行数据。
[0143]
如果是第二信号数据对应的目标特征矩阵的话，由于第二信号数据对应的目标特征矩阵本就是5行1列的特征向量，不需要进行降维：
[0144][0145]
如果是第三信号数据对应的目标特征矩阵的话，则sftp4行4列*ds4行1列＝》4行*
1列(ds为4*1维特征向量)；从而，将0-t时刻、f频率下的sftp降维为一维sftp
·
：
[0146]
sftp`＝[s` f` t` p`]t。
[0147]
步骤205、融合所有的降维特征矩阵，得到目标融合特征矩阵；
[0148]
在对所有的目标特征矩阵进行降维处理后，可以将所得到的、所有的降维特征矩阵融合成一目标融合特征矩阵。
[0149]
在本发明一实施例中，可以通过如下子步骤生成目标融合特征矩阵：
[0150]
子步骤11、将降维特征矩阵两两融合，每次融合均生成一个目标子特征矩阵；
[0151]
具体的，可以随机获取两个降维特征矩阵，然后将随机获取的两个降维特征矩阵融合，并生成一个目标子特征矩阵。
[0152]
接上例，如果目标信号数据包括第一信号数据和第二信号数据，则可以生成目标子特征矩阵p
wpca1
＝[mww
· gs]。
[0153]
如果目标信号数据包括第二信号数据和第三信号数据，则可以将降维特征矩阵两两融合生成目标子特征矩阵p
wpca2
＝[gs sftp
·
]。
[0154]
如果目标信号数据包括第一信号数据和第三信号数据，则可以将降维特征矩阵两两融合生成目标子特征矩阵p
wpca3
＝[mww
· sftp
·
]。
[0155]
如果目标信号数据包括第一信号数据、第二信号数据和第三信号数据，则可以将降维特征矩阵两两融合生成目标子特征矩阵p
wpca1
＝[mww
· gs]、目标子特征矩阵p
wpca2
＝[gs sftp
·
]，以及目标子特征矩阵p
wpca3
＝[mww
· sftp
·
]。
[0156]
子步骤12、确定每个目标子特征矩阵的目标权重信息，并根据每个目标子特征矩阵和对应的目标权重信息，得到目标融合特征矩阵。
[0157]
然后，可以确定每个目标子特征矩阵对应的目标权重信息，并基于所确定的目标权重信息，将融合得到的所有的目标子特征矩阵融合成一个目标融合特征矩阵。
[0158]
接上例：
[0159]
可以先分别确定每个目标子特征矩阵对应的支持向量机，并确定对应支持向量机对应的预测准确度a
c1
、a
c2
、a
c3
；(0＜a
c1
＜1)(0＜a
c2
＜1)(0＜a
c3
＜1)。
[0160]
其中，a
c1
与p
wpca1
对应；a
c2
与p
wpca2
对应；a
c3
与p
wpca3
对应。
[0161]
目标权重信息为w＝[w1，w2，w3]；
[0162]
其中，w1与p
wpca1
对应；w2与p
wpca2
对应；w3与p
wpca3
对应。
[0163]
w1+w2+w3＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0164]
w1＝a
c1
/(a
c1
+a
c2
+a
c3
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0165]
w2＝a
c2
/(a
c1
+a
c2
+a
c3
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0166]
w3＝a
c3
/(a
c1
+a
c2
+a
c3
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0167]
从而，得到目标融合特征矩阵p
dpca
＝w[p
wpca1 p
wpca2 p
wpca3
]。
[0168]
如图3，可以对第一信号数据进行特征的提取，从而得到mww；对第二信号数据进行特征的提取，从而得到gs；对第三信号数据进行特征的提取，从而得到sftp。
[0169]
然后，可以对mww和sftp进行降维，得到mww
·
和sftp
·
。再基于目标权重信息w，将mww
·
、sftp
·
和gs融合，得到p
dpca
。
[0170]
步骤206、将目标融合特征矩阵输入预置的预测模型中，得到手势的识别结果；
[0171]
在得到目标融合特征矩阵后，可以将目标融合特征矩阵作为输入数据输入至预置
的预测模型中进行手势的预测。
[0172]
预置的预测模型可以基于输入的目标融合特征矩阵进行手势的识别，并输出针对手势的识别结果。
[0173]
在本发明一实施例中，可以预先针对不同的识别场景设置不同的预测模型；在获取到目标信号数据后，可以先确定当前的识别场景，然后基于当前的场景确定对应的预测模型来对手势进行识别。
[0174]
在对预测模型进行训练时，可以设置一准确性阈值(如95％)，当该预测模型的准确性超过该准确性阈值后，才能存入微处理器或者云平台来对手势进行识别。
[0175]
当训练后的预测模型的准确性未超过准确性阈值时，可以表示该训练后的预测模型的识别的准确率较低；此时，可以增加训练数据，并采用增加的训练数据对该预测模型进行训练。
[0176]
同时，可以将预测模型对应场景下，新增的手势和信号数据作为预测数据，并采用该新的数据来对重新训练后的预测模型进行验证，本发明实施例对此不作限制。
[0177]
如图4，可以将收集到的训练数据进行融合，然后用融合后的数据训练预测模型；另外，对收集到的测试数据进行预处理和融合，然后将处理后的测试输入至训练后的预测模型。
[0178]
然后，基于预测模型输出的数据，对该预测模型的准确性进行验证；如果训练后的预测模型的准确性超过准确性阈值，则将该训练后的预测模型保存。
[0179]
其中，可以将收集到的训练数据中的80％融合成用于对预测模型进行训练的数据，将20％融合成用于对训练后的预测模型进行验证的数据，本发明实施例对此不作限制。
[0180]
其中，训练数据可以是预先针对手势识别收集的数据集合，训练数据可以包括具体的手势，以及对应的信号数据，例如：五指向左滑对应信号数据1，五指向右移动对应信号数据2等等，本发明实施例对此不作限制。训练数据可以是从已有的数据库中获取的，例如mnist数据集。
[0181]
在收集训练时，还可以获取用户在不同场景下的手势和信号数据；例如：与智能车载的场景有关的手势和信号数据、与智能家居的场景有关的手势和信号数据等，本发明实施例对此不作限制。
[0182]
步骤207、确定与识别结果对应的目标指令，目标指令用于对目标设备进行控制。
[0183]
在得到识别结果后，可以再确定与识别结果对应的目标指令，以便对目标设备进行对应的控制。
[0184]
具体的，可以预先针对不同的手势设置对应的指令，在得到识别结果后，可以基于识别结果所表征的手势确定对应的目标指令。
[0185]
作为一示例，当手势识别的执行主体为微处理器时，微处理器在确定识别结果后，可以直接基于识别结果生成对应的目标指令。
[0186]
作为另一示例，当手势识别的执行主体为云平台时，平台可以在生成目标识别结果后，将目标识别结果返回至微处理器；然后，微处理器可以确定与识别结果对应的目标指令。
[0187]
在确定目标指令后，可以基于目标指令对目标设备进行控制；例如：当目标指令是用于控制目标设备的界面向左滑动的话，则响应于目标指令，目标设备将控制其所显示的
界面向左滑动，本发明实施例对此不作限制。
[0188]
作为一示例，上述手势识别可以用于智能车载的场景，目标设备可以指车载终端；从而，用户可以通过执行手势，来控制车载终端，例如：增大音量、减少音量等，从而可以在嘈杂的环境下，有效补充语音识别短板，使得车内交互更加方便自然。
[0189]
作为另一示例，上述手势识别可以用于智能家居的场景，目标设备可以指智能家居设备；从而，用户可以通过执行手势，来控制智能家居设备，例如：唤起智能家居设备、关闭智能家居设备等，以实现智能家居的智能化操控和交互。
[0190]
如图5，传感器在采集到目标信号数据后，可以发送给手势数据采集模块；手势数据采集模块在收集到目标信号数据后，可以发送给微处理器进行手势识别。
[0191]
其中，微处理器中可以部署有分类和识别模块、有效数据存储模块和控制和通讯模块；分类和识别模块可以用于对目标信号数据进行识别，有效数据存储模块可以用于存储有效的数据，例如：用于存储预测模型、存储目标信号数据等。
[0192]
控制和通讯模块可以用于生成目标指令，并将目标指令发送至目标设备；目标设备基于目标指令可以执行对应的操作，例如：控制当前显示的界面向左滑动。
[0193]
其中，数据之间的传输可以通过二进制序列化进行数据的传递。
[0194]
如图6，可以先从肌电信号传感器中获取第一信号数据，从微型惯性传感器中获取第二信号数据，以及从手指弯曲传感器获取第三信号数据。
[0195]
然后对第一信号数据、第二信号数据和第三信号数据进行预处理。
[0196]
再对预处理后的第一信号数据中进行特征的提取，得到对应的目标特征矩阵；对预处理后的第二信号数据中进行特征的提取，得到对应的目标特征矩阵；以及对预处理后的第三信号数据中进行特征的提取，得到对应的目标特征矩阵。
[0197]
然后，分别对第一信号数据和第三信号数据对应的目标特征矩阵进行降维处理，以及所有的降维特征矩阵和第二信号数据对应的目标特征矩阵进行两两融合，得到目标融合特征矩阵。
[0198]
之后，再将目标融合特征矩阵输入至预置的预测模型中，从而得到对应的识别结果。
[0199]
然后，确定与识别结果对应的目标指令，并基于目标指令对目标终端进行控制。
[0200]
其中，可以基于训练数据对预测模型进行训练，也可以采用目标信号数据对应的目标融合特征矩阵对预测模型进行训练。
[0201]
本发明实施例中，可以先分别获取不同种类传感器针对同一用户展示同一个手势的目标信号数据；然后对目标信号数据进行预处理；再从预处理后的目标信号数据中，提取对应的目标特征矩阵；之后再对每个目标特征矩阵进行降维处理，得到对应的降维特征矩阵；融合所有的降维特征矩阵，得到目标融合特征矩阵；将目标融合特征矩阵输入预置的预测模型中，得到手势的识别结果；确定与识别结果对应的目标指令，目标指令用于对目标设备进行控制。通过本发明实施例，实现了先对信号数据进行预处理，以减少噪声的干扰。
[0202]
然后对特征矩阵进行降维处理，使得数据可视化，从而使得数据可被观察和探索，以及简化了机器学习模型的训练和预测。
[0203]
另外，将不同特征矩阵进行融合后，再进行手势的识别，保证了手势识别结果的准确性。
[0204]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0205]
参照图7，示出了本发明实施例的一种手势的识别装置的结构示意图，具体可以包括如下模块：
[0206]
信号获取模块701，用于分别获取不同种类传感器针对同一用户展示同一个手势的目标信号数据；
[0207]
融合模块702，用于分别从每个目标信号数据中提取对应的目标特征矩阵，并融合所有的目标特征矩阵，得到目标融合特征矩阵；
[0208]
预测模块703，用于将目标融合特征矩阵输入预置的预测模型中，得到手势的识别结果。
[0209]
在本发明一可选实施例中，融合模块702，包括：
[0210]
降维子模块，用于对每个目标特征矩阵进行降维处理，得到对应的降维特征矩阵；
[0211]
向量融合子模块，用于融合所有的降维特征矩阵，得到目标融合特征矩阵。
[0212]
在本发明一可选实施例中，向量融合子模块，用于将降维特征矩阵两两融合，每次融合均生成一个目标子特征矩阵；确定每个目标子特征矩阵的目标权重信息，并根据每个目标子特征矩阵和对应的目标权重信息，得到目标融合特征矩阵。
[0213]
在本发明一可选实施例中，融合模块702，包括：
[0214]
预处理子模块，用于对目标信号数据进行预处理；
[0215]
特征提取子模块，用于从预处理后的目标信号数据中，提取对应的目标特征矩阵。
[0216]
在本发明一可选实施例中，不同种类的传感器至少包括肌电信号传感器、微型惯性传感器和手指弯曲传感器中的两种；
[0217]
目标信号数据包括以下至少两种：
[0218]
从肌电信号传感器获取的第一信号数据；
[0219]
从微型惯性传感器获取的第二信号数据；
[0220]
从手指弯曲传感器获取的第三信号数据。
[0221]
在本发明一可选实施例中，装置还包括：
[0222]
指令生成模块，用于确定与识别结果对应的目标指令，目标指令用于对目标设备进行控制。
[0223]
本发明实施例中，可以先分别获取不同种类传感器针对同一用户展示同一个手势的目标信号数据；然后分别从每个目标信号数据中提取对应的目标特征矩阵，并融合所有的目标特征矩阵，得到目标融合特征矩阵；再将目标融合特征矩阵输入预置的预测模型中，得到手势的识别结果。通过本发明实施例，实现了基于不同传感器所采集的信号数据融合得到的特征矩阵来进行手势的识别，既保证了手势识别中数据的多样性和一致性，使得手势识别的方法能够兼容于新出现的各种场景，进而提高了手势识别的方法的兼容性和扩展性，以及各种场景下识别结果的准确性；又使得细微差别的手势能够被识别出来。
[0224]
本发明实施例还提供了一种电子设备，包括处理器、存储器及存储在存储器上并
能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上的手势的识别方法。
[0225]
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上的手势的识别方法。
[0226]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0227]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0228]
本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0229]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0230]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0231]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0232]
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0233]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0234]
以上对所提供的一种手势的识别方法及装置、电子设备、存储介质，进行了详细介
绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。