可穿戴设备的交互控制系统及其工作方法与流程

1.本发明涉及可穿戴设备交互的领域，且更为具体地，涉及一种可穿戴设备的交互控制系统及其工作方法。


背景技术：

2.随着科技的进步以及生活水平的不断提高，智能可穿戴设备逐渐步入人们的眼帘，也逐渐融入到人们的生活当中，成为了一系列家喻户晓的电子产品。然而，受限于智能可穿戴设备自身可穿戴、便携的特性，它们的尺寸设计通常较小，只能配备很小的触摸屏甚至没有触摸屏。这就使得原本适合于手机的点按控制难以在可穿戴设备中使用。
3.因此，为了改善用户在控制可穿戴设备时的体验，近年来研究者们致力于研究通过各种设备识别人体的行为来理解人体动作所表达的意愿。人体的手势动作从动作的运动范围主要可以分为两种，一种是微粒度的手指上的动作，一种是粗粒度的手臂运动所产生的动作。现有的一些方案只是在手指的微粒度或者手臂的粗粒度上进行特定的识别，且识别的手势或手臂类型的准确率和精度都达不到人们满意的效果。因此，为了在识别人体的行为时结合手势动作和手指动作这两者的特性，以更精准地对手势手臂类型进行识别，期望一种可穿戴设备的手臂手势交互方案。


技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种可穿戴设备的交互控制系统及其工作方法，其采用基于深度学习技术的卷积神经网络模型来挖掘出粘贴在手臂上的多个传感器所采集的各个数据项之间和各个时间点之间的关联特征，同时还提取出预定时间段内的肌电传感器所捕捉的生物电信号的信号波形图中的局部关联特征，进一步再采用基于似然性最大化的高斯密度图以提高在高维空间中的融合度，以使得分类结果更为准确。通过这样的方式，可以更加精准地从获取的数据中得到能够理解人体动作所表达的意愿，进而改善用户在控制可穿戴设备时的体验。
5.根据本技术的一个方面，提供了一种可穿戴设备的交互控制系统，其包括：
6.骨骼时序数据获取单元，用于获取由粘贴在手臂上的多个运动传感器所采集的在预定时间内的骨骼时序数据；
7.矩阵构造单元，用于将所述骨骼时序数据按照数据项和时间维度排列为输入矩阵；
8.第一神经网络单元，用于将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量；
9.生物信号获取单元，用于获取由肌电传感器在所述预定时间内所捕捉的生物电信号的信号波形图；
10.第二神经网络单元，用于将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为
所述信号波形图的高度；
11.尺度归一单元，用于将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量v的长度为l，所述特征矩阵m的尺寸为l
×
l；
12.高斯分布构造单元，用于基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定；
13.离散化单元，用于对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图；
14.手势类别单元，用于将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率；
15.手势确定单元，用于所述分类特征图归属于预定手势的概率，确定手势类型；以及
16.交互单元，用于基于所述手势类型，确定交互指令。
17.在上述可穿戴设备的交互控制系统中，所述第一神经网络单元，包括：特征图提取子单元，用于使用所述第一卷积神经网络从所述输入矩阵获得运动特征图；以及，全局池化子单元，用于对所述运动特征图的沿通道维度的每个特征矩阵进行全局池化处理以将所述运动特征图沿通道维度的每个特征矩阵转化为一个全局特征值，以获得由多个全局特征值组成的所述特征向量。
18.在上述可穿戴设备的交互控制系统中，所述全局池化子单元，进一步用于：对所述运动特征图的沿通道维度的每个特征矩阵进行全局最大值池化处理或者全局平均值池化处理以获得一个所述全局特征值。
19.在上述可穿戴设备的交互控制系统中，所述第二神经网络单元，包括：卷积处理子单元，用于将所述信号波形图输入所述第二卷积神经网络以获得信号特征图；以及，通道池化子单元，用于对所述信号特征图进行沿通道维度的池化处理以获得所述特征矩阵。
20.在上述可穿戴设备的交互控制系统中，所述尺度归一单元，进一步用于：通过线性变换将所述特征向量和所述特征矩阵转化相同尺度。
21.在上述可穿戴设备的交互控制系统中，所述高斯分布构造单元，进一步用于：基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的所述向量化的高斯分布；其中，所述向量化的高斯分布的均值向量，用公式表示为：
[0022][0023]
其中，所述向量化的高斯分布的方差矩阵，用公式表示为：
[0024]
∑＝v
×
((v
×
m-μ)
⊙
(m
×
v-μ))
t
[0025]
其中，表示点加，而
⊙
表示点乘。
[0026]
在上述可穿戴设备的交互控制系统中，所述手势类别单元，包括：全连接编码子单元，用于使用所述分类器的多个全连接层对所述分类特征图进行全连接编码以获得分类特征向量；以及，概率生成子单元，用于将所述分类特征向量输入所述分类器的softmax分类函数以获得所述分类特征向量归属于预定手势的概率。
[0027]
根据本技术的另一方面，一种可穿戴设备的交互控制系统的工作方法，其包括：
[0028]
获取由粘贴在手臂上的多个运动传感器所采集的在预定时间内的骨骼时序数据；
[0029]
将所述骨骼时序数据按照数据项和时间维度排列为输入矩阵；
[0030]
将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量；
[0031]
获取由肌电传感器在所述预定时间内所捕捉的生物电信号的信号波形图；
[0032]
将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度；
[0033]
将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量v的长度为l，所述特征矩阵m的尺寸为l
×
l；
[0034]
基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定；
[0035]
对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图；
[0036]
将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率；
[0037]
所述分类特征图归属于预定手势的概率，确定手势类型；以及
[0038]
基于所述手势类型，确定交互指令。
[0039]
在上述可穿戴设备的交互控制系统的工作方法中，将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量，进一步用于：使用所述第一卷积神经网络从所述输入矩阵获得运动特征图；以及，对所述运动特征图的沿通道维度的每个特征矩阵进行全局池化处理以将所述运动特征图沿通道维度的每个特征矩阵转化为一个全局特征值，以获得由多个全局特征值组成的所述特征向量。
[0040]
在上述可穿戴设备的交互控制系统的工作方法中，对所述运动特征图的沿通道维度的每个特征矩阵进行全局池化处理以将所述运动特征图沿通道维度的每个特征矩阵转化为一个全局特征值，以获得由多个全局特征值组成的所述特征向量，包括：对所述运动特征图的沿通道维度的每个特征矩阵进行全局最大值池化处理或者全局平均值池化处理以获得一个所述全局特征值。
[0041]
在上述可穿戴设备的交互控制系统的工作方法中，将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度，包括：将所述信号波形图输入所述第二卷积神经网络以获得信号特征图；以及，对所述信号特征图进行沿通道维度的池化处理以获得所述特征矩阵。
[0042]
在上述可穿戴设备的交互控制系统的工作方法中将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量v的长度为l，所述特征矩阵m的尺寸为l
×
l，包括：通过线性变换将所述特征向量和所述特征矩阵转化相同尺度。
[0043]
在上述可穿戴设备的交互控制系统的工作方法中，基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布，包括：基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的所述向量化的高斯分布；
其中，所述向量化的高斯分布的均值向量，用公式表示为：
[0044][0045]
其中，所述向量化的高斯分布的方差矩阵，用公式表示为：
[0046]
∑＝v
×
((v
×
m-μ)
⊙
(m
×
v-μ))
t
[0047]
其中，表示点加，而
⊙
表示点乘。
[0048]
在上述可穿戴设备的交互控制系统的工作方法中，将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率，包括：使用所述分类器的多个全连接层对所述分类特征图进行全连接编码以获得分类特征向量；以及，将所述分类特征向量输入所述分类器的softmax分类函数以获得所述分类特征向量归属于预定手势的概率。
[0049]
与现有技术相比，本技术提供的可穿戴设备的交互控制系统及其工作方法，其采用基于深度学习技术的卷积神经网络模型来挖掘出粘贴在手臂上的多个传感器所采集的各个数据项之间和各个时间点之间的关联特征，同时还提取出预定时间段内的肌电传感器所捕捉的生物电信号的信号波形图中的局部关联特征，进一步再采用基于似然性最大化的高斯密度图以提高在高维空间中的融合度，以使得分类结果更为准确。通过这样的方式，可以更加精准地从获取的数据中得到能够理解人体动作所表达的意愿，进而改善用户在控制可穿戴设备时的体验。
附图说明
[0050]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0051]
图1为根据本技术实施例的可穿戴设备的交互控制系统的应用场景图。
[0052]
图2为根据本技术实施例的可穿戴设备的交互控制系统的框图。
[0053]
图3为根据本技术实施例的可穿戴设备的交互控制系统中第一神经网络单元的框图。
[0054]
图4为根据本技术实施例的可穿戴设备的交互控制系统的工作方法的流程图。
[0055]
图5为根据本技术实施例的可穿戴设备的交互控制系统的工作方法的架构示意图。
具体实施方式
[0056]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0057]
场景概述
[0058]
如前所述，随着科技的进步以及生活水平的不断提高，智能可穿戴设备逐渐步入人们的眼帘，也逐渐融入到人们的生活当中，成为了一系列家喻户晓的电子产品。然而，受限于智能可穿戴设备自身可穿戴、便携的特性，它们的尺寸设计通常较小，只能配备很小的
触摸屏甚至没有触摸屏。这就使得原本适合于手机的点按控制难以在可穿戴设备中使用。
[0059]
因此，为了改善用户在控制可穿戴设备时的体验，近年来研究者们致力于研究通过各种设备识别人体的行为来理解人体动作所表达的意愿。人体的手势动作从动作的运动范围主要可以分为两种，一种是微粒度的手指上的动作，一种是粗粒度的手臂运动所产生的动作。现有的一些方案只是在手指的微粒度或者手臂的粗粒度上进行特定的识别，且识别的手势或手臂类型的准确率和精度都达不到人们满意的效果。因此，为了在识别人体的行为时结合手势动作和手指动作这两者的特性，以更精准地对手势手臂类型进行识别，期望一种可穿戴设备的手臂手势交互方案。
[0060]
具体地，在本技术的技术方案中，在预定时间段内的一系列时间点上多个传感器中的每个采集的数据按照数据项和时间维度排列为输入矩阵，并通过作为过滤器的第一卷积神经网络输出特征向量，该特征向量提取出在各个数据项之间、在各时间点之间、以及在各个时间点的各个数据项之间的关联模式，并表达为高维特征空间内的特征向量的各个位置的特征值。
[0061]
在所述预定时间段内的肌电传感器捕捉的生物电信号的信号波形图输入第二卷积神经网络，第二卷积神经网络输出宽度*高度的特征矩阵，以提取信号波形图中的局部关联特征。
[0062]
并且，由于特征向量和特征矩阵对应于完全不同的对象，为了提高在高维特征空间内的融合度，代替使用普通的高斯密度图，采用基于似然性最大化的高斯密度图。具体地，首先将特征向量和特征矩阵通过线性变换转换为相同尺度，例如特征向量的长度为l，记为v，特征矩阵为l
×
l的方阵，记为m，则基于似然性最大化的高斯密度图的均值向量和方差矩阵表示为：
[0063][0064]
∑＝v
×
((v
×
m-μ)
⊙
(m
×
v-μ))
t
[0065]
其中表示点加，而
⊙
表示点乘。
[0066]
该基于似然性最大化的高斯密度图的原理在于不考虑尺度变化的情况下(即如上所述进行了尺度统一)，高斯密度图中的每个对象之间的概率映射应该是相同的，因此通过特征空间之间的映射来计算均差和协方差，可以使得估计的密度图相对于初始密度图更兼容和更合理。
[0067]
这样，就得到了向量化的高斯分布其每个位置均满足高斯分布。
[0068]
然后，再将其每个位置的高斯分布进行高斯离散化，就得到分类特征矩阵，以通过分类器来获得归属于预定手势的概率。
[0069]
基于此，本技术提出了一种可穿戴设备的交互控制系统，其包括：骨骼时序数据获取单元，用于获取由粘贴在手臂上的多个运动传感器所采集的在预定时间内的骨骼时序数据；矩阵构造单元，用于将所述骨骼时序数据按照数据项和时间维度排列为输入矩阵；第一神经网络单元，用于将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量；生物信号获取单元，用于获取由肌电传感器在所述预定时间内所捕捉的生物电信号的信号波形图；第二神经网络单元，用于将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽
度为所述信号波形图的宽度，所述高度为所述信号波形图的高度；尺度归一单元，用于将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量v的长度为l，所述特征矩阵m的尺寸为l
×
l；高斯分布构造单元，用于基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定；离散化单元，用于对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图；手势类别单元，用于将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率；手势确定单元，用于所述分类特征图归属于预定手势的概率，确定手势类型；以及，交互单元，用于基于所述手势类型，确定交互指令。
[0070]
图1图示了根据本技术实施例的可穿戴设备的交互控制系统的应用场景图。如图1所示，在该应用场景中，首先，通过粘贴在手臂(例如，如图1中所示意的a)上的多个运动传感器(例如，如图1中所示意的m)来采集在预定时间内的骨骼时序数据，并且通过通过黏贴在人体(例如，如图1中所示意的p)皮肤的表面的肌电传感器(例如，如图1中所示意的e)来采集所述预定时间内所捕捉的生物电信号的信号波形图。其中，所述多个运动传感器包括但不局限于速度传感器、角度传感器等，在采集所述各项数据时，人体佩戴可穿戴设备(例如，如图1中所示意的t)来下达指令信号，所述可穿戴设备包括但不局限于智能手环、智能指环、智能手表等，并且所述肌电传感器可以设置于所述智能手环等可穿戴设备的内部，通过黏贴的方式连接在人体皮肤表面。
[0071]
然后，将获得的所述骨骼时序数据和所述信号波形图输入至部署有可穿戴设备的交互控制算法的服务器中(例如，如图1中所示意的服务器s)，其中，所述服务器能够以可穿戴设备的交互控制算法对所述骨骼时序数据和所述信号波形图进行处理，以生成所述分类特征图归属于预定手势的概率。进而，再基于所述分类特征图归属于预定手势的概率，确定手势类型，从而确定交互的指令，以对所述可穿戴设备进行指令控制。这样能够更加精准地从获取的数据中得到能够理解人体动作所表达的意愿，进而改善用户在控制可穿戴设备时的体验。
[0072]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0073]
示例性系统
[0074]
图2图示了根据本技术实施例的可穿戴设备的交互控制系统的框图。如图2所示，根据本技术实施例的可穿戴设备的交互控制系统200，包括：骨骼时序数据获取单元210，用于获取由粘贴在手臂上的多个运动传感器所采集的在预定时间内的骨骼时序数据；矩阵构造单元220，用于将所述骨骼时序数据按照数据项和时间维度排列为输入矩阵；第一神经网络单元230，用于将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量；生物信号获取单元240，用于获取由肌电传感器在所述预定时间内所捕捉的生物电信号的信号波形图；第二神经网络单元250，用于将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度；尺度归一单元260，用于将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量v的长度为l，所述特
征矩阵m的尺寸为l
×
l；高斯分布构造单元270，用于基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定；离散化单元280，用于对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图；手势类别单元290，用于将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率；手势确定单元300，用于所述分类特征图归属于预定手势的概率，确定手势类型；以及，交互单元310，用于基于所述手势类型，确定交互指令。
[0075]
具体地，在本技术实施例中，所述骨骼时序数据获取单元210和所述矩阵构造单元220，用于获取由粘贴在手臂上的多个运动传感器所采集的在预定时间内的骨骼时序数据，并将所述骨骼时序数据按照数据项和时间维度排列为输入矩阵。如前所述，人体的手势动作从动作的运动范围主要可以分为两种，一种是微粒度的手指上的动作，一种是粗粒度的手臂运动所产生的动作，因此，在本技术的技术方案中，为了更精准地对所述手势动作进行类型识别，以准确地理解人体动作所表达的意愿，就需要在识别所述人体的动作行为时结合所述手势动作和所述手指动作这两者的特性。
[0076]
应可以理解，所述手臂的手势动作可以简化为人体手臂中的骨骼旋转移动，随着时间的推移而产生的一系列骨骼时序数据。也就是，实现所述手臂手势动作识别的实质就是对所述手臂或上肢运动的跟踪识别，而要通过智能可穿戴设备跟踪所述手臂的运动，就需要能够获得所述手臂运动的相关数据，例如，所述手臂骨骼运动时的加速度值，旋转角度值等等。而这个数据可以通过在手臂上粘贴多个传感器获得，因此，在本技术的技术方案中，首先，需要通过粘贴在手臂上的多个运动传感器来采集在预定时间内的骨骼时序数据。相应地，在一个具体示例中，所述多个运动传感器包括但不局限于速度传感器、角度传感器等，在采集所述各项数据时，人体佩戴可穿戴设备来下达指令信号，所述可穿戴设备包括但不局限于智能手环、智能指环、智能手表等。然后，将在预定时间段内的一系列时间点上所述多个传感器采集的所述骨骼时序数据按照数据项和时间维度排列为输入矩阵，以便于后续卷积神经网络对其进行高维空间的特征提取。
[0077]
具体地，在本技术实施例中，所述第一神经网络单元230，用于将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量。也就是，在本技术的技术方案中，在构建好所述输入矩阵后，将所述输入矩阵输入作为过滤器的第一卷积神经网络中进行处理，以提取出在所述各个数据项之间、在所述各时间点之间、以及在所述各个时间点的各个数据项之间的关联模式，并表达为高维特征空间内的特征向量的各个位置的特征值，从而获得长度为所述第一卷积神经网络的通道数的特征向量。
[0078]
更具体地，在本技术实施例中，所述第一神经网络单元，包括：首先，使用所述第一卷积神经网络从所述输入矩阵获得运动特征图。然后，对所述运动特征图的沿通道维度的每个特征矩阵进行全局池化处理以将所述运动特征图沿通道维度的每个特征矩阵转化为一个全局特征值，以获得由多个全局特征值组成的所述特征向量。在一个具体示例中，可以对所述运动特征图的沿通道维度的每个特征矩阵进行全局最大值池化处理或者全局平均值池化处理以获得一个所述全局特征值。应可以理解，通过对所述运动特征图的沿通道维
度的每个特征矩阵进行全局最大值池化或全局平均值池化处理，可以减少其参数的数量，并且减小过拟合，从而提高后续结果的准确度。
[0079]
图3图示了根据本技术实施例的可穿戴设备的交互控制系统中第一神经网络单元的框图。如图3所示，所述第一神经网络单元230，包括：特征图提取子单元231，用于使用所述第一卷积神经网络从所述输入矩阵获得运动特征图；以及，全局池化子单元232，用于对所述运动特征图的沿通道维度的每个特征矩阵进行全局池化处理以将所述运动特征图沿通道维度的每个特征矩阵转化为一个全局特征值，以获得由多个全局特征值组成的所述特征向量。
[0080]
具体地，在本技术实施例中，所述生物信号获取单元240和所述第二神经网络单元250，用于获取由肌电传感器在所述预定时间内所捕捉的生物电信号的信号波形图，并将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度。应可以理解，人体肌肉的运动会导致在体内传输的生物电发生变化，而肌电传感器或者表面肌电传感器则可以通过黏贴在人体皮肤的表面对这些所述微小的电位变化进行捕获。因此，在本技术的技术方案中，为了获取微粒度的手指上的动作，首先，通过黏贴在人体皮肤的表面的肌电传感器来采集在所述预定时间内所捕捉的生物电信号的信号波形图。在一个具体示例中，所述肌电传感器可以设置于所述可穿戴设备的内部，并且通过黏贴的方式连接在人体皮肤表面，所述可穿戴设备包括但不局限于智能手环、智能指环、智能手表等。然后，将所述信号波形图输入作为特征提取器的第二卷积神经网络中进行处理，以提取出所述信号波形图中的局部关联特征，从而获得尺寸为宽度*高度的特征矩阵，这里，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度。
[0081]
更具体地，在本技术实施例中，所述第二神经网络单元，包括：卷积处理子单元，用于将所述信号波形图输入所述第二卷积神经网络以获得信号特征图；以及，通道池化子单元，用于对所述信号特征图进行沿通道维度的池化处理以获得所述特征矩阵。同样地，在一个具体示例中，也可以对所述信号特征图进行沿通道维度的全局最大值池化处理或者全局平均值池化处理以获得所述特征矩阵。
[0082]
具体地，在本技术实施例中，所述尺度归一单元260和所述高斯分布构造单元270，用于将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量v的长度为l，所述特征矩阵m的尺寸为l
×
l，并基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定。应可以理解，由于所述特征向量和所述特征矩阵对应于完全不同的对象，因此，在本技术的技术方案中，为了提高在高维特征空间内的融合度，代替使用普通的高斯密度图，而采用基于似然性最大化的高斯密度图。也就是，在一个具体示例中，首先，将所述特征向量和所述特征矩阵通过线性变换转换为相同尺度，例如所述特征向量的长度为l，记为v，所述特征矩阵为l
×
l的方阵，记为m。然后，基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布其每个位置均满足高斯分布。相应地，在一个具体示例中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确
定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定。
[0083]
更具体地，在本技术的实施例中，所述高斯分布构造单元，进一步用于：基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的所述向量化的高斯分布；
[0084]
其中，所述向量化的高斯分布的均值向量，用公式表示为：
[0085][0086]
其中，所述向量化的高斯分布的方差矩阵，用公式表示为：
[0087]
∑＝v
×
((v
×
m-μ)
⊙
(m
×
v-μ))
t
[0088]
其中，表示点加，而
⊙
表示点乘。
[0089]
特别地，值得一提的是，该所述基于似然性最大化的高斯密度图的原理在于不考虑尺度变化，也就是，在进行了尺度统一的情况下，所述高斯密度图中的每个对象之间的概率映射应该是相同的，因此，在本技术的技术方案中，通过特征空间之间的映射来计算均差和协方差，可以使得所述估计的密度图相对于所述初始密度图更兼容和更合理。
[0090]
具体地，在本技术实施例中，所述离散化单元280和所述手势类别单元290，用于对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图，并将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率。也就是，在得到了向量化的高斯分布之后，接着，再将所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化，以得到用于分类的分类特征图。进一步地，再将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率。
[0091]
相应地，在一个具体示例中，所述手势类别单元，包括：全连接编码子单元，用于使用所述分类器的多个全连接层对所述分类特征图进行全连接编码以获得分类特征向量；以及，概率生成子单元，用于将所述分类特征向量输入所述分类器的softmax分类函数以获得所述分类特征向量归属于预定手势的概率。
[0092]
具体地，在本技术实施例中，所述手势确定单元300和所述交互单元310，用于所述分类特征图归属于预定手势的概率，确定手势类型，并基于所述手势类型，确定交互指令。也就是，在得到所述分类特征图归属于预定手势的概率后，进一步地，再基于所述分类特征图归属于预定手势的概率，确定手势类型，从而确定交互的指令，以对所述可穿戴设备进行指令控制。这样，能够更加精准地从获取的数据中得到能够理解人体动作所表达的意愿，进而改善用户在控制可穿戴设备时的体验。
[0093]
综上，基于本技术实施例的所述可穿戴设备的交互控制系统200被阐明，其采用基于深度学习技术的卷积神经网络模型来挖掘出粘贴在手臂上的多个传感器所采集的各个数据项之间和各个时间点之间的关联特征，同时还提取出预定时间段内的肌电传感器所捕捉的生物电信号的信号波形图中的局部关联特征，进一步再采用基于似然性最大化的高斯密度图以提高在高维空间中的融合度，以使得分类结果更为准确。通过这样的方式，可以更加精准地从获取的数据中得到能够理解人体动作所表达的意愿，进而改善用户在控制可穿戴设备时的体验。
[0094]
如上所述，根据本技术实施例的可穿戴设备的交互控制系统200可以实现在各种
终端设备中，例如可穿戴设备的交互控制算法的服务器等。在一个示例中，根据本技术实施例的可穿戴设备的交互控制系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该可穿戴设备的交互控制系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该可穿戴设备的交互控制系统200同样可以是该终端设备的众多硬件模块之一。
[0095]
替换地，在另一示例中，该可穿戴设备的交互控制系统200与该终端设备也可以是分立的设备，并且该可穿戴设备的交互控制系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0096]
示例性方法
[0097]
图4图示了可穿戴设备的交互控制系统的工作方法的流程图。如图4所示，根据本技术实施例的可穿戴设备的交互控制系统的工作方法，包括步骤：s110，获取由粘贴在手臂上的多个运动传感器所采集的在预定时间内的骨骼时序数据；s120，将所述骨骼时序数据按照数据项和时间维度排列为输入矩阵；s130，将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量；s140，获取由肌电传感器在所述预定时间内所捕捉的生物电信号的信号波形图；s150，将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度；s160，将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量v的长度为l，所述特征矩阵m的尺寸为l
×
l；s170，基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定；s180，对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图；s190，将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率；s200，所述分类特征图归属于预定手势的概率，确定手势类型；以及，s210，基于所述手势类型，确定交互指令。
[0098]
图5图示了根据本技术实施例的可穿戴设备的交互控制系统的工作方法的架构示意图。如图5所示，在所述可穿戴设备的交互控制系统的工作方法的网络架构中，首先，将获取的所述骨骼时序数据(例如，如图5中所示意的p)按照数据项和时间维度排列为输入矩阵(例如，如图5中所示意的m1)；接着，将所述矩阵通过作为过滤器的第一卷积神经网络(例如，如图5中所示意的cnn1)以获得长度为所述第一卷积神经网络的通道数的特征向量(例如，如图5中所示意的vf1)；然后，将获取的所述信号波形图(例如，如图5中所示意的q)输入作为特征提取器的第二卷积神经网络(例如，如图5中所示意的cnn2)以获得尺寸为宽度*高度的特征矩阵(例如，如图5中所示意的mf1)；接着，将所述特征向量和所述特征矩阵转化相同尺度；然后，基于所述特征向量v(例如，如图5中所示意的vf2)和所述特征矩阵m(例如，如图5中所示意的mf2)，构造基于似然性最大化的高斯密度图的向量化的高斯分布(例如，如图5中所示意的gd)，其中，所述向量化的高斯分布的均值向量(例如，如图5中所示意的v)基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵(例如，如图5中所示意的m)基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定；接着，对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散
化以获得分类特征图(例如，如图5中所示意的f)；然后，将所述分类特征图通过分类器(例如，如图5中所示意的分类器)以获得所述分类特征图归属于预定手势的概率(例如，如图5中所示意的p)；接着，所述分类特征图归属于预定手势的概率，确定手势类型；以及，最后，基于所述手势类型，确定交互指令。
[0099]
更具体地，在步骤s110和s120中，获取由粘贴在手臂上的多个运动传感器所采集的在预定时间内的骨骼时序数据，并将所述骨骼时序数据按照数据项和时间维度排列为输入矩阵。也就是，在本技术的技术方案中，首先，通过粘贴在手臂上的多个运动传感器来采集在预定时间内的骨骼时序数据。相应地，在一个具体示例中，所述多个运动传感器包括但不局限于速度传感器、角度传感器等，在采集所述各项数据时，人体佩戴可穿戴设备来下达指令信号，所述可穿戴设备包括但不局限于智能手环、智能指环、智能手表等。然后，将在预定时间段内的一系列时间点上所述多个传感器采集的所述骨骼时序数据按照数据项和时间维度排列为输入矩阵，以便于后续卷积神经网络对其进行高维空间的特征提取。
[0100]
更具体地，在步骤s130中，将所述矩阵通过作为过滤器的第一卷积神经网络以获得长度为所述第一卷积神经网络的通道数的特征向量。也就是，在本技术的技术方案中，在构建好所述输入矩阵后，将所述输入矩阵输入作为过滤器的第一卷积神经网络中进行处理，以提取出在所述各个数据项之间、在所述各时间点之间、以及在所述各个时间点的各个数据项之间的关联模式，并表达为高维特征空间内的特征向量的各个位置的特征值，从而获得长度为所述第一卷积神经网络的通道数的特征向量。
[0101]
更具体地，在步骤s140和步骤s150中，获取由肌电传感器在所述预定时间内所捕捉的生物电信号的信号波形图，并将所述信号波形图输入作为特征提取器的第二卷积神经网络以获得尺寸为宽度*高度的特征矩阵，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度。也就是，首先，通过黏贴在人体皮肤的表面的肌电传感器来采集在所述预定时间内所捕捉的生物电信号的信号波形图。在一个具体示例中，所述肌电传感器可以设置于所述可穿戴设备的内部，并且通过黏贴的方式连接在人体皮肤表面，所述可穿戴设备包括但不局限于智能手环、智能指环、智能手表等。然后，将所述信号波形图输入作为特征提取器的第二卷积神经网络中进行处理，以提取出所述信号波形图中的局部关联特征，从而获得尺寸为宽度*高度的特征矩阵，这里，所述宽度为所述信号波形图的宽度，所述高度为所述信号波形图的高度。
[0102]
更具体地，在步骤s160和步骤s170中，将所述特征向量和所述特征矩阵转化相同尺度，其中，所述特征向量v的长度为l，所述特征矩阵m的尺寸为l
×
l，基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值向量之间的差值确定。也就是，首先，将所述特征向量和所述特征矩阵通过线性变换转换为相同尺度，例如所述特征向量的长度为l，记为v，所述特征矩阵为l
×
l的方阵，记为m。然后，基于所述特征向量v和所述特征矩阵m，构造基于似然性最大化的高斯密度图的向量化的高斯分布其每个位置均满足高斯分布。相应地，在一个具体示例中，所述向量化的高斯分布的均值向量基于所述特征向量v与所述特征矩阵m之间的点乘确定，所述向量化的高斯分布的方差矩阵基于所述特征向量v与所述特征矩阵m之间的点乘与所述均值
向量之间的差值确定。
[0103]
更具体地，在步骤s180和步骤s190中，对所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化以获得分类特征图，并将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率。也就是，在得到了向量化的高斯分布之后，接着，再将所述向量化的高斯分布的每个位置的高斯分布进行高斯离散化，以得到用于分类的分类特征图。进一步地，再将所述分类特征图通过分类器以获得所述分类特征图归属于预定手势的概率。在一个具体示例中，首先，使用所述分类器的多个全连接层对所述分类特征图进行全连接编码以获得分类特征向量；接着，将所述分类特征向量输入所述分类器的softmax分类函数以获得所述分类特征向量归属于预定手势的概率。
[0104]
更具体地，在步骤s200和步骤s210中，所述分类特征图归属于预定手势的概率，确定手势类型，并基于所述手势类型，确定交互指令。也就是，在得到所述分类特征图归属于预定手势的概率后，进一步地，再基于所述分类特征图归属于预定手势的概率，确定手势类型，从而确定交互的指令，以对所述可穿戴设备进行指令控制。这样，能够更加精准地从获取的数据中得到能够理解人体动作所表达的意愿，进而改善用户在控制可穿戴设备时的体验。
[0105]
综上，基于本技术实施例的所述可穿戴设备的交互控制系统的工作方法被阐明，其采用基于深度学习技术的卷积神经网络模型来挖掘出粘贴在手臂上的多个传感器所采集的各个数据项之间和各个时间点之间的关联特征，同时还提取出预定时间段内的肌电传感器所捕捉的生物电信号的信号波形图中的局部关联特征，进一步再采用基于似然性最大化的高斯密度图以提高在高维空间中的融合度，以使得分类结果更为准确。通过这样的方式，可以更加精准地从获取的数据中得到能够理解人体动作所表达的意愿，进而改善用户在控制可穿戴设备时的体验。
[0106]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0107]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0108]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0109]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0110]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实
施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。