一种姿态类运动自适应评测方法、系统、设备及存储介质

文档序号:31336521发布日期:2022-08-31 08:55阅读:50来源:国知局
一种姿态类运动自适应评测方法、系统、设备及存储介质

1.本技术涉及姿态类运动自适应评测技术领域,更具体地,涉及一种姿态类运动自适应评测方法、系统、设备及存储介质。


背景技术:

2.当前,人工智能技术在很多领域中都得到了广泛的应用。在体育、健身和舞蹈学习训练指导方面,人工智能因其便利的技术而发挥着十分重要的作用。在校园或其他健身场所,教师或教练通常无法对每个学员进行一对一的针对性指导,且对于教师来说,一遍遍地示范和纠正学生的错误不仅会大大增加教师的工作量,也会因这种枯燥的方式降低学生的学习积极性。


技术实现要素:

3.针对现有技术的至少一个缺陷或改进需求,本发明提供了一种姿态类运动自适应评测方法、系统、设备及存储介质,通过结合待检测对象的动作和呼吸心跳来进行评测,有助于帮助提升运动教学训练的效率与质量。
4.为实现上述目的,按照本发明的第一个方面,提供了一种姿态类运动自适应评测方法,包括:
5.利用可见光摄像头和毫米波雷达采集待检测对象的视频序列和呼吸心跳回波信号,并对所述呼吸心跳回波信号进行预处理;
6.将预处理后的所述呼吸心跳回波信号输入到训练后的第一网络模型,获得呼吸心跳特征;
7.将所述视频序列输入到训练后的第二网络模型中,获得3d人体姿态特征;
8.将所述呼吸心跳特征和所述3d人体姿态特征进行交互融合,获得融合交互特征,根据所述融合交互特征输出动作评分和呼吸状态预测结果;
9.根据所述3d人体姿态特征预测3d人体姿态,计算预测的3d人体姿态与标准动作间的相似度。
10.进一步地,所述预处理包括:
11.对所述呼吸心跳回波信号与所述毫米波雷达的发射信号进行混频处理后并经过低通滤波得到中频信号;
12.对所述中频信号进行快速傅里叶变换获得信号频域能量谱图,从所述信号频域能量谱图获取目标距离信息;
13.基于所述距离信息求解相位信息,获得呼吸心跳波形图;
14.通过傅里叶变换将所述呼吸心跳波形图展开为时频谱图。
15.进一步地,所述第一网络模型包括:
16.resnet50骨干卷积神经网络,用于从预处理后的所述呼吸心跳回波信号中提取每一帧的图像特征;
17.长短时记忆网络,用于建立时域上上下文信息的特征融合,获得增强特征;
18.归一化层,用于对增强特征进行归一化;
19.多层感知机,用于对归一化后的特征进行特征转换,得到所述呼吸心跳特征。
20.进一步地,所述第二网络模型包括:
21.多假设姿态生成模块,用于根据所述视频序列生成初始化的多个姿态假设;
22.时间信息嵌入模块,用于将时间位置编码嵌入到假设姿态的特征表示中;
23.单假设特征增强模块,用于增强单个姿态假设内部的特征;
24.多假设特征融合模块,用于实现多个增强后的姿态假设之间的特征信息融合;
25.3d姿态回归模块,用于应用线性转换操作回归得到所述3d人体姿态特征。
26.进一步地,所述生成初始化的多种姿态假设包括:
27.从所述视频序列中提取每帧图像中人体的2d姿态序列x∈rn×j×2,其中rn×j×2表示n
×j×
2的向量,n表示输入帧的总数,j表示人的关节点总数,令(x,y)表示关节点坐标,2d姿态序列的坐标(x,y)被拼接成
28.使用可学习的位置嵌入保留各个关节点的位置信息,将嵌入结果将作为transformer编码器的输入,以对其进行特征提取,再进行残差连接得到初始化的多种姿态假设。
29.进一步地,所述增强单个姿态假设内部的特征包括:
30.首先对每个姿态假设进行层归一化,然后计算自注意力;经过残差连接后得到新的特征块;然后利用多层感知机混合单个姿态假设的不同通道信息,以进一步增强特征。
31.进一步地,所述交互融合包括:
32.将所述3d人体姿态特征和所述呼吸心跳特征先经过全连接层将其转换为d维的向量,所述3d人体姿态特征转换后的向量表示为p=(p1,

,pd),所述3d人体姿态特征转换后的向量表示为q=(q1,

,qd);
33.用投影向量构造循环矩阵a,b:
[0034][0035][0036]
将循环矩阵和向量p、q相乘得到f、g,f=pa,g=qb;
[0037]
通过一个d
×
k维的投影矩阵w将f、g转换为k维的融合交互特征m。
[0038]
按照本发明的第二个方面,还提供了一种姿态类运动自适应评测系统,包括:
[0039]
信号采集及预处理模块,用于采集待检测对象的视频序列和呼吸心跳回波信号,并对所述呼吸心跳回波信号进行预处理;
[0040]
呼吸心跳特征提取模块,将预处理后的所述呼吸心跳回波信号输入到第一网络模
型,获得呼吸心跳特征;
[0041]
3d人体姿态特征提取模块,用于将所述视频序列输入到训练好的第二网络模型中,获得3d人体姿态特征;
[0042]
双元特征循环交互模块,用于将所述呼吸心跳特征和所述3d人体姿态特征进行交互融合,获得融合交互特征,根据所述融合交互特征输出动作评分和呼吸状态预测结果;
[0043]
评测模块,用于根据所述3d人体姿态特征预测3d人体姿态,计算预测的3d人体姿态与标准动作间的相似度。
[0044]
按照本发明的第三个方面,还提供了一种电子设备,其包括至少一个处理器、以及至少一个存储模块,其中,所述存储模块存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行上述任一项所述方法的步骤。
[0045]
按照本发明的第四个方面,还提供了一种存储介质,其存储有可由处理器执行的计算机程序,当所述计算机程序在处理器上运行时,使得处理器执行上述任一项所述方法的步骤。
[0046]
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
[0047]
(1)本发明中,融合了3d人体姿态信息以及呼吸心跳信息来进行结果的预测,更加全面地对动作标准程度进行了判断。与标准情况下的呼吸心跳数据相比,当呼吸心跳过于平缓时,可能说明学习者对动作的掌握程度不够熟练;当呼吸心跳过于剧烈时,则可能需要给出异常提醒,使学习者放缓这段动作训练。因此,本发明采用的双元特征循环交互的判断方法将更有助于指导学习者进行合理训练。
[0048]
(2)本发明使用神经网络模型提取呼吸心跳信息所具有的内部特征,以时频谱图作为模型的输入,进一步简化了手工提取特征的固定且繁琐的步骤,端到端地实现了对其多种本质特征的自动提取,从而有效提高模型的准确率和效率。
附图说明
[0049]
为了更清楚地说明本技术实施例中的技术方案,下面将对实施例中所需使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0050]
图1为本发明实施例提供的姿态类运动自适应评测方法的流程示意图;
[0051]
图2为本发明实施例提供的姿态类运动自适应评测方法的原理示意图;
[0052]
图3为本发明实施例提供的第一网络模型、第二网络模型和双元注意力循环交互网络结构示意图;
[0053]
图4为本发明实施例提供的3d人体姿态估计的原理示意图。
具体实施方式
[0054]
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0055]
本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或模块。
[0056]
如图1和图2所示,本发明实施例的一种姿态类运动自适应评测方法,包括步骤:
[0057]
s101,利用可见光摄像头和毫米波雷达实时采集待检测对象的视频序列和呼吸心跳回波信号,并对呼吸心跳回波信号进行预处理。
[0058]
具体包括子步骤:
[0059]
(1)使人体目标位于可见光和毫米波雷达传感器的检测区域内;本实施例中,人体目标为正在进行运动训练的学习者;
[0060]
(2)利用可见光摄像头获取rgb视频序列、毫米波雷达接收回波信号;
[0061]
(3)对回波信号进行预处理,以增强相关信息、消除无用信息。
[0062]
进一步地,对回波进行预处理包括子步骤:
[0063]
(1)从回波信号中获取中频信号,具体处理过程为:
[0064]
毫米波雷达向目标用户的胸部区域发射线性调频连续波接收的回波的延时会随着胸腔的运动而变化。雷达接收信号经过混频和滤波得到中频信号,在中频信号中包含目标胸腔呼吸和心跳混合之后的运动信息。毫米波雷达所采用的调频连续波的一个调频周期内发射信号为:
[0065][0066]
其中,a
t
为发射信号的幅度,fc为中心频率,w为带宽,tm为信号调频周期,τ表示发射信号到接收信号的延长时间。经过目标和环境反射后,得到回波信号
[0067][0068]
其中,ar为回波信号的幅度,δt为时延,δfd表示多普勒频移。发射信号与回波信号混频处理并经过低通滤波得到中频信号:
[0069]sif
(t)=s
t
(t)sr(t)≈a
tar
exp{j2π[fcδt+(f
i-δfd)t],
ꢀꢀꢀ
(7)
[0070]
其中,表示t时刻中频信号的频率。
[0071]
(2)经过fft处理得到目标距离,具体处理过程为:
[0072]
通过雷达来采集生命体征信号的方法主要是测量目标对应距离上的相位。由于线性调频连续波雷达的胸腔运动与目标的距离耦合在一起,因此在得到相位信息之前需要对信号进行预处理从而获得目标的距离。为了获取目标距离范围,需要使用快速傅里叶变换(fft)来获得信号的频域能量谱图,目标的距离范围对应着能量最大的距离仓。但是由于频率分辨率的限制,这里只是一个距离范围,不能精确定位,所以选择能量最大的两个相邻距离仓进行主成分分析,然后提取第一主成分作为目标实际距离。
[0073]
(3)求解目标相位信息,获取呼吸心跳体征表达,具体处理过程为:
[0074]
毫米波雷达可以得到i/q双路信号,两支路之间由于会发生不匹配现象,故本发明
使用求导和交叉相乘(differential and cross-multiply,dacm)的方法来恢复信号的相位信息。dacm算法的过程如下:
[0075][0076]
其中,表示恢复后的信号相位信息,t表示时间,q(t)表示t时间的q路信号,i(t)表示t时间的i路信号,q

(t)表示q(t)对t求导,i

(t)表示i(t)对t求导。根据导数的定义,上式可进一步化为:
[0077][0078]
其中,δt表示一个趋于0的时间间隔。
[0079]
由于微分会使高频噪声的干扰增强,所以得到的对噪声干扰更加敏感。为了抑制噪声,令上式的δt=1,并对信号进行积分处理后,得到最终的相位信息
[0080][0081]
这样,就得到物体的实际相位信息。中频信号的相位与到物体距离的关系如下:
[0082][0083]
其中,表示中频信号的相位变化,δd表示心脏或胸腔引起的位移变化。
[0084]
因此,可以发现人体的呼吸心跳波形信息与人体目标所在距离单元的相位有关系,通过提取一段时间内目标所在距离单元的相位信息,可以得到人体目标的呼吸心跳波形信息。
[0085]
(4)通过傅里叶展开将波形图转换为时频谱图,具体处理过程为:
[0086]
特征提取是信号输入到神经网络的必备过程,为了尽可能地体现端到端的思想,考虑将呼吸心跳波形图转换为时频谱图作为神经网络的输入数据,使用卷积神经网络、长短期记忆网络预测出目标用户的生理信息是否出现异常,以此指导用户做出调整。
[0087]
由上面的分析可知,相位反映了胸腔的运动变化,而胸腔的运动变化是由于呼吸和心跳引起的,因此以时间为横轴的呼吸心跳波形图,可以利用小波变换,将其转换为以横轴为时间、纵轴为频率、颜色表示幅值的时频谱图,更有利于保存所需要的特征,从而将其作为神经网络的输入,进行大量的训练后,模型将能够识别出目标用户生理数据的标准度或合理性。
[0088]
s102,将预处理后的呼吸心跳回波信号输入到训练后的第一网络模型,获得呼吸心跳特征。
[0089]
如图3所示,第一网络模型包括resnet50骨干卷积神经网络、长短时记忆网络、归
一化层和多层感知机(multi-layer perceptron,mlp)。将预处理后的呼吸心跳回波信号,也即时频谱图序列作为本网络模型的输入,首先经过resnet50骨干卷积神经网络提取每一帧的图像特征,然后使用长短时记忆网络刻画序列数据的时间关联信息;紧接着,对增强后的特征进行层归一化,并输入到mlp中再次进行特征的转换;最终得到所需的呼吸心跳特征b∈ro。
[0090]
resnet50网络主要由卷积层、池化层、全连接层以及残差连接组成。卷积是数学上的一种计算,而在神经网络中可以理解为一种用来提取图像特征的运算。卷积操作逐步增大感受野,得到对图像高层次特征的提取;池化是缩小高、长方向上的空间运算,其作用在于在保持最重要的信息的同时降低特征图的维度,从而压缩数据和参数的数量,减小过拟合,同时提高模型的容错性;全连接层能够使每个结果的输出都由所有输入决定;残差连接用来解决随着网络的加深而导致特征信息丢失的问题。每一帧时频谱图经过该网络后即可得到特征的提取。
[0091]
长短时记忆网络是一种特殊的递归神经网络,它可以有效利用t时刻与t-1时刻、t+1时刻数据的时间关联而得到t时刻数据的丰富特征。相比于一般的递归神经网络,长短时记忆网络可以解决长时间前的有用信息被忽略以及梯度消失的问题。经过长短时记忆网络,时频谱图之间即可建立起时域上下文信息的特征融合,得到更丰富的特征表示yi(i∈[1,

,s])。
[0092]
更进一步优选的是,对以上得到的多个特征进行跨注意力计算得到对每个特征的不同程度的关注,达到对主要信息更多关注、对次要信息更少关注的目标。具体的,特征矩阵yi(i∈[1,

,s])首先经过线性映射得到q,k,v,然后进行如下计算:
[0093]
sim(q,k)=q
·kt
,
ꢀꢀꢀ
(12)
[0094]
a=softmax(sim(q,k)),
ꢀꢀꢀ
(13)
[0095]
attention(q)=a
·
v.
ꢀꢀꢀ
(14)
[0096]
式(12)通过点积的方式计算了特征之间的相似度sim(q,k);式(13)对相似度得分进行softmax归一化处理;式(14)将a作为权重系数进行加权求和得到最终的注意力分数结果矩阵。
[0097]
这样,就得到了对每个特征的关注程度,然后进行加权融合,进行层归一化后,再经过mlp处理后即可得到最终的呼吸心跳特征。mlp用来对特征进行增强。它包含两个线性层和一个激活层:
[0098]
mlp(x)=σ(xw1+b1)w2+b2,
ꢀꢀꢀ
(15)
[0099]
其中,σ代表gelu激活函数,和b2∈rd分别表示两个线性层的权重和偏置。
[0100]
s103,将视频序列输入到训练好的第二网络模型中,获得3d人体姿态特征。
[0101]
如图3和图4所示,第二网络模型使用了多姿态假设交互网络模型(mphinteraction)图,包括:多假设姿态生成模块,用于根据视频序列生成初始化的多个姿态假设;时间信息嵌入模块,用于将时间位置编码嵌入到假设姿态的特征表示中;单假设特征增强模块,用于增强单个姿态假设内部的特征;多假设特征融合模块,用于实现多个增强后的姿态假设之间的特征信息融合;3d姿态回归模块,应用线性转换操作回归得到3d人体姿态特征。
[0102]
现详述如下:
[0103]
(1)多假设姿态生成,具体处理过程为:
[0104]
令(x,y)表示某一帧上的某个关节点坐标,n表示输入帧的总数,j表示人的关节点总数。首先使用openpose提取到一串2d姿态x∈rn×j×2,被拼接成然后使用一个可学习的位置嵌入保留各个关节点的位置信息;然后输入到transformer编码器中进行处理。整个过程可表示为:
[0105][0106][0107][0108][0109]
其中,l1(l∈[1,...,l1])表示多假设姿态生成模块中所使用的transformer编码器的数量。另外,xm表示生成的第m个假设姿态,这m个假设姿态经过l1层的编码器处理后的最终表示为层的编码器处理后的最终表示为层的编码器处理后的最终表示为表示对xm进行位置编码嵌入后的结果,表示第m个姿态在第(l-1)层时的特征表示,与表示transformer编码器计算过程中产生的临时表示。ln表示层归一化(layer normalization)操作。msa表示多头自注意力(multi-head self-attention)操作,它将输入x∈rn×d线性的映射为queryq∈rn×d,keyk∈rn×d以及valuev∈rn×d,其中,n表示序列长度,d表示维度,则注意力计算如下式:
[0110][0111]
msa将以h个头并行的执行以上操作,最终将这h个注意力头的输出结果进行拼接。
[0112]
(2)时间信息嵌入,具体处理过程为:
[0113]
前面对关节点的位置编码属于空间领域的,这样得到的特征还不够丰富。为了利用时间信息,我们考虑将空间领域特征转换到时间领域。对每一帧得到的姿态假设所提取到的特征使用一次转换操作和一次线性嵌入,从而得到高维特征其中,c表示嵌入维度。然后,利用一个可学习的时间位置编码来保留帧之间的时间信息。这一过程可表示成:
[0114][0115]
式中,为嵌入时间位置编码后的表示。
[0116]
单假设特征增强,具体处理过程为:
[0117]
首先对每个姿态假设进行自注意力计算,然后通过多层感知机混合单个姿态假设的不同通道信息,以进一步增强特征。具体地,将不同的姿态假设的嵌入特征
并行的作为多个msa块的输入:
[0118][0119]
其中,l∈[1,

,l2]表示shr层的索引,表示第m个假设姿态在第(l-1)层时的特征表示。这样,姿态假设的特征得到增强,有助于最终结果的评判。进一步地,将多个假设的特征拼接后作为mlp的输入:
[0120][0121][0122]
其中,concat(
·
)表示拼接操作,表示多个假设特征拼接后的结果。
[0123]
这些聚合后的特征沿着通道维度均匀地划分为非重叠块,这个过程就得到了不同假设的通道之间的关系的混合。
[0124]
(3)多假设特征融合,具体处理过程为:
[0125]
为了使假设姿态之间得到交互,需要进行跨注意力计算。具体的,令第m个姿态假设在第l层的特征进行如下计算:
[0126][0127]
其中,l∈[1,

,l3]表示chi层的索引,m1,m2是另外两个姿态假设,表示第m个姿态假设在第(l-1)层的特征表示。mca(q,k,v)表示多头跨注意力计算(multi-head cross-attention),其与第一网络模型中多层感知机的attention计算过程相同。
[0128]
进行注意力计算后需要通过多层感知机混合不同通道之间的信息:
[0129][0130][0131]
最后不再执行划分操作,这样,聚合在一起的特征才能最终合成一个单独的姿态假设表示:zm∈rn×
(c
·
m)
.
[0132]
(5)3d姿态回归,具体处理过程为:
[0133]
对权利要求7中得到的zm应用一个线性转换层,回归得到3d姿态序列最终,从中选出中心帧的3d姿态作为最终的预测结果。
[0134]
网络以端到端的形式进行训练,所使用的损失函数为平均(每)关节位置误差(mean per joint position error,mpjpe)。模型训练的目标是最小化预测值与真值之间的误差:
[0135]
[0136]
其中,和y
in
分别表示第n帧的第i个关节点的预测的3d坐标预测结果和真值。
[0137]
s104,将呼吸心跳特征和3d人体姿态特征进行交互融合,获得融合交互特征根据3d人体姿态特征预测3d人体姿态,计算预测的3d人体姿态与标准动作间的相似度,根据融合交互特征输出动作评分和呼吸状态预测结果。
[0138]
使用双元特征循环交互模型进行特征的交互融合,最终模型回归得到动作标准程度得分和呼吸状态预测,现详述如下:
[0139]
给定3d人体姿态特征zm∈rn×
(c
·
m)
与呼吸心跳特征b∈ro,先经过全连接层将其转换为相同维度的向量数据,分别表示为p(p1,

,pd)∈rd,q(q1,

,qd)∈rd;然后用投影向量p∈rd,q∈rd构造循环矩阵a∈rd×d,b∈rd×d:
[0140][0141][0142]
为了让投影向量和循环矩阵中的元素充分发挥作用,将循环矩阵和投影向量相乘:
[0143]
f=pa,g=qb.
ꢀꢀꢀ
(31)
[0144]
最后,通过一个投影矩阵w∈rd×k将f∈rd,g∈rd转换为目标向量m∈rk。该模型经过大量数据的训练后,即可根据目标向量预测动作标准程度的得分scorex。训练过程中使用mse损失函数:
[0145][0146]
其中,scoreyi表示第i个样本人工标记的得分情况,m为总样本数量。为正则化项,λ被称为正则化参数,其作用是控制两个不同目标之间的取舍,从而避免过拟合。训练目标是使损失函数尽可能小。
[0147]
在一个具体的示例中,分类网络可采用softmax分类器,对于呼吸心跳状态的预测,将其分为急促、平稳、过缓三种分类结果,使用交叉熵作为损失函数进行训练,即可得到最佳预测结果。
[0148]
s105,根据3d人体姿态特征预测3d人体姿态,计算预测的3d人体姿态与标准动作间的相似度,根据融合交互特征输出动作评分。
[0149]
根据对学习者3d人体姿态估计的回归结果值,计算其每个部位与标准动作之间的相似度得分,然后得到平均相似度得分。
[0150]
在一个具体的示例中,可利用基于3d姿态坐标特征差异的动态时间规整算法(3dpose-dtw)进行动作姿态匹配,该算法能够克服序列长度不同的匹配问题,解决动作超前或延迟的问题。一般情况下,会根据背景音乐或背景指导提示音进行训练,所以首先利用
动态规划思想,将待识别的时间序列信息与标准模板的时间序列信息进行非线性规整,依据声音找到两个序列间的最佳对应点,然后计算该对应时间的视频帧中的学习者姿态特征向量与标准动作特征向量之间的欧氏距离。回归得到学习者3d姿态特征向量假设对标准动作的视频帧回归得到的该3d姿态特征向量为经过一个全连接层,将其展开成一维向量然后进行如下欧式距离的计算:
[0151][0152]
用欧氏距离表示两个姿态特征的相似度,距离越小表示越相似,距离越大表示相似度越小。在理想情况下,表示两个姿态特征完全一样,从而判定两个动作完全相同。为了以百分制为得分标准,作以下转换得到最终得分
[0153][0154]
根据得到的动作部位平均相似度得分以及得到的动作标准程度得分、呼吸状态预测结果,对学习者进行评测指导。
[0155]
在一个具体的示例中,作为一个优选的方案,对动作部位平均相似度得分和动作标准程度得分加权求和得到最终得分,以此作为对学习者的一个定量评价。为了能对学习者每个部位的练习情况进行定性评价,根据求得的视频帧的动作相似度得分,可设置当分数小于60分时,给出所在的视频帧图像,并显示出偏差动作较大的部位。与此同时,根据呼吸心跳数据的特征分析及呼吸状态预测,给出对学习者呼吸调整的指导。
[0156]
本发明实施例的一种姿态类运动自适应评测系统,包括:
[0157]
信号采集及预处理模块,用于采集待检测对象的视频序列和呼吸心跳回波信号,并对呼吸心跳回波信号进行预处理;
[0158]
呼吸心跳特征提取模块,将预处理后的呼吸心跳回波信号输入到第一网络模型,获得呼吸心跳特征;
[0159]
3d人体姿态特征提取模块,用于将视频序列输入到训练好的第二网络模型中,获得3d人体姿态特征;
[0160]
双元特征循环交互模块,用于将呼吸心跳特征和3d人体姿态特征进行交互融合,获得融合交互特征,根据融合交互特征输出动作评分和呼吸状态预测结果;
[0161]
评测模块,用于根据3d人体姿态特征预测3d人体姿态,计算预测的3d人体姿态与标准动作间的相似度。
[0162]
系统的实现原理和上述方法相同,此处不再赘述。
[0163]
本实施例还提供了一种电子设备,其包括至少一个处理器、以及至少一个存储器,其中,存储器中存储有计算机程序,当计算机程序被处理器执行时,使得处理器执行任一项上述姿态类运动自适应评测方法的步骤,具体步骤参见方法实施例,此处不再赘述;本实施例中,处理器和存储器的类型不作具体限制,例如:处理器可以是微处理器、数字信息处理器、片上可编程逻辑系统等;存储器可以是易失性存储器、非易失性存储器或者它们的组合
等。
[0164]
本技术还提供一种存储介质,其存储有可由处理器执行的计算机程序,当计算机程序在处理器上运行时,使得处理器执行上述任一项上述姿态类运动自适应评测方法的步骤。其中,计算机可读存储介质可以包括但不限于任何类型的盘,包括软盘、光盘、dvd、cd-rom、微型驱动器以及磁光盘、rom、ram、eprom、eeprom、dram、vram、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器ic),或适合于存储指令和/或数据的任何类型的媒介或设备。
[0165]
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本技术所必须的。
[0166]
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0167]
在本技术所提供的几个实施例中,应该理解到,所揭露的系统,可通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,系统或模块的间接耦合或通信连接,可以是电性或其它的形式。
[0168]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0169]
另外,在本技术各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
[0170]
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0171]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(read-only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
[0172]
以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依
本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。
[0173]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0174]
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1