步态特征提取及其训练方法、步态识别方法及相关设备与流程

1.本技术涉及视频分析技术领域，特别是涉及一种步态特征提取方法、步态特征提取模型的训练方法、步态识别方法、电子设备及计算机可读存储介质。


背景技术：

2.步态识别技术的流程大致为，提取目标对象的待处理视频的步态特征，对步态特征识别得到步态识别结果。步态识别技术可以应用于目标对象的身份识别(如身份验证、重识别)、目标对象的步态估计等等场景。在身份识别应用场景下，对步态特征识别即为将目标对象的步态特征与其他对象(已知或未知)的步态特征进行比对，得到的步态识别结果为身份识别结果；在步态估计场景下，步态识别结果为目标对象的状态。
3.然而，现有的步态识别技术中提取得到的步态特征对目标对象的表达能力不强，影响步态识别结果的准确度。


技术实现要素：

4.本技术提供一种步态特征提取方法、步态特征提取模型的训练方法、步态识别方法、电子设备及计算机可读存储介质，能够解决现有的步态识别技术中提取得到的步态特征对目标对象的表达能力不强的问题。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种步态特征提取方法。该方法包括：获取目标对象的待处理视频；对待处理视频进行特征提取，得到目标对象的第一步态特征图和目标对象的关节点热力图；关节点热力图是针对目标对象的至少一个目标部位提取的；将第一步态特征图和关节点热力图融合，得到至少一个目标部位中各个目标部位的第一部位特征图；将各个目标部位的第一部位特征子图融合，得到目标对象的第二步态特征图。
6.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种步态特征提取模型的训练方法，该方法包括：获取训练集，训练集包括若干个训练视频，一个训练视频属于一个训练对象；对各个训练对象的各个训练视频，对训练对象的训练视频进行特征提取，得到训练对象的第一步态样本和训练对象的关节点热力样本；关节点热力样本是针对训练对象的至少一个训练部位提取的；将第一步态样本和关节点热力样本融合，得到至少一个训练部位中各个训练部位的第一部位子样本；将各个训练部位的第一部位子样本融合，得到训练对象的第二步态样本；基于各个训练对象的各个第二步态样本，调整步态特征提取模型的参数。
7.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种步态识别方法，该方法包括：获取目标对象的待处理视频的第二步态特征；基于第二步态特征对目标对象进行步态识别，得到步态识别结果；其中，第二步态特征是基于前述步态特征提取方法提取得到的。
8.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种电子设备，该电
子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
9.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
10.通过上述方式，本技术未直接将对待处理视频提取得到的第一步态特征图作为最终的步态特征图，而是额外针对目标对象的至少一个目标部位(步态信息相关的部位)提取目标对象的关节点热力图，将第一步态特征图与关节点热力图融合，得到至少一个目标部位中各个目标部位的第一部位特征子图，对各个目标部位的第一部位特征子图融合，得到最终的步态特征图，即第二步态特征图。由于在上述过程中，将第一步态特征图与关节点热力图融合，相当于对第一步态特征图作了各个目标部位的注意力处理，得到的第一部位特征子图能够很好地表征各个目标部位，因此将各个目标部位的第一部位特征子图融合，得到的第二步态特征图的准确度更高，对步态信息的表达能力更强。
附图说明
11.图1是本技术目标匹配方法一实施例的流程示意图；
12.图2是本技术步态特征提取方法另一实施例的流程示意图；
13.图3是本技术对拼接结果进行注意力处理的一示意图；
14.图4是本技术对拼接结果进行注意力处理的另一示意图；
15.图5是本技术步态特征提取模型的训练方法一实施例的流程示意图；
16.图6是本技术步态特征提取模型的训练方法另一实施例的流程示意图；
17.图7是本技术步态识别方法另一实施例的流程示意图；
18.图8是本技术步态识别系统的结构示意图；
19.图9是本技术步态识别系统一具体实例的流程示意图；
20.图10是本技术电子设备一实施例的结构示意图；
21.图11是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
24.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
25.图1是本技术步态特征提取方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：
26.s11：获取目标对象的待处理视频。
27.本技术步态特征提取方法的执行主体是步态特征提取设备，步态特征提取设备可以是摄像器件、手机、电脑等具有特征提取能力的电子设备，还可以是服务器，如物理服务器、云端服务器、分布式服务器。
28.目标对象可以是人、动物等有步态特征提取需求的生物。目标对象的待处理视频是由摄像器件对目标对象拍摄得到的，目标对象的待处理视频为多个包含目标对象的视频帧组成的序列。
29.s12：对待处理视频进行特征提取，得到目标对象的第一步态特征图和目标对象的关节点热力图。
30.关节点热力图是针对目标对象的至少一个目标部位提取的。
31.本技术提及的第一步态特征图、第二步态特征图为表征步态信息的语义特征图，步态信息可以包括身体体型、行走姿态。目标对象的至少一个目标部位即为目标对象的与步态信息相关的一个或多个部位。
32.关节点热力图中包括各个目标部位的关节点子热力图，单个目标部位的关节点热力子图为单个目标部位的多个关节点(也可以称为关键点)的联合概率分布，联合概率分布包括各个像素点属于各个关节点的概率，可以表征目标部位的多个关节点的位置。例如，目标对象是人，目标部位包括头部、肩部、
…
、脚部，头部的关键点特征图表征眼、嘴、耳等多个关节点。
33.例如，记待处理视频为i，i∈r
t
×c×h×w，其中t表示序列长度，h与w分别表示i中视频帧的长和宽，c表示通道数。对i进行特征提取得到第一步态特征图f和关节点热力图h，其中h∈r
t
×
p
×h′×w′
，h’和w’分别代表f和p的长和宽，h有p个通道，每个通道为一个目标部位的关节点热力子图。
34.s13：将第一步态特征图和关节点热力图融合，得到至少一个目标部位中各个目标部位的第一部位特征子图。
35.将第一步态特征图和关节点热力图融合，即将第一步态特征图与各个目标部位的关节点热力子图融合，得到第一部位特征图。第一部位特征图包括第一步态特征图与各个目标部位的关节点热力子图对应融合得到的第一部位特征子图。
36.将第一步态特征图与目标部位的关节点热力子图融合的方式可以为置0、相乘、加权、降维等操作。例如，可以将第一步态特征图和目标部位的关节点热力子图中对应特征值进行相乘/加权，得到目标部位的第一部位特征子图。又如，可以基于目标部位的关节点热力子图确定目标部位的位置，将第一步态特征图中目标部位的位置之外区域的像素值置0，得到目标部位的第一部位特征子图。
37.将第一步态特征图和关节点热力图融合，可以增加第一步态特征图对各个目标部位的注意力，得到关注各个目标部位的第一部位特征子图。
38.例如，将第一步态特征图f与关节点热力图h进行融合，得到第一部位特征图fp＝{f1,f2,
…
,f
p
}，其中fi＝f*hi，hi表示h中第i个目标部位的关节点热力子图，fi∈r
t
×
p
×h′×w′
。
或者fi＝σ(f*hi)，其中σ(
·
)是一个降维函数(例如池化)，c2表示降维后的维度。
39.s14：将各个目标部位的第一部位特征子图融合，得到目标对象的第二步态特征图。
40.对各个目标部位的第一部位特征子图融合的方式可以但不限于是相乘、加权、注意力处理、压缩等等操作。
41.通过本实施例的实施，本技术未直接将对待处理视频提取得到的第一步态特征图作为最终的步态特征图，而是额外针对目标对象的至少一个目标部位(步态信息相关的部位)提取涉及目标对象的若干个目标部位的关节点热力图，将第一步态特征图与关节点热力图融合，得到至少一个目标部位中各个目标部位的的第一部位特征图，对各个目标部位的第一部位特征子图融合，得到最终的步态特征图，即第二步态特征图。由于在上述过程中，将第一步态特征图与关节点热力图融合，相当于对第一步态特征图作了各个目标部位的注意力处理，得到的第一部位特征子图能够很好地表征各个目标部位，因此将各个目标部位的第一部位特征子图融合，得到的第二步态特征图的准确度更高，对步态信息的表达能力更强。
42.图2是本技术步态特征提取方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。本实施例是对s14的进一步扩展，如图2所示，本实施例可以包括：
43.s141：获取各个目标部位的属性信息。
44.目标部位的属性信息至少表征目标部位的位置，还可以表征目标部位的标识。相应地，目标部位的属性信息可以包括目标部位的标识编码和位置编码。
45.目标部位的标识编码是一个one-hot向量，可以表征目标部位的标识，不同目标部位的标识不同。例如，目标对象包括p个目标部位，p个目标部位的标识编码可以表示为o
p
∈r
p
，第i个目标部位的情况下o
p
[i]＝1。
[0046]
目标部位的位置编码为目标部位的位置的编码结果。可以基于关节点热力图中各个目标部位的关节点热力子图，获取各个目标部位的位置；对各个目标部位的位置进行编码，得到各个目标部位的位置编码。
[0047]
例如，第i个目标部位的第一关节点热力子图为hi，对hi进行取阈值操作，得到h
′i：
[0048][0049]
其中，η表示阈值，hi[j]表示hi中第j个像素值。
[0050]
进一步地，获取h
′i中像素值为1的像素点的外接矩形r
sp
，可以由外接矩形的中心坐标/顶点坐标(x，y)、宽w、高h表示，也可以由其他方式表示，如四个顶点坐标。
[0051]
进一步地，对r
sp
(x，y，w，h)进行编码，得到目标部位的位置编码l
sp
(c
x
,cy,cw,ch)，c
x
、cy、cw、ch分别表示对x、y、w、h的编码结果：
[0052][0053]
m∈{x，y，w，h}；
[0054]
其中，d表示m的编码结果的维度总数，t表示第t维。
[0055]
s142：基于各个目标部位的属性信息，确定各个目标部位的第一部位特征子图之间的空间关系，得到第二部位特征图。
[0056]
各个目标部位的第一部位特征子图之间的空间关系可以包括各个目标部位的位置之间的空间关系、像素值之间的空间关系等等。
[0057]
可以将同一目标部位的第一部位特征子图、标识编码和位置编码拼接(该过程可以称为特征嵌入)，得到目标对象的拼接结果；对目标对象的拼接结果进行注意力处理，得到第二部位特征图。拼接结果包括各个目标部位的子拼接结果，第二部位特征图包括各个目标部位的第一部位特征子图经注意力处理的更新结果(第二部位特征子图)。
[0058]
结合图3和图4对拼接结果进行注意力处理的过程进行说明：
[0059]
目标对象的拼接结果f
′i＝[fi,r
sp
,o
p
[i]]为第i个目标部位的子拼接结果，
[0060]
利用若干个注意力模块(单头注意力模块或者多头注意力模块)并行对f
′
进行处理，得到中间特征f
′a。具体来说，在每个单头注意力模块中，分别对f
′
进行若干次不同的1d卷积，得到qe、ke和ve，再对每个单头注意力模块得到的qe、ke和ve进行如下处理，得到f
′a：
[0061][0062]
其中，n表示单头注意力模块个数，dk表示ke的维度。
[0063]
进一步地，对f
′a进行若干次不同的1d卷积，得到第二部位特征图:
[0064][0065]
其中，c3表示f
′
ti
的维度。
[0066]
s143：对第二部位特征图中各个目标部位的第二部位特征子图进行压缩，得到第二步态特征图。
[0067]
对各个目标部位的第二部位特征子图进行特征压缩，能够避免不同目标部位的第二部位特征子图存在特征冗余的问题，同时也能进一步提升第二步态特征图对步态信息的表达能力。并且，由于进行特征压缩后得到的第二步态特征图相对于第二部位特征图的维度减小了，步态特征提取方法便于实际部署。
[0068]
在一些实施例中，第二步态特征图为各个目标部位的第二部位特征子图的加权求和结果g＝∑wi*f
′
ti
，c3＜＜p
×
c2，其中wi表示第i个目标部位的权重。
[0069]
在一些实施例中，第二步态特征图g＝∑wi*f
′
ti
+maxpooli(f
′
ti
)，其中maxpooli(f
′
ti
)表示对f
′
ti
取最大值(最大池化结果)。
[0070]
前述步态特征提取方式可以基于训练好的步态特征提取模型实现，如下介绍步态特征提取模型的训练：
[0071]
图5是本技术步态特征提取模型的训练方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。如图5所示，本实施例可以包括：
[0072]
s21：获取训练集。
[0073]
训练集包括若干个训练视频，一个训练视频属于一个训练对象。
[0074]
本技术步态特征提取模型的训练方法的执行主体是训练设备，训练设备可以与步态特征提取设备相同或不同。
[0075]
训练对象可以是与目标对象相同或相近的生物。属于同一训练对象的训练视频可以有一个或者多个，在有多个的情况下，属于同一训练对象的至少两个训练视频是在不同环境条件下获取的，环境条件可以包括拍摄角度、光照强度、拍摄的摄像器件、时间等等。
[0076]
对步态特征提取模型的训练可以包括多轮，每轮的训练是在前一轮调整参数的基础上进行的。在每轮训练过程中，从总的训练集中对每个训练对象采样得到该轮训练过程的训练集。不同轮训练过程的训练集中，同一训练对象的训练视频可能重复也可能不重复。
[0077]
s22：针对各个训练对象的各个训练视频，对训练对象的训练视频进行特征提取，得到训练对象的第一步态样本和训练对象的关节点热力样本。
[0078]
关节点热力样本是针对训练对象的至少一个训练部位提取的。
[0079]
s23：将训练对象的第一步态样本和对应的关节点热力样本融合，得到至少一个训练部位中各个训练部位的第一部位子样本。
[0080]
s24：将各个训练部位的第一部位子样本融合，得到训练对象的第二步态样本。
[0081]
在s21～s24中，训练视频与待处理视频相对应，第一步态样本与第一步态特征相对应，关节点样本与关节点热力图相对应，第一部位样本与第一部位特征相对应，第一部位子样本与第一部位特征子图相对应，第二步态样本与第二步态特征图相对应，训练部位与目标部位相对应。且s21～s24的处理过程与s11～s14的处理过程类似，具体请参考前面的实施例，在此不赘述。
[0082]
s25：基于各个训练对象的各个第二步态样本，调整步态特征提取模型的参数。
[0083]
在一些实施例中，各个第二步态样本具有对应的真实步态样本，可以基于各个第二步态样本与真实步态样本之间的差异，构建步态特征提取模型的损失，调整步态特征提取模型的参数。
[0084]
在一些实施例中，可以基于不同训练对象的第二步态样本之间的距离、以及同一训练对象的第二步态样本之间的距离，调整步态特征提取模型的参数。可以理解的是，获取视频的环境条件可能对步态特征提取模型的特征提取带来干扰，而由于不同训练对象的至少两个训练视频是在不同环境下获取到的，因此利用此方式调整步态特征提取模型的参数，能够提高步态特征提取模型的抗干扰能力。
[0085]
通过本实施例的实施，与应用阶段类似，本技术在训练阶段未直接将对训练视频提取得到的第一步态样本作为最终的步态样本，而是额外针对训练对象的至少一个训练部位(步态信息相关的部位)提取训练对象的关节点热力样本，将第一步态样本与关节点热力样本融合，得到至少一个训练部位中各个训练部位的第一部位子样本，对各个训练部位的第一部位子样本融合，得到最终的步态样本，即第二步态样本。由于在上述过程中，将第一步态样本与关节点热力样本融合，相当于对第一步态样本作了各个训练部位的注意力处理，得到的第一部位子样本能够很好地表征各个训练部位，因此将各个训练部位的第一部位子样本融合，得到的第二步态样本的准确度更高，对步态信息的表达能力更强，从而能够提高对步态特征提取模型的训练效果。
[0086]
进一步地，在s25中基于不同训练对象的第二步态样本之间的距离、以及同一训练对象的第二步态样本之间的距离，调整步态特征提取模型的参数的情况下，在s25中可以基
于各个训练对象的各个第二步态样本划分为三元组，每个三元组中包括三个不同的第二步态样本，且其中一个为正样本a1，其中另一个为与正样本a1属于同一训练对象的样本p1，剩余一个为与正样本属于不同训练对象的样本n1(负样本)，基于各个三元组中正样本对(a1和p1)之间的距离d(a1,p1)以及负样本对(a1和n1)之间的距离d(a1,n1)构建损失。例如，可以基于每个三元组中的d(a1,p1)和d(a1,n1)得到每个三元组的子损失，对每个三元组的子损失加权得到损失。又如，利用基于各个三元组中的正样本对之间的距离最大值、负样本对之间的距离最小值构建损失l1＝max[0，d
max
(a1,p1)-d
min
(a1,n1)+margin]，其中d
max
(a1,p1)表示正样本对之间的距离最大值(类内距离最大值)，d
min
(a,n)负样本对之间的距离最小值(类间距离最小值)，margin表示松弛量。
[0087]
或者，s25可以通过如下步骤实现：
[0088]
图6是本技术步态特征提取模型的训练方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。如图6所示，本实施例可以包括：
[0089]
s31：在本轮训练过程中，依序以各个训练对象为当前训练对象。
[0090]
例如，本轮训练过程的训练集包括k个训练对象的训练视频，每个训练对象具有n个训练视频、对应n个第二步态样本。各个第二步态样本按照训练对象排序为{s
11
,s
12
,
…
,s
1n
,
…
,s
k1
,
…
,s
kn
}。s
kn
表示id为k的训练对象的第n个样本。本技术后文以id为k的训练对象为当前训练对象、id为1～k-1的训练对象为其他训练对象进行举例说明。
[0091]
s32：获取当前训练对象与其他训练对象的第二步态样本之间的距离的最小值，作为类间距离最小值。
[0092]
在一些实施例中，可以获取当前训练对象的各个第二步态样本与其他训练对象的各个第二步态样本之间的距离，以得到类间距离最小值。例如，获取s
k1
～s
kn
与s
11
～s
k-1
两两之间的距离，得到s
kn
与s
1n
之间的距离为类间距离最小值。
[0093]
在一些实施例中，可以选择当前训练对象的一个第二步态样本为参考步态样本，分别获取参考步态样本与其他训练对象的各个第二步态样本之间的距离，以得到类间距离最小值。例如，选择s
kn
为参考步态样本，获取s
kn
与s
11
～s
k-1
之间的距离，得到s
kn
与s
2n
之间的距离为类间距离最小值。
[0094]
在一些实施例中，可以选择当前训练对象的一个第二步态样本为参考步态样本；从各个其他训练对象的第二步态样本中，选出与参考步态样本之间的距离最小的第二步态样本，作为本轮训练时当前训练对象的干扰步态样本；获取本轮训练时当前训练对象的干扰步态样本与当前训练对象的各个第二步态样本之间的距离的最小值，作为类间距离最小值。例如，本轮为第3轮，选择s
kn
为参考步态样本，获取s
kn
与s
11
～s
k-1
之间的距离，得到s
2n
为第3轮训练时当前训练对象的干扰步态样本s
2n
，获取s
2n
与s
k1
～s
kn
之间的距离，得到s
2n
与s
k1
之间的距离为类间距离最小值。
[0095]
在一些实施例中，可以选择当前训练对象的一个第二步态样本为参考步态样本；从各个其他训练对象的第二步态样本中，选出与参考步态样本之间的距离最小的第二步态样本，作为本轮训练时当前训练对象的干扰步态样本；将历史轮训练时和本轮训练时当前训练对象的干扰步态样本融合，得到当前训练对象的干扰步态样本的融合结果；获取当前训练对象的干扰步态样本的融合结果与当前训练对象的各个第二步态样本之间的距离的
最小值，作为类间距离最小值。
[0096]
历史轮可以是本轮之前的所有轮，也可以是本轮之前的预设数量轮(不考虑超出预设数量轮得到的干扰步态样本)。对干扰步态样本融合的方式可以是加权求和、加权平均等等，融合时可以设置各轮训练时的干扰步态样本的权重相同，或者可以设置新轮次的干扰步态样本的权重大于历史轮次的干扰步态样本的权重，以逐渐弱化历史轮次的干扰步态样本的影响力。
[0097]
例如，本轮为第3轮，选择s
kn
为参考步态样本，获取s
kn
与s
11
～s
k-1
之间的距离，得到s
2n
为第3轮训练时当前训练对象的干扰步态样本s
2n
。对第1、2、3轮训练时当前训练对象的干扰步态样本进行加权求和，得到当前训练对象的干扰步态样本的融合结果sm，其中第3、2、1轮训练时当前训练对象的干扰步态样本的权重依次减小。获取sm与s
k1
～s
kn
之间的距离，得到sm与s
k1
之间的距离为类间距离最小值。
[0098]
s33：获取当前训练对象的不同第二步态样本之间的距离的最大值，作为类内距离最大值。
[0099]
例如，可以获取s
k1
～s
kn
两两之间的距离，得到s
k1
与s
kn
之间的距离为类内距离最大值。
[0100]
s34：基于各个训练对象对应的类间距离最小值和类内距离最大值，构建本轮训练的损失。
[0101]
可以基于类间距离最小值和类内距离最大值构建三元组损失l2＝[0，d
max
(a2,p2)-d
min
(a2,n2)+margin]，其中，a2、p2分别表示训练对象1的不同第二步态样本，n2表示训练对象2的第二步态样本，d
max
(a2,p2)表示类内距离最大值，d
min
(a2,n2)表示类间距离最小值。
[0102]
s35：基于本轮训练的损失，调整步态特征提取模型的参数。
[0103]
可以理解的是，通过类间距离最小值和类内距离最大值构建损失训练步态特征提取模型，能够使得步态特征提取模型提取到的同一训练对象的不同第二步态样本之间的距离越来越小，不同训练对象的第二步态样本之间的距离越来越大，从而使得不同训练对象的第二步态样本便于区分。另外，引入干扰步态样本的训练方式，能够进一步提高步态特征提取模型的抗干扰性，进而提高在有干扰的情况下利用第二步态特征进行步态识别的鲁棒性。
[0104]
图7是本技术步态识别方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图7所示的流程顺序为限。如图7所示，本实施例可以包括：
[0105]
s41：获取目标对象的待处理视频的第二步态特征。
[0106]
其中，第二步态特征是基于前述实施例的步态特征提取方法提取得到的。
[0107]
本技术步态识别方法的执行主体是步态识别设备，步态识别设备与步态特征提取设备相同或者不同。
[0108]
s42：基于第二步态特征对目标对象进行步态识别，得到步态识别结果。
[0109]
通过本实施例的实施，由于本实施例中第二步态特征是基于前述实施例的步态特征提取方法提取得到的，第二步态特征对目标对象的步态信息表达能力更强，因此能够得到更加准确的步态识别结果。
[0110]
步态识别可以应用于身份验证、重识别、步态估计等等应用场景。如下结合图8和
图9，以一个例子的形式，在人的身份验证这一应用场景下，对步态识别方法进行详细说明：
[0111]
图8是步态识别系统的结构示意图，如图8所示，步态识别系统包括摄像器件11和步态识别设备12，摄像器件11用于拍摄人的待处理视频，步态识别设备12用于从摄像器件11获取人的待处理视频，以对待处理视频进行步态识别，得到步态识别结果。具体可以如下：
[0112]
1)获取人的待处理视频。
[0113]
2)提取待处理视频的第一步态特征图和涉及行人的关节点热力图(目标部位为头部、肩部、
…
、脚部)。
[0114]
3)对第一步态特征图和关节点热力图融合，得到第一部位特征图(包括头部、肩部、
…
、脚部的第一部位特征子图)。
[0115]
4)对第一部位特征图中头部、肩部、
…
、脚部的第一部位特征子图依序进行特征嵌入、空间关系重建、特征压缩，得到第二步态特征图。
[0116]
5)将行人的第二步态特征图与预先存储的第二步态特征图进行比对，以确定行人的第二步态特征图与预先存储的第二步态特征图是否匹配，若匹配则行人的身份验证通过。
[0117]
图10是本技术电子设备一实施例的结构示意图。如图10所示，该电子设备包括处理器21、与处理器21耦接的存储器22。
[0118]
其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为cpu(central processing unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0119]
电子设备可以是前面提及的步态特征提取设备、训练设备、步态识别设备。
[0120]
图11是本技术计算机可读存储介质一实施例的结构示意图。如图11所示，本技术实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本技术上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0121]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0122]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。