一种识别方法、训练方法、装置、设备及存储介质与流程

1.本技术涉及信息技术领域，尤其涉及一种识别方法、神经网络训练方法、识别装置、神经网络训练装置、电子设备以及计算机可读存储介质。


背景技术：

2.近年来，通过采集的姿态信息来识别行为的行为识别技术，在安防监控、无人商超、教育娱乐、智慧交通、智能家居等领域得到了广泛的应用。但是，行为识别技术中所采用的行为识别模型，通常是通过理想状态下采集的无噪声、无遮挡、无卡顿的样本数据训练得到的。在实际的行为识别场景中，数据采集的噪声、姿态行为被遮挡以及采集设备的卡顿等情况，都会对采集数据产生强大的干扰，此时，基于上述样本数据训练得到的行为识别模型，对携带有大量干扰信息的待识别数据的识别准确率大大下降。


技术实现要素：

3.本技术实施例提供了一种识别方法、神经网络训练方法、识别装置、神经网络训练装置以及计算机可读存储介质。
4.本技术实施例提供的识别方法，能够对各种应用场景下包括在目标对象被遮挡或数据采集设备卡顿的情况下、采集得到的待识别数据进行精准的姿态类型识别，从而能够抵御由于待识别数据中缺失信息带来的风险，实现了在更广泛的应用场景中实现姿态类型的高效精准识别。
5.本技术实施例提供的技术方案是这样的：
6.本技术实施例提供了一种识别方法，所述方法包括：
7.获取包括至少两个姿态序列的待识别数据；其中，所述姿态序列包括目标对象任一姿态的多个节点信息；
8.对所述待识别数据进行特征提取，得到第一级图卷积数据；其中，所述第一级图卷积数据包括每一所述姿态序列的特征序列；
9.对所述第一级图卷积数据中的至少两个特征序列进行第一级三维图卷积处理，得到第一级三维卷积结果；其中，所述第一级三维卷积结果，包括所述第一级图卷积数据中的局部特征信息；
10.对所述第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果；其中，所述第一级二维卷积结果，包括所述第一级图卷积数据中各个所述局部特征信息之间的关联关系；
11.基于所述第一级图卷积数据、所述第一级三维卷积结果以及所述第一级二维卷积结果，识别所述目标对象的姿态类型。
12.本技术实施例还提供了一种神经网络训练方法，所述神经网络包括第一网络和第二网络；其中，所述第一网络用于进行特征提取；所述第二网络，用于对所述第一网络的输出数据进行图卷积处理；所述第二网络，至少包括用于实现第一级三维图卷积处理的第一
级三维图卷积网络、以及用于实现第一级二维图卷积处理的第一级二维图卷积网络；方法包括：
13.获取包括多个姿态序列的样本数据；其中，所述姿态序列，包括任一对象的任一姿态的多个节点信息；
14.基于所述第一网络，对所述样本数据进行特征提取，得到第一级特征序列；其中，所述第一级特征序列包括每一姿态序列的特征序列；
15.基于所述第一级三维图卷积网络，对所述第一级特征序列中的至少两个特征序列，进行所述第一级三维图卷积处理，得到第一级三维结果；其中，所述第一级三维结果，包括所述第一级特征序列中的局部特征信息；
16.基于所述第一级二维图卷积网络，对所述第一级特征序列进行所述第一级二维图卷积处理，得到第一级二维结果；其中，所述第一级二维结果，包括所述第一特征序列中各个所述局部特征信息之间的关联关系；
17.基于所述第一级特征序列、所述第一级三维结果以及所述第一级二维结果，识别任一对象的姿态类型；
18.基于所述姿态类型，对所述第一网络以及所述第二网络进行训练，得到训练完成的神经网络。
19.本技术实施例还提供了一种识别装置，所述识别装置包括：第一获取模块、第一处理模块以及第一识别模块；其中：
20.所述第一获取模块，用于获取包括至少两个姿态序列的待识别数据；其中，所述姿态序列包括目标对象任一姿态的多个节点信息；
21.所述第一处理模块，用于对所述待识别数据进行特征提取，得到第一级图卷积数据；对所述第一级图卷积数据中的至少两个特征序列，进行第一级三维图卷积处理，得到第一级三维卷积结果；对所述第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果；其中，所述第一级图卷积数据包括每一姿态序列的特征序列；所述第一级三维卷积结果，包括所述第一级图卷积数据中的局部特征信息；所述第一级二维卷积结果，包括所述第一级图卷积数据中各个所述局部特征信息之间的关联关系；
22.所述第一识别模块，用于基于所述第一级图卷积数据、所述第一级三维卷积结果以及所述第一级二维卷积结果，识别所述目标对象的姿态类型。
23.本技术实施例还提供了一种神经网络训练装置，所述神经网络包括第一网络和第二网络；其中，所述第一网络用于进行特征提取；所述第二网络，用于对所述第一网络的输出数据进行图卷积处理；所述第二网络，至少包括用于实现第一级三维图卷积处理的第一级三维图卷积网络、以及用于实现第一级二维图卷积处理的第一级二维图卷积网络；所述装置包括第二获取模块、第二处理模块以及第二识别模块；其中：
24.所述第二获取模块，用于获取包括多个姿态序列的样本数据；其中，所述姿态序列，包括任一对象的任一姿态的多个节点信息；
25.所述第二处理模块，用于基于所述第一网络，对所述样本数据进行特征提取，得到第一级特征序列；基于所述第一级三维图卷积网络，对所述第一级特征序列中的至少两个特征序列，进行所述第一级三维图卷积处理，得到第一级三维结果；基于所述第一级二维图卷积网络，对所述第一级特征序列进行所述第一级二维图卷积处理，得到第一级二维结果；
其中，所述第一级特征序列包括每一姿态序列的特征序列；所述第一级三维结果，包括所述第一级特征序列中的局部特征信息；所述第一级二维结果，包括所述第一特征序列中各个所述局部特征信息之间的关联关系；
26.所述第二识别模块，用于基于所述第一级特征序列、所述第一级三维结果以及所述第一级二维结果，识别任一对象的姿态类型；
27.所述第二处理模块，还用于基于所述姿态类型，对所述第一网络以及所述第二网络进行训练，得到训练完成的神经网络。
28.本技术实施例还提供了一种电子设备，所述电子设备包括如处理器和存储器以及通信总线，其中，所述通信总线用于实现所述处理器与所述存储器之间的通信连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如前任一的所述识别方法或如前任一所述的神经网络训练方法。
29.本技术实施例还提供了一种计算机可读存储介质，所述可读存储介质能够被处理器执行，以实现如前任一所述的识别方法或如前任一所述的神经网络训练方法。
30.如此，本技术实施例所提供的识别方法中，首先获取待识别数据中每一姿态序列对应的特征序列，再对第一级图卷积数据中的至少两个特征序列进行第一级三维图卷积处理、以得到包含第一级图卷积数据中局部特征信息的第一级三维卷积结果，对第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果，然后基于第一级图卷积数据、第一级三维卷积结果以及第一级二维卷积结果，识别目标对象的姿态类型。
31.由以上可知，本技术实施例所提供的识别方法中，第一级三维图卷积结果中携带有第一级图卷积数据中的局部特征信息、第一级二维图卷积结果中携带有第一级图卷积数据中各个局部特征信息之间的关联关系，在此基础上，通过第一级三维卷积结果以及第一级二维卷积结果，就可以获取到待识别数据所携带的建立有关联关系的各个局部特征信息的集合，即实现了对待识别数据所携带的特征的各个维度的识别，构建了对待识别数据的更深层次的特征识别过程。
32.因此，即使在数据采集设备被遮挡或卡顿的情况下，即待识别数据中并未携带目标对象的完整特征数据，本技术提供的识别方法也能够基于各个局部特征信息、以及局部特征信息之间的关联关系，抵御由于缺失信息带来的风险，对待识别数据进行精准识别，从而实现了能够在更广泛的应用场景中实现姿态类型的高效精准识别。
附图说明
33.图1为本技术提供的第一种识别方法的流程示意图；
34.图2a为本技术提供的未被遮挡的人体骨骼序列的结构示意图；
35.图2b为本技术提供的携带有部分人体关节点序列的骨骼序列的结构示意图；
36.图2c为本技术提供的人体在指定方向平移时获取的骨骼序列的结构示意图；
37.图3为本技术提供的第二种识别方法的流程示意图；
38.图4为本技术提供的通过多层感知机对第一数据中每一维度的数据进行特征提取的流程示意图；
39.图5为本技术提供的第k级激活数据获取的流程示意图；
40.图6为本技术提供的第k级激活数据获取以及识别姿态类型的流程示意图；
41.图7为本技术提供的第一种神经网络训练方法的流程示意图；
42.图8为本技术提供的第二种神经网络训练方法的流程示意图；
43.图9为本技术提供的识别装置的结构示意图；
44.图10为本技术提供的神经网络训练装置的结构示意图；
45.图11本技术提供的行为识别系统的结构示意图；
46.图12为本技术提供的电子设备的结构示意图。
具体实施方式
47.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
48.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
49.本技术涉及信息技术领域，尤其涉及一种识别方法、神经网络训练方法、识别装置、神经网络训练装置以及计算机可读存储介质。
50.近年来，行为识别技术在安防监控、无人商超、教育娱乐、智慧交通、智能家居等领域得到了广泛的应用，行为识别技术的应用，也使得监控设备的智能化水平有了极大的提高。
51.行为识别技术的主要研究目标是通过各种类型的传感器采集的数据，来分析视觉场景中的对象进行的动作行为。
52.在相关技术中，行为识别技术通常包括以下几种方式：
53.通过传感器采集的数据、以摄像头直接采集的图像或视频数据为基础直接进行行为识别；通过红外摄像头、毫米波雷达采集的数据提取到骨骼数据，再基于骨骼数据进行行为识别。
54.在一些隐私要求和通讯延时均较高、且计算资源受限的物联网场景中，基于骨骼数据的行为识别方式的优势比较明显。比如在智能家居的人机交互场景中，用户对通过红外深度摄像头采集的数据提取人体骨骼、再基于人体骨骼进行行为识别的接受程度，比对普通摄像头采集的生活视频进行识别的接受程度更高；在智慧交通的监控场景中，从摄像头采集到的图像或视频数据提取到骨骼数据后、再将骨骼数据传输至云端进行行为识别，也能极大地减少网络的数据传输压力，进而可以降低数据传输延时。
55.然而，相关技术中的行为识别技术中所采样的行为识别模型，是通过不携带任何噪声和干扰的样本数据进行训练得到的。这种符合实验要求的样本数据，对于行为识别模型的训练来说非常理想的，但基于该样本数据训练得到的行为识别模型，在算法模拟时行为识别的理论值很高，但在实际的行为识别应用中的行为识别效果欠佳。比如，对于跳跃动作的识别而言，基于上述样本数据训练得到的行为识别模型，对标准测试数据集的测试准确率可以达到90％以上，然而，在实际应用中，由于摄像头卡顿、障碍物遮挡、拍摄角度等因素的影响，该行为识别模型的识别准确率甚至低于60％。
56.这是由于上述行为识别方法所对应的目标数据，仅能是与样本数据相同的未携带噪声和干扰的样本数据，即其能对干净的数据产生过拟合，而对于实际应用中携带有各种噪声和干扰的数据，是缺乏泛化处理能力的，从而使得其在实际应用中的数据识别性能大大折扣。
57.基于以上问题，本技术实施例提供了一种识别方法，该识别方法可以通过识别设备的处理器来实现的，上述处理器可以为特定用途集成电路(application specific integrated circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程逻辑门阵列(field programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器中的至少一种。
58.图1为本技术实施例提供的第一种识别方法的流程示意图，该识别方法可以包括以下步骤：
59.步骤101、获取包括至少两个姿态序列的待识别数据。
60.其中，姿态序列包括目标对象任一姿态的多个节点信息。
61.在一种实施方式中，目标对象，可以是不具备生命特征的对象，比如被风吹动的树木、飘落的树叶、流动的河水、移动的沙丘等。
62.在一种实施方式中，目标对象，可以是不具备生命特征、但能够通过接收控制指令或接收外界驱动力而改变运动状态的对象，比如机器人、电子玩具、电动汽车等。
63.在一种实施方式中，目标对象，可以是具备生命特征的对象，比如人、任一类型的动物等。
64.在一种实施方式中，目标对象，可以是特定场合中出现的对象，比如在银行的敏感区域出现的陌生人。
65.在一种实施方式中，目标对象，可以包括多个不同类型的对象，比如，被牵着的宠物狗以及牵着宠物狗在散步的行人。
66.在一种实施方式中，目标对象，可以是任一对象的一部分，比如，大树的树冠、沙丘的顶部、电动车的车轮、行人的胳膊、宠物的四肢等。
67.在一种实施方式中，目标对象，可以包括多个对象的不同部分，比如第一个人的左脚与第二个人的右脚。
68.在一种实施方式中，目标对象，可以是部分区域被障碍物遮挡的。
69.在一种实施方式中，目标对象的任一姿态，可以是目标对象处于静止状态下、或运动状态下的任一姿态。
70.在一种实施方式中，目标对象的任一姿态，可以表示目标对象从静止状态切换至运动状态过程中的任一姿态、或者从运用状态切换至静止状态过程中的任一姿态。
71.在一种实施方式中，姿态序列，可以表示对目标对象的任一姿态在指定坐标系中量化得到的数据序列。比如，目标对象处于静止状态时，姿态序列可以表示目标对象腿部的各个关节在指定坐标系中的坐标序列。
72.在一种实施方式中，姿态序列，可以表示目标对象的任一姿态对应的全部或部分骨骼序列。示例性地，部分骨骼序列，可以表示未被障碍物遮挡的骨骼序列。
73.在一种实施方式中，骨骼序列，可以包括目标对象的每一部位中的关键点的坐标序列。示例性地，骨骼序列可以表示人体的每一关键的骨关节的序列。
74.示例性地，图2a为本技术实施例提供的未被遮挡的人体骨骼序列的结构示意图。
75.在图2a中，人体骨骼序列，包括四肢、躯干、头部、颈椎等各个部分对应的序列点。
76.在图2a中，骨骼序列可以包含人体的每一关节的序列点。
77.在一种实施方式中，骨骼序列可以包含人体的部分关节的序列点。示例性地，图2b为本技术实施例提供的携带有部分人体关节点序列的骨骼序列的结构示意图。在图2b中，灰色部分表示被障碍物阻挡的人体部分的关节点，白色部分为未被障碍物遮挡的人体部分的关节点。
78.示例性地，在人体处于运动状态时，骨骼序列的状态也会发生变化。图2c为本技术实施例提供的人体在指定方向平移时获取的骨骼序列的结构示意图。在图2c中，灰色部分表示人体在平移时被遮挡的关节点序列，白色部分表示人体在平移时未被遮挡的关节点序列。
79.示例性地，图2c中所示的骨骼序列，可以表示根据数据采集装置卡顿时采集的数据得到的骨骼序列。其中，数据采集装置，可以包括以下至少之一：各种类型的图像采集装置、传感器装置、测距装置等。
80.在一种实施方式中，待识别数据，可以是姿态序列集合中的任意多个姿态序列。示例性地，姿态序列集合，可以包括大量的姿态序列。
81.在一种实施方式中，待识别数据，可以是姿态序列集合按照时间对每一姿态序列排序之后，按照时间顺序从姿态序列集合中获取的、时间连续的多个姿态序列。
82.在一种实施方式中，待识别数据，可以包括对多个数据采集设备在不同角度或不同位置上、对目标对象的同一姿态信息的采集结果对应的多个姿态序列。
83.在一种实施方式中，待识别数据，可以包括一个目标对象的姿态序列，也可以包括多个目标对象的姿态序列。
84.步骤102、对待识别数据进行特征提取，得到第一级图卷积数据。
85.其中，第一级图卷积数据包括每一姿态序列的特征序列。
86.在一种实施方式中，对待识别数据进行特征提取，可以是去除待识别数据中的噪声和干扰，得到待识别数据中携带的有效特征数据。
87.相应地，第一级图卷积数据，可以包括每一姿态序列中的有效特征序列。
88.在一种实施方式中，对待识别数据进行特征提取，可以是对待识别数据中的部分节点信息进行提取。
89.相应地，第一级图卷积数据，可以包括每一姿态序列中的部分节点对应的特征序列。
90.在一种实施方式中，对待识别数据进行特征提取，可以是通过对待识别数据中的任一姿态序列进行线性特征提取。
91.在一种实时方式中，对待识别数据进行特征提取，可以是通过非线性的方式进行的。
92.在一种实施方式中，对待识别数据进行特征提取，可以是通过感知机来实现的。示例性地，感知机可以是多层的。
93.在一种实施方式中，第一级图卷积数据，可以包括至少两个特征序列。
94.步骤103、对第一级图卷积数据中的至少两个特征序列，进行第一级三维图卷积处理，得到第一级三维卷积结果。
95.其中，第一级三维卷积结果，包括第一级图卷积数据中的局部特征信息。
96.在一种实施方式中，第一级图卷积数据中的局部特征信息，可以表示第一级图卷
积数据中每一特征序列的指定部分的特征信息。
97.在一种实施方式中，第一级图卷积数据中的局部特征信息，可以表示第一级图卷积数据中指定特征序列的特征信息。
98.在一种实施方式中，在待识别数据与目标对象被障碍物遮挡、或者数据采集设备卡顿所采集的数据对应时，第一级图卷积数据中的局部特征信息，可以表示第一级图卷积数据的每一特征序列所携带的所有特征信息。
99.在一种实施方式中，第一级三维图卷积处理，可以是依次对第一级图卷积数据中的至少两个特征序列进行图卷积处理，并对图卷积处理的结果进行拼接分析，得到第一级三维卷积结果。
100.在一种实施方式中，第一级三维图卷积处理，可以是对第一级图卷积数据中的至少两个特征序列中的每一数据点进行分析、拼接、汇总，得到中间结果，并将中间结果进行图卷积处理，从而得到第一级三维卷积结果。
101.在一种实施方式中，第一级三维图卷积处理，可以是对第一级图卷积数据中的至少两个特征序列中的每一数据点进行分析，从而得到包括上述每一数据点的第一节点集合，以及与第一节点集合对应的第一边集合、进而得到与第一边集合对应的第一邻接矩阵，并在第一邻接矩阵的基础上计算三维图卷积。
102.示例性地，由于第一节点集合结合中包括了至少两个特征序列中的每一数据点，而至少两个特征序列可以包括目标对象在不同时刻、或多个数据采集设备在多个采集角度上的采集到的特征序列，因此，第一节点集合中所包含的每一数据点，可以表示出目标对象的姿态信息随时间的变化、或随空间的变化信息，也就是说，第一节点集合，能够表示目标对象的姿态在三维空间中的变化信息。
103.步骤104、对第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果。
104.其中，第一级二维卷积结果，包括第一级图卷积数据中各个局部特征信息之间的关联关系。
105.在一种实施方式中，第一级图卷积数据中各个局部特征信息之间的关联关系，可以表示第一级图卷积数据中各个局部特征信息之间是否具有关联关系。
106.在一种实施方式中，第一级图卷积数据中各个局部特征信息之间的关联关系，可以表示第一级图卷积数据中各个局部特征信息之间所具备的关联关系的强弱。
107.在一种实施方式中，第一级图卷积数据中各个局部特征信息之间的关联关系，可以表示第一级图卷积数据中每个单独的序列中所携带的局部特征信息之间的关联关系。
108.在一种实施方式中，第一级二维图卷积处理，可以是对第一级图卷积数据中的任一序列进行分析，从而得到第二节点集合、第二边集集合，进而得到与第二节点集合对应的第二邻接矩阵，并基于第二邻接矩阵进行图卷积计算。
109.在一种实施方式中，第一级二维图卷积处理，可以是对第一级图卷积数据中的每一序列依次进行的操作。
110.需要说明的是，在识别设备具备多核处理器的条件下，步骤103与步骤104是可以并行进行的，或者，步骤103与步骤104的执行顺序先后调整，本技术实施例对此不做限定。
111.步骤105、基于第一级图卷积数据、第一级三维卷积结果以及第一级二维卷积结
果，识别目标对象的姿态类型。
112.在一种实施方式中，目标对象的姿态类型，可以表示目标对象当前姿态对应的状态类型。示例性，状态类型可以包括静止状态、运动状态。
113.在一种实施方式中，目标对象的姿态类型，可以表示目标对象当前姿态对应的运动状态类型。示例性地，运动状态类型可以包括加速运动、减速运动、匀速运动、从静止状态切换至运动状态类型、从运动状态切换至静止状态类型等至少之一。
114.在一种实施方式中，目标对象的姿态类型，可以表示目标对象当前姿态是否与预设的姿态范围匹配。示例性地，姿态范围，可以对应于姿态识别场景，比如，包括无人商超、教育娱乐、智能家居在内的智能电子设备与用户之间的交互方式，该交互方式可以包括以下至少之一：手势交互、肢体交互、相对运动方向交互、以上几种方式的集合交互。
115.在一种实施方式中，目标对象的姿态类型，可以表示目标对象当前姿态与其他对象之间的相对位置变化、或相对速度变化。示例性地，在安防监控的场景下，通过检测目标对象与其他对象之间的相对位置变化或相对速度变化，可以作为分析目标对象某一姿态对应的法律事实的依据。
116.在一种实施方式中，目标对象的姿态类型，还可以用在竞技体育中，用于协助判断目标对象的姿势是否标准。
117.在一种实施方式中，目标对象的姿态类型，可以是通过以下方式识别得到的：
118.根据第一级图卷积数据与第一级三维卷积结果、第一级二维卷积结果之间的交集，识别目标对象的姿态类型。
119.在一种实施方式中，目标对象的姿态类型，可以是通过以下方式识别得到的：
120.结合第一级三维卷积结果所携带的第一级图卷积数据中的局部特征信息、第一级二维卷积结果所携带的各个局部特征信息之间的关联关系，将各个局部特征信息关联起来，得到关联结果，再将关联结果与第一级图卷积数据进行匹配得到匹配结果，根据匹配结果识别目标对象的姿态类型。
121.通过以上操作得到的关联结果，能够抵抗实际应用中由于数据采集设备被遮挡、数据采集设备卡顿、数据采集设备安装角度变化以及目标对象被遮挡等各种因素产生的、对待识别数据的干扰，进而使得本技术实施例提供的识别方法在实际应用中能够对各种待识别数据的稳定高效识别。
122.如此，本技术实施例所提供的识别方法中，首先获取待识别数据中每一姿态序列对应的特征序列，再对第一级图卷积数据中的至少两个特征序列进行第一级三维图卷积处理、以得到包含第一级图卷积数据中局部特征信息的第一级三维卷积结果，对第一级图卷积数据进行第一级二维图卷积处理，得到包含第一图卷积数据中各个局部特征信息之间关联关系的第一级二维卷积结果，然后基于第一级图卷积数据、第一级三维卷积结果以及第一级二维卷积结果，识别目标对象的姿态类型。
123.由以上可知，本技术实施例所提供的识别方法中，第一级三维图卷积结果中携带有第一级图卷积数据中的局部特征信息、第一级二维图卷积结果中携带有第一级图卷积数据中各个局部特征信息之间的关联关系，在此基础上，通过第一级三维卷积结果以及第一级二维卷积结果的结合，就可以获取到待识别数据所携带的建立有关联关系的各个局部特征信息的集合，即实现了对待识别数据所携带的特征的各个维度的识别，构建了对待识别
数据的更深层次的特征识别过程，如此，即使在数据采集设备被遮挡或卡顿的情况下，即待识别数据中并未携带目标对象的完整特征数据，本技术提供的识别方法也能够基于各个局部特征信息、以及局部特征信息之间的关联关系，抵御由于缺失信息带来的风险，并对待识别数据进行精准识别，从而实现了在更广泛的应用场景中实现姿态类型的高效精准识别。
124.基于前述实施例，本技术实施例提供了第二种识别方法。图3为本技术实施例提供的第二种识别方法的流程示意图。如图3所示，该识别方法可以包括以下步骤：
125.步骤301、获取包括至少两个姿态序列的待识别数据。
126.其中，姿态序列包括目标对象任一姿态的多个节点信息。
127.步骤302、对待识别数据进行特征提取，得到第一级图卷积数据。
128.其中，第一级图卷积数据包括每一姿态序列的特征序列。
129.示例性地，步骤302，可以通过步骤a1-步骤a3来实现：
130.步骤a1、从待识别数据中获取第一数据。
131.其中，第一数据，表示与待识别数据对应的至少两个维度的数据。
132.在一种实施方式中，第一数据，可以是对待识别数据中的每一数据点进行多维度分解得到的。
133.在一种实施方式中，第一数据，可以是将待识别数据中的每一数据点映射至指定维度的坐标系中，并基于每一数据点在指定维度的坐标系中各个维度的值得到的。
134.在一种实施方式中，在待识别数据表示骨骼序列的条件下，待识别数据可以表示通过式(1)表示：
135.x＝{p
t,i
|t＝1,
…
t；i＝1,
…
v}
ꢀꢀꢀ
(1)
136.在式(1)中，x表示骨骼序列，t表示骨骼序列对应的帧数，对于多个骨骼序列而言，t还可以用于表示骨骼序列采集时对应的时间，其最大值为t；i表示每一骨骼序列中所包含的节点数，其最大值为v；p
t,i
表示第t帧骨骼序列中第i个节点。其中，v和t均为大于或等于2的整数。
137.在将骨骼序列映射在三维坐标系中的条件下，骨骼节点p
t,i
的位置可以通过式(2)来表示：
138.p
t,i
＝(x
t,i
,y
t,i
,z
t,i
)
t
ꢀꢀꢀ
(2)
139.其中，x
t,i
,y
t,i
,z
t,i
分别用于表示p
t,i
在三维空间的三个坐标轴对应的坐标值。
140.示例性地，上述至少两个维度，可以包括以下维度中的至少两个：距离维度、速度维度以及位置维度。
141.在一种实施方式中，距离维度，可以表示某一骨骼节点相对于其他骨骼节点的距离。在两个骨骼节点之间具备连接关系的条件下，距离维度，可以表示连接两个骨骼节点的骨干的长度。
142.在一种实施方式中，距离维度，可以表示某一骨骼节点相对于指定骨骼节点的距离。
143.示例性地，骨骼节点p
t,i
与骨骼节点p
t,i-1
之间的距离维度的值b
t,i
，可以通过式(3)计算得到。
144.b
t,i
＝p
t,i-p
t,i-1
ꢀꢀꢀ
(3)
145.在式(3)中，骨骼节点p
t,i
与骨骼节点p
t,i-1
之间是具备连接关系的，因此，b
t,i
可以
为连接以上两个骨骼节点的骨干。其中，i为大于1的整数。
146.在一种实施方式中，速度维度，可以表示某一骨骼节点相对于坐标系的原点、在单位时间内距离的改变量。
147.示例性地，骨骼节点p
t,i
的速度维度的值v
t,i
，可以通过式(4)计算得到。
148.v
t,i
＝p
t,i-p
t-1,i
ꢀꢀꢀ
(4)
149.示例性地，v
t,i
可以表示骨骼节点p
t,i
的速度。
150.步骤a2、对第一数据中每一维度的数据分别进行特征提取，得到第二数据。
151.在一种实施方式中，对第一数据中每一维度的数据分别进行特征提取，可以是通过感知机来实现的。其中，感知机可以是多层的。
152.图4为本技术实施例提供的通过多层感知机对第一数据中每一维度的数据进行特征提取的流程示意图。
153.如图4所示，从包含有两个骨骼序列的待识别数据中，分别获取到位置维度、距离维度以及速度维度的数据之后，分别将位置维度、距离维度以及速度维度的数据输入至第一多层感知机、第二多层感知机以及第三多层感知机中。其中，第一多层感知机、第二多层感知机以及第三多层感知机，可以通过非线性函数，对输入的各个维度的数据进行特征提取。
154.示例性地，以上文中的距离维度b
t,i
为例，在第二多层感知机为两层的条件下，第二多层感知机的特征提取过程可以通过式(5)来实现：
[0155][0156]
在式(5)中，w1、w2分别用于表示第二多层感知机的第一层特征提取层的权重、第二层特征提取层的权重，σ()用于表示激活函数，该激活函数通常为非线性函数；用于表示第二多层感知机对b
t,i
特征提取的结果。
[0157]
由于通过以上多个多层感知机对各个维度的数据进行特征提取的过程，相当于对各个维度的数据特征进行进一步提取并量化输出，因此，以上各个多层感知机的特征提取过程，也可以称为对各个维度的数据进行特征编码的过程。
[0158]
示例性地，以上多个多层感知机对各个维度的数据进行特征提取的结果，可以分别记录为位置特征、距离特征以及速度特征。
[0159]
在一种实施方式中，第二数据，可以包含每一维度的数据分别进行特征提取的结果。如图4所示，第二数据，可以包含位置特征、距离特征以及速度特征。
[0160]
对多个维度数据的特征提取处理，可以充分利用各个维度特征所携带的有效信息，从而为后续的姿态类型识别过程中获取更丰富的依赖关系和内在联系奠定了基础，有利于削弱待识别数据中噪声干扰引起的数据漂移。如此，当待识别数据的任一维度中携带有大量噪声或干扰时，仍然可以通过其他维度获取待识别数据的特征信息，也就是说，通过对待识别数据的不同维度的特征提取，使得每一维度的特征提取结果可以互为补充相互校准，可以吸收削弱扰动和干扰的影响。
[0161]
步骤a3、基于第二数据，得到第一级图卷积数据。
[0162]
示例性地，第一级图卷积数据，可以是对第二数据中的各个维度的特征数据进行
融合而得到的。
[0163]
在一种实施方式中，第一级图卷积数据，可以是通过特征聚合的方式对第二数据进行处理而得到的。
[0164]
示例性地，特征聚合，可以是通过已经训练好的特征训练模型来实现的。
[0165]
在一种实施方式中，第一级图卷积数据，可以是使用均值法对第二数据中的每一特征数据进行融合而得到的。示例性地，均值法，可以是将三个维度的特征信息进行平均组合。
[0166]
在一种实施方式中，第一级图卷积数据，可以是通过联结法对第二数据中的每一特征数据进行融合而得到的。示例性地，联结法，可是将以上三个维度的特征信息首尾相连的组合在一起。
[0167]
通过上述操作，将提取到的各个维度的特征信息聚合在一起后，得到的第一级图卷积数据，携带的特征信息更加全面。
[0168]
步骤303、对第一级图卷积数据中的至少两个特征序列，进行第一级三维图卷积处理，得到第一级三维卷积结果。
[0169]
其中，第一级三维卷积结果，包括第一级图卷积数据中的局部特征信息。
[0170]
示例性地，步骤303可以通过步骤b1-步骤b4来实现：
[0171]
步骤b1、确定滑动窗口。
[0172]
在一种实施方式中，滑动窗口，可以表示与时间维度对应的长度信息。相应地，滑动窗口，可以表示5秒钟的时间窗。
[0173]
在一种实施方式中，滑动窗口，可以表示对数据选择的数量信息。相应地，滑动窗口，可以表示一次选择5个数据。
[0174]
在一种实施方式中，滑动窗口，可以根据需要选择的数据的刷新频率进行选择。
[0175]
在一种实施方式中，滑动窗口，可以根据对数据分析的精度进行设置。
[0176]
在一种实施方式中，滑动窗口，可以根据对数据分析的方式的不同而进行调整。
[0177]
步骤b2、基于滑动窗口，从第一级图卷积数据中获取至少两个特征序列。
[0178]
在一种实施方式中，至少两个特征序列，可以表示是通过以下方式获取的：
[0179]
基于滑动窗口，将第一级图卷积数据中的各个特征序列按照指定顺序排列，并从排列结果中选取至少两个特征序列。示例性地，指定顺序，可以表示时间顺序。
[0180]
示例性地，在滑动窗口表示对第一图卷积数据中选取数据的个数的条件下，若滑动窗口取值为τ，则通过一个滑动窗口可以从第一图卷积数据中获取的特征序列的个数可以为τ。其中，τ为大于1的整数。
[0181]
相应地，在每个特征序列中包含的骨骼节点的数量为n的情况下，通过一个滑动窗口τ所获取到的骨骼节点的数量为nτ。
[0182]
步骤b3、基于至少两个特征序列，确定第一级三维数据。
[0183]
其中，第一级三维数据包括至少两个特征序列中的每一节点、以及至少两个特征序列中任意两个节点之间的关联关系。
[0184]
在一种实施方式中，至少两个特征序列中的每一节点，可以是通过第一节点集合的形式体现的。
[0185]
在一种实施方式中，为了便于对至少两个特征序列中的每一节点进行统计，可以
将第一节点集合以矩阵的形式进行汇总，示例性地，可以将第一节点集合记为v
τ
。
[0186]
在一种实施方式中，至少两个特征序列中任意两个节点之间的关联关系，可以表示任意两个节点之间是否具备关联关系。
[0187]
在一种实施方式中，至少两个特征序列中任意两个节点之间的关联关系，可以表示任意两个节点之间关联的强弱。
[0188]
示例性地，骨骼序列可以通过无向图表示，相应地，任意两个骨骼节点之间的关联关系，可以通过任意两个骨骼节点之间是否具备关联关系的方式体现。
[0189]
示例性地，在骨骼节点的数量为nτ的情况下，任意两个骨骼节点之间的关联关系，可以通过nτ
×
nτ的矩阵来表示，该矩阵可以为第一邻接矩阵a
τ,n
，且可以通过式(6)来表示：
[0190][0191]
在式(6)中，a
0,0
用于表示第一个骨骼序列的第0个骨骼节点、与第二个骨骼序列的第0个骨骼节点之间的关联关系；a
0,τ-1
用于表示第一个骨骼序列的第0个骨骼节点、与第二个骨骼序列的第τ-1个节点之间的关联关系；a
n-1,0
用于表示第一个骨骼序列的第n-1个骨骼节点、与第二个骨骼序列的第0个骨骼节点之间的关联关系；a
n-1,τ-1
用于表示第一个骨骼序列的第n-1个骨骼节点、与第二个骨骼序列的第τ-1个骨骼节点之间的关联关系。
[0192]
式(6)所示的第一邻接矩阵a
τ,n
中的每一元素值比如a
0,0
、a
0,τ-1
，可以为0或1，示例性地，若任一元素值为0，表示其所对应的两个骨骼节点之间没有关联关系，即两个骨骼节点之间没有连接；若任一元素的值为1，则表示其所对应的两个骨骼节点之间具备关联关系，即两个骨骼节点之间相互连接。
[0193]
在一种实施方式中，第一级三维数据，可以包括第一节点集v
τ
以及第一邻接矩阵a
τ,n
。
[0194]
在一种实施方式中，第一级三维数据，可以是按照一定的方法对第一节点集v
τ
以及第一边集合e
τ
进行拼接而得到的。
[0195]
示例性地，第一级三维数据，可以记为g
τ
，第一级三维数据可以通过式(7)来表示：
[0196]gτ
＝(v
τ
,e
τ
)
ꢀꢀꢀ
(7)
[0197]
步骤b4、对第一级三维数据进行第一级三维图卷积处理。
[0198]
示例性地，对第一级三维数据进行第一级三维图卷积处理，可以通过式(8)实现：
[0199][0200]
其中，n∈[0,n]为邻居节点范围，a
τ,n
为大小为nτ
×
nτ的第一邻接矩阵；为第一邻接矩阵a
τ,n
对应的度矩阵；为第一级三维图卷积处理的权重矩阵；为第一级三维数据；用于表示能够调整的各个骨骼节点之间的隐含关系语义矩阵，示例性地，
可以根据神经网络识别损失进行反向传播迭代更新的一个参数；为第一级三维图卷积处理的输出数据，即第一级三维卷积结果。其中，n为大于1的整数。
[0201]
通过第一级三维图卷积处理，可以充分提取局部特征信息，通过这些局部特征信息，可以关注到运动细节，有利于准确判断运动类别。
[0202]
需要说明的是，本技术实施例提供的识别方法，是可以通过训练完成的神经网络来实现的，上述各个参数，可以表示该神经网络的参数。
[0203]
步骤304、对第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果。
[0204]
其中，第一级二维卷积结果，包括第一级图卷积数据中各个局部特征信息之间的关联关系。
[0205]
需要说明的是，第一级二维图卷积处理的操作与第一级三维图卷积的操作相似，均为通过式(8)进行的。
[0206]
与第一级三维图卷积处理的过程不同的是，第一级二维图卷积处理的输入数据，为第一级图卷积数据中的任一帧骨骼节点的拓扑图，而不是至少两帧数据。
[0207]
相应地，第一级二维图卷积处理，可以先针对单帧骨骼序列建立拓扑图，并进行二维图卷积操作提取各个节点之间的空间特征。
[0208]
示例性地，在第一级二维图卷积处理之后，还可以对第一级二维图卷积处理的结果进行第一级轻量化卷积操作。
[0209]
示例性地，第一级轻量化卷积操作，可以将普通的卷积分解为多个方向的卷积，并将多个方向的卷积结果进行叠加。图1所示的第一轻量化卷积操作，可以分解为深度方向的卷积与宽度方向的卷积。
[0210]
通过第k级轻量化卷积操作，可以降低神经网络训练过程中需要调整的参数数量，使得神经网络能够实现轻量化，也能够通过较小的计算成本，尽可能多的提取有效信息，进而便于进行神经网络的部署以提高数据的计算效率。
[0211]
并且，通过第一级二维图卷积处理以及第一级轻量化卷积操作，可以提取到待识别数据中的通用特征，也有利于在物联网资源受限场景中的识别设备的部署。
[0212]
步骤305、对第一级三维卷积结果以及第一级二维卷积结果进行融合，得到第一级激活数据。
[0213]
其中，第一级激活数据，表示从第一级图卷积数据中识别得到的特征信息。
[0214]
在一种实施方式中，第一级激活数据，可以是对第一级三维卷积结果以及第一级二维卷积结果进行特征拼接得到的。
[0215]
在一种实施方式中，第一级激活数据，可以是通过对第一级三维卷积结果以及第一级二维卷积结果、进行多个维度的轻量化卷积实现的。
[0216]
图5所示为本技术实施例提供的第k级激活数据获取的流程示意图。
[0217]
示例性地，在图5中，k为大于或等于1的整数，在k为1的条件下，第一级激活数据，通过滑动窗口从第一级图卷积数据中获取至少两个特征序列，并通过前述实施例的过程，对至少两个特征序列进行第一级三维图卷积处理，得到第一级三维卷积结果；同时对第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果；再对第一级二维卷
积结果以及第一级三维卷积结果进行融合处理，得到第一级激活数据。
[0218]
示例性地，第一级激活数据，可以通过式(9)获取。
[0219][0220]
在式(9)中，fn(x,y)表示第一级三维卷积数据以及第一级二维卷积结果进行融合的结果，记为第一级图卷积数据融合结果；ωn,c为对应的第c类姿态的k通道权重；mc(x,y)为第c类姿态的第一激活数据，可以简略记为m
c,s
。其中，c为大于1的整数。
[0221]
图6为本技术实施例提供的第k级激活数据获取以及识别姿态类型的流程示意图。
[0222]
在k为1的条件下，图6所示为第一级激活数据的获取以及姿态类型识别的流程图。
[0223]
在图6中，基于第一级图卷积数据融合结果，可以获取可视化的第一级特征激活图，即得到第一级激活数据，并基于该激活数据识别姿态类型。
[0224]
示例性地，图6所示的基于第一级图卷积数据融合结果以及第一级图卷积数据，得到第一级激活数据之后，还可以得到第一级图卷积数据中的第一级欠激活或第一级未激活数据，具体的，这些第一级欠激活或第一级未激活数据可以通过式(10)来实现：
[0225]
masks＝1-softmax(m
c,s
)
ꢀꢀꢀ
(10)
[0226]
在式(10)中，masks用于表示通过softmax()函数对第一激活数据m
c,s
进行加权计算后，得到的第一级欠激活或第一级未激活数据。
[0227]
步骤306、基于第一级激活数据以及第一级图卷积数据，识别姿态类型。
[0228]
在一种实施方式中，姿态类型，可以是基于第一级激活数据与第一级图卷积数据之间的差距，来确定识别姿态类型的方式，并根据该方式识别姿态类型。
[0229]
示例性地，步骤306可以通过步骤c1-步骤c3来实现：
[0230]
步骤c1、基于第k-1级激活数据以及第k-1级图卷积数据，确定第k级图卷积数据。
[0231]
其中，k为大于1的整数；第k级图卷积数据，包括第k-1级图卷积数据中未被识别的特征序列。
[0232]
示例性地，对于第一级二维图卷积处理和第一级三维图卷积处理中未被识别的特征数据，可以输入至下一级的二维图卷积处理以及下一级的三维图卷积处理中进行处理。
[0233]
示例性地，第k级图卷积数据，可以通过式(11)获取：
[0234][0235]
在式(11)中，用于表示第k-1级图卷积数据；用于表示第k级图卷积数据。在k为0的情况下，用于表示前述实施例中的第一级图卷积数据。
[0236]
步骤c2、基于第k级图卷积数据，得到第k级激活数据。
[0237]
其中，第k级激活数据，表示从第k级图卷积数据中识别得到的特征信息。
[0238]
示例性地，第k级激活数据，可以通过式(9)来实现。
[0239]
示例性地，步骤c2可以通过步骤d1-步骤d3来实现：
[0240]
步骤d1、将第k级图卷积数据中的至少两个特征序列、进行第k级三维图卷积处理，得到第k级三维卷积结果。
[0241]
示例性地，第k级三维图卷积处理，可以通过式(12)来实现：
[0242][0243]
在式(12)中，用于表示第k级三维图卷积处理的输出数据即第k级三维卷积结果；为第k级三维图卷积处理对应的权重矩阵；为第k级三维图卷积处理的输入数据、即第k级图卷积数据对应的第k节点集合对应的矩阵、与第k边集合对应的矩阵的拼接结果。
[0244]
示例性地，可以是首先确定第k级三维数据，再基于第k级三维数据进行第k级三维图卷积处理，得到第k级三维卷积结果。
[0245]
步骤d2、将第k级图卷积数据进行第k级二维图卷积处理，得到第k级二维卷积结果。
[0246]
第k级二维图卷积处理与第一级二维图卷积处理的过程相同，此处不再赘述。
[0247]
步骤d3、基于第k级三维卷积结果以及第k级二维卷积结果，得到第k级激活数据。
[0248]
第k级激活数据的获取过程与第一级激活数据的获取过程相同，此处不再赘述。
[0249]
步骤c3、基于第一级激活数据至第k级激活数据，识别姿态类型。
[0250]
示例性地，本技术实施例提供的识别方法，可以通过多个级别的三维图卷积处理以及多个级别的二维图卷积处理来实现，相应地，可以获得k个三维卷积结果以及k个二维卷积结果，由于这些卷积结果中携带了对待识别数据成功识别的激活数据，因此，基于多个层级的激活数据识别到的姿态类型，能够更加精准地反应出目标对象的实际姿态类型。
[0251]
示例性地，在识别姿态类型时，可以从多个不同姿态类型中选择概率最高的姿态类型作为最终的识别结果。
[0252]
需要说明的是，k的取值范围，可以通过对实现本技术实施例提供的识别方法的神经网络的训练确定。示例性地，k的取值范围可以是[0，k]。k可以是大于1的整数。
[0253]
如上所述，本技术实施例提供的识别方法中，通过多个级别处理获取多个级别的激活数据，从而实现了对待识别数据中每一局部特征的充分激活，以便于在某些骨骼节点被遮挡或网络出现故障时，仍然可以对目标对象的姿态类型进行准确识别。
[0254]
由以上可知，本技术实施例提供的识别方法，获取包括至少两个姿态序列的待识别数据后，对待识别数据进行首次特征提取，得到第一级图卷积数据，从而使得第一图卷积数据所携带的冗余数据或者干扰数据能够减少，为后续的姿态类型识别奠定基础；然后对第一图卷积数据分别进行第一级三维图卷积处理和第一级二维图卷积处理，得到包括待识别数据的局部特征信息的第一级三维卷积结果、以及包含有各个局部特征信息之间关联关系的第一级二维卷积结果，再根据第一级三维卷积结果和第一级二维卷积结果确定第一级激活数据，从而使得第一级激活数据中包含了待识别数据的全面特征；最后基于第一级激活数据以及第一级图卷积数据识别姿态类型，从而使得即使在数据采集设备被遮挡或卡顿的情况下，即待识别数据中并未携带目标对象的完整特征数据，本技术提供的识别方法也能够基于各个局部特征信息、以及局部特征信息之间的关联关系，抵御由于缺失信息带来的风险，对待识别数据进行精准识别，从而实现了能够在更广泛的应用场景中实现姿态类型的高效精准识别。
[0255]
基于前述实施例，本技术实施例提供了一种神经网络的训练方法，图7为本技术实施例提供的第一种神经网络训练方法的流程示意图。
[0256]
该神经网络训练方法，可以通过神经网络训练设备的处理器来实现。上述处理器可以为asic、dsp、dspd、pld、fpga、cpu、控制器、微控制器、微处理器中的至少一种。
[0257]
示例性地，该神经网络可以包括第一网络和第二网络。
[0258]
其中，第一网络用于进行特征提取；第二网络，用于对第一网络的输出数据进行图卷积处理。
[0259]
第二网络，至少包括用于实现第一级三维图卷积处理的第一级三维图卷积网络、以及用于实现第一级二维图卷积处理的第一级二维图卷积网络。
[0260]
在一种实施方式中，第一网络，可以为线性网络或非线性网络。
[0261]
在一种实施方式中，第一网络，可以为感知机。示例性地，该感知机可以是多层的。
[0262]
在一种实施方式中，第二网络中的第一级三维图卷积网络以及第一级三维图卷积网络，可以为能够对图数据进行卷积计算的任一神经网络。
[0263]
图7所示的神经网络训练方法可以包括以下步骤：
[0264]
步骤701、获取包括多个姿态序列的样本数据。
[0265]
其中，姿态序列，包括任一对象的任一姿态的多个节点信息。
[0266]
在一种实施方式中，样本数据，可以包括多种类型的多个对象的姿态序列。
[0267]
在一种实施方式中，样本数据，可以包括某一指定类型的对象的姿态序列。
[0268]
在一种实施方式中，样本数据，可以包括指定类型的对象处于指定状态时的姿态序列。比如第一对象的处于奔跑状态时的姿态序列。
[0269]
在一种实施方式中，样本数据，可以包括任一对象在指定场景下的姿态序列。示例性地，指定场景，可以包括至少一种场景；指定场景，可以包括智能家居、安防监控、教育娱乐等。
[0270]
在一种实施方式中，样本数据，可以是携带有姿态类型标签的数据。通过该标签数据，结合神经网络对样本数据处理之后得到的任一对象的姿态类型，可以对神经网络中的各个参数进行调整。
[0271]
在一种实施方式中，样本数据，可以是存储在数据库中的。
[0272]
步骤702、基于第一网络，对样本数据进行特征提取，得到第一级特征序列。
[0273]
其中，第一级特征序列包括每一姿态序列的特征序列。
[0274]
在一种实施方式中，对样本数据进行特征提取，可以是通过第一网络对样本数据进行线性特征提取。
[0275]
在一种实施方式中，对样本数据进行特征提取，可以是通过第一网络对样本数据进行非线性特征提取。
[0276]
在一种实施方式中，对样本数据进行特征提取，可以是根据样本数据的属性参数确定第一网络的特征提取参数，进而基于该特征提取参数对样本数据进行特征提取。
[0277]
在一种实施方式中，对样本数据进行特征提取，可以是在输入数据为样本数据的条件下，通过前述实施例中的式(5)来实现。
[0278]
步骤703、基于第一级三维图卷积网络，对第一级特征序列中的至少两个特征序列，进行第一级三维图卷积处理，得到第一级三维结果。
[0279]
其中，第一级三维结果，包括第一级特征序列中的局部特征信息。
[0280]
示例性地，第一级三维结果的得到过程，与第一级三维卷积结果的得到过程相同，此处不再赘述。
[0281]
步骤704、基于第一级二维图卷积网络，对第一级特征序列进行第一级二维图卷积处理，得到第一级二维结果。
[0282]
其中，第一级二维结果，包括第一特征序列中各个局部特征信息之间的关联关系。
[0283]
需要说明的是，步骤703与步骤704可以同时执行，顺序也可以先后调整，本技术实施例对此不做限定。
[0284]
步骤705、基于第一级特征序列、第一级三维结果以及第一级二维结果，识别任一对象的姿态类型。
[0285]
步骤706、基于姿态类型，对第一网络、第二网络进行训练，得到训练完成的神经网络。
[0286]
如此，本技术实施例所提供的神经网络训练方法中，首先通过第一网络获取样本数据中每一姿态序列对应的第一级特征序列，再对第一级特征序列中的至少两个特征序列进行第一级三维图卷积处理、以得到包含第一级图卷积数据中局部特征信息的第一级三维结果，对第一级特征序列进行第一级二维图卷积处理，得到第一级二维结果，然后基于第一级特征序列、第一级三维结果以及第一级二维结果，识别任一对象的姿态类型，再根据该姿态类型对第一网络以及第二网络进行训练，得到训练完成的神经网络。
[0287]
由以上可知，本技术实施例所提供的神经网络训练方法中，第一级三维结果中携带有第一级特征序列中的局部特征信息、第一级二维结果中携带有第一级特征序列中各个局部特征信息之间的关联关系，在此基础上，通过第一级三维结果以及第一级二维结果的结合，就可以获取到样本数据所携带的建立有关联关系的各个局部特征信息的集合，即实现了对样本数据所携带的特征的各个维度的识别，构建了对样本数据的更深层次的特征识别过程，因此，即使在数据采集设备被遮挡或卡顿的情况下，即待识别数据中并未携带目标对象的完整特征数据，通过本技术提供的神经网络训练方法得到的神经网络，也能够基于各个局部特征信息、以及局部特征信息之间的关联关系，对待识别数据进行精准识别，抵御由于缺失信息带来的风险，从而实现了能够在更广泛的应用场景中实现姿态类型的高效精准识别。
[0288]
基于前述实施例，本技术实施例提供了第二种神经网络的训练方法，图8为本技术实施例提供的第二种神经网络训练方法的流程示意图。
[0289]
该神经网络包括第一网络和第二网络。其中，第一网络用于进行特征提取；第二网络，用于对第一网络的输出数据进行图卷积处理；第二网络，至少包括用于实现第一级三维图卷积处理的第一级三维图卷积网络、以及用于实现第一级二维图卷积处理的第一级二维图卷积网络。
[0290]
该神经网络训练方法的流程示意图可以包括以下步骤：
[0291]
步骤801、获取包括多个姿态序列的样本数据。
[0292]
其中，姿态序列，包括任一对象的任一姿态的多个节点信息。
[0293]
步骤802、基于第一网络，对样本数据进行特征提取，得到第一级特征序列。
[0294]
其中，第一级特征序列包括每一姿态序列的特征序列。
[0295]
示例性地，步骤802，可以通过步骤e1-e3来实现：
[0296]
步骤e1、从样本数据中获取第三数据。
[0297]
其中，第三数据，表示与样本数据对应的至少两个维度的数据。
[0298]
示例性地，第三数据的获取方式，与前述实施例中第一数据的获取方式相同，即可以通过式(1)-式(3)对样本数据进行处理得到。
[0299]
步骤e2、基于第一网络，对第三数据中每一维度的数据分别进行特征提取，得到第四数据。
[0300]
示例性地，第四数据的得到方式，与前述实施例中第二数据的获取方式相同，即可以通过式(5)以及图4所示的方式，依次对样本数据以及第三数据进行处理得到。
[0301]
步骤e3、基于第一网络，对第四数据进行处理，得到第一级特征序列。
[0302]
示例性地，第一级特征序列的得到过程，与前述实施例中第一级图卷积数据的得到过程相同，此处不再赘述。
[0303]
步骤803、基于第一级三维图卷积网络，对第一级特征序列中的至少两个特征序列，进行第一级三维图卷积处理，得到第一级三维结果。
[0304]
其中，第一级三维结果，包括第一级特征序列中的局部特征信息。
[0305]
示例性地，步骤803，可以通过步骤f1-步骤f4来实现：
[0306]
步骤f1、确定滑动窗口。
[0307]
步骤f2、基于滑动窗口，从第一级特征序列中获取至少两个特征序列。
[0308]
示例性地，基于滑动窗口，从第一级特征序列中获取至少两个特征序列，可以采用与前述实施例中步骤b2相同的方法实现，此处不再赘述。
[0309]
步骤f3、基于至少两个特征序列，确定第一级三维矩阵。
[0310]
其中，第一级三维矩阵，包括至少两个特征序列中的每一节点、以及至少两个特征序列中任意两个节点之间的关联关系。
[0311]
示例性地，第一级三维矩阵的确定过程，可以通过与前述实施例的第一级三维数据的确定过程相同，即通过式(6)-(7)对第一级特征序列中的至少两个特征序列进行处理。
[0312]
步骤f4、基于第一级三维图卷积网络，对第一级三维矩阵进行第一级三维图卷积处理。
[0313]
示例性地，第一级三维图卷积处理，可以通过前述实施例的第一级三维图卷积处理相同的过程对第一级三维矩阵处理，即通过式(8)对第一级三维矩阵进行处理。
[0314]
步骤804、基于第一级二维图卷积网络，对第一级特征序列进行第一级二维图卷积处理，得到第一级二维结果。
[0315]
其中，第一级二维结果，包括第一特征序列中各个局部特征信息之间的关联关系。
[0316]
需要说明的是，步骤803与步骤804可以同时执行，也可以先后颠倒，本技术实施例对此不做限定。
[0317]
步骤805、对第一级三维结果以及第一级二维结果进行融合，得到第一级识别结果。
[0318]
示例性地，第一级识别结果的获取过程，可以与第一级激活数据的获取过程相同。
[0319]
步骤806、基于第一级特征序列以及第一级识别结果，识别任一对象的姿态类型。
[0320]
示例性地，第二网络，还包括用于实现第k级三维图卷积处理的第k级三维图卷积
网络、以及用于实现第k级二维图卷积处理的第k级二维图卷积网络；其中，k为大于1的整数。
[0321]
步骤806，可以通过步骤g1-步骤g3来实现：
[0322]
步骤g1、基于第k-1级识别结果以及第k-1级特征序列，确定第k级特征序列。
[0323]
其中，第k级特征序列，包括第k-1级特征序列中未被识别的特征序列。
[0324]
示例性地，第k级特征序列，可以通过与前述实施例的第k级卷积数据相同的方法确定。
[0325]
步骤g2、通过第k级三维图卷积网络以及第k级二维图卷积网络，对第k级特征序列进行处理，得到第k级识别结果。
[0326]
其中，第k级识别结果，表示从第k级特征序列中识别得到的特征信息。
[0327]
示例性地，步骤g2可以通过步骤h1-步骤h3来实现：
[0328]
步骤h1、基于第k级三维图卷积网络，对第k级特征序列中的至少两个特征序列，进行第k级三维图卷积处理，得到第k级三维卷积结果。
[0329]
示例性地，第k级三维卷积结果，可以通过前述实施例所提供的第k级三维图卷积处理所示的方法，对第k级特征序列中的至少两个特征序列进行处理得到，即通过式(12)对第k级特征序列中的至少两个特征序列进行处理得到。
[0330]
步骤h2、基于第k级二维图卷积网络，对第k级特征序列进行第k级二维图卷积处理，得到第k级二维卷积结果。
[0331]
示例性地，第k级二维卷积结果与前述实施例所提供的第k级二维卷积结果的得到过程相同，此处不再赘述。
[0332]
步骤h3、基于第k级二维卷积结果以及第k级三维卷积结果，得到第k级识别结果。
[0333]
示例性的，第k级识别结果，可以与前述实施例提供的第k级激活数据的得到过程相同，此处不再赘述。
[0334]
步骤g3、基于第一级识别结果至第k级识别结果，识别任一对象的姿态类型。
[0335]
步骤807、基于姿态类型，对第一网络、第二网络进行训练，得到训练完成的神经网络。
[0336]
示例性地，步骤807，可以通过步骤j1-步骤j3来实现：
[0337]
步骤j1、获取误差阈值以及预期识别结果。
[0338]
在一种实施方式中，误差阈值，可以是预先设置的。
[0339]
在一种实施方式中，误差阈值，可以是根据样本数据的类型不同而改变的。
[0340]
在一种实施方式中，误差阈值，可以是根据样本数据对应的应用场景的不同而调整的。
[0341]
在一种实施方式中，误差阈值，可以是根据任一对象的类型而调整的。
[0342]
在一种实施方式中，预期识别结果，可以表示样本数据对应的真实姿态类型。
[0343]
在一种实施方式中，预期识别结果，可以是从样本数据所携带的标签数据中获取到的。
[0344]
步骤j2、基于第一级识别结果至第k级识别结果、以及预期识别结果，确定识别误差。
[0345]
在一种实施方式中，识别误差，可以是通过以下方式实现的：
[0346]
通过第一级识别结果至第k级识别结果，确定神经网络识别结果；
[0347]
根据神经网络识别结果与预期识别结果，确定识别误差。
[0348]
示例性地，神经网络识别结果，可以是将第一级识别结果至第k级识别结果进行加权叠加的方式得到的。
[0349]
在一种实施方式中，识别误差，可以是通过神经网络的识别损失值来衡量的。
[0350]
示例性地，神经网络的识别损失值，可以是通过式(13)所示的损失函数来确定的：
[0351][0352]
在式(13)中，用于表示神经网络识别结果；pk用于表示预期识别结果；l
loss
用于表示神经网络的识别损失值。
[0353]
步骤j3、基于所示误差阈值以及识别误差，通过反向传播算法，对第一网络以及第二网络进行训练，得到训练完成的神经网络。
[0354]
在一种实施方式中，在识别误差小于或等于误差阈值的情况下，表示神经网络的训练结果，已经可以对任一对象的姿态信息的高效识别，此时可以停止对神经网络的训练。
[0355]
在一种实施方式中，在识别误差大于误差阈值的情况下，则可以通过反向传播算法，对第一网络以及第二网络进行训练，以得到训练完成的神经网络。
[0356]
示例性地，上述对神经网络的训练过程，可以是从样本数据中随机选择任一样本数据进行的，并重复执行上述神经网络的训练过程，直至识别误差小于或等于误差阈值为止，此时确定的k即为神经网络中最终确定的三维图卷积网络以及二维图卷积网络的级数k。
[0357]
由以上可知，本技术实施例提供的神经网络训练方法，获取包括至少两个姿态序列的样本数据后，对样本数据进行首次特征提取，得到第一级特征序列，从而使得第一级特征序列所携带的冗余数据或者干扰数据能够减少，为后续的姿态类型识别奠定基础；然后对第一级特征序列分别进行第一级三维图卷积处理和第一级二维图卷积处理，得到包括待识别数据的局部特征信息的第一级三维结果、以及包含有各个局部特征信息之间关联关系的第一级二维结果，再根据第一级三维结果和第一级二维结果确定第一级识别结果，从而使得第一级识别结果中包含了样本数据的全面特征；最后基于第一级识别结果以及第一级特征序列识别姿态类型，从而使得即使在数据采集设备被遮挡或卡顿的情况下，即待识别数据中并未携带目标对象的完整特征数据，通过本技术提供的神经网络训练方法所得到的神经网络，也能够基于各个局部特征信息、以及局部特征信息之间的关联关系，对待识别数据进行精准识别，从而实现了能够在更广泛的应用场景中实现姿态类型的高效精准识别。
[0358]
基于前述实施例，本技术实施例提供了一种识别装置9，图9为本技术实施例提供的识别装置9的结构示意图。
[0359]
该识别装置9包括第一获取模块901、第一处理模块902以及第一识别模块903。其中：
[0360]
第一获取模块901，用于获取包括至少两个姿态序列的待识别数据；其中，姿态序列包括目标对象任一姿态的多个节点信息；
[0361]
第一处理模块902，用于对待识别数据进行特征提取，得到第一级图卷积数据；对
第一级图卷积数据中的至少两个特征序列，进行第一级三维图卷积处理，得到第一级三维卷积结果；对第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果；其中，第一级图卷积数据包括每一姿态序列的特征序列；第一级三维卷积结果，包括第一级图卷积数据中的局部特征信息；第一级二维卷积结果，包括第一级图卷积数据中各个局部特征信息之间的关联关系；
[0362]
第一识别模块903，用于基于第一级图卷积数据、第一级三维卷积结果以及第一级二维卷积结果，识别目标对象的姿态类型。
[0363]
在一些实施方式中，第一处理模块902，用于对第一级三维卷积结果以及第一级二维卷积结果进行融合，得到第一级激活数据；基于第一级激活数据以及第一级图卷积数据，识别姿态类型；其中，第一级激活数据，表示从第一级图卷积数据中识别得到的特征信息。
[0364]
在一些实施方式中，第一处理模块902，用于基于第k-1级激活数据以及第k-1级图卷积数据，确定第k级图卷积数据；其中，k为大于1的整数；基于第k级图卷积数据，得到第k级激活数据；第k级图卷积数据，包括第k-1级图卷积数据中未被识别的特征序列；其中，第k级激活数据，表示从第k级图卷积数据中识别得到的特征信息。
[0365]
第一识别模块903，用于基于第一级激活数据至第k级激活数据，识别姿态类型；
[0366]
在一些实施方式中，第一处理模块902，用于将第k级图卷积数据中的至少两个特征序列、进行第k级三维图卷积处理，得到第k级三维卷积结果；将第k级图卷积数据进行第k级二维图卷积处理，得到第k级二维卷积结果；基于第k级三维卷积结果以及第k级二维卷积结果，得到第k级激活数据。
[0367]
在一些实施方式中，第一处理模块902，用于确定滑动窗口；基于滑动窗口，从第一级图卷积数据中获取至少两个特征序列；基于至少两个特征序列，确定第一级三维数据；对第一级三维数据进行第一级三维图卷积处理；其中，第一级三维数据包括至少两个特征序列中的每一节点、以及至少两个特征序列中任意两个节点之间的关联关系。
[0368]
在一些实施方式中，第一处理模块902，用于从待识别数据中获取第一数据；对第一数据中每一维度的数据分别进行特征提取，得到第二数据；基于第二数据，得到第一级图卷积数据；其中，第一数据，表示与待识别数据对应的至少两个维度的数据。
[0369]
在一些实施方式中，至少两个维度，包括以下维度中的至少两个：距离维度、速度维度、位置维度。
[0370]
由以上可知，本技术实施例所提供的识别装置所得到的第一级三维图卷积结果中，携带有第一级图卷积数据中的局部特征信息、第一级二维图卷积结果中，携带有第一级图卷积数据中各个局部特征信息之间的关联关系，在此基础上，通过第一级三维卷积结果以及第一级二维卷积结果的结合，就可以获取到待识别数据所携带的建立有关联关系的各个局部特征信息的集合，即实现了对待识别数据所携带的特征的各个维度的识别，构建了对待识别数据的更深层次的特征识别过程，如此，即使在数据采集设备被遮挡或卡顿的情况下，即待识别数据中并未携带目标对象的完整特征数据，本技术提供的识别装置也能够基于各个局部特征信息、以及局部特征信息之间的关联关系，对待识别数据进行精准识别，从而实现了能够在更广泛的应用场景中实现姿态类型的高效精准识别。
[0371]
基于前述实施例，本技术实施例提供了一种神经网络训练装置10。图10为本技术实施例提供的神经网络训练装置10的结构示意图。
[0372]
神经网络包括第一网络和第二网络；其中，第一网络用于进行特征提取；第二网络，用于对第一网络的输出数据进行图卷积处理；第二网络，至少包括用于实现第一级三维图卷积处理的第一级三维图卷积网络、以及用于实现第一级二维图卷积处理的第一级二维图卷积网络；神经网络训练装置10包括第二获取模块1001、第二处理模块1002以及第二识别模块1003；其中：
[0373]
第二获取模块1001，用于获取包括多个姿态序列的样本数据；其中，姿态序列，包括任一对象的任一姿态的多个节点信息；
[0374]
第二处理模块1002，用于基于第一网络，对样本数据进行特征提取，得到第一级特征序列；基于第一级三维图卷积网络，对第一级特征序列中的至少两个特征序列，进行第一级三维图卷积处理，得到第一级三维结果；基于第一级二维图卷积网络，对第一级特征序列进行第一级二维图卷积处理，得到第一级二维结果；其中，第一级特征序列包括每一姿态序列的特征序列；第一级三维结果，包括第一级特征序列中的局部特征信息；第一级二维结果，包括第一特征序列中各个局部特征信息之间的关联关系；
[0375]
第二识别模块1003，用于基于第一级特征序列、第一级三维结果以及第一级二维结果，识别任一对象的姿态类型；
[0376]
第二处理模块1002，还用于基于姿态类型，对第一网络、第二网络进行训练，得到训练完成的神经网络。
[0377]
在一些实施方式中，第二处理模块1002，用于对第一级三维结果以及第一级二维结果进行融合，得到第一级识别结果；基于第一级特征序列以及第一级识别结果，识别任一对象的姿态类型。
[0378]
在一些实施方式中，第二网络，还包括用于实现第k级三维图卷积处理的第k级三维图卷积网络、以及用于实现第k级二维图卷积处理的第k级二维图卷积网络；其中，k为大于1的整数；
[0379]
第二处理模块1002，用于基于第k-1级识别结果以及第k-1级特征序列，确定第k级特征序列；通过第k级三维图卷积网络以及第k级二维图卷积网络，对第k级特征序列进行处理，得到第k级识别结果；基于第一级识别结果至第k级识别结果，识别任一对象的姿态类型；第k级特征序列，包括第k-1级特征序列中未被识别的特征序列；其中，第k级识别结果，表示从第k级特征序列中识别得到的特征信息。
[0380]
在一些实施方式中，第二处理模块1002，用于基于第k级三维图卷积网络，对第k级特征序列中的至少两个特征序列，进行第k级三维图卷积处理，得到第k级三维卷积结果；
[0381]
第二处理模块1002，还用于基于第k级二维图卷积网络，对第k级特征序列进行第k级二维图卷积处理，得到第k级二维卷积结果；基于第k级二维卷积结果以及第k级三维卷积结果，得到第k级识别结果。
[0382]
在一些实施方式中，第一获取模块1001，用于获取误差阈值以及预期识别结果；
[0383]
第二处理模块1002，用于基于第一级识别结果至第k级识别结果、以及预期识别结果，确定识别误差；基于所示误差阈值以及识别误差，通过反向传播算法，对第一网络以及第二网络进行训练，得到训练完成的神经网络。
[0384]
在一些实施方式中，第一获取模块1001，用于确定滑动窗口；
[0385]
第二处理模块1002，用于基于滑动窗口，从第一级特征序列中获取至少两个特征
序列；基于至少两个特征序列，确定第一级三维矩阵；其中，第一级三维矩阵，包括至少两个特征序列中的每一节点、以及至少两个特征序列中任意两个节点之间的关联关系；
[0386]
第二处理模块1002，还用于基于第一级三维图卷积网络，对第一级三维矩阵进行第一级三维图卷积处理。
[0387]
在一些实施方式中，第一获取模块1001，用于从样本数据中获取第三数据；其中，第三数据，表示与样本数据对应的至少两个维度的数据；
[0388]
第二处理模块1002，用于基于第一网络，对第三数据中每一维度的数据分别进行特征提取，得到第四数据；基于第一网络，对第四数据进行处理，得到第一级特征序列。
[0389]
由以上可知，本技术实施例所提供的神经网络训练装置得到的第一级三维结果中、携带有第一级特征序列中的局部特征信息；第一级二维结果中携带有第一级特征序列中各个局部特征信息之间的关联关系，在此基础上，通过第一级三维结果以及第一级二维结果的结合，就可以获取到样本数据所携带的建立有关联关系的各个局部特征信息的集合，即实现了对样本数据所携带的特征的各个维度的识别，构建了对样本数据的更深层次的特征识别过程，即使在数据采集设备被遮挡或卡顿的情况下，即待识别数据中并未携带目标对象的完整特征数据，通过本技术提供的神经网络训练装置训练得到的神经网络，也能够基于各个局部特征信息、以及局部特征信息之间的关联关系，对待识别数据进行精准识别，从而实现了能够在更广泛的应用场景中实现姿态类型的高效精准识别。
[0390]
基于前述实施例，本技术实施例提供了一种基于骨骼序列的行为识别系统11，图11为本技术实施例提供的行为识别系统11的结构示意图。如图11所示该行为识别系统11可以包括识别装置9以及神经网络训练装置10，其中：
[0391]
在图11中，识别装置9，可以基于神经网络训练装置10训练得到的神经网络，对各种骨骼序列进行状态识别。
[0392]
其中，识别装置9所处理的各种骨骼序列，可以通过毫米波雷达、普通摄像头采集得到的姿态数据、红外摄像头采集到的数据进行处理得到。示例性地，红外摄像头或普通摄像头可以配置openpose等用于实现目标对象的姿态估算。
[0393]
对骨骼序列的处理，通过泛化图卷积行为识别模块来实现。
[0394]
示例性，图11中的泛化图卷积行为识别模块，可以包括如前任一实施例的第一级至第k级三维图卷积网络、以及第一级至第k级二维图卷积网络。
[0395]
通过泛化图卷积行为识别模块对骨骼序列进行处理，可以得到第一级至第k级激活数据，并基于第一级至第k级激活数据进行识别，得到姿态类型。
[0396]
在得到姿态类型之后，还可以通过显示装置将姿态类型输入至显示装置，以更加直观的方式显示出识别装置9的识别结果。
[0397]
在图11中，识别装置9中对骨骼序列识别所采用的神经网络，是通过图11中的神经网络训练装置11，基于样本数据训练得到的。
[0398]
在图11所示的神经网络训练装置10中，首先进行输入信息编码，该操作可以通过如前任一实施例的第一网络，对输入的样本数据进行特征提取，示例性地，可以通过多层感知机对样本数据进行特征提取，从而得到第一级特征序列。
[0399]
然后执行第一级泛化图卷积。示例性地，第一级泛化图卷积操作，可以通过如前述实施例的第一级三维图卷积网络以及第一级二维图卷积网络，对第一级特征序列进行处理
来实现。
[0400]
其次，执行第一级激活映射操作。示例性地，经过第一级泛化图卷积操作之后，可以得到第一级三维结果以及第一级二维结果，并基于第一级三维结果以及第一级二维结果得到第一级识别结果。
[0401]
示例性地，第二级泛化图卷积操作，在将第一级识别结果以及第一级特征序列进行第一级激活映射之后，即可得到未被第一级泛化图卷积识别的骨骼特征；并将未被第一级泛化图卷积识别的骨骼特征进行与第二级泛化图卷积操作。
[0402]
示例性地，第二级泛化图卷积操作，可以是通过如前述实施例的第二级三维图卷积网络以及第二级二维图卷积网络，对未被第一级泛化图卷积识别的骨骼特征进行处理来实现。
[0403]
示例性地，第二级激活映射操作，可以是在对未被第一级泛化图卷积识别的骨骼特征进行第二级泛化图卷积得到第二级识别结果后执行的。通过第二级激活映射操作，可以得到未被第二级泛化图卷积识别的骨骼特征，并将未被第二级泛化图卷积识别的骨骼特征进行第k级泛化图卷积，得到第k级识别结果。
[0404]
随后，通过骨骼特征获取预测行为概率，示例性地，根据第一级至第k级识别结果中所携带的骨骼特征，可以获取预测行为概率。
[0405]
计算神经网络的损失值。示例性地，神经网络的损失值可以基于预测行为概率与真实行为计算得到。
[0406]
然后，采用反向传播算法更新网络参数。示例性地，更新的网络参数包括如前的第一网络以及第二网络的任一网络参数，也可以是对指定的某一网络或某一子网络的参数更新。
[0407]
最后，基于随机样本，重复执行上述步骤，直至训练结束。示例性地，训练结束，可以是通过识别误差与误差阈值来确定的。
[0408]
如此，本技术实施例所提供的基于骨骼序列的行为识别系统11，能够在基于随机样本训练得到的神经网络的基础上，对骨骼序列识别时，分别提取到骨骼序列对应的局部特征、以及各个局部特征之间的关联关系，因此，即使骨骼数据被部分遮挡、或数据采集装置出现卡顿时，也能准确的根据局部特征、各个局部特征之间的关联关系对骨骼序列对应的姿态类型进行准确识别，从而使得基于骨骼序列的姿态类型识别得到了泛化。
[0409]
基于前述实施例，本技术实施例提供了一种电子设备12，图12为本技术实施例提供的电子设备12的结构示意图。
[0410]
如图12所示，该电子设备12可以包括处理器1201和存储器1202以及通信总线，其中：
[0411]
通信总线用于实现处理器1201与存储器1202之间的通信连接；处理器1201用于执行存储器1202中存储的计算机程序，以实现如前任一实施例的识别方法、或如前任一实施例的神经网络训练方法。
[0412]
其中，上述处理器1201可以为特定用途集成电路asic、dsp、dspd、pld、fpga、cpu、控制器、微控制器、微处理器中的至少一种。可以理解地，用于实现上述处理器功能的电子器件还可以为其它，本发明实施例不作具体限定。
[0413]
上述存储器1202，可以是易失性存储器(volatile memory)，例如ram；或者非易失
性存储器(non-volatile memory)，例如rom，快闪存储器(flash memory，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
[0414]
在一些实施例中，本技术实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0415]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
[0416]
本技术所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
[0417]
本技术所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
[0418]
本技术所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
[0419]
需要说明的是，上述计算机可读存储介质可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
[0420]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0421]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0422]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所描述的方法。
[0423]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0424]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0425]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0426]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。