动作识别方法、装置及存储介质与流程

1.本发明实施例涉及计算机及互联网技术领域，尤其涉及一种动作识别方法、装置及存储介质。


背景技术：

2.传统的动作识别方法利用vgg(visual geometry group network)模型，采用连续几个卷积核来代替较大的卷积核进行动作识别。该模型在具有相同感知视野的前提下增加网络的深度，证明了增加网络深度能够在一定程度上影响网络的性能，提升了网络的效果，但是该模型使用了更多的参数，耗费了更多的计算资源。另一种动作识别方法利用googlenet模型将全连接变成稀疏连接，在增加网络深度和宽度的同时，在一定程度上减少了网络的参数，但是随着网络层数的增加，网络会发生退化现象，进而导致识别不准确。所以相关技术中存在，计算资源占用较多，识别精度差的问题。


技术实现要素：

3.本发明实施例提供的一种动作识别方法、装置及存储介质，可以减少计算资源的占用，同时也提高了识别精度。
4.本发明的技术方案是这样实现的：
5.本发明实施例提供了一种动作识别方法，包括：
6.对所获取的待测视频数据进行处理，得到多个特征矩阵；所述多个特征矩阵是对预定时间段内包含目标对象的多个视频帧进行处理得到的；
7.利用时序特征提取网络模型对所述多个特征矩阵进行处理，得到对应所述多个特征矩阵的多个时序动作特征矩阵；其中，所述时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；所述前序特征矩阵包括：所述网络层对应的网络块输入的特征矩阵，及排序在所述网络层前面的前序网络层输出的所述特征矩阵；
8.通过所述多个时序动作特征矩阵，确定出所述多个视频帧中的所述目标对象的动作识别结果。
9.上述方案中，利用时序特征提取网络模型对多个特征矩阵进行处理，得到对应多个特征矩阵的多个时序动作特征矩阵，包括：
10.利用第1个网络块中的每个网络层对多个特征矩阵，及前序网络层输出的特征矩阵进行融合重用和分组处理，得到第1个网络块输出的第1组时序特征矩阵，供第2网络块进行处理；
11.直至利用第m个网络块中的每个网络层对第m-1组时序特征矩阵，及前序网络层输出的特征矩阵进行融合重用和分组处理，得到多个时序动作特征矩阵；时序特征提取网络模型中包括：m个网络块；m为大于等于2的正整数；第m-1组时序特征矩阵是第m-1个网络块输出的特征矩阵。
12.上述方案中，直至利用第m个网络块中的每个网络层对第m-1组时序特征矩阵，及
前序网络层输出的特征矩阵进行融合重用和分组处理，得到多个时序动作特征矩阵，包括：
13.利用第1个网络层对第m-1组时序特征矩阵进行分组卷积处理，得到第1组特征矩阵，将第1组特征矩阵进行降维后，与第m-1组时序特征矩阵融合，得到第1组中间特征矩阵，供第2网络层进行处理；
14.利用第i个网络层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，将第i组特征矩阵进行降维后，与第m-1组时序特征矩阵，及前i-1组中间特征矩阵融合，得到第i组中间特征矩阵，供第i+1个网络层进行处理；前i-1组中间特征矩阵是前i-1个网络层分别输出的特征矩阵；前序网络层包括：前i-1个网络层；i为大于1小于n的整数；
15.直至利用第n个网络层对第n-1组中间特征矩阵进行分组卷积处理，得到多个时序动作特征矩阵；第n-1组中间特征矩阵是第n-1个网络层输出的特征矩阵；第m个网络块中包括：n个网络层；n为大于等于2的正整数。
16.上述方案中，利用第i个网络层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，将第i组特征矩阵进行降维后，与第m-1组时序特征矩阵，及前i-1组中间特征矩阵融合，得到第i组中间特征矩阵，包括：
17.利用第i个网络层中的各个卷积层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵；
18.计算第m-1组时序特征矩阵及前i-1组中间特征矩阵组合后的矩阵，将矩阵与预定系数相乘后的得到目标矩阵；
19.对第i组特征矩阵按照第i+1网络层输入通道个数的一半进行降维后，与目标矩阵融合得到第i组中间特征矩阵。
20.上述方案中，各个卷积层包括：第1卷积层、第2卷积层和第3卷积层；
21.利用第i个网络层中的各个卷积层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，包括：
22.利用第1卷积层对第i-1组中间特征矩阵进行处理，得到多个第i待分组矩阵；
23.将多个第i待分组矩阵分为多个第i组矩阵，利用第2卷积层分别对多个第i组矩阵中的每组矩阵进行处理，得到对应每组矩阵的第i待融合特征矩阵；
24.将多个第i待融合特征矩阵进行融合后，利用第3卷积层进行处理，得到第i组特征矩阵。
25.上述方案中，通过多个时序动作特征矩阵，确定出多个视频帧中的目标对象的动作识别结果，包括：
26.对多个时序动作特征矩阵进行池化和降维处理，得到多个中间时序特征矩阵；
27.利用预设网络模型对多个中间时序特征矩阵进行处理，得到最终时序特征矩阵；
28.利用预设函数对最终时序特征矩阵，进行处理得到多个概率值；
29.在匹配数据库中根据多个概率值中的最大概率值的位次，确定出动作识别结果；匹配数据库预存有多个概率值的位次与对应的动作识别结果之间的映射信息。
30.上述方案中，对所获取的待测视频数据进行处理，得到多个特征矩阵，包括：
31.在获取的待测视频数据中，按照时序特征提取出包含目标对象的多个视频帧；
32.根据多个视频帧中的每个像素点对应预定色值空间的色值，确定出多个色值矩阵；
33.对多个色值矩阵进行归一化、卷积和池化处理得到多个特征矩阵。
34.本发明实施例中还提供了一种动作识别装置，包括：
35.处理单元，用于对所获取的待测视频数据进行处理，得到多个特征矩阵；所述多个特征矩阵是对预定时间段内的包含目标对象的多个视频帧进行处理得到的；
36.所述处理单元，还用于利用时序特征提取网络模型对所述多个特征矩阵进行处理，得到对应所述多个特征矩阵的多个时序动作特征矩阵；其中，所述时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；所述前序特征矩阵包括：所述网络层对应的网络块输入的特征矩阵，及排序在所述网络层前面的前序网络层输出的特征矩阵；
37.确定单元，用于通过所述多个时序特征矩阵，确定出所述多个视频帧中的所述目标对象的动作识别结果。
38.本发明实施例还提供了一种动作识别装置，包括存储器和处理器，存储器存储有可在处理器上运行的计算机程序，处理器执行程序时实现上述方法中的步骤。
39.本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。
40.本发明实施例中，通过对所获取的待测视频数据进行处理，得到多个特征矩阵；多个特征矩阵是对预定时间段内包含目标对象的多个视频帧进行处理得到的；利用时序特征提取网络模型对多个特征矩阵进行处理，得到对应多个特征矩阵的多个时序动作特征矩阵；其中，时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；前序特征矩阵包括：网络层对应的网络块输入的特征矩阵，及排序在网络层前面的前序网络层输出的特征矩阵；通过多个时序动作特征矩阵，确定出多个视频帧中的目标对象的动作识别结果。由于网络层对所属网络块中的前序特征矩阵进行融合重用，进而极大地利用了特征之间的传递，使得更多的细节信息不会丢失，避免了网络退化出现，进而提高了识别精度。又由于网络层对特征矩阵进行分组处理进而减少计算资源的占用，所以本方案可以减少计算资源的占用，同时也提高了识别精度。
附图说明
41.图1为本发明实施例提供的动作识别方法的一个可选的流程示意图；
42.图2为本发明实施例提供的动作识别方法的一个可选的流程示意图；
43.图3为本发明实施例提供的动作识别方法的一个可选的效果示意图；
44.图4为本发明实施例提供的动作识别方法的一个可选的效果示意图；
45.图5为本发明实施例提供的动作识别方法的一个可选的流程示意图；
46.图6为本发明实施例提供的动作识别方法的一个可选的效果示意图；
47.图7为本发明实施例提供的动作识别方法的一个可选的流程示意图；
48.图8为本发明实施例提供的动作识别方法的一个可选的效果示意图；
49.图9为本发明实施例提供的动作识别方法的一个可选的效果示意图；
50.图10为本发明实施例提供的动作识别方法的一个可选的流程示意图；
51.图11为本发明实施例提供的动作识别方法的一个可选的流程示意图；
52.图12为本发明实施例提供的动作识别方法的一个可选的效果示意图；
53.图13为本发明实施例提供的动作识别方法的一个可选的效果示意图；
54.图14为本发明实施例提供的动作识别方法的一个可选的效果示意图；
55.图15为本发明实施例提供的动作识别方法的一个可选的流程示意图；
56.图16为本发明实施例提供的动作识别方法的一个可选的效果示意图；
57.图17为本发明实施例提供的动作识别装置的结构示意图；
58.图18为本发明实施例提供的动作识别装置的一种硬件实体示意图。
具体实施方式
59.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明的技术方案进一步详细阐述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
60.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
61.如果发明文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
62.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
63.图1为本发明实施例提供的动作识别方法的一个可选的流程示意图，将结合图1示出的步骤进行说明。
64.s101、对所获取的待测视频数据进行处理，得到多个特征矩阵；多个特征矩阵是对预定时间段内包含目标对象的多个视频帧进行处理得到的。
65.本发明实施例中，终端对所获取的待测视频数据进行处理，得到多个特征矩阵。其中，多个特征矩阵是对预定时间段内包含目标对象的多个视频帧进行处理得到的。
66.本发明实施例中，终端首先获取包括目标对象的待测视频数据。其中，目标对象可以为人或动物，或者其他物体。待测视频数据的格式可以为任意的视频格式。终端在待测视频数据中的预定时间段内按照时序特征提取出多个包含目标对象的多个视频帧。终端按照每个视频帧中的像素点的色值，形成对应每个视频帧的色值矩阵。终端对每个色值矩阵进行归一化、卷积和池化处理，得到对应每个视频帧的特征矩阵，进而得到多个特征矩阵。
67.本发明实施例中，终端可以通过目标检测模型，如实时快速目标检测模型(you only look once，yolo)或者单机多卡目标检测算法(single shot multibox detector，ssd)将每个视频帧中的目标对象图片标注出来。终端然后通过目标对象图片转换到某一色值空间上。终端基于目标对象图片上的像素点将目标对象图片划分成若干个像素单元，终端再计算出每个像素单元中心的色值。终端通过若干个像素单元中心的色值形成每个视频帧的色值矩阵。
68.s102、利用时序特征提取网络模型对多个特征矩阵进行处理，得到对应多个特征矩阵的多个时序动作特征矩阵；其中，时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；前序特征矩阵包括：网络层对应的网络块输入的特征矩阵，及排序在网络层前面的前序网络层输出的特征矩阵。
69.本发明实施例中，终端利用时序特征提取网络模型对多个特征矩阵进行处理，得到对应多个特征矩阵的多个时序动作特征矩阵。其中，时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；前序特征矩阵包括：网络层对应的网络块输入的特征矩阵，及排序在网络层前面的前序网络层输出的特征矩阵。
70.本发明实施例中，时序特征提取网络模型可以包括多个网络块，每个网络块中可以包括多个网络层。终端利用第1个网络块中的第1个网络层对多个特征矩阵进行分组处理，得到第1组特征矩阵。将第1组特征矩阵与多个特征矩阵进行融合，得到第1组中间特征矩阵。再利用第1个网络块中的第2个网络层对第1组中间特征矩阵进行分组处理，得到第2组特征矩阵。直至第1个网络块的网络层都处理完成，得到第1个网络块对应的第1组时序特征矩阵。再利用第2个网络块对第1组时序特征矩阵进行处理，直至得到最后一个网络块输出的多个时序动作特征矩阵时停止，得到多个时序动作特征矩阵。
71.其中，前序网络层为任意的网络层所属的网络块中排在前列的网络层。示例性的，当前处理特征矩阵的网络层为第1网络块中的第3网络层，则第三网络层的前序网络层为第1网络块中的第1网络层和第2网络层。
72.s103、通过多个时序动作特征矩阵，确定出多个视频帧中的目标对象的动作识别结果。
73.本发明实施例中，终端通过多个时序动作特征矩阵，确定出多个视频帧中的目标对象的动作识别结果。
74.本发明实施例中，终端对多个时序动作特征矩阵进行池化和降维处理，得到多个中间时序特征矩阵。利用长短期记忆网络模型对多个中间时序特征矩阵进行处理，得到多个最终时序特征矩阵。利用预设函数对最终时序特征矩阵，进行处理得到最大的概率值。终端通过预设的匹配数据库确定出最大概率值，对应的动作识别结果，进而确定出多个视频帧中的目标对象对应的动作识别结果。
75.在一些实施例中，参见图2，图2为本发明实施例提供的动作识别方法的一个可选的流程示意图，图1示出的s101至s103之后还包括s201至s210实现，将结合各步骤进行说明。
76.s201、视频数据。
77.s201、数据预处理。
78.本发明实施例中，终端对视频数据做预处理，将图像转换成矩阵形式并归一化处理。
79.s201、7
×
7卷积。
80.s201、最大池化。
81.本发明实施例中，终端对其通过7
×
7大小过滤器进行卷积，将得到的结果进行池化处理，然后输入到时序特征提取网络模型中的第1网络块。
82.s201、第1网络块。
83.s201、第2网络块。
84.s201、第3网络块。
85.本发明实施例中，在时序特征提取网络模型中，每一个网络块内部的数据特征都进行融合和重用，这样就能极大地利用了特征之间的传递，使得更多的细节信息不会丢失。经过时序特征提取网络模型后，得到多个时序动作特征矩阵。
86.s201、池化降维处理。
87.s201、lstm分类。
88.s201、动作结果。
89.多个时序动作特征矩阵经过平均池化和矢量化降维后输入到长短期记忆网络(long short-term memory，lstm)中分类，最终将得到该视频动作分类的结果。
90.为了验证本发明的性能，发明人利用本发明的网络模型和前人经典的网络resnet50、resnet101、vgg19以及inception_v3在相同的超参数以及硬件条件下分别提取时序动作特征矩阵，将提取到的时序动作特征矩阵在相同设置的多级lstm网络下分类得到动作结果。在同样的训练条件下进行训练，训练35个批次，样本数设置为36，初始学习率设置为0.0001，将训练得到的准确率以及损失保存并比较。
91.通过对比训练过程中各个网络平均准确率变化，网络在迭代31次后基本达到收敛，对比发现本发明的网络模型在同一批次较其他几个网络准确率有所提升。发明人利用训练好网络模型做动作识别的测试，且将测试得到的分类结果以及该动作类别的概率进行实时显示。部分结果展示如图3和图4所示。结合图3，可以得到检测出来对应的动作识别结果为：动作:吹笛子。特征值:0.988373。结合图4，可以得到检测出来对应的动作识别结果为：动作:花样滑冰。特征值:0.988373。
92.本发明实施例中，终端在确定出预定时间段内的多个视频帧中的多个动作识别结果之后，可以提取出待测视频数据的下一时间段的多个视频帧，终端对下一批的多个视频帧按照上述相同的方法进行处理，可以得到该下一批的多个视频帧中的目标对象的动作识别结果。
93.本发明实施例中，通过对所获取的待测视频数据进行处理，得到多个特征矩阵；多个特征矩阵是对包含目标对象的多个视频帧进行处理得到的；利用时序特征提取网络模型对多个特征矩阵进行处理，得到对应多个特征矩阵的多个时序动作特征矩阵；其中，时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；前序特征矩阵包括：网络层对应的网络块输入的特征矩阵，及排序在网络层前面的前序网络层输出的特征矩阵；通过多个时序动作特征矩阵，确定出待测视频数据中的目标对象的动作识别结果。由于网络层对所属网络块中的前序特征矩阵进行融合重用，进而极大地利用了特征之间的传递，使得更多的细节信息不会丢失，避免了网络退化出现进而提高识别精度。又由于网络层对特征矩阵进行分组处理进而减少计算资源的占用，所以本方案可以减少计算资源的占用，同时也提高了识别精度。
94.在一些实施例中，参见图5，图5为本发明实施例提供的动作识别方法的一个可选的流程示意图，图1示出的s102可以通过s104至s105实现，将结合各步骤进行说明。
95.s104、利用第1个网络块中的每个网络层对多个特征矩阵，及前序网络层输出的特征矩阵进行融合重用和分组处理，得到第1个网络块输出的第1组时序特征矩阵，供第2网络
块进行处理。
96.本发明实施例中，终端利用时序特征提取网络模型中的第1个网络块中的每个网络层对多个特征矩阵，及前序网络层输出的特征矩阵进行融合重用和分组处理，得到第1个网络块输出的第1组时序特征矩阵，供第2网络块进行处理。
97.本发明实施例中，终端利用第1个网络块中的第1个网络层对多个特征矩阵进行分组处理，得到第1组特征矩阵。将第1组特征矩阵和多个特征矩阵融合(也就是前序特征矩阵)得到第1组中间特征矩阵。终端按照此方案进行处理直至第1个网络块中的网络层处理完成，得到第1组时序特征矩阵。终端利用第2网络块中的网络层，按照相同的方法，对第1组时序特征矩阵进行处理，得到第2组中间特征矩阵。
98.本发明实施例中，若当前网络层为第i网络层，则对应的前序网络层包括：前i-1个网络层。i为大于1小于n的整数。n为网络层个数。
99.本发明实施例中，终端利用第1个网络块中的第1个网络层对多个特征矩阵进行分组卷积处理，得到第1组特征矩阵，将第1组特征矩阵进行降维后，与多个特征矩阵融合，得到第1组中间特征矩阵，供第2网络层进行处理。终端利用第1个网络块中的第2个网络层对第1组中间特征矩阵进行分组卷积处理，得到第2组特征矩阵，将第2组特征矩阵进行降维后，与多个特征矩阵及第1组中间特征矩阵融合，得到第2组中间特征矩阵，供第3网络层进行处理。直至终端利用第1个网络块中的第n个网络层对第n-1组中间特征矩阵进行分组卷积处理，得到第1组时序特征矩阵。每个网络块中包括：n个网络层；n为大于等于2的正整数。
100.s105、直至利用第m个网络块中的每个网络层对第m-1组时序特征矩阵，及前序网络层输出的特征矩阵进行融合重用和分组处理，得到多个时序动作特征矩阵。
101.本发明实施例中，终端利用第m个网络块中的每个网络层对第m-1组时序特征矩阵，及前序网络层输出的特征矩阵进行融合重用和分组处理，得到多个时序动作特征矩阵。其中，时序特征提取网络模型中包括：m个网络块；m为大于2的正整数。其中，第m-1组时序特征矩阵是第m-1个网络块，对前一个网络块输入的时序特征矩阵处理得到的矩阵。
102.示例性的，结合图6。本发明实施例中的时序特征提取网络模型包括：第1网络块，第2网络块和第3网络块。每个网络块中包含三个网络层。且每个网络层又包含3个卷积层。终端将尺寸为224x224x3的特征矩阵经过conv7x7卷积层进行卷积，再通过batchnorm进行池化，再经过激活函数(rectified linear unit,relu)处理后输入到时序特征提取网络模型中的第1个网络块中的第1个网络层。第1个网络层的输入通道数为64，输出通道数为128。终端将第1特征矩阵进行降维处理，再与多个特征矩阵进行融合得到第1中间特征矩阵。终端将第1中间特征矩阵输入到第二网络层。其中，第1个网络层中的卷积层分别为64，conv1x1，128；128，conv3x3，128；128，conv1x1，128。后续网络层的卷积层的输入通道数和输出通道数依次增大，终端每次将特征矩阵通过卷积层处理之后都需要进行池化和激活函数的处理。直至第1个网络块输出得到第1组时序特征矩阵。终端利用第2网络模块按照相同的方法对第1组时序特征矩阵进行处理，得到第2组时序特征矩阵。终端利用第3网络模块按照相同的方法对第2组时序特征矩阵进行处理，得到多个时序动作特征矩阵。最后终端利用激活函数对多个时序动作特征矩阵进行再次处理。
103.本发明实施例中，终端利用m个网络块中的网络层对特征矩阵进行融合重用和分组处理，不仅减少了计算资源的占用率，而且也提高了识别准确度。
104.在一些实施例中，参见图7，图7为本发明实施例提供的动作识别方法的一个可选的流程示意图，图5示出的s105可以通过s106至s108实现，将结合各步骤进行说明。
105.s106、利用第1个网络层对第m-1组时序特征矩阵进行分组卷积处理，得到第1组特征矩阵，将第1组特征矩阵进行降维后，与第m-1组时序特征矩阵融合，得到第1组中间特征矩阵，供第2网络层进行处理。
106.本发明实施例中，终端利用第1个网络层对第m-1组时序特征矩阵进行分组卷积处理，得到第1组特征矩阵，将第1组特征矩阵进行降维后，与第m-1组时序特征矩阵融合，得到第1组中间特征矩阵，供第2网络层进行处理。
107.本发明实施例中，第1个网络层中可以包括3个卷积层。终端利用第1个卷积层对多个特征矩阵进行处理，将得到的多个特征矩阵进行分组，然后依次利用第2个卷积层进行处理，最后利用第3个卷积层对第2个卷积层输出的矩阵进行处理得到第1组特征矩阵。后续网络层中的卷积层对输入的特征矩阵的处理方法，可以和第1个网络层中的处理方法相同，在此不一一赘述。
108.本发明实施例中，终端利用第1个网络层中的各个卷积层对第m-1组时序特征矩阵进行分组卷积处理，得到第1组特征矩阵。终端计算第m-1组时序特征矩阵与本网络层对应的预定系数相乘后的得到目标矩阵。终端对第1组特征矩阵按照第2网络层输入通道个数的一半进行降维后，与该目标矩阵融合得到第1组中间特征矩阵。
109.示例性的，结合图6，第2网络层的输入通道数为128。第1网络层输出通道的个数也为128，终端将第1组特征矩阵的维度降为64。第1网络层输入通道的个数为64，此时多个特征矩阵与降维之后的第1组特征矩阵的维度都为64，终端将多个特征矩阵与预定系数相乘，再与降维之后的第1组特征矩阵进行组合，得到了维度为128的第1中间特征矩阵。
110.s107、利用第i个网络层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，将第i组特征矩阵进行降维后，与第m-1组时序特征矩阵，及前i-1组中间特征矩阵融合，得到第i组中间特征矩阵，供第i+1个网络层进行处理。
111.本发明实施例中，终端利用第i个网络层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，将第i组特征矩阵进行降维后，与第m-1组时序特征矩阵，及前i-1组中间特征矩阵融合，得到第i组中间特征矩阵，供第i+1个网络层进行处理。其中，前i-1组中间特征矩阵是前i个网络层分别输出的特征矩阵。第i个网络层的前序网络层包括：前i个网络层；i为大于1小于n的整数。
112.本发明实施例中，终端利用第i个网络层中的各个卷积层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵。终端计算第m-1组时序特征矩阵及前i-1组中间特征矩阵组合后的矩阵，将矩阵与预定系数相乘后的得到目标矩阵。终端对第i组特征矩阵按照第i+1网络层输入通道个数的一半进行降维后，与该目标矩阵融合得到第i组中间特征矩阵。
113.本发明实施例中，终端还可以利用第n个网络块中的第2个网络层中的，卷积层对第1组中间特征矩阵进行处理，将得到第2组特征矩阵进行降维并与第1组中间特征矩阵、多个特征矩阵融合，得到第2组中间特征矩阵。
114.s108、直至利用第n个网络层对第n-1组中间特征矩阵进行分组卷积处理，得到多个时序动作特征矩阵。
115.本发明实施例中，终端直至利用第n个网络层对第n-1组中间特征矩阵进行分组卷积处理，得到多个时序动作特征矩阵。其中，所述第n-1组中间特征矩阵是第n-1个网络层输出的特征矩阵；所述第m个网络块中包括：n个网络层；n为大于等于2的正整数。
116.本发明实施例中，终端利用第n个网络层中的第1卷积层对第n-1组中间特征矩阵进行处理，得到多个第n待分组矩阵。终端将多个第n待分组矩阵分为多个第n组矩阵，利用第2卷积层分别对多个第n组矩阵中的每组矩阵进行处理，得到对应每组矩阵的第n待融合特征矩阵。终端将多个第n待融合特征矩阵进行融合后，利用第n个网络层中的第3卷积层进行处理，得到多个时序动作特征矩阵。
117.本发明实施例中，本发明的时序特征提取网络模型可以由3个网络块连接而成，每个网络块由三个网络层组成。单个网络块结构如图8所示。每个网络层的输入特征矩阵都由前几个网络层的输出矩阵和多个特征矩阵融合重用而成。也就是说：第2网络层的输入是第1网络层的输出特征矩阵和多个特征矩阵的融合矩阵，第3网络层的输入是第1网络层输出的特征矩阵、第2网络层输出的特征矩阵和多个特征矩阵的融合矩阵。
118.示例性的，结合图9，在每个网络层的输入都由前几个层的输入以及上一层的输出重用融合而成，并且将网络块中的所有网络层与网络层连接，这样就可以进一步加强特征的传递，而且融合了不同尺度的特征，在融合过程中通过降维处理保证通道数的一致性，减轻训练过程中会出现梯度消失的问题。也就是说：第1网络层输入之后，得到第1网络层输出，第2网络层输入是第1网络层输出的特征矩阵经过降维之后和第1网络层输入的融合矩阵，第3网络层输入是第1网络层输出的特征矩阵经过降维后、第2网络层输出的特征矩阵经过降维后和第1网络层输入的融合矩阵。
119.本发明实施例中，终端通过第n个网络块中的每个网络层对输入的特征矩阵进行分组处理，同时又融合了前序网络层输出的特征矩阵，进而在提高识别精度的同时，减少了计算资源的占用。
120.在一些实施例中，参见图10，图10为本发明实施例提供的动作识别方法的一个可选的流程示意图，图7示出的s107可以通过s109至s111实现，将结合各步骤进行说明。
121.s109、利用第i个网络层中的各个卷积层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵。
122.本发明实施例中，终端利用第i个网络层中的各个卷积层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵。
123.其中，各个卷积层可以包括3个卷积层或者4个卷积层。具体卷积层的个数本发明实施例中不做限制。
124.s110、计算第m-1组时序特征矩阵及前i-1组中间特征矩阵组合后的矩阵，将矩阵与预定系数相乘后的得到目标矩阵。
125.本发明实施例中，终端计算第m-1组时序特征矩阵及前i-1组中间特征矩阵组合后的矩阵，将矩阵与预定系数相乘后的得到目标矩阵。
126.本发明实施例中，终端将第m-1组时序特征矩阵，与前i-1组中间特征矩阵按照第i个网络层的输入通道的个数进行组合后得到该矩阵。终端再将该矩阵与第i个网络层对应的预定系数相乘后得到目标矩阵。
127.s111、对第i组特征矩阵按照第i+1网络层输入通道个数的一半进行降维后，与目
标矩阵融合得到第i组中间特征矩阵。
128.本发明实施例中，终端对第i组特征矩阵按照第i+1网络层输入通道个数的一半进行降维后，与目标矩阵融合得到第i组中间特征矩阵。
129.本发明实施例中，当i等于2时，终端对第2组特征矩阵按照，第3网络层输入通道的个数的一半进行降维后，再与对应的矩阵及预定系数相乘后的目标矩阵进行融合，得到第2组中间特征矩阵。其中，预定系数是本发明的时序特征提取网络模型在训练时得到的。
130.本发明实施例中，终端可以通过公式(2)计算得到第i组中间特征矩阵om131.om＝bn(z
concat
)+w
mam
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
132.其中，bn(z
concat
)表示对特征矩阵通过第i网络层中的第3卷积层进行处理，wm表示第i网络层的预定系数，am表示第m-1组时序特征矩阵及前i-1组中间特征矩阵组合后的矩阵。终端将wm与am相乘得到对应的目标矩阵，再与第i组特征矩阵融合。其中，不同网络层的预定系数可以相同，也可以不同。
133.本发明实施例中，终端可以通过第2网络层对计算得到的第2组特征矩阵按照，第3层网络层输入通道个数的一半进行降维后，与多个特征矩阵、第一组中间特征矩阵分别与预定系数相乘后的目标矩阵进行融合，得到第2组中间特征矩阵。此时预定系数为对应第2网络层的预定系数。
134.在一些实施例中，参见图11，图11为本发明实施例提供的动作识别方法的一个可选的流程示意图，图10示出的s109可以通过s112至s114实现，将结合各步骤进行说明。
135.s112、利用第1卷积层对第i-1组中间特征矩阵进行处理，得到多个第i待分组矩阵。
136.本发明实施例中，终端利用第i个网络层中的第1卷积层对第i-1组中间特征矩阵进行处理，得到多个第i待分组矩阵。
137.示例性的，结合图6，第3个网络块的第2个网络层中的第1卷积层为512，conv1x1，1024的卷积层，第1卷积层的输入通道数为512，输出通道数为1024。
138.示例性的，结合图12，第1卷积层还可以为128，1
×
1卷积，256的卷积层，第一卷积层的输入通道数为128，输出通道数为256。
139.本发明实施例中，当第1卷积层的输出通道数为128时，第1卷积层输出了128个维度的待分组矩阵。
140.s113、将多个第i待分组矩阵分为多个第i组矩阵，利用第2卷积层分别对多个第i组矩阵中的每组矩阵进行处理，得到对应每组矩阵的第i待融合特征矩阵。
141.本发明实施例中，终端将多个第i待分组矩阵分为多个第i组矩阵，利用第2卷积层分别对多个第i组矩阵中的每组矩阵进行处理，得到对应每组矩阵的第i待融合特征矩阵。
142.本发明实施例中，终端可以将多个第i待分组矩阵分为24组或者32组，具体分组的个数，本发明实施例中不做限制。
143.示例性的，结合图12，终端将多个第i待分组矩阵分为了32组矩阵。终端利用尺寸为3
×
3卷积的卷积层对每组矩阵进行处理，得到了对应每组矩阵的第i待融合特征矩阵。
144.在识别的分类的任务中，训练神经网络是一个非常复杂的过程，与所设计的神经网络本身的结构有着很大的关系，其中分组卷积是一个非常好的策略，分组卷积可以看成是稀疏操作，分组卷积不仅可以减少网络整体的参数量，而且在较少的参数量情况下取得
很好的效果。普通卷积和分组卷积示意图如图13和图14所示。
145.结合图13，普通卷积进行运算的时候，如果输入的特征矩阵的尺寸是c
×h×
w(其中，c代表输入维度或者输入通道数；h代表特征图高度；w代表特征图宽度)那么图13中输入的特征矩阵的通道数为6，卷积核有3个，那么输出的特征矩阵与卷积核的数量相同也是3个，每个卷积核的尺寸为c
×k×
k(其中，k代表卷积核的长或者宽)，3个卷积核的总参数量为3
×c×k×
k。结合图14，分组卷积的主要的目的是对输入的特征矩阵进行分组，然后对每组分别进行卷积。如果图14中输入的特征矩阵的尺寸是c
×h×
w，输出特征矩阵的数量为3个，假设要分成3分组，则每组的输入特征矩阵数量为c/3，则每组的输出特征矩阵数量为3/3，也就是1个，每个卷积核的尺寸为c
×k×
k/3，卷积核的总数仍为3个，每组的卷积核数量为1个，卷积核只与其同组的输入特征图进行卷积，卷积核的总参数量为3
×c×k×
k/3，易得总的参数量减少为普通卷积的1/3。
146.结合图14，在网络层的内部，首先要对输入数据进行批规范化处理，然后对规范化后的特征矩阵分组，分组的大小通常由上一个卷积后输出通道数决定，一般取24或者32。分组后的特征图分别进行3
×
3过滤器卷积计算，卷积计算后得到的特征矩阵聚合操作，目的是为了将提取到的数据特征联合进行融合，联合后的数据进行批规范化处理，这样就能解决每批数据训练时的不规则分布给网络训练造成困难。将该层网络的输入端的数据进行重用，也就是将输入端的数据与批规范化后的数据融合，得到的特征数据为当前网络层的输出。进而提高了识别的准确度。
147.s114、将多个第i待融合特征矩阵进行融合后，利用第3卷积层进行处理，得到第i组特征矩阵。
148.本发明实施例中，终端将多个第i待融合特征矩阵进行融合后，利用第3卷积层进行处理，得到第i组特征矩阵。
149.本发明实施例中，终端可以将每个第i待融合矩阵与对应分组的融合系数相乘，再与对应的向量聚合参数相乘，得到对应每个待融合矩阵的乘积，终端再将多个乘积相加得到第i组特征矩阵。其中，融合系数和向量聚合参数是时序特征提取网络模型在训练时得到的。
150.示例性的，终端可以通过公式(1)计算得到多个第i待融合特征矩阵的融合矩阵z
concat
。
[0151][0152]
其中，ta代表第a个分组的向量聚合参数，c为分组个数，ka表示第a分组的融合合系数，xa表示第a分组对应的第i待融合矩阵。终端将ka、ta与xa相乘，得到对应每组的一个乘积，终端将多个乘积相加得到了多个待融合特征矩阵的融合矩阵z
concat
。
[0153]
在一些实施例中，参见图15，图15为本发明实施例提供的动作识别方法的一个可选的流程示意图，图1示出的s101可以通过s115至s117实现，将结合各步骤进行说明。
[0154]
s115、在获取的待测视频数据中，按照时序特征提取出包含目标对象的多个视频帧。
[0155]
本发明实施例中，终端在获取的待测视频数据中，按照时序特征提取出包含目标对象的多个视频帧。
[0156]
本发明实施例中，终端可以在60秒的待测视频数据中，提取出36个包含目标对象的视频帧。
[0157]
s116、根据多个视频帧中的每个像素点对应预定颜色空间的色值，确定出多个色值矩阵。
[0158]
本发明实施例中，终端根据多个视频帧中的每个像素点对应预定颜色空间的色值，确定出多个色值矩阵。
[0159]
本发明实施例中，终端通过将每个视频帧转换到某一色值空间上。终端基于每个视频帧上的像素点将视频帧划分成若干个像素单元，终端再计算出每个像素单元中心的色值。终端通过若干个像素单元中心的色值形成每个视频帧的色值矩阵。进而确定出多个色值矩阵。
[0160]
其中，预定色值空间可以为lab色值空间、hsv色值空间和rgb色值空间中的任意一个。
[0161]
s117、对多个色值矩阵进行归一化、卷积和池化处理得到多个特征矩阵。
[0162]
本发明实施例中，终端对多个色值矩阵进行归一化、卷积和池化处理得到多个特征矩阵。
[0163]
本发明实施例中，终端对多个色值矩阵进行归一化、卷积和池化处理得到多个特征矩阵，使得输入时序特征提取网络模型的矩阵统一性高，去除了多余的数据信息，使计算效率更高。
[0164]
在一些实施例中，参见图15，图15为本发明实施例提供的动作识别方法的一个可选的流程示意图，图1示出的s103可以通过s118至s121实现，将结合各步骤进行说明。
[0165]
s118、对多个时序动作特征矩阵进行池化和降维处理，得到多个中间时序特征矩阵。
[0166]
本发明实施例中，终端对多个时序动作特征矩阵进行池化和降维处理，得到多个中间时序特征矩阵。
[0167]
s119、利用预设网络模型对多个中间时序特征矩阵进行处理，得到最终时序特征矩阵。
[0168]
本发明实施例中，终端利用预设网络模型对多个中间时序特征矩阵进行处理，得到最终时序特征矩阵。
[0169]
其中，预设网络模型可以为多层级的长短期记忆网络模型(lstm网络)。多层级的lstm网络使得模型更加深入，更加准确的将时序信息进行表达，终端将多个中间时序特征矩阵，输入到多层级的lstm网络中进行训练分类，得到对应多个中间时序特征矩阵的最终时序特征矩阵。
[0170]
示例性的，结合图16，其中x《t》表示第t时刻的视频帧对应的中间时序特征矩阵，大小通常用time_steps表示，time_steps是lstm特有的，它表示由多少个时刻的输入，通常用input_dim表示输入的维度，即每个时刻输入向量的维度。c1《t-1》表示第一层lstm网络中第t-1时刻传入第t时刻的记忆细胞更新值，a1《t》表示第t时刻第一层lstm网络传入第二层lstm网络中的激活值，y《t》表示最后一个状态的输出。在每个lstm网络中包含着隐藏节点，隐藏节点的个数决定了输入到下一层lstm激活值维度或者输出y《t》的维度。在训练动作识别网络任务中，通过反向传播过程中偏导数来不断更新参数值，从而得到最优的参数
以及网络。
[0171]
s120、利用预设函数对最终时序特征矩阵，进行处理得到多个概率值。
[0172]
本发明实施例中，终端利用预设函数对最终时序特征矩阵，进行处理得到多个概率值。
[0173]
其中，预设函数可以为softmax函数。在其他实施例中，预设函数也可以为其他函数，本发明实施例不做限制。
[0174]
s121、在匹配数据库中根据多个概率值中的最大概率值的位次，确定出动作识别结果。
[0175]
本发明实施例中，终端通在匹配数据库中根据多个概率值中的最大概率值的位次，确定出动作识别结果。
[0176]
其中，匹配数据库预存多个概率值的位次与对应的动作识别结果之间的映射信息。
[0177]
本发明实施例中，终端在确定出多个视频帧中的多个动作识别结果之后，可以提取出待测视频数据的下一批的多个视频帧，终端对下一批的多个视频帧按照上述相同的方法进行处理，可以得到该下一批的多个视频帧中的目标对象的动作识别结果。
[0178]
本发明实施例中，终端利用lstm对多个时序动作特征矩阵进行分类，进而可以更加精确度区分每个视频帧中目标对象的动作，进而也提高了识别精度。
[0179]
请参见图17，图17为本发明实施例提供的动作识别装置的结构示意图。
[0180]
本发明实施例还提供了一种动作识别装置800，包括：处理单元803和确定单元804.
[0181]
处理单元803，用于对所获取的待测视频数据进行处理，得到多个特征矩阵；所述多个特征矩阵是对预定时间段内包含目标对象的多个视频帧进行处理得到的；
[0182]
所述处理单元803，还用于利用时序特征提取网络模型对所述多个特征矩阵进行处理，得到对应所述多个特征矩阵的多个时序动作特征矩阵；其中，所述时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；所述前序特征矩阵包括：网络层对应的网络块输入的特征矩阵，及排序在所述网络层前面的前序网络层输出的所述特征矩阵；
[0183]
确定单元804，用于通过所述多个时序动作特征矩阵，确定出所述多个视频帧中的所述目标对象的动作识别结果。
[0184]
本发明实施例中，动作识别装置800中的处理单元803用于利用第1个网络块中的每个网络层对多个特征矩阵，及前序网络层输出的特征矩阵进行融合重用和分组处理，得到第1个网络块输出的第1组时序特征矩阵，供第2网络块进行处理；直至利用第m个网络块中的每个网络层对第m-1组时序特征矩阵，及前序网络层输出的特征矩阵进行融合重用和分组处理，得到多个时序动作特征矩阵；时序特征提取网络模型中包括：m个网络块；m为大于等于2的正整数；第m-1组时序特征矩阵是第m-1个网络块输出的特征矩阵。
[0185]
本发明实施例中，动作识别装置800中的处理单元803用于利用第1个网络层对第m-1组时序特征矩阵进行分组卷积处理，得到第1组特征矩阵，将第1组特征矩阵进行降维后，与第m-1组时序特征矩阵融合，得到第1组中间特征矩阵，供第2网络层进行处理；利用第i个网络层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵，将第i组特征
矩阵进行降维后，与第m-1组时序特征矩阵，及前i-1组中间特征矩阵融合，得到第i组中间特征矩阵，供第i+1个网络层进行处理；前i-1组中间特征矩阵是前i-1个网络层分别输出的特征矩阵；前序网络层包括：前i-1个网络层；i为大于1小于n的整数；直至利用第n个网络层对第n-1组中间特征矩阵进行分组卷积处理，得到多个时序动作特征矩阵；第n-1组中间特征矩阵是第n-1个网络层输出的特征矩阵；第m个网络块中包括：n个网络层；n为大于等于2的正整数。
[0186]
本发明实施例中，动作识别装置800中的处理单元803用于利用第i个网络层中的各个卷积层对第i-1组中间特征矩阵进行分组卷积处理，得到第i组特征矩阵；计算第m-1组时序特征矩阵及前i-1组中间特征矩阵组合后的矩阵，将矩阵与预定系数相乘后的得到目标矩阵；对第i组特征矩阵按照第i+1网络层输入通道个数的一半进行降维后，与目标矩阵融合得到第i组中间特征矩阵。
[0187]
本发明实施例中，各个卷积层包括：第1卷积层、第2卷积层和第3卷积层；动作识别装置800中的处理单元803用于利用第1卷积层对第i-1组中间特征矩阵进行处理，得到多个第i待分组矩阵；
[0188]
将多个第i待分组矩阵分为多个第i组矩阵，利用第2卷积层分别对多个第i组矩阵中的每组矩阵进行处理，得到对应每组矩阵的第i待融合特征矩阵；
[0189]
将多个第i待融合特征矩阵进行融合后，利用第3卷积层进行处理，得到第i组特征矩阵。
[0190]
本发明实施例中，动作识别装置800中的确定单元804用于对所述多个时序动作特征矩阵进行池化和降维处理，得到多个中间时序特征矩阵；利用预设网络模型对所述多个中间时序特征矩阵进行处理，得到最终时序特征矩阵；利用预设函数对所述最终时序特征矩阵，进行处理得到多个概率值；在匹配数据库中根据所述多个概率值中的最大概率值的位次，确定出所述动作识别结果；所述匹配数据库预存多个概率值的位次与对应的动作识别结果之间的映射信息。
[0191]
本发明实施例中，动作识别装置800中的处理单元803用于在获取的待测视频数据中，按照时序特征提取出包含目标对象的所述多个视频帧；根据所述多个视频帧中的每个像素点对应预定色值空间的色值，确定出多个色值矩阵；对所述多个色值矩阵进行归一化、卷积和池化处理得到所述多个特征矩阵。
[0192]
本发明实施例中，通过处理单元803对获取的待测视频数据进行处理，得到多个特征矩阵；多个特征矩阵是对包含目标对象的多个视频帧进行处理得到的；通过处理单元803利用时序特征提取网络模型对多个特征矩阵进行处理，得到对应多个特征矩阵的多个时序动作特征矩阵；其中，时序特征提取网络模型中每一网络块中的网络层，对前序特征矩阵进行融合重用和分组处理；所述前序特征矩阵包括：网络层对应的网络块输入的特征矩阵，及排序在所述网络层前面的前序网络层输出的所述特征矩阵；通过确定单元804通过多个时序动作特征矩阵，确定出多个视频帧中的目标对象的动作识别结果。由于网络层对所属网络块中的前序特征矩阵进行融合重用，进而极大地利用了特征之间的传递，使得更多的细节信息不会丢失，避免了网络退化出现进而提高识别精度。又由于网络层对特征矩阵进行分组处理进而减少计算资源的占用，所以本方案可以减少计算资源的占用，同时也提高了识别精度。
[0193]
需要说明的是，本发明实施例中，如果以软件功能模块的形式实现上述的动作识别方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台动作识别装置(可以是个人计算机等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
[0194]
对应地，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。
[0195]
对应地，本发明实施例提供一种动作识别装置800，包括存储器802和处理器801，所述存储器802存储有可在处理器801上运行的计算机程序，所述处理器801执行所述程序时实现上述方法中的步骤。
[0196]
这里需要指出的是：以上存储介质和装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明存储介质和装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
[0197]
需要说明的是，图18为本发明实施例提供的动作识别装置的一种硬件实体示意图一，如图18所示，该动作识别装置800的硬件实体包括：处理器801和存储器802，其中；
[0198]
处理器801通常控制动作识别装置800的总体操作。
[0199]
存储器802配置为存储由处理器801可执行的指令和应用，还可以缓存待处理器801以及动作识别装置800中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。
[0200]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0201]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0202]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部
分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0203]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0204]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0205]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储装置、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0206]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器、或者网络装置等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储装置、rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0207]
以上所述，仅为本发明的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。