基于物体遮挡图结构的视频摘要方法、系统、装置及介质

1.本发明涉及计算机图像视频处理领域，尤其涉及一种基于物体遮挡图结构的视频摘要方法、系统、装置及介质。


背景技术：

2.随着科学技术的发展，现如今在很多地方监控摄像头一天24小时地进行观测。对于人们而言，只为了获得关键信息而浏览大量的监控视频变得困难且低效。因此，发展对视频关键信息的提取方法变得格外重要。
3.基于物体的视频摘要往往将监控视频中前景物体的物体管道作为整体的处理单元，将其从基本固定的背景中分离出来，并通过一定的方法将其在时间轴上偏移但保持其在画面中的位置区域不变，从而达到同时减少时间和空间上的视频信息冗余的目的。该技术可由较长的视频生成较短的视频摘要，便于人们快速浏览、提取关键信息。这种方法对比基于帧的视频摘要有可减少空间上信息冗余的显著优势，但其最小处理单元为整个物体管道，灵活性不足，且难以同时满足时序性、完整性、避免碰撞等多个目标。


技术实现要素：

4.为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于物体遮挡图结构的视频摘要方法、系统、装置及介质。
5.本发明所采用的技术方案是：
6.一种基于物体遮挡图结构的视频摘要方法，包括以下步骤：
7.获取监控视频，根据监控视频提取管道信息，得到物体管道；
8.根据遮挡关系将物体管道切分为管道段；
9.在管道段之间建立边，构建图结构；
10.解决管道段之间的位置冲突问题，完善图结构；
11.基于图结构，采用mcmc算法对管道段进行采样，生成摘要视频。
12.进一步地，所述根据监控视频提取管道信息，得到物体管道，包括：
13.采用kcf跟踪算法提取监控视频中的管道信息，得到物体管道oi，i∈[1,n]，n为前景物体数；所述管道信息包括前景物体的帧数、包围框位置大小。
[0014]
进一步地，所述在管道段之间建立边，初步构建图结构，包括：
[0015]
将管道段作为结点；
[0016]
对于同一管道i上的第j个管道段在结点和与结点相邻的结点之间添加双向边；
[0017]
对于不同管道间有遮挡关系的管道段，在结点之间建立双向边。
[0018]
进一步地，当图结构中出现多个物体循环遮挡所形成的环，则会出现位置冲突问题；
[0019]
所述解决管道段之间的位置冲突问题，完善图结构，包括：
[0020]
在图结构找到多个物体循环遮挡所形成的环，使环中处于同一时段的管道段互相切割；对部分原本在不同管道，并不相连的同一时段的管道段额外建立双向边，即使它们在原视频中并没有发生遮挡也为它们建立遮挡连接，以使环内管道段在遍历更新中能完全同步。
[0021]
进一步地，当图结构中出现多个环嵌套交错形成的复合环，所述解决管道段之间的位置冲突问题，完善图结构，包括：
[0022]
遍历图中未检测到在环内的结点，对当前结点，判断其他结点与当前结点是否在同一个环内；
[0023]
对当前在环内的结点遍历，通过递归查找结点后，获得最大复合环；
[0024]
对最大复合环内的所有管道段，使时间段有重叠部分的管道段互相切分；
[0025]
在环内管道段互相切分完毕后，选择性地对切分后的环内管道段额外建立遮挡连接，使得环中不产生位置冲突。
[0026]
进一步地，所述基于图结构，采用mcmc算法对管道段进行采样，生成摘要视频，包括：
[0027]
完善图结构后，对管道段进行两次mcmc采样，以确定管道段的最佳位置；
[0028]
其中，第一次mcmc采样使得总体管道段满足时序性与原视频基本一致的要求：先将所有图偏移至视频时间起点，用mcmc算法对逆序的管道段进行随机采样，迭代多次，直至图结构与原视频图结构时序性在误差允许范围内保持一致；
[0029]
第二次mcmc采样使得视频摘要的完整性损失、碰撞损失最小：对管道段进行随机采样，在多次迭代中计算完整性损失、碰撞损失，最后选择综合损失最小且时序性一致的结果来生成摘要视频。
[0030]
进一步地，所述视频摘要方法还包括可视化摘要视频的步骤：
[0031]
对于缩短或伸长的管道段，采用线性采样的方法选择或补充视频帧，使物体运动在摘要视频上变得更快或更慢；
[0032]
采用opencv将经过处理获得的前景物体的管道数据在固定背景上可视化，生成摘要视频。
[0033]
进一步地，
[0034]
本发明所采用的另一技术方案是：
[0035]
一种基于物体遮挡图结构的视频摘要系统，包括：
[0036]
管道获取模块，用于获取监控视频，根据监控视频提取管道信息，得到物体管道；
[0037]
管道划分模块，用于根据遮挡关系将物体管道切分为管道段；
[0038]
图构建模块，用于在管道段之间建立边，构建图结构；
[0039]
图完善模块，用于解决管道段之间的位置冲突问题，完善图结构；
[0040]
管道采样模块，用于基于图结构，采用mcmc算法对管道段进行采样，生成摘要视频。
[0041]
本发明所采用的另一技术方案是：
[0042]
一种基于物体遮挡图结构的视频摘要装置，包括：
[0043]
至少一个处理器；
[0044]
至少一个存储器，用于存储至少一个程序；
[0045]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0046]
本发明所采用的另一技术方案是：
[0047]
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0048]
本发明的有益效果是：本发明根据物体管道间的遮挡关系将其分段，建立起图结构，将mcmc随机采样方法应用于根据视频内在遮挡关系分段的物体管道中，保留了其固有的逻辑，且成功解决了物体循环遮挡所形成的环引起的位置冲突问题。
附图说明
[0049]
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0050]
图1是本发明实施例中将物体管道根据相互之间的遮挡关系相互切分的方式说明图；
[0051]
图2是本发明实施例中物体管道段间建立双向连接方式说明图；
[0052]
图3是本发明实施例中多个物体循环遮挡所形成的环引起位置冲突的例子示意图；
[0053]
图4是本发明实施例中解决位置冲突的方法示意图；
[0054]
图5是本发明实施例中找最大复合环的方法说明图；
[0055]
图6是本发明实施例中环内切分后选择性建立遮挡连接方法说明图；
[0056]
图7是本发明实施例中添加遗漏遮挡连接的贪心算法说明图；
[0057]
图8是本发明实施例中一种基于物体遮挡图结构和管道分段优化的视频摘要方法的流程说明图；
[0058]
图9是本发明实施例中数据集1上视频摘要与原视频的对比图；
[0059]
图10是本发明实施例中数据集2上视频摘要与原视频的对比图；
[0060]
图11是本发明实施例中数据集3上视频摘要与原视频的对比图；
[0061]
图12是本发明实施例中算法1的流程示意图；
[0062]
图13是本发明实施例中算法2的流程示意图；
[0063]
图14是本发明实施例中算法3的流程示意图；
[0064]
图15是本发明实施例中算法4的流程示意图；
[0065]
图16是本发明实施例中算法5的流程示意图；
[0066]
图17是本发明实施例中算法6的流程示意图；
[0067]
图18是本发明实施例中一种基于物体遮挡图结构的视频摘要方法的步骤流程图。
具体实施方式
[0068]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0069]
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0070]
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0071]
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
[0072]
如图18所示，本实施例提供一种基于物体遮挡图结构的视频摘要方法，包括以下步骤：
[0073]
s1、获取监控视频，根据监控视频提取管道信息，得到物体管道；
[0074]
s2、根据遮挡关系将物体管道切分为管道段；
[0075]
s3、在管道段之间建立边，构建图结构；
[0076]
s4、解决管道段之间的位置冲突问题，完善图结构；
[0077]
s5、基于图结构，采用mcmc算法对管道段进行采样，生成摘要视频。
[0078]
本实施例提出的方法主要根据物体管道间的遮挡关系将其分段，建立起图结构，并将最小处理单元细化到管道段，使图结构更灵活，并使生成的视频摘要尽量满足时序性、完整性、避免碰撞三个目标。我们首次发明了这种图结构，将mcmc随机采样方法应用于根据视频内在遮挡关系分段的物体管道中，保留了其固有的逻辑，且成功解决了物体循环遮挡所形成的环引起的位置冲突问题。
[0079]
以下通过结合附图和具体实施例对上述方法进行详细解释说明。
[0080]
如图8所示，本实施例提供一种基于物体遮挡图结构和管道分段优化的视频摘要方法，具体包括：
[0081]
(1)提取管道数据
[0082]
对于原监控视频，采用kcf跟踪算法将前景物体(如人和车等)的帧数、包围框(bounding box)位置大小等管道信息提取出来，得到物体管道oi，i∈[1,n],n为前景物体数。
[0083]
(2)根据遮挡关系将管道切分为段
[0084]
根据物体之间是否遮挡来对物体管道进行切分。如图1(a)所示，横轴为时间，即视频帧数，纵轴为物体编号，物体oi和oi在从第s
ij
帧到第e
ij
帧的时间段内发生了遮挡，于是我们根据遮挡关系将其划分为几段。值得注意的是，若两物体在一时间段内断断续续遮挡多次，我们也会将其合并为一段。而对于某些同时和多个物体遮挡的管道段，我们将依次考虑遮挡关系并对原先的管道段进行进一步划分，如图1(c)(d)所示。对于非遮挡段，我们也用
定长时间段τ将其划分为更小段，如图1(b)所示。图1中：图1(a)遮挡段间建立遮挡连接；图1(b)非遮挡段定长切分；图1(c)多个物体遮挡段有重叠部分；图1(d)有重叠部分的遮挡段相互迭代切分。
[0085]
(3)对管道段构建图结构
[0086]
我们将一个个管道段作为结点，对于同一管道i上的第j个管道段我们在该结点和与其相邻的结点之间添加双向边。对于不同管道间有遮挡关系的管道段，我们也在它们之间建立双向边。这样，没有和任何其他物体遮挡的物体管道自己可构成一个图，而由遮挡关系联系起来的一组物体也可构成一个图。如图2所示就是一个由一组物体构成一个图的简单例子。
[0087]
(4)解决位置冲突问题，完善图结构
[0088]
1)循环遮挡引发的位置冲突问题
[0089]
一般基于物体的视频摘要中往往使用偏移管道位置、改变物体速度(即管道长度)来减少信息冗余，而我们将最小处理单元细化到管道段，对管道段采取偏移管道段位置、改变管道长度等措施。
[0090]
我们定义一个针对整个图的全局偏移变量tk，对某一个图gk，选定其最早出现的物体管道段作为根结点段，并对其偏移tk。如图2所示，oi的第一个段便是根结点段。经过偏移后，根结点段位置(帧数)变为：
[0091][0092]
除此之外，我们还对每一个管道段定义一个比例变量以此来改变管道段长度经过缩放后，根结点段长度变为：
[0093][0094]
根结点段位置变为：
[0095][0096]
在改变某一管道段位置或长度后，我们通过dfs算法来遍历并更新全图。dfs算法即深度优先搜索算法(depth-first-search)，它沿着树或图的深度遍历树的节点，尽可能深地搜索树或图的分支，当当前结点的所有边都己被探寻过，搜索将回溯到发现当前结点的那条边的起始结点，若还存在与该结点相连并未被遍历的结点，则选择其中一个作为源结点并重复以上过程，整个进程反复进行直到该树或图的所有结点都被访问为止。
[0097]
假设管道段更新后的位置为那么更新规则为：
[0098]
①
若要遍历的下一个结点为当前结点同一管道上后面的结点那么的位置更新为
[0099]
②
若要遍历的下一个结点为当前结点同一管道上前面的结点那么的位置更新为
[0100]
③
若要遍历的下一个结点为与当前结点有遮挡连接的结点s
xy
，那么s
xy
直接继承
当前结点的位置，更新为
[0101]
此外，遍历有遮挡关系的结点优先级高于遍历同一管道中的相邻结点。
[0102]
上述遍历更新算法对大多数简单例子没有问题，然而，对于出现了多个物体循环遮挡所形成的环的图结构，该算法运行过程中会出现位置冲突问题。如图3所示，不妨假设管道段段a更新后的位置已确定，上述遍历更新算法将会沿着灰色路线依次更新沿途管道段至管道段b，然而a的最后一帧很有可能不能与b的第一帧无缝衔接上，形成本不该有的间隙或使它们重叠，造成位置冲突。
[0103]
针对这个问题，我们采用了一种解决方案。我们先找到多个物体循环遮挡所形成的环，使环中处于同一时段的管道段互相切割，再选择性地对一些原本在不同管道并不相连的同一时段的管道段额外建立双向边，即使它们在原视频中并没有发生遮挡也为它们建立遮挡连接，以使环内管道段在遍历更新中能完全同步。一个简单的例子如图4所示，填充颜色一样的是在环内一对遮挡段，填充斜线的段则是在环内的原视频中的非遮挡段。从管道段a至b原本的遍历更新顺序如图4(a)。图4(b)中，我们将环内同一时段的管道段互相切割并额外添加遮挡连接，那么环内管道段的遍历顺序便变为了图4(c)中的灰色路径，不会引起位置冲突了。其中，图4中：图4(a)处理环之前的图结构与更新路径；图4(b)处理环后的图结构；图4(c)处理环后的更新路径。
[0104]
2)找到最大复合环
[0105]
对于场景繁忙、遮挡较多的监控视频，其物体管道更加复杂，很有可能会出现几个环嵌套交错形成的复合环，如图5(a)所示，不像图4中的环那么简单。找环的方法有很多种，在这里我们使用了一种对此情况较为高效的方法(算法1)，算法1如图12所示。在图5的例子中，图5(b)里填充斜线的管道段便组成了一个最大复合环。首先，我们遍历图中未检测到在环内的结点，对当前结点，用算法3判断其他结点与当前结点是否在同一个环内，算法3如图14所示。但由于算法3的函数是判断一个图中的两个节点是否属于同一个环的必要不充分条件，有可能尚有在此环内但未被检测到的结点，如图5(c)所示，因此我们需要用算法2递归找到这些结点，算法2如图13所示。如此一来，便可以获得最大复合环了。
[0106]
图5(d)中的简单例子说明了算法3是必要不充分条件的原因。从左上角的红色结点出发到星标结点，黑色路径是算法3找到的路径1，但打断了沿途的边后，dfs算法无论如何都找不到第二条到达星标结点的路径了，如蓝色路径所示。
[0107]
图5(e)中，算法2对当前在环内的结点遍历，并用算法3检测其邻居结点是否和其在同一环中，而算法3在检测邻居结点时，只要它们在同一环内，就一定可以检测出来。如图5(e)所示，对于在同一环内的一对相邻结点，黑色的直连路径和蓝色的路径互不干扰，无论算法3先找到哪一条路径并打断，都可以找到第二条路经。图5中：图5(a)原本的图结构；图5(b)填充斜线的段为环内管道段；图5(c)仅仅用算法3找不到的原本在环内的管道段；图5(d)算法3会遗漏管道段的原因；图5(e)算法3对直接相连的管道段一定有效的原因；图5(f)环内管道段互相切分；图5(g)切分后的环内管道段建立连接。
[0108]
3)进一步切分
[0109]
对于最大复合环内的所有管道段，使时间段有重叠部分的管道段互相切分，如图5(f)所示。
[0110]
4)选择性建立遮挡连接
[0111]
对于图5中的例子，在环内管道段互相切分完毕后，对其额外建立遮挡连接，如图5(g)所示。而对于一些特殊的图结构，为了最大限度地保持其灵活性，我们根据算法4中的充分条件为其选择性地添加遮挡连接，算法4如图15所示。但仅凭此充分条件可能会遗漏一些本应添加的连接，于是我们通过算法5计算环中潜在冲突位置数量，并用算法6的贪心算法为其添加连接，使得环中不会位置冲突，算法5如图16所示。
[0112]
图6(b)便是一种最大限度保留结构灵活性的方案。绿色方框里的管道段局部成对，可以自由伸缩。算法4中，对一对管道段间额外添加遮挡连接的充分条件是：对于与这对管道段完全处于同一时段的环内管道段，打断它们与左右邻居管道段的连接，分别查看它们左边邻居管道段之间和右边邻居管道段之间是否可达，若都可达，则建立遮挡连接。图6(c)是可以建立连接的正面例子，图6(d)则是这个条件的反例，不能建立连接。图6中：图6(a)切分后的管道段间全部建立遮挡连接将损失灵活性；图6(b)一部分图结构局部建立连接，可自由伸缩；图6(c)依据算法4能建立连接的正例；图6(d)算法4的反例。
[0113]
然而，仅仅依据算法4中的充分条件建立连接，在某些较为少见的情况下会导致一些本应建立的连接被遗漏，从而引起位置冲突。如图7所示，图7(a)为原视频的图结构，填充斜线的管道段皆在环内。而图7(b)中，依据算法4额外建立的连接只有紫色连接，虚线连接是本应建立却被遗漏了的连接。于是我们用算法5计算潜在冲突位置数量，并依此作为凭据，用算法6的贪心算法计算出在未建立的连接中，哪一个连接能使潜在冲突位置数量减少最多，将此连接建立，随后用算法4在该连接已建立的基础上继续添加可建立的连接，算法6如图17所示。如图7(c)所示，将加粗紫色双向连接建立后，可陆续添加细紫色连接，图7(d)中继续用贪心算法添加连接，直至无潜在冲突位置。图7中：图7(a)环内管道段相互切分完毕；图7(b)环内应建立的连接；图7(c)加粗紫双向边为贪心算法选择建立的边，细紫双向边为在其建立后满足条件追加的新连接；图7(d)逐步用贪心算法建立连接，直至无潜在冲突位置。
[0114]
(5)结合能量方程，用马尔可夫链蒙特卡罗(mcmc)算法对管道段采样
[0115]
完善图结构后，我们对管道段进行两次mcmc采样，以确定管道段的最佳位置，满足时序性、完整性、避免碰撞三个目标。
[0116]
第一次mcmc采样使得总体管道段满足时序性与原视频基本一致的要求。我们先将所有图偏移至视频时间起点，用mcmc算法对逆序的管道段进行随机采样(偏移管道段或改变管道段长度)，迭代上百万次，直至图结构与原视频图结构时序性在误差允许范围内保持一致。
[0117]
第二次mcmc采样使得视频摘要的完整性损失、碰撞损失最小。同样对管道段进行随机采样，在上百万次迭代中计算完整性损失、碰撞损失，最后选择综合损失最小且时序性一致的结果来生成摘要视频。
[0118]
(6)可视化摘要视频
[0119]
对于缩短或伸长的管道段，我们用线性采样的方法选择或补充视频帧，这部分物体运动在摘要视频上便会变得更快或更慢。有了这些管道段和原视频资料，我们便可以用opencv将其在固定背景上可视化，生成摘要视频。
[0120]
我们在场景活动较繁忙的地段进行拍摄，将自摄视频作为输入数据集。遮挡较多的视频能更好地体现此摘要方法的效果。对于一个特定的监控视频，我们可以指定想要生
成的视频摘要长度、管道段可伸缩的比例范围、时序性所允许的误差范围。相比于一般的匀速快进，我们的方法还可以对遮挡段与非遮挡段分别指定伸缩比例范围，使之详略得当，可以强调管道间的相互关系，如对遮挡段适当放慢速度等。
[0121]
图9，图10，图11分别为3个数据集上视频摘要与原视频的对比图。在图9对应的数据集1上，视频由2分47秒被压缩到了20秒；在图10对应的数据集2上，视频由6分44秒被压缩到了1分20秒；在图11对应的数据集3上，视频由1分58秒被压缩到了15秒。对比图左边为视频摘要，右边为原视频。蓝色方框标识的物体为对比图中基本不变的对应物体，红色方框标识表示对应物体快慢有明显变化或为不同物体。可以看到，一些物体通过速度变得更快或更慢来规避碰撞，视频摘要中某些画面也比原视频更紧凑，减少了画面冗余，而物体间的相互关系也被保留了下来。
[0122]
综上所述，本实施例方法相对于现有技术，具有如下优点和有益效果：
[0123]
(1)本实施例方法根据原视频物体管道间的遮挡关系将其分段，建立起图结构，并将最小处理单元细化到管道段，使图结构更灵活，提高了生成满足目标条件的较优视频摘要的可能性。
[0124]
(2)本实施例方法可以对场景较繁忙、前景物体间遮挡较多的监控视频有效减少视频信息冗余，生成可同时满足时序性、完整性、避免碰撞三个目标的摘要视频。
[0125]
本实施例还提供一种基于物体遮挡图结构的视频摘要系统，包括：
[0126]
管道获取模块，用于获取监控视频，根据监控视频提取管道信息，得到物体管道；
[0127]
管道划分模块，用于根据遮挡关系将物体管道切分为管道段；
[0128]
图构建模块，用于在管道段之间建立边，构建图结构；
[0129]
图完善模块，用于解决管道段之间的位置冲突问题，完善图结构；
[0130]
管道采样模块，用于基于图结构，采用mcmc算法对管道段进行采样，生成摘要视频。
[0131]
本实施例的一种基于物体遮挡图结构的视频摘要系统，可执行本发明方法实施例所提供的一种基于物体遮挡图结构的视频摘要方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0132]
本实施例还提供一种基于物体遮挡图结构的视频摘要装置，包括：
[0133]
至少一个处理器；
[0134]
至少一个存储器，用于存储至少一个程序；
[0135]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图18所示方法。
[0136]
本实施例的一种基于物体遮挡图结构的视频摘要装置，可执行本发明方法实施例所提供的一种基于物体遮挡图结构的视频摘要方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0137]
本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图18所示的方法。
[0138]
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种
基于物体遮挡图结构的视频摘要方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0139]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0140]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0141]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0142]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0143]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0144]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件
或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0145]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0146]
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0147]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。