视频平面转换方法、装置、电子设备和计算机程序产品

1.本发明涉及视频转换技术领域，尤其涉及一种视频平面转换方法、装置、电子设备和计算机程序产品。


背景技术：

2.目前，体育竞技比赛中，如足球比赛，视频拍摄时，往往会依据当前足球所在位置，以局部的偏置角度对足球比赛进行拍摄，在反映项目特点、避免杂乱背景的基础上，便于以观众视角观看比赛，且便于观众捕捉比赛精彩、重要的瞬间。
3.现有技术中，以偏置角度拍摄的视频中，视频中所包含的区域往往是球场的一小部分，突出的是部分运动员的技术，并未反映出全部球场及其他运动员的动作，即对于全局的战术体系表现并不直观。


技术实现要素：

4.本发明提供一种视频平面转换方法、装置、电子设备和计算机程序产品，用以解决现有技术中对于全局的战术体系表现并不直观的缺陷，实现比赛视频的平面转换，以俯瞰视角直观表现全局战术。
5.本发明提供了一种视频平面转换方法，包括：
6.根据场地模型图像确定场地关键点；
7.基于高斯热图的关键点回归算法，确定所述场地关键点在视频帧图像中的坐标位置及置信度；
8.根据所述场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，所述三点不共线原则用于表示任意三个所述场地关键点的共线值为零；
9.根据所述有效关键点在所述场地模型图像和所述视频帧图像中的坐标位置，确定透视变换矩阵，所述透视变换矩阵用于实现视频帧图像中任意位置的平面映射。
10.根据本发明提供的视频平面转换方法，所述基于高斯热图的关键点回归算法，确定所述场地关键点在视频帧图像中的坐标位置及置信度，包括：
11.构建数据集，所述数据集包括视频帧图像与基于视频帧图像制作的标签高斯热图；
12.基于数据增强的所述数据集输入神经网络，获取生成特征图，并以js散度作为损失函数进行神经网络优化，其中，每张所述生成特征图中对应一个场地关键点，即相对应的场地关键点的坐标为每张所述生成特征图中像素最大点的坐标；
13.根据所述生成特征图中对应场地关键点对应坐标的预测值，确定所述场地关键点的置信度。
14.根据本发明提供的视频平面转换方法，所述基于数据增强的所述数据集输入神经网络，包括：所述数据集每次随机数据增强后输入神经网络，所述数据增强用于克服所述数
据集中场地关键点的位置、透视、明暗度偏移，扩充数据集并增强神经网络的泛化性，其中，所述数据增强包括增强阈值范围内的随机平移、随机度数旋转、随机比例缩放、色彩抖动参数随机变换和像素点随机遮掩。
15.根据本发明提供的视频平面转换方法，所述根据所述场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，所述三点不共线原则用于表示任意三个所述场地关键点的共线值为零，包括：
16.将所述场地关键点在视频帧图像中的置信度进行排序；
17.基于所述场地关键点的置信度排序结果，遍历所述场地关键点，利用任意三个高置信度的场地关键点的共线值，获取至少4个三点不共线的有效关键点。
18.根据本发明提供的视频平面转换方法，所述基于所述场地关键点的置信度排序结果，遍历所述场地关键点，利用任意三个高置信度的场地关键点的共线值，获取至少4个三点不共线的有效关键点，包括：
19.获取置信度最高的两个场地关键点及所述两个场地关键点在场地模型图像中对应的坐标，且所述置信度最高的两个场地关键点作为有效关键点；
20.基于所述场地关键点的置信度排序结果，依次确定下一个场地关键点与所述置信度最高的两个场地关键点的共线值，若共线值为1，则舍弃该场地关键点，并按排序结果确定下一个场地关键点与所述置信度最高的两个场地关键点的共线值，若共线值为0，则保留该场地关键点，并将该场地关键点作为有效关键点；
21.若有效关键点的数量大于或等于n，则终止遍历。
22.根据本发明提供的视频平面转换方法，所述根据所述有效关键点在所述场地模型图像和所述视频帧图像中的坐标位置，确定透视变换矩阵，所述透视变换矩阵用于实现视频帧图像中任意位置的平面映射，包括：
23.获取所述有效关键点在所述场地模型图像中的坐标；
24.获取所述有效关键点在所述视频帧图像中对应的坐标；
25.基于所述有效关键点在所述场地模型图像和所述视频帧图像中的坐标，确定映射参数值；
26.根据所述映射参数值，确定所述透视变换矩阵，所述透视变换矩阵用于实现视频帧图像中任意位置映射于场地映射平面中，且所述视频帧图像与场地映射平面一一对应。
27.本发明还提供一种视频平面转换装置，包括：
28.第一确定模块，用于根据场地模型图像确定场地关键点；
29.第二确定模块，用于基于高斯热图的关键点回归算法，确定所述场地关键点在视频帧图像中的坐标位置及置信度；
30.第三确定模块，用于根据所述场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，所述三点不共线原则用于表示任意三个所述场地关键点的共线值为零；
31.第四确定模块，用于根据所述有效关键点在所述场地模型图像和所述视频帧图像中的坐标位置，确定透视变换矩阵，所述透视变换矩阵用于实现视频帧图像中任意位置的平面映射。
32.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理
器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视频平面转换方法。
33.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视频平面转换方法。
34.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视频平面转换方法。
35.本发明提供的视频平面转换方法、装置、电子设备和计算机程序产品，通过建模确定覆盖全场的场地关键点，在原先的场地关键点消失时，能够出现新的关键点替代，保证了本发明在原理层面的功能可行性；通过关键点回归算法，基于高斯热图，回归出场景关键点在视频帧图像中的坐标位置及置信度，并通过置信度排序遍历场地关键点，基于场地关键点的共线值，获取有效关键点，并根据有效关键点在场地模型图像和视频帧图像中对应的坐标位置，确定透视变换矩阵，将视频帧图像中任意位置映射至场地映射平面中，以俯瞰视角直观反映全局战术。
附图说明
36.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是本发明提供的视频平面转换方法的流程示意图之一；
38.图2是本发明提供的视频平面转换方法的场地关键点分布示意图；
39.图3是本发明提供的视频平面转换方法的流程示意图之二；
40.图4是本发明提供的视频平面转换方法的流程示意图之三；
41.图5是本发明提供的视频平面转换方法的流程示意图之四；
42.图6是本发明提供的视频平面转换装置的结构示意图；
43.图7是本发明提供的电子设备的结构示意图。
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.下面结合图1-图5描述本发明的视频平面转换方法。
46.图1是本发明提供的视频平面转换方法的流程示意图之一，如图1所示，该方法包括：
47.步骤110，根据场地模型图像确定场地关键点。
48.可选地，图2是本发明提供的视频平面转换方法的场地关键点分布示意图，如图2所示，为实现场地覆盖，基于场地图像建模，获取场地模型图像，选取33个场地关键点(p1，p2，
……
，p
33
),每个场地关键点属于一个类别，场地关键点标注在视频帧图像中，其中，每个
场地关键点在场地模型图像中对应一个可测量的坐标位置(xi,yi),用于实现场地模型图像和视频帧图像的位置关联。33个场地关键点的选取，实现了视频帧图像中，在原先的场地关键点消失时，能够出现新的关键点替代，保证本发明的视频平面转换方法在原理层面的功能可行性。
49.步骤120，基于高斯热图的关键点回归算法，确定场地关键点在视频帧图像中的坐标位置及置信度。
50.可选地，图3是本发明提供的视频平面转换方法的流程示意图之二，如图3所示，该方法包括：
51.步骤210，构建数据集，数据集包括视频帧图像与基于视频帧图像制作的标签高斯热图。
52.可选地，获取一定数量的足球比赛视频，获取方式包括但不限于互联网，对获取的足球比赛视频以抽帧的方式获取原始数据集，原始数据集中的视频帧图像中涵盖所有的场地关键点，且尽量均衡。
53.可选地，对每张视频帧图像，参照场地关键点的分布进行标注，每张视频帧图像共标注33张标签高斯热图，分别代表不同场地关键点类别的标签，标签高斯热图与数据帧图像共同构成数据集，每张标签高斯热图中，以场地关键点的位置为中心，并以高斯分布的形式向外扩散，标签高斯热图的生成公式如式(1)所示：
[0054][0055]
其中，d(x,y)表示标签高斯热图中距离场地关键点的距离，z(x,y)为标签高斯热图。
[0056]
步骤220，基于数据增强的数据集输入神经网络，获取生成特征图，并以js散度作为损失函数进行神经网络优化，其中，每张生成特征图中对应一个场地关键点，即相对应的场地关键点的坐标为每张生成特征图中像素最大点的坐标。
[0057]
可选地，数据集每次随机数据增强后输入神经网络，数据增强用于克服数据集中场地关键点的位置、透视、明暗度偏移，扩充数据集并增强神经网络的泛化性，其中，数据增强包括增强阈值范围内的随机平移、随机度数旋转、随机比例缩放、色彩抖动参数随机变换和像素点随机遮掩。
[0058]
可选地，数据增强，包括：
[0059]
100像素点以内的上下、左右随机平移；
[0060]
正负10度以内的随机度数旋转；
[0061]
百分之15以内的缩放比例随机缩放；
[0062]
色彩抖动参数随机变换，色彩抖动参数包括亮度、饱和度、对比度；
[0063]
50像素点以内的随机遮掩，随机遮掩用于模仿球员干扰。
[0064]
可选地，对于每张视频帧图像，通过神经网络生成33张特征图，即33张生成特征图每张生成特征图对应一个场地关键点，其亮度最大点的坐标即为该场地关键点的坐标，第k个场地关键点的坐标预测公式如式(2)所示：
[0065]
[0066]
其中，为第k个场地关键点的预测坐标，为第k个关键点对应的生成特征图。
[0067]
可选地，本发明采用js散度作为损失函数进行神经网络优化指导。相比于kl散度，js散度用于解决正负样本互换情况下的不对称性，是用于衡量生成特征图与生成特征图的分布差异更为有效的指标。优化指导中，神经网络输出的生成特征图与标签高斯热图通过js散度衡量差异，并通过该差异值进行反向传播，直至差异值越来越小，进而提供有效的优化依据，进一步指导神经网络训练。其中，对于第k个场地关键点，js散度的公式如式(3)所示：
[0068][0069]
其中，zk和分别为第k个场地关键点的标签高斯热图和生成特征图，d
kl
为kl散度，kl散度的公式如式(4)所示：
[0070][0071]
其中，i表示生成特征图中的坐标点，n表示图像的总坐标数，p在式(3)中不同d
kl
中分别对应于式(3)中的zk和q对应于式(3)中的
[0072]
步骤230，根据生成特征图中对应场地关键点对应坐标的预测值，确定场地关键点的置信度，用于为后续的透视变换矩阵计算所需的有效关键点选择提供依据。置信度的生成公式如式(5)所示：
[0073][0074]
步骤130，根据场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，三点不共线原则用于表示任意三个场地关键点的共线值为零。
[0075]
可选地，图4是本发明提供的视频平面转换方法的流程示意图之三，如图4所示，该方法通过其置信度进行不可见场地关键点的排除，通过是否属于风险线段的判定过滤场地关键点，获取有效关键点，避免存在三点一线，该方法包括：
[0076]
步骤310，将场地关键点在视频帧图像中的置信度进行排序。
[0077]
步骤320，基于场地关键点的置信度排序结果，遍历场地关键点，利用任意三个高置信度的场地关键点的共线值，获取至少4个三点不共线的有效关键点。
[0078]
可选地，上述方法，包括：
[0079]
获取置信度最高的两个场地关键点及两个场地关键点在场地模型图像中对应的坐标，且置信度最高的两个场地关键点作为有效关键点；
[0080]
基于场地关键点的置信度排序结果，依次确定下一个场地关键点与置信度最高的两个场地关键点的共线值，若共线值为1，则舍弃该场地关键点，并按排序结果确定下一个场地关键点与置信度最高的两个场地关键点的共线值，若共线值为0，则保留该场地关键点，并将该场地关键点作为有效关键点；
[0081]
若有效关键点的数量大于或等于n，则终止遍历。
[0082]
可选地，获取33个场地关键点在视频帧图像中的坐标及其相对应的场地关键点置信度，获取33个场地关键点在场地模型图像中的坐标p＝[p1,p2,
…
,p
33
]，且第k个场地关键点的坐标为pk＝[xk,yk]，其中，与p中的每一个元素都是相对应的场地关键点。
[0083]
可选地，基于置信度排序结果，选取置信度最高的两个场地关键点，标记为(r1,r2),基于置信度排序结果，选取第三个场地关键点，标记为r3，计算场地模型图像中的p
r1
、p
r2
、p
r3
是否共线。若p
r1
、p
r2
、p
r3
存在三点共线，则或或任一组的斜率相等，即p
r1
、p
r2
、p
r3
的共线值为1，共线值的计算公式如式(6)所示：
[0084][0085]
其中，为指示函数，若共线值为1，则该p
r3
舍弃，进一步依据置信度排序结果选取下一个场地关键点，并重新标记为p
r3
；若共线值为0，则p
r3
保留，将其与置信度最高的两个场地关键点作为有效关键点，进一步选取p
r4
。直至保留了至少n个有效关键点后，停止遍历。示例地，n取值为4。
[0086]
步骤140，根据有效关键点在场地模型图像和视频帧图像中的坐标位置，确定透视变换矩阵，透视变换矩阵用于实现视频帧图像中任意位置的平面映射。
[0087]
可选地，图5是本发明提供的视频平面转换方法的流程示意图之四，如图5所示，该方法包括：
[0088]
获取有效关键点在场地模型图像中的坐标。
[0089]
获取有效关键点在视频帧图像中对应的坐标。
[0090]
基于有效关键点在场地模型图像和视频帧图像中的坐标，确定映射参数值。
[0091]
根据映射参数值，确定透视变换矩阵，透视变换矩阵用于实现视频帧图像中任意位置映射于场地映射平面中，且视频帧图像与场地映射平面一一对应。
[0092]
可选地，设定场地模型图像和视频帧图像中的映射函数如式(7)所示：
[0093][0094]
其中，[x,y,1]
t
为视频帧图像中的场地关键点坐标，[x',y',z']
t
为对应于场地模型图像中的场地关键点坐标，为透视变换矩阵，即场地模型图像和视频帧图像中的映射关系。透视变换矩阵中，用于实现图像的任意线性变换，如各种翻转及缩放等；[a
13
,a
23
]
t
用于实现图像的平移；[a
31
,a
32
]
t
用于表示透视变换,a
33
设定为1。
[0095]
由于视频帧图像指代三维空间，还需进行z轴归一化操作，则最终的场地模型图像
中球员位置坐标如式(8)所示：
[0096][0097]
将a
33
＝1及式(8)代入式(7)中，整理可得式(9)为：
[0098][0099]
其中，视频帧图像中4个有效关键点的坐标(x,y)和场地模型图像中4个有效关键点的坐标(x
″
,y
″
)均为已知数值，因此式(9)是线性可解的，将有效关键点的4对坐标代入式(9)中，即可获得透视变换矩阵m中的映射参数值(a
11
～a
31
)，进而获取透视变换矩阵，实现视频帧图像至场地模型图像的映射。
[0100]
可选地，获取透视变换矩阵后，对输入的视频逐帧抽取视频帧图像，视频帧图像中的球员坐标可通过目标检测、目标追踪等技术获取，本发明对此不作限定，通过视频帧图像中的球员坐标获取场地模型图像中的球员坐标映射，并储存当前视频帧图像映射的场地模型图像，循环进行下一张视频帧图像的映射处理，直至整个视频处理完成后，输出视频结果。
[0101]
本发明提供的视频平面转换方法，通过建模确定覆盖全场的场地关键点，在原先的场地关键点消失时，能够出现新的关键点替代，保证了本发明在原理层面的功能可行性；通过关键点回归算法，基于高斯热图，回归出场景关键点在视频帧图像中的坐标位置及置信度，并通过置信度排序遍历场地关键点，基于场地关键点的共线值，获取有效关键点，并根据有效关键点在场地模型图像和视频帧图像中对应的坐标位置，确定透视变换矩阵，将视频帧图像中任意位置映射至场地映射平面中，以俯瞰视角直观反映全局战术。
[0102]
下面对本发明提供的视频平面转换装置进行描述，下文描述的视频平面转换装置与上文描述的视频平面转换方法可相互对应参照。
[0103]
图6是本发明提供的视频平面转换装置的结构示意图，如图6所示，视频平面转换装置400，包括第一确定模块401、第二确定模块402、第三确定模块403和第四确定模块404，其中：
[0104]
第一确定模块401，用于根据场地模型图像确定场地关键点；
[0105]
第二确定模块402，用于基于高斯热图的关键点回归算法，确定场地关键点在视频帧图像中的坐标位置及置信度；
[0106]
第三确定模块403，用于根据场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，三点不共线原则用于表示任意三个场地关键点的共线值为零；
[0107]
第四确定模块404，用于根据有效关键点在场地模型图像和视频帧图像中的坐标位置，确定透视变换矩阵，透视变换矩阵用于实现视频帧图像中任意位置的平面映射。
[0108]
本发明提供的视频平面转换装置，通过建模确定覆盖全场的场地关键点，在原先的场地关键点消失时，能够出现新的关键点替代，保证了本发明在原理层面的功能可行性；
通过关键点回归算法，基于高斯热图，回归出场景关键点在视频帧图像中的坐标位置及置信度，并通过置信度排序遍历场地关键点，基于场地关键点的共线值，获取有效关键点，并根据有效关键点在场地模型图像和视频帧图像中对应的坐标位置，确定透视变换矩阵，将视频帧图像中任意位置映射至场地映射平面中，以俯瞰视角直观反映全局战术。
[0109]
可选地，第一确定模块401，具体用于：基于场地全覆盖和取点均衡的考虑，在场地模型图像中选取33个场地关键点。
[0110]
可选地，第二确定模块402，具体用于：
[0111]
构建数据集，数据集包括视频帧图像与基于视频帧图像制作的标签高斯热图；
[0112]
基于数据增强的数据集输入神经网络，获取生成特征图，并以js散度作为损失函数进行神经网络优化，其中，每张生成特征图中对应一个场地关键点，即相对应的场地关键点的坐标为每张生成特征图中像素最大点的坐标；
[0113]
根据生成特征图中对应场地关键点对应坐标的预测值，确定场地关键点的置信度。
[0114]
可选地，第二确定模块402，具体用于：
[0115]
数据集每次随机数据增强后输入神经网络，数据增强用于克服数据集中场地关键点的位置、透视、明暗度偏移，扩充数据集并增强神经网络的泛化性，其中，数据增强包括增强阈值范围内的随机平移、随机度数旋转、随机比例缩放、色彩抖动参数随机变换和像素点随机遮掩。
[0116]
可选地，第三确定模块403，具体用于：
[0117]
将场地关键点在视频帧图像中的置信度进行排序；
[0118]
基于场地关键点的置信度排序结果，遍历场地关键点，利用任意三个高置信度的场地关键点的共线值，获取至少4个三点不共线的有效关键点。
[0119]
可选地，第三确定模块403，具体用于：
[0120]
获取置信度最高的两个场地关键点及两个场地关键点在场地模型图像中对应的坐标，且置信度最高的两个场地关键点作为有效关键点；
[0121]
基于场地关键点的置信度排序结果，依次确定下一个场地关键点与置信度最高的两个场地关键点的共线值，若共线值为1，则舍弃该场地关键点，并按排序结果确定下一个场地关键点与置信度最高的两个场地关键点的共线值，若共线值为0，则保留该场地关键点，并将该场地关键点作为有效关键点；
[0122]
若有效关键点的数量大于或等于n，则终止遍历。
[0123]
可选地，第四确定模块404，具体用于：
[0124]
获取有效关键点在场地模型图像中的坐标；
[0125]
获取有效关键点在视频帧图像中对应的坐标；
[0126]
基于有效关键点在场地模型图像和视频帧图像中的坐标，确定映射参数值；
[0127]
根据映射参数值，确定透视变换矩阵，透视变换矩阵用于实现视频帧图像中任意位置映射于场地映射平面中，且视频帧图像与场地映射平面一一对应。
[0128]
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备500可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互
间的通信。处理器510可以调用存储器530中的逻辑指令，以执行视频平面转换方法，该方法包括：
[0129]
根据场地模型图像确定场地关键点；
[0130]
基于高斯热图的关键点回归算法，确定场地关键点在视频帧图像中的坐标位置及置信度；
[0131]
根据场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，三点不共线原则用于表示任意三个场地关键点的共线值为零；
[0132]
根据有效关键点在场地模型图像和视频帧图像中的坐标位置，确定透视变换矩阵，透视变换矩阵用于实现视频帧图像中任意位置的平面映射。
[0133]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0134]
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法所提供的视频平面转换方法，该方法包括：
[0135]
根据场地模型图像确定场地关键点；
[0136]
基于高斯热图的关键点回归算法，确定场地关键点在视频帧图像中的坐标位置及置信度；
[0137]
根据场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，三点不共线原则用于表示任意三个场地关键点的共线值为零；
[0138]
根据有效关键点在场地模型图像和视频帧图像中的坐标位置，确定透视变换矩阵，透视变换矩阵用于实现视频帧图像中任意位置的平面映射。
[0139]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的视频平面转换方法，该方法包括：
[0140]
根据场地模型图像确定场地关键点；
[0141]
基于高斯热图的关键点回归算法，确定场地关键点在视频帧图像中的坐标位置及置信度；
[0142]
根据场地关键点在视频帧图像中的置信度的排序结果及三点不共线原则，确定有效关键点，其中，三点不共线原则用于表示任意三个场地关键点的共线值为零；
[0143]
根据有效关键点在场地模型图像和视频帧图像中的坐标位置，确定透视变换矩阵，透视变换矩阵用于实现视频帧图像中任意位置的平面映射。
[0144]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即
可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0145]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
[0146]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。