点云处理方法、装置、电子设备和计算机可读存储介质与流程

1.本发明涉及图像处理领域，具体而言，涉及一种点云处理方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.弱纹理区域是仅有少量纹理或者没有纹理的区域，例如水面、公路、部分屋顶等，其始终为基于航空摄影测量的三维重建的挑战。现有的大多数三维重建软件(如pix4dmapper、context capture等)在进行三维重建的过程中，并没有针对弱纹理区域做特殊处理，导致生成的三维产品在弱纹理区域存在不同程度的噪点、分层、变形和空洞。
3.由于pix4dmapper、context capture等多数三维重建软件不存在处理弱纹理区域的特殊机制，虽然可调节解算参数，但弱纹理区域仍无法做到噪点和空洞的平衡。例如，pix4dmapper可以通过增加点云生成步骤中的最低匹配图像数目，达到减少弱纹理区域噪点的目的，但是会导致该区域形成空洞。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种点云处理方法、装置、电子设备和计算机可读存储介质，以解决现有技术中点云数据在弱纹理区域会出现大量噪点及空洞的问题。
5.为了实现上述目的，本发明实施例采用的技术方案如下：
6.第一方面，本发明提供一种点云处理方法，所述方法包括：
7.提取测绘区域对应的正射影像图中的弱纹理区域；
8.根据所述弱纹理区域的边界线和所述测绘区域对应的原始点云数据，获得所述弱纹理区域的边界处的点云数据；
9.根据所述弱纹理区域的边界处的点云数据，对所述弱纹理区域进行点云填充。
10.在可选的实施方式中，所述根据所述弱纹理区域的边界处的点云数据，对所述弱纹理区域进行点云填充，包括：
11.根据所述弱纹理区域的边界处的点云数据，计算所述弱纹理区域的垂直方向；
12.根据所述弱纹理区域的垂直方向以及所述弱纹理区域的边界处的点云数据，得到所述弱纹理区域的平面方程；
13.根据所述弱纹理区域的平面方程，对所述弱纹理区域进行点云插值处理，从而完成所述弱纹理区域的点云填充。
14.在可选的实施方式中，所述对所述弱纹理区域进行点云插值处理，包括：
15.按照预设的点云插值密度或者所述原始点云数据的分辨率，对所述弱纹理区域进行点云插值处理。
16.在可选的实施方式中，所述根据所述弱纹理区域的边界处的点云数据，计算所述弱纹理区域的垂直方向，包括：
17.对所述弱纹理区域的边界处的点云数据进行分布统计，并根据统计结果选取出预
设范围内的点云数据；
18.计算所述预设范围内的点云数据中每个点云的法向量；
19.计算所述预设范围内的点云数据中各点云的法向量的平均值，得到所述弱纹理区域的垂直方向。
20.在可选的实施方式中，所述方法还包括：
21.对所述弱纹理区域中填充的每个点云进行着色。
22.在可选的实施方式中，所述提取测绘区域对应的正射影像图中的弱纹理区域，包括：
23.根据测绘区域对应的正射影像图中的像素值或者预先训练的卷积神经网络提取所述正射影像图中的弱纹理区域，或者通过用户选取测绘区域对应的正射影像图中的弱纹理区域。
24.在可选的实施方式中，在提取测绘区域对应的正射影像图中的弱纹理区域之前，所述方法还包括：
25.根据测绘区域对应的原始点云数据或者原始图像数据，生成所述测绘区域对应的正射影像图。
26.第二方面，本发明提供一种点云处理装置，所述装置包括：
27.弱纹理区域提取模块，用于提取测绘区域对应的正射影像图中的弱纹理区域；
28.点云选取模块，用于根据所述弱纹理区域的边界线和所述测绘区域对应的原始点云数据，获得所述弱纹理区域的边界处的点云数据；
29.点云填充模块，用于根据所述弱纹理区域的边界处的点云数据，对所述弱纹理区域进行点云填充。
30.第三方面，本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如前述实施方式中任一项所述的点云处理方法的步骤。
31.第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的点云处理方法的步骤。
32.本发明实施例提供的点云处理方法、装置、电子设备和计算机可读存储介质，该方法通过提取测绘区域对应的正射影像图中的弱纹理区域，根据弱纹理区域的边界线和测绘区域对应的原始点云数据，获得弱纹理区域的边界处的点云数据，根据弱纹理区域的边界处的点云数据，对弱纹理区域进行点云填充。如此，利用弱纹理区域的边界处的点云数据进行弱纹理区域内的点云填充可对原始点云数据中的空洞进行填补，从而有效解决点云数据在弱纹理区域会出现大量噪点及空洞的问题，提升了三维产品的恢复效果。
33.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
34.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对
范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
35.图1示出了点云空洞的示意图；
36.图2示出了本发明实施例提供的点云处理方法的一种流程示意图；
37.图3示出了本发明实施例提供的点云处理方法的另一种流程示意图；
38.图4示出了弱纹理区域的边界线的示意图；
39.图5示出了本发明实施例提供的点云处理方法的又一种流程示意图；
40.图6示出了弱纹理区域进行点云填充后的示意图；
41.图7示出了本发明实施例提供的点云处理装置的一种功能模块图；
42.图8示出了本发明实施例提供的点云处理装置的另一种功能模块图；
43.图9示出了本发明实施例提供的电子设备的一种方框示意图。
44.图标：600-点云处理装置；700-电子设备；610-弱纹理区域提取模块；620-点云选取模块；630-点云填充模块；640-正射影像图生成模块；650-点云着色模块；710-存储器；720-处理器；730-通信模块。
具体实施方式
45.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
46.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
48.点云(point cloud)，是三维空间中的点的集合，每个点都被赋予一个笛卡尔坐标。点还可以被赋予其他属性，通常这些属性将表明它们是如何获得的。例如，收集数据的测量设备“看到”这些点的时间。还可能包括该点的强度或位置误差。
49.近年来，随着三维图像扫描技术取得的巨大发展，点云模型的优势也越来越明显。以点云为研究对象的图形学越来越受到关注，它在医学、现代卫星遥感测量、多媒体、机器视觉、智能监控、三维重建、体感交互及3d打印等领域都有非常广泛的应用。
50.在基于视觉的三维重建中，由于测绘区域中经常存在水面、公路、部分屋顶等弱纹理区域，而现有的大多数三维重建软件并没有针对弱纹理区域的三维重建做特殊处理，导致生成的测绘区域的点云数据中存在点云空洞(如图1所示)，极大影响了三维产品的恢复效果。
51.基于此，本发明实施例提出了一种点云处理方法、装置、电子设备和计算机可读存储介质，其利用弱纹理区域的边界处的点云数据进行弱纹理区域内的点云填充，可对原始点云数据中的空洞进行填补，从而有效解决点云数据在弱纹理区域会出现大量噪点及空洞的问题，提升了三维产品的恢复效果。下面，对本发明实施例提供的点云处理方法进行详细说明。
52.请参照图2，为本发明实施例提供的点云处理方法的一种流程示意图。需要说明的是，本发明实施例的点云处理方法并不以图2以及以下的具体顺序为限制，应当理解，在其他实施例中，本发明实施例的点云处理方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该点云处理方法可以应用在电子设备中，下面将对图2所示的具体流程进行详细阐述。
53.步骤s201，提取测绘区域对应的正射影像图中的弱纹理区域。
54.在本实施例中，测绘区域即需要进行测绘的区域；dom(digital orthophoto map，正射影像图)是对航空航天像片进行数字微分纠正和镶嵌，按一定图幅范围裁剪生成的数字正射影像集。它是同时具有地图几何精度和影像特征的图像。dom具有精度高、信息丰富、直观逼真、获取快捷等优点。
55.电子设备在获得测绘区域对应的正射影像图后，可以利用深度学习网络提取出正射影像图中的弱纹理区域。其中，弱纹理区域可以是没有纹理的区域，也可以是仅有少量纹理的区域。深度学习(dl，deep learning)是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。
56.步骤s202，根据弱纹理区域的边界线和测绘区域对应的原始点云数据，获得弱纹理区域的边界处的点云数据。
57.在本实施例中，可以利用航拍设备对测绘区域进行拍摄，根据拍摄到的二维影像进行三维重建，从而获取测绘区域对应的原始点云数据。
58.电子设备在提取出弱纹理区域后，可将该弱纹理区域的边界线与测绘区域对应的原始点云数据进行叠加，从而得到弱纹理区域的边界处的点云数据。
59.步骤s203，根据弱纹理区域的边界处的点云数据，对弱纹理区域进行点云填充。
60.在本实施例中，电子设备利用弱纹理区域的边界处的点云数据进行弱纹理区域内的点云填充可对原始点云数据中的空洞进行填补，从而有效解决点云数据在弱纹理区域会出现大量噪点及空洞的问题，提升了三维产品的恢复效果。
61.可见，本发明实施例提供的点云处理方法，通过提取测绘区域对应的正射影像图中的弱纹理区域，根据弱纹理区域的边界线和测绘区域对应的原始点云数据，获得弱纹理区域的边界处的点云数据，根据弱纹理区域的边界处的点云数据，对弱纹理区域进行点云填充。如此，利用弱纹理区域的边界处的点云数据进行弱纹理区域内的点云填充，可对原始点云数据中的空洞进行填补，从而有效解决点云数据在弱纹理区域会出现大量噪点及空洞的问题，提升了三维产品的恢复效果。
62.在实际应用中，正射影像图的生产有很多种方式，请参照图3，在步骤s201之前，本发明实施例提供的点云处理方法还可以包括：
63.步骤s301，根据测绘区域对应的原始点云数据或者原始图像数据，生成测绘区域对应的正射影像图。
64.在本实施例中，测绘区域对应的原始图像数据可以包括由航拍设备针对测绘区域拍摄的多张二维影像，原始点云数据可以根据测绘区域对应的原始图像数据进行三维重建获得。
65.其中，测绘区域的正射影像图可以基于原始点云数据生成，也可以基于拍摄到的原始图像数据生成。例如，在基于原始点云数据生成正射影像图时，可以将测绘区域对应的原始点云数据投影至正射平面，通过计算各投影点的图像坐标，最终生成测绘区域对应的正射影像图。在基于原始图像数据生成正射影像图时，可以采用航空影像的立体成像或者单片微分纠正方式生成正射影像图，或者利用卫星影像的立体像对生成正射影像图。
66.在本实施例中，可以基于不同的方法来提取弱纹理区域。即上述的步骤s201包括：根据测绘区域对应的正射影像图中的像素值或者预先训练的卷积神经网络提取正射影像图中的弱纹理区域，或者通过用户选取测绘区域对应的正射影像图中的弱纹理区域。
67.也即是说，在一种实施方式中，在获得测绘区域对应的正射影像图后，可由用户在正射影像图中选取出弱纹理区域，并绘制出弱纹理区域的边界线。在另一种实施方式中，为了避免人工绘制或导入其他相关软件识别弱纹理区域边界的繁琐，电子设备可以根据测绘区域对应的正射影像图中的像素值或者预先训练的卷积神经网络提取正射影像图中的弱纹理区域。
68.其中，在利用正射影像图中的像素值提取弱纹理区域时，通过遍历正射影像图中的像素，在当前像素值大于预设值时，采用区域增长方法判断邻域像素的像素值，如果邻域像素的像素值大于预设值，则继续向外扩散，直到像素值小于预设值为止。通过该方法可以获取正射影像图中的弱纹理区域。其中，预设值可以根据实际需要设置，例如，设置为240。
69.在利用预先训练的卷积神经网络提取正射影像图中的弱纹理区域时，可将测绘区域对应的正射影像图输入预先训练的卷积神经网络，利用卷积神经网络提取正射影像图中的弱纹理区域。
70.在本实施例中，可预先训练一个深度学习的卷积神经网络，用于提取正射影像图中的弱纹理区域，将训练好的卷积神经网络存储到电子设备中，当需要提取弱纹理区域时，将测绘区域对应的正射影像图输入该卷积神经网络中进行处理，最终由卷积神经网络输出该正射影像图中的弱纹理区域以及该弱纹理区域所属类别。
71.在一个实施例中，该深度学习的卷积神经网络的训练以及应用过程可以包括：
72.(1)利用labelme或者其他标注工具进行弱纹理区域的样本标注，不仅要标注其位置还要标注其类型，比如水域、强反光路面或弱纹理屋顶等。
73.(2)对原始数据和标签数据进行数据增强，以增加卷积神经网络训练的数据量；增强的方式有：裁剪、旋转、翻转、缩放以及添加噪声等。
74.(3)将制作好的数据集按照一定的比例如6：2：2分为三份：训练集、验证集和测试集。首先将训练集数据送入卷积神经网络中，卷积神经网络一般包含输入层、卷积层、池化层、全连接层，利用卷积网络为每个像素分配一个初始类别标签，卷积层可以有效的捕捉图像中的局部特征，并以层级的方式将许多这样的模块嵌套在一起。在卷积神经网络训练完成后，利用验证集对卷积神经网络进行评估，选择表现最好的一组超参数在测试集上进行测试。在不断的调整超参数过程中使得卷积神经网络在测试集上表现最优。
75.(4)使用最优的卷积神经网络完成对正射影像图的弱纹理区域分类，得到正射影
像图中的弱纹理区域以及其所属类别，并通过对分类结果矢量化，得到正射影像图中的弱纹理区域的边界线(如图4所示)。
76.可见，本发明实施例提供的点云处理方法，电子设备可以采用不同的方法来提取正射影像图中的弱纹理区域，并且利用正射影像图中的像素值或者利用深度学习的卷积神经网络来提取正射影像图中的弱纹理区域，有效避免了人工绘制或导入其他相关软件识别弱纹理区域边界的繁琐。
77.需要说明的是，在实际应用中，考虑到弱纹理区域有不同的类型，则针对不同类型的弱纹理区域，可以采用不同的方法来提取。例如，针对强反光区域这类弱纹理区域，可以利用像素强度值来提取。对于水域、屋顶以及太阳能反射板等这类弱纹理区域，则采用深度学习的卷积神经网络完成提取。
78.在一种实施方式中，电子设备可以根据弱纹理区域的边界处的点云数据拟合得到一个平面方程，基于拟合得到的平面方程完成弱纹理区域的点云填充。基于此，上述步骤s203中电子设备根据弱纹理区域的边界处的点云数据，对弱纹理区域进行点云填充，具体可以包括：
79.根据弱纹理区域的边界处的点云数据，计算弱纹理区域的垂直方向；根据弱纹理区域的垂直方向以及弱纹理区域的边界处的点云数据，得到弱纹理区域的平面方程；根据弱纹理区域的平面方程，对弱纹理区域进行点云插值处理，从而完成弱纹理区域的点云填充。
80.在本实施例中，电子设备根据弱纹理区域的边界处的点云数据，可以计算出弱纹理区域的垂直方向根据弱纹理区域的边界处的点云数据(即弱纹理区域周边各点云的坐标)与该弱纹理区域的垂直方向边各点云的坐标)与该弱纹理区域的垂直方向进行平面拟合，得到弱纹理区域的平面方程ax+by+cz+d＝0，基于该平面方程，对弱纹理区域进行点云插值处理，完成弱纹理区域的点云填充。
81.其中，电子设备在对弱纹理区域进行点云插值处理时，可以按照预设的点云插值密度或者原始点云数据的分辨率，对弱纹理区域进行点云插值处理。
82.例如，当电子设备中没有预先设置点云插值密度，则可根据原始点云数据的分辨率进行插值，从而获得合适的点云密度。
83.可选地，电子设备在根据弱纹理区域的边界处的点云数据，计算弱纹理区域的垂直方向时，具体可以包括：对弱纹理区域的边界处的点云数据进行分布统计，并根据统计结果选取出预设范围内的点云数据；计算预设范围内的点云数据中每个点云的法向量；计算预设范围内的点云数据中各点云的法向量的平均值，得到弱纹理区域的垂直方向。
84.例如，电子设备可以对弱纹理区域的边界处的点云数据进行正态分布统计，根据统计结果提取出两个标准差范围(也可以是其他个数的标准差范围)内的点云数据作为基准参考，计算两个标准差范围内的点云数据中每个点云的法向量，根据各点云的法向量，求取平均值，从而计算得到弱纹理区域的垂直方向。
85.可选地，请参照图5，电子设备在完成弱纹理区域的点云填充后，还可以执行以下步骤：
86.步骤s501，对弱纹理区域中填充的每个点云进行着色。
87.其中，电子设备可以利用dom中对应位置的像素值进行弱纹理区域中的点云着色。例如，针对弱纹理区域中填充的每个点云，可根据点云在正射影像图中对应位置处的像素值，对点云进行着色。
88.也即是说，在对弱纹理区域中的每个点云进行着色时，是通过获取该点云在正射影像图中对应位置处的像素值，并将该像素值作为每个点云的颜色值，从而完成弱纹理区域中的点云着色。
89.可见，本发明实施例提供的点云处理方法中，电子设备是在原始点云数据中找到弱纹理区域边界处的点云数据，对弱纹理区域边界处的点云数据进行分布统计，得到两个标准差范围内的点云数据作为基准参考，计算两个标准差范围内的点云数据的法向量，求取法向量的平均值作为该弱纹理区域的垂直方向，根据弱纹理区域周边点云坐标和垂直方向拟合得到平面方程，然后按照预先设置的点云插值密度或者原始点云数据的分辨率进行点云插值，点云的颜色值则取该点云在正射影像图中对应位置的像素值，从而完成弱纹理区域的点云填充(如图6所示)，有效解决了点云数据在弱纹理区域会出现大量噪点及空洞的问题，提升了三维产品的恢复效果。
90.为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种点云处理装置的实现方式。请参阅图7，为本发明实施例提供的点云处理装置600的一种功能模块图。需要说明的是，本实施例所提供的点云处理装置600，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该点云处理装置600包括弱纹理区域提取模块610、点云选取模块620和点云填充模块630。
91.该弱纹理区域提取模块610，用于提取测绘区域对应的正射影像图中的弱纹理区域。
92.可以理解，该弱纹理区域提取模块610可以执行上述步骤s201。
93.该点云选取模块620，用于根据弱纹理区域的边界线和测绘区域对应的原始点云数据，获得弱纹理区域的边界处的点云数据。
94.可以理解，该点云选取模块620可以执行上述步骤s202。
95.该点云填充模块630，用于根据弱纹理区域的边界处的点云数据，对弱纹理区域进行点云填充。
96.可以理解，该点云填充模块630可以执行上述步骤s203。
97.可选地，该点云填充模块630具体用于根据弱纹理区域的边界处的点云数据，计算弱纹理区域的垂直方向；根据弱纹理区域的垂直方向以及弱纹理区域的边界处的点云数据，得到弱纹理区域的平面方程；根据弱纹理区域的平面方程，对弱纹理区域进行点云插值处理，从而完成弱纹理区域的点云填充。
98.可选地，该点云填充模块630还具体用于按照预设的点云插值密度或者原始点云数据的分辨率，对弱纹理区域进行点云插值处理。
99.可选地，该点云填充模块630还具体用于对弱纹理区域的边界处的点云数据进行分布统计，并根据统计结果选取出预设范围内的点云数据；计算预设范围内的点云数据中每个点云的法向量；计算预设范围内的点云数据中各点云的法向量的平均值，得到弱纹理区域的垂直方向。
100.可选地，该弱纹理区域提取模块610具体用于根据测绘区域对应的正射影像图中
的像素值或者预先训练的卷积神经网络提取正射影像图中的弱纹理区域，或者通过用户选取测绘区域对应的正射影像图中的弱纹理区域。
101.可选地，请参照图8，本发明实施例提供的点云处理装置600还可以包括正射影像图生成模块640和点云着色模块650，该正射影像图生成模块640用于根据测绘区域对应的原始点云数据或者原始图像数据，生成测绘区域对应的正射影像图。
102.可以理解，该正射影像图生成模块640可以执行上述步骤s301。
103.该点云着色模块650，用于对弱纹理区域中填充的每个点云进行着色。其中，该点云着色模块650具体用于针对弱纹理区域中填充的每个点云，根据点云在正射影像图中对应位置处的像素值，对点云进行着色。
104.可以理解，该点云着色模块650可以执行上述步骤s501。
105.本发明实施例提供的点云处理装置，包括弱纹理区域提取模块、点云选取模块和点云填充模块，通过弱纹理区域提取模块提取测绘区域对应的正射影像图中的弱纹理区域，点云选取模块根据弱纹理区域的边界线和测绘区域对应的原始点云数据，获得弱纹理区域的边界处的点云数据，点云填充模块根据弱纹理区域的边界处的点云数据，对弱纹理区域进行点云填充。如此，利用弱纹理区域的边界处的点云数据进行弱纹理区域内的点云填充，可对原始点云数据中的空洞进行填补，从而有效解决点云数据在弱纹理区域会出现大量噪点及空洞的问题，提升了三维产品的恢复效果。
106.请参照图9，为本发明实施例提供的电子设备700的一种方框示意图。该电子设备可以是pc(personal computer，个人计算机)、服务器，还可以是飞行器、无人飞行器等设备，本实施例对此不做限制。电子设备700包括存储器710、处理器720及通信模块730。存储器710、处理器720以及通信模块730各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
107.其中，存储器710用于存储程序或者数据。存储器710可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
108.处理器720用于读/写存储器710中存储的数据或程序，并执行相应地功能。例如，当存储器710中存储的计算机程序被处理器720执行时，可以实现上述各实施例所揭示的点云处理方法。
109.通信模块730用于通过网络建立电子设备700与其它通信终端之间的通信连接，并用于通过网络收发数据。
110.应当理解的是，图9所示的结构仅为电子设备700的结构示意图，电子设备700还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。图9中所示的各组件可以采用硬件、软件或其组合实现。
111.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器720执行时实现上述各实施例所揭示的点云处理方法。
112.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图
显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
113.另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
114.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
115.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。