一体化像素级变化样本标注和模型优化方法及装置与流程

1.本发明涉及遥感影像处理的技术领域，尤其是涉及一体化像素级变化样本标注和模型优化方法及装置。


背景技术：

2.近20年来业界公开的遥感影像变化样本数据集都是面向人工智能算法研究的，面向工程化应用的样本集几乎没有。而样本库建设作为国家、省、市、县各级自然资源调查监测体系中的重要环节，是自然资源调查监测、监管等业务的基础。目前自然资源各要素变化检测难度大、效率低，周期长，难以满足精细化管理需求，深度学习作为解决海量数据智能解译，提高效率的主要途径，可靠性又不足。究其原因有三：一是，目前流行的神经网络算法，既不具备举一反三的能力，也没有鉴别真伪的内在逻辑，其时空泛化能力完全取决于样本规模和质量，靠“见多识广”实现大力出神迹。二是，模型的应用没有考虑自然资源要素的地域差异性，或是区域划分粒度过大，远远超出了模型的时空泛化限制。三是，在实际项目执行过程往往很难满足数据源场景丰富，样本类型齐全，样本图形和属性无错无漏的要求。如何在有限项目周期内，利用有限的数据资源，高效构建局地样本库，提高模型精度，成为当前制约深度学习技术在自然资源遥感监测、监管领域应用的首要难题。
3.众所周知，遥感样本标注是一个耗费大量人力和时间的过程，像素级变化样本标注比一般的语义分割样本和场景级变化样本标注更加困难。语义分割样本标注在单期影像上进行，无需找变化。场景变化样本只需找到变化地物然后切块，无需对变化区域进行像素级标注。而像素级变化样本标注则需要在两期影像之间找到变化的位置，并对变化区域进行像素级标注和标签赋值。变化样本标注困难的另一个主要原因自然资源管理相关的变化稀疏分布，且与其他非相关的客观变化混杂一起。人眼在复杂的环境背景条件下，从两张遥感影像中找不同的能力非常有限。根据以往经验，人工变化样本标注过程中，2/3的时间消耗在查看两期影像，寻找和确定变化方面。而神经网路模型在其时空泛化范围内使用，寻找变化的效率非常高，且性能可预期，存在的问题是预测边界不够精确。
4.针对上述问题，还未提出有效的解决方案。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一体化像素级变化样本标注和模型优化方法及装置，以缓解了现有的遥感影像变化区域标注方法的精确度较低技术问题。
6.第一方面，本发明实施例提供了一种一体化像素级变化样本标注和模型优化方法，包括：获取目标区域的单元格图像中的城市单元格，并获取所述城市单元格的样本遥感影像集，其中，所述样本遥感影像集中包括：不同时相、不同拍摄角度和不同光照条件的遥感影像；将所述样本遥感影像集输入初始模型，得到所述城市单元格的预测图斑，其中，所述初始模型包括：变化检测模块和标注模块；对所述预测图斑进行人工处理，得到目标预测图斑，其中，所述人工处理包括：人工核验，手工标注和人工质检；利用交叉验证算法、所述
样本遥感影像集和所述目标预测图斑，对多个初始模型进行优化，得到多个目标模型。
7.进一步地，获取目标区域的单元格图像中的城市单元格，包括：获取所述目标区域的初始遥感影像；按照预设尺寸为所述初始遥感影像添加分隔线，得到所述单元格图像；基于所述单元格图像和所述目标区域的城市土地利用图，确定出初始城市单元格；计算所述城市单元格的面积的均值和标准差，并将面积大于所述均值和标准差之和的初始城市单元格，确定为中间面积单元格；确定出所述中间面积单元格中面积大于预设面积的中间面积单元格与所述初始城市单元格重叠的单元格；将所述重叠的单元格中的预设数量个单元格，确定为所述城市单元格。
8.进一步地，对所述预测图斑进行人工处理，得到目标预测图斑，包括：基于所述预测图斑，构建预测结果矢量属性表；利用预测结果矢量属性表和样本遥感影像集，对所述预测图斑进行人工核验，得到第一预测图斑；通过工作人员对所述第一预测图斑中的漏检变化图斑进行人工标注，得到，第二预测图斑；通过多个工作人员，对所述第二预测图斑依次进行自检、互检和终验，得到所述目标预测图斑。
9.进一步地，利用交叉验证算法、所述样本遥感影像集和所述目标预测图斑，对多个初始模型进行优化，多个目标模型，包括： 对所述样本遥感影像集进行多边形中心切片，得到数据集，并按照预设比例将所述数据集划分为训练集和测试集；利用所述训练集和所述训练集对应的目标预测图斑，对多个初始模型进行训练，得到多个训练后的初始模型；将所述测试集输入所述多个训练后的初始模型，得到所述测试集对应的多个预测图斑；利用所述交叉验证算法，对所述测试集对应的多个预测图斑进行交叉检验，得到交叉检验结果；若所述交叉检验结果为所述测试集中多个预测图斑之间不存在区别，则将所述多个训练后的初始模型确定为所述多个目标模型。
10.进一步地，所述方法还包括：若所述交叉检验结果为所述测试集中存在目标测试样本，则基于所述目标测试样本对所述预测图斑进行所述人工处理，得到处理后的预测图斑，其中，所述目标测试样本为所述测试集中测试样本对应的多个预测图斑之间存在区别的测试样本；利用交叉验证算法、所述样本遥感影像集和所述处理后的预测图斑，对多个初始模型进行优化，得到所述多个目标模型。
11.第二方面，本发明实施例还提供了一种一体化像素级变化样本标注和模型优化装置，包括： 获取单元，用于获取目标区域的单元格图像中的城市单元格，并获取所述城市单元格的样本遥感影像集，其中，所述样本遥感影像集中包括：不同时相、不同拍摄角度和不同光照条件的遥感影像；预测单元，用于将所述样本遥感影像集输入初始模型，得到所述城市单元格的预测图斑，其中，所述初始模型包括：变化检测模块和标注模块；人工处理单元，用于对所述预测图斑进行人工处理，得到目标预测图斑，其中，所述人工处理包括：人工核验，手工标注和人工质检；优化单元，用于利用交叉验证算法、所述样本遥感影像集和所述目标预测图斑，对多个初始模型进行优化，得到多个目标模型。
12.进一步地，所述获取单元，用于：获取所述目标区域的初始遥感影像；按照预设尺寸为所述初始遥感影像添加分隔线，得到所述单元格图像；基于所述单元格图像和所述目标区域的城市土地利用图，确定出初始城市单元格；计算所述城市单元格的面积的均值和标准差，并将面积大于所述均值和标准差之和的初始城市单元格，确定为中间面积单元格；确定出所述中间面积单元格中面积大于预设面积的中间面积单元格与所述初始城市单元
格重叠的单元格；将所述重叠的单元格中的预设数量个单元格，确定为所述城市单元格。
13.进一步地，所述人工处理单元，用于：基于所述预测图斑，构建预测结果矢量属性表；利用预测结果矢量属性表和样本遥感影像集，对所述预测图斑进行人工核验，得到第一预测图斑；通过工作人员对所述第一预测图斑中的漏检变化图斑进行人工标注，得到，第二预测图斑；通过多个工作人员，对所述第二预测图斑依次进行自检、互检和终验，得到所述目标预测图斑。
14.第三方面，本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述第一方面中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
15.第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序。
16.在本发明实施例中，通过获取目标区域的单元格图像中的城市单元格，并获取所述城市单元格的样本遥感影像集，其中，所述样本遥感影像集中包括：不同时相、不同拍摄角度和不同光照条件的遥感影像；将所述样本遥感影像集输入初始模型，得到所述城市单元格的预测图斑，其中，所述初始模型包括：变化检测模块和标注模块；对所述预测图斑进行人工处理，得到目标预测图斑，其中，所述人工处理包括：人工核验，手工标注和人工质检；利用交叉验证算法、所述样本遥感影像集和所述目标预测图斑，对多个初始模型进行优化，得到多个目标模型，达到了精确识别遥感影像变化区域以及对变化区域进行精确标注的目的，进而解决了现有的遥感影像变化区域标注方法的精确度较低技术问题，从而实现了提高遥感影像变化区域的识别准确度和变化区域标注的精确度的技术效果。
17.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
18.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
19.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明实施例提供的一体化像素级变化样本标注和模型优化方法的流程图；图2为本发明实施例提供的一体化像素级变化样本标注和模型优化装置的示意图；图3为本发明实施例提供的一种电子设备的示意图。
具体实施方式
21.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明
的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.实施例一：根据本发明实施例，提供了一体化像素级变化样本标注和模型优化方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
23.图1是根据本发明实施例的一体化像素级变化样本标注和模型优化方法的流程图，如图1所示，该方法包括如下步骤：步骤s102，获取目标区域的单元格图像中的城市单元格，并获取所述城市单元格的样本遥感影像集，其中，所述样本遥感影像集中包括：不同时相、不同拍摄角度和不同光照条件的遥感影像；需要说明的是，由于耕地、园地、林地、草地、水体、房屋、道路等自然资源要素在不同时相，不同拍摄角度和光照条件下获取的遥感影像上，其颜色、形状、纹理等视觉特征具有非常大的差异。样本数据源尽量选择不同时相、不同光照和拍摄条件下采集的卫星影像，以满足样本数据源场景丰富性，时间上的典型性。本实施例样本标注选择了2016～2021年每年一期共6期高分二号卫星（gf-2）0.8分辨率，蓝、绿、红三波段真彩色数据。以2016（夏）-2017（冬）、2018（冬）-2019（夏）、2010（春）-2021（夏）三种季相组合方式作为样本遥感影像集。
24.步骤s104，将所述样本遥感影像集输入初始模型，得到所述城市单元格的预测图斑，其中，所述初始模型包括：变化检测模块和标注模块；步骤s106，对所述预测图斑进行人工处理，得到目标预测图斑，其中，所述人工处理包括：人工核验，手工标注和人工质检；步骤s108，利用交叉验证算法、所述样本遥感影像集和所述目标预测图斑，对多个初始模型进行优化，得到多个目标模型。
25.在本发明实施例中，通过获取目标区域的单元格图像中的城市单元格，并获取所述城市单元格的样本遥感影像集，其中，所述样本遥感影像集中包括：不同时相、不同拍摄角度和不同光照条件的遥感影像；将所述样本遥感影像集输入初始模型，得到所述城市单元格的预测图斑，其中，所述初始模型包括：变化检测模块和标注模块；对所述预测图斑进行人工处理，得到目标预测图斑，其中，所述人工处理包括：人工核验，手工标注和人工质检；利用交叉验证算法、所述样本遥感影像集和所述目标预测图斑，对多个初始模型进行优化，得到多个目标模型，达到了精确识别遥感影像变化区域以及对变化区域进行精确标注的目的，进而解决了现有的遥感影像变化区域标注方法的精确度较低技术问题，从而实现了提高遥感影像变化区域的识别准确度和变化区域标注的精确度的技术效果。
26.在本发明实施例中，步骤s102包括如下步骤：获取所述目标区域的初始遥感影像；按照预设尺寸为所述初始遥感影像添加分隔线，得到所述单元格图像；基于所述单元格图像和所述目标区域的城市土地利用图，确定出初始城市单元
格；计算所述城市单元格的面积的均值和标准差，并将面积大于所述均值和标准差之和的初始城市单元格，确定为中间面积单元格；确定出所述中间面积单元格中面积大于预设面积的中间面积单元格与所述初始城市单元格重叠的单元格；将所述重叠的单元格中的预设数量个单元格，确定为所述城市单元格。
27.在本发明实施例中，在充分考虑作业区自然资源要素空间分布的条件下，结合城市土地利用现状，通过标注单元布设确保标注单元内含有丰富的变化样本，且能代表作业区的总体特征。
28.在获取到目标区域的初始遥感影像之后，以6
′
间隔将初始遥感影像中一个标准经纬度单元划分为10
×
10个小单元作为基本单元，得到单元格图像。
29.接着，将单元格图像与城市土地利用图进行叠加分析，得到初始城市单元格。
30.由于城市中心区地块面积都比较小，地类变化少，越往周边地块面积越大，地类变化越多。因此，假设本市地块面积的均值和标准差分别为0.3和1.2，将地块面积大于阈值1.5的初始城市单元格个确定为中间面积单元格。均值加一个标准差的阈值比较适合一线大城市，对于二、三线城市中心区非常小，阈值可以使用均值加半个标准差。
31.最后，将初始城市单元格与中间面积单元格进行叠加，将中间面积单元格中面积大于预设面积的中间面积单元格与初始城市单元格重叠的单元格确定为城市单元格。
32.下面对步骤s104进行详细说明。
33.先用本地或异地训练好的模型对样本遥感影像集进行变化预测，得到预测图斑，本实施例采用了异地早期训练好的新增建筑物变化检测模型。在没有任何样本和模型可用的情况下，可以将国土年度变更调查内业提取的不一致图斑作为参考。需要注意的是不一致图斑是基于土地利用单元的，没有考虑神经网络模型的需要，不能直接作为样本使用，需要进一步清洗去除不一致图斑内混杂的土壤、植被、阴影等背景噪音，并对周边一定范围进行查漏补缺。
34.在本发明实施例中，步骤s106包括如下步骤：基于所述预测图斑，构建预测结果矢量属性表；利用预测结果矢量属性表和样本遥感影像集，对所述预测图斑进行人工核验，得到第一预测图斑；通过工作人员对所述第一预测图斑中的漏检变化图斑进行人工标注，得到，第二预测图斑；通过多个工作人员，对所述第二预测图斑依次进行自检、互检和终验，得到所述目标预测图斑。
35.在本发明实施例中，工作人员将样本遥感影像集中的前期影像加载到左侧窗口，将后期影像加载到右侧窗口，并将预测图斑叠加到前后影像之上叠加显示，并打开预测结果矢量属性表，逐图斑核查预测结果真伪，如果影像前后地物特征不一致是真变化，则将其字段属性赋值为1，如果影像前后地物特征一致，则为模型虚检，将其字段属性赋值为0。
36.接着，建样本矢量层，定位到模型预测结果为真变化图斑，按照新增或减少地物的边缘准确勾绘图斑，并对周边模型漏检的变化图斑进行查漏补缺。
37.最后，通过多个工作人员进行自检、互检、终验三道检查来保证样本质量，检查内容分几何和属性正确性和完整性检查两方面。
38.在本发明实施例中，步骤s108包括如下步骤：对所述样本遥感影像集进行多边形中心切片，得到数据集，并按照预设比例将所述数据集划分为训练集和测试集；利用所述训练集和所述训练集对应的目标预测图斑，对多个初始模型进行训练，得到多个训练后的初始模型；将所述测试集输入所述多个训练后的初始模型，得到所述测试集对应的多个预测图斑；利用所述交叉验证算法，对所述测试集对应的多个预测图斑进行交叉检验，得到交叉检验结果；若所述交叉检验结果为所述测试集中多个预测图斑之间不存在区别，则将所述多个训练后的初始模型确定为所述多个目标模型。
39.若所述交叉检验结果为所述测试集中存在目标测试样本，则基于所述目标测试样本对所述预测图斑进行所述人工处理，得到处理后的预测图斑，其中，所述目标测试样本为所述测试集中测试样本对应的多个预测图斑之间存在区别的测试样本；利用交叉验证算法、所述样本遥感影像集和所述处理后的预测图斑，对多个初始模型进行优化，得到所述多个目标模型。
40.在本发明实施例中，大多数语义分割样本切片采用滑窗切片模式，而变化样本为稀疏样本，滑窗切片会造成极大的数据冗余，增加后续模型训练时间，因此，针对样本遥感影像集采用多边形中心切片模式。
41.切片过程分为样本矢量栅格化、中心点确定和样本切片3个步骤。
42.矢量栅格化：基于导入的样本遥感影像集的矢量数据，生成一幅与前、后时相影像同分辨率、同样尺寸的标签影像；中心点确定：遍历样本遥感影像集的矢量数据找出样本遥感影像集多边形的中心点，首先计算每个多边形的最小外接矩形，找到两个长边的中点a和b，a和b的连线与多边形边界有两个交点c和d，取c和d的中点e点为多边形中心位置。该方法简单易行，可以确保中心点样本矢量多变形内；样本切片：变化样本由前、后时相影像和标签图组成。中心点坐标位置确定后，以该坐标为中心，从上述样本遥感影像集上各裁剪出模型指定大小的影像块（即，数据集），如256
×
256或512
×
512，并存储到指定目录以备后续模型训练用。
43.按照一定的比例将数据集分配为训练集和测试集，对两三个性能相当的初始模型进行训练，并用训练好的初始模型对样本单元进行二次预测。针对自然资源变化目标特征复杂、尺度相差悬殊且稀疏分布的特点，采用分别提取前后影像多尺度特征、计算前后影像特征差异并根据特征差异生成变化图的变化检测策略。特征提取模块通过各种卷积技术、自注意力机制或噪声扩散机制等扩大感受野，从而提取更大范围的上下文信息。变化检测模块融合多尺度特征用于相关变化信息提取，抑制季相变化、建筑物阴影、大气条件等引起的非相关变化。
44.对多个模型预测结果（即，测试集对应的多个预测图斑）进行交叉验证，预测结果
一致（即，交叉检验结果为测试集中多个预测图斑之间不存在区别）的为高置信度样本，并将多个训练后的初始模型确定为多个目标模型，预测结果不一致（即，交叉检验结果为所述测试集中存在目标测试样本）的样本，返回质检环节，进行进一步人工核检和模型引导下的噪声清洗。
45.由于，样本标注工作是一个非常主观的过程，错标和漏标是在所难免的。遥感影像样本标注尤其如此，比如建筑物，由于拍摄角度和光照差异造成房顶颜色、形状和纹理在后期影像上与前期不完全一致，作业员在在赶工或疲劳状态下，会将本质上没有变化的建筑误标为变化样本造成错标。或是一个建筑群，有多个独立的建筑物，模型会漏检，作业员也会漏标少数一两个建筑物。由于模型没有鉴别真伪的内在逻辑，错误样本和漏标样本对模型特征学习会造成很大的干扰。本实施例对初始样本中存在的10～20%的错标和漏标噪声清洗后，召回率由清洗前的70～80%提高到90～95%以上，漏检率下降到5～10%以内。
46.最后，样本清洗工作完成后得到处理后的预测图斑，返回样本切片步骤，接下来用样本遥感影像集和处理后的预测图斑对多个初始模型进行重新训练，并对整个作业区进行预测，评价预测结果决定是否需要补充新的样本标注单元或增加影像时相。如果是，返回手工标注和质检环节，重复以上过程，直到预测结果精度满足工程项目需求，从而得到多个目标模型。
47.由于模型不具备举一反三的能力，样本标注和模型优化迭代的目的是实现变化样本的齐全性，通常情况下某一类地物变化样本由不同的视觉特征来表达其相关语义信息，且各种视觉特征之间具备互补性，也就是说每个不同的样本各自表达了同一地类不同的属性，而不是多个样本重复表达某一属性。样本的类内多样性足够丰富才能代表地物在真实世界的分布情况，这样算法才能学习到该类地物的必要特征，实现时空有限泛化。
48.实施例二：本发明实施例还提供了一种一体化像素级变化样本标注和模型优化装置，该一体化像素级变化样本标注和模型优化装置用于执行本发明实施例上述内容所提供的一体化像素级变化样本标注和模型优化方法，以下是本发明实施例提供的一体化像素级变化样本标注和模型优化装置的具体介绍。
49.如图2所示，图2为上述一体化像素级变化样本标注和模型优化装置的示意图，该一体化像素级变化样本标注和模型优化装置包括：获取单元10，用于获取目标区域的单元格图像中的城市单元格，并获取所述城市单元格的样本遥感影像集，其中，所述样本遥感影像集中包括：不同时相、不同拍摄角度和不同光照条件的遥感影像；预测单元20，用于将所述样本遥感影像集输入初始模型，得到所述城市单元格的预测图斑，其中，所述初始模型包括：变化检测模块和标注模块；人工处理单元30，用于对所述预测图斑进行人工处理，得到目标预测图斑，其中，所述人工处理包括：人工核验，手工标注和人工质检；优化单元40，用于利用交叉验证算法、所述样本遥感影像集和所述目标预测图斑，对多个初始模型进行优化，得到多个目标模型。
50.在本发明实施例中，通过获取目标区域的单元格图像中的城市单元格，并获取所述城市单元格的样本遥感影像集，其中，所述样本遥感影像集中包括：不同时相、不同拍摄
角度和不同光照条件的遥感影像；将所述样本遥感影像集输入初始模型，得到所述城市单元格的预测图斑，其中，所述初始模型包括：变化检测模块和标注模块；对所述预测图斑进行人工处理，得到目标预测图斑，其中，所述人工处理包括：人工核验，手工标注和人工质检；利用交叉验证算法、所述样本遥感影像集和所述目标预测图斑，对多个初始模型进行优化，得到多个目标模型，达到了精确识别遥感影像变化区域以及对变化区域进行精确标注的目的，进而解决了现有的遥感影像变化区域标注方法的精确度较低技术问题，从而实现了提高遥感影像变化区域的识别准确度和变化区域标注的精确度的技术效果。
51.实施例三：本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述实施例一中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
52.参见图3，本发明实施例还提供一种电子设备100，包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。
53.其中，存储器51可能包含高速随机存取存储器（ram，random access memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口53（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
54.总线52可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
55.其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。
56.处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。
57.实施例四：本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有
计算机程序，计算机程序被处理器运行时执行上述实施例一中所述方法的步骤。
58.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
59.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
60.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
61.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
62.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
63.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。