基于原型对比学习的遥感图像目标检测系统及方法

1.本发明涉及遥感图像处理技术领域，特别涉及一种基于原型对比学习的遥感图像目标检测系统及方法。


背景技术：

2.从覆盖数百万平方公里的卫星图像中快速、准确地定位和识别感兴趣目标是遥感图像智能解译领域的核心问题之一。随着遥感目标的细粒度检测在军事监测、智慧交通等应用领域的需求日益增长，通用的遥感目标检测算法越来越难以满足需求，遥感目标的细粒度检测成为亟待解决的问题。
3.随着深度学习技术的发展，基于深度神经网络的遥感目标检测方法能自适应的从数据中学习到更具表征能力高层语义信息，大幅提升了目标检测算法的精度。但现有方法大部分针对遥感目标难以精准定位的问题进行研究，仅对遥感目标进行粗略的分类，难以满足日益增长的对遥感目标细粒度检测的要求。现有对遥感目标进行细粒度分类的方法往往是先利用遥感目标检测算法对目标进行定位，再对目标区域进行细粒度分类。但这类方法重复提取遥感目标的特征故计算冗余度高，遥感图像目标检测系统参数量大，检测速度慢，严重限制了遥感目标细粒度检测的应用。
4.对比学习的方法通过各类别样本的相似性和差异性，来学习到更具判别性的特征，由于对比学习不关注实例级细节，只关注抽象语义级别的特征空间上的数据区分，因此具有遥感图像目标检测系统简单，且泛化能力强的优点。但对比学习由于需要构造对比样本对，对数据集中类别平衡性要求较高，然而遥感图像幅宽大，场景性强，目标耦合性强，一批次数据中难以覆盖所有目标类别。故难以构造对比样本对进行对比学习。
5.在无监督对比学习中，通过聚类算法经迭代初始化得到初始类别原型，进而利用各类别中心构造广义样本对，进而进行对比学习。不同于无监督对比学习，遥感目标细粒度检测中，具有各目标类别标签，但需要通过训练使遥感图像目标检测系统对目标位置进行定位，故不需要使用聚类算法获得初始类别原型，但难以通过迭代初始化得到初始类别原型。因此在遥感目标细粒度检测中搜索各初始类别原型中，需要不断的学习和调整初始类别原型，进而使其能够较好的代表类别特征，构建对比关系，进行对比学习。


技术实现要素：

6.本发明要解决的技术问题为：针对现有技术的上述问题，提供一种基于原型对比学习的遥感图像目标检测方法及系统，本发明旨在不增加训练及测试代价的情况下，解决遥感图像目标细粒度检测中难以对目标进行精确分类的情况，提高遥感图像目标细粒度检测的精确度以及性能。
7.为达到上述目的，本发明的技术方案是这样实现的：
8.基于原型对比学习的遥感图像目标检测系统，其特征在于，包括连接的特征图提取模块、区域特征提取模块以及与区域特征提取模块分别连接的类别对比模块、位置预测
模块和类别预测模块；
9.所述特征图提取模块用于在遥感图像中提取多尺度的特征图；
10.所述区域特征提取模块用于在特征图内筛选多个感兴趣区域，并提取每个感兴趣区域的特征向量zi；
11.所述类别对比模块用于将感兴趣区域的特征向量zi分别与设定的k个初始类别原型pk进行比对，以求得将特征向量zi与对应的初始类别原型pk的相似度q
i,k
；所述类别对比模块通过对比损失函数l
con
来进行对比学习，以提升遥感图像目标检测系统的判别性特征提取能力；
12.所述位置预测模块用于在多个特征向量zi中提取目标的位置信息，并对目标进行位置预测；所述位置预测模块通过定位损失函数l
reg
进行学习，以提升遥感图像目标检测系统的位置预测能力；
13.所述类别预测模块用于在多个特征向量zi中提取目标的类别信息，并对目标进行类别预测；所述类别预测模块通过分类损失函数l
cls
进行学习，以提升遥感图像目标检测系统的类别预测能力。
14.进一步地，所述区域特征提取模块包括依次连接的区域生成网络、类别平衡采样器、区域池化网络和区域特征提取网络；
15.所述区域生成网络与所述特征图提取模块连接，用于对特征图进行区域划分，以筛选出多个感兴趣区域，并形成每个感兴趣区域的索引；
16.所述类别平衡采样器用于对多个感兴趣区域及其对应的索引进行采样，以将多个感兴趣区域分别划分到对应的标签类别中，同时，使得每个标签类别中的感兴趣区域的数量相差不超过第一预设值，并生成指定数量的索引，采样后的感兴趣区域的数量和采样后的索引的数量相等，且分别对应；
17.所述区域池化网络用于接收所述特征金字塔网络输出的特征图和所述类别平衡采样器输出的索引，根据索引将对应的感兴趣区域裁剪出来，并将裁剪出来的多个感兴趣区域分别池化成尺寸相同的多个特征图；
18.所述区域特征提取网络用于求解所述区域池化网络输出的多个特征图所分别对应的特征向量zi。
19.本发明第二方面还提供了一种基于原型对比学习的遥感图像目标检测方法，使用以上所述的遥感图像目标检测系统对目标进行检测，其具体包含以下步骤：
20.步骤s100、随机生成每一类目标初始的初始类别原型pk；
21.步骤s200、将遥感图像输入到所述特征图提取模块，所述特征图提取模块利用深度神经网络，进行多层次特征提取，得到多尺度特征图；
22.步骤s300、将多尺度特征图输入到所述区域生成网络，所述区域生成网络对多个特征图进行区域划分，得到多个感兴趣区域，并形成多个感兴趣区域所对应的索引；
23.步骤s400、将多个感兴趣区域传输到所述类别平衡采样器，所述类别平衡采样器用于对多个感兴趣区域和多个对应的索引进行采样，依据多个感兴趣区域所对应的类别标签进行采样，使每个类别标签中的感兴趣区域的数量最接近，并形成指定数量的索引；
24.步骤s500、将多尺度特征图和多个索引传输到所述区域池化网络，所述区域池化网络根据索引将对应的感兴趣区域裁剪出来，并将裁剪出来的多个感兴趣区域分别池化成
尺寸相同的多个特征图；
25.步骤s600、将所述区域池化网络输出的多个特征图传输到所述区域特征提取网络，所述区域特征提取网络分别提取多个特征图所对应的特征向量zi；
26.步骤s700、将多个特征向量zi分别传输到所述类别对比模块、所述位置预测模块和所述类别预测模块中以构建对应的对比损失函数l
con
、定位损失函数l
reg
以及分类损失函数l
cls
；
27.步骤s800、依据对比损失函数l
con
、定位损失函数l
reg
以及分类损失函数l
cls
建立总损失函数，重复步骤s200至步骤s800，最小化总损失函数，直至总损失函数收敛，或循环次数达到第二设定值，第二预设值可以是10或者20或者其他，优选的，第二设定值为12；
28.步骤s900、分别使用所述位置预测模块和所述类别预测模块进行测试，以分别预测目标的位置信息和目标的类别信息。
29.进一步地，所述步骤s400中的对多个感兴趣区域进行采样具体包含如下步骤：
30.步骤s410：计算当前批次中每类别期望采样数目num_acls，根据设定的总期望采样数目num_aim和当前批次类总数num_cls，计算出每类别期望采样数目num_acls＝num_aim/num_cls；
31.步骤s420：进行各类别感兴趣区域的随机采样，将抽中的感兴趣区域放入标签类别sampled，未抽中的感兴趣区域放入标签类别unsampled；
32.步骤s430：进行感兴趣区域的重采样，计算标签类别sampled包含的感兴趣区域数目num_sampled，若num_sampled《num_aim，在标签类别unsampled中随机抽取num_aim-num_sampled个感兴趣区域放入标签类别sampled；最终实现每个标签类别中的感兴趣区域的数量相差不超过第一预设值。
33.进一步地，所述步骤s600具体包含如下步骤：
34.步骤s621：使用第一全连接层对经过初步特征提取得到的多个特征向量zi进行进一步特征提取，特征向量zi维度均不发生变化；
35.步骤s622：使用relu激活函数对步骤s621中提取后的多个特征向量zi进行依次激活；
36.步骤s623：使用第二全连接层对激活后的多个特征向量zi进行进一步提取，将特征向量的维度降至与初始类别原型pk相同，得到多个特征图所对应的特征向量zi。
37.进一步地，所述步骤s700中建立对比损失函数l
con
具体包含如下步骤：
38.步骤s710、所述类别对比模块将多个特征向量zi映射到对应的对比空间内，并分别与对应的初始类别原型pk进行比对，以求得特征向量zi与对应的初始类别原型pk的相似度q
i,k
；
39.步骤s720：利用相似度q
i,k
计算并建立对比损失函数l
con
。
40.进一步地，所述步骤s710中求得特征向量zi与对应的初始类别原型pk的相似度q
i,k
具体包含如下步骤：
41.步骤s711：归一化初始类别原型pk，使每一类初始类别原型的模长为1，同时归一化感兴趣区域样本的特征向量zi，使之模长为1；
42.步骤s712：计算感兴趣区域特征向量与初始类别原型pk的相似度q
i,k
，将归一化后的初始类别原型pk，与归一化后的特征向量zi相乘，得到特征向量zi与初始类别原型的相似
度q
i,k
；计算公式可以表示为
43.进一步地，所述步骤s720具体包含如下步骤：
44.步骤s721：挖掘困难负样本，将感兴趣区域特征向量zi与初始类别原型pk的相似度q
i,k
，除以温度系数τ来对相似度的梯度进行调节，促进正负样本分离；温度系数τ越小，对困难负样本的关注程度越高，温度系数取值范围为[0,1]；
[0045]
步骤s722：构建有初始的对比损失函数l
con
，将有监督对比损失函数公式推广到初始的对比损失函数l
con
，初始的对比损失函数l
con
计算公式可以表示为：
[0046][0047]
其中yi为样本标签值，k为初始类别原型pk的类别总数；
[0048]
步骤s723：修正相似度q
i,k
，将该类正样本与该类初始类别原型pk的相似度取相反数，得到新的相似度q
i,k
；
[0049][0050]
步骤s724：修正初始的对比损失函数l
con
；其公式为：
[0051][0052]
步骤s725：平衡正负样本，l
con
计算公式表示为：
[0053][0054]
其中|p
+
|为每批次中正样本类别数目；|p-|为负样本类别数目；k为初始类别原型pk的类别总数；。
[0055]
进一步地，所述步骤s800中建立总损失函数的实现方式为：将对比损失函数l
con
、定位损失函数l
reg
和分类损失函数l
cls
进行线性组合，并通过赋予权重的方式控制各部分比重，λ1～λ3为预设的权重参数，公式为：
[0056]
loss＝λ1·
l
reg
+λ2·
l
cls
+λ3·
l
con
，其中loss为总损失函数。
[0057]
本发明第三方面还提供一种计算机设备，包括相互连接的存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时包含以上所述的遥感图像目标检测方法。
[0058]
本发明第四方面还提供了计算机可读存储介质，其上存储有计算机程序，所述计算机程序被外部的处理器执行时，包含以上所述的遥感图像目标检测方法。
[0059]
有益效果：
[0060]
第一，本发明针对遥感细粒度目标出现频率差异大的问题，提出了类别平衡采样器，缓解了同一场景内不同类别样本数目严重失衡的问题，增加了一批次内目标的类别平衡性，最终提高了遥感细粒度目标检测精度。
[0061]
第二，本发明针对遥感图片的大幅宽，遥感目标的场景性强的特点，设计了原型对比模块，解决了图像中因目标耦合性而难以构建对比关系的难题，提出了有监督原型对比
损失函数，实现了提取各类别判别性特征的目标，有效提高了细粒度目标检测的精度。
[0062]
第三，本发明提出的方法遥感图像目标检测系统简单，对比分支可移植性强，计算量小，在训练阶段几乎不增加训练时间及空间开销。在测试阶段，由于原型对比模块在测试时进行删除，故完全不增加测试代价。
附图说明
[0063]
图1为本发明一实施例提供的方法的基本流程示意图；
[0064]
图2是本发明一实施例提出的基于原型对比学习的遥感图像目标检测方法及系统的遥感图像目标检测系统结构图；
[0065]
图3是本发明一实施例提出的原型对比模块示意图；
[0066]
图4是本发明一实例的检测结果图。
具体实施方式
[0067]
下面结合附图及具体实施例对本发明再作进一步详细的说明。
[0068]
第一实施例：
[0069]
如图1所示，本技术实施例提供了一种基于原型对比学习的遥感图像目标检测系统，其特征在于，包括连接的特征图提取模块、区域特征提取模块以及与区域特征提取模块分别连接的类别对比模块、位置预测模块和类别预测模块；
[0070]
所述特征图提取模块用于在遥感图像中提取多尺度的特征图；所述特征图提取模块包括依次连接的骨干网络和特征金字塔网络，所述骨干网络用于对遥感图像中不同尺度的特征进行提取；所述特征金字塔网络用于对不同尺度的特征进行融合，以形成多尺度的特征图；
[0071]
所述区域特征提取模块用于在特征图内筛选多个感兴趣区域，并提取每个感兴趣区域的特征向量zi；
[0072]
所述类别对比模块用于将感兴趣区域的特征向量zi分别与设定的k个初始类别原型pk进行比对，以求得将特征向量zi与对应的初始类别原型pk的相似度q
i,k
；所述类别对比模块通过对比损失函数l
con
来进行对比学习，以提升遥感图像目标检测系统的判别性特征提取能力，使特征向量zi更具类别判别性，以更好的进行细粒度分类；所述类别对比模块优选为类别对比网络；
[0073]
所述位置预测模块用于在多个特征向量zi中提取目标的位置信息，并对目标进行位置预测；所述位置预测模块通过定位损失函数l
reg
进行学习，以提升遥感图像目标检测系统的位置预测能力；所述位置预测模块优选为边框回归网络；所述边框回归网络的输出长度为5(n+1)(n个类+一个背景类，每个类都有5个位置参数)；
[0074]
所述类别预测模块用于在多个特征向量zi中提取目标的类别信息，并对目标进行类别预测；所述类别预测模块通过分类损失函数l
cls
进行学习，以提升遥感图像目标检测系统的类别预测能力；所述类别预测模块优选为类别预测网络；所述类别预测网络的输出长度为(n+1)(n个类+一个背景类)；
[0075]
在学习阶段：区域特征网络输出的特征向量zi，作为边框回归网络，类别预测网络和类别对比网络的输入，边框回归网络用于进行位置预测，监督遥感图像目标检测系统位
置预测能力，类别预测网络用于类别预测，监督遥感图像目标检测系统类别预测能力。类别对比网络作为辅助网络，监督遥感图像目标检测系统的判别性特征提取能力。
[0076]
所述区域特征提取模块包括依次连接的区域生成网络、类别平衡采样器、区域池化网络和区域特征提取网络；
[0077]
所述区域生成网络与所述特征金字塔网络连接，用于对特征图进行区域划分，以筛选出多个感兴趣区域，并形成每个感兴趣区域的索引；
[0078]
所述类别平衡采样器用于对多个感兴趣区域及其对应的索引进行采样，以将多个感兴趣区域分别划分到对应的标签类别中，同时，使得每个标签类别中的感兴趣区域的数量相差不超过第一预设值，第一预设值的阈值可以是5或10或15或者其，本实施例中第一预设值的阈值优选为10，并生成指定数量的索引，采样后的感兴趣区域的数量和采样后的索引的数量相等，且分别对应；
[0079]
所述区域池化网络用于接收所述特征金字塔网络输出的特征图和所述类别平衡采样器输出的索引，根据索引将对应的感兴趣区域裁剪出来，并将裁剪出来的多个感兴趣区域分别池化成尺寸相同的多个特征图；
[0080]
所述区域特征提取网络用于求解所述区域池化网络输出的多个特征图所分别对应的特征向量zi。
[0081]
第二实施例：
[0082]
参照图2，本技术实施例提供了一种基于原型对比学习的遥感图像目标检测方法，使用以上所述的遥感图像目标检测系统对目标进行检测，其具体包含以下步骤：
[0083]
步骤s100、使用所述原型对比模块借助凯明初始化方法(init.kaiming_normal)随机生成每一类目标初始的初始类别原型pk，k的数据格式为512*1维；
[0084]
步骤s200、将遥感图像输入到所述特征图提取模块，所述特征图提取模块利用深度神经网络，进行多层次特征提取，得到多尺度特征图；
[0085]
步骤s300、将多尺度特征图输入到所述区域生成网络，所述区域生成网络对多个特征图进行区域划分，得到多个感兴趣区域，并形成多个感兴趣区域所对应的索引；
[0086]
步骤s400、将多个感兴趣区域传输到所述类别平衡采样器，所述类别平衡采样器用于对多个感兴趣区域和多个对应的索引进行采样，依据多个感兴趣区域所对应的类别标签进行采样，使每个类别标签中的感兴趣区域的数量最接近，并形成指定数量的索引；
[0087]
步骤s500、将多尺度特征图和多个索引传输到所述区域池化网络，所述区域池化网络根据索引将对应的感兴趣区域裁剪出来，并将裁剪出来的多个感兴趣区域分别池化成尺寸相同的多个特征图；
[0088]
步骤s600、将所述区域池化网络输出的多个特征图传输到所述区域特征提取网络，所述区域特征提取网络分别提取多个特征图所对应的特征向量zi；
[0089]
步骤s700、将多个特征向量zi分别传输到所述类别对比模块、所述位置预测模块和所述类别预测模块中以构建对应的对比损失函数l
con
、定位损失函数l
reg
以及分类损失函数l
cls
；
[0090]
步骤s800、依据对比损失函数l
con
、定位损失函数l
reg
以及分类损失函数l
cls
建立总损失函数，重复步骤s200至步骤s800，采用随机梯度下降法进行训练总损失函数，最小化总损失函数，直至总损失函数收敛，或循环次数达到第二设定值，第二预设值可以是10或者20
或者其他，优选的，第二设定值为12；
[0091]
步骤s900、分别使用所述位置预测模块和所述类别预测模块进行测试，以分别预测目标的位置信息和目标的类别信息。
[0092]
所述步骤s400中的对多个感兴趣区域进行采样具体包含如下步骤：
[0093]
步骤s410：计算当前批次中每类别期望采样数目num_acls，根据设定的总期望采样数目num_aim和当前批次类总数num_cls，计算出每类别期望采样数目num_acls＝num_aim/num_cls；
[0094]
步骤s420：进行各类别感兴趣区域的随机采样，将抽中的感兴趣区域放入标签类别sampled，未抽中的感兴趣区域放入标签类别unsampled；
[0095]
步骤s430：进行感兴趣区域的重采样，计算标签类别sampled包含的感兴趣区域数目num_sampled，若num_sampled《num_aim，在标签类别unsampled中随机抽取num_aim-num_sampled个感兴趣区域放入标签类别sampled；最终实现每个标签类别中的感兴趣区域的数量相差不超过第一预设值。
[0096]
所述步骤s600具体包含如下步骤：
[0097]
步骤s621：使用第一全连接层对经过初步特征提取得到的多个特征向量zi进行进一步特征提取，特征向量zi维度均不发生变化，为1024维；
[0098]
步骤s622：使用relu激活函数对步骤s621中提取后的多个特征向量zi进行依次激活；
[0099]
步骤s623：使用第二全连接层对激活后的多个特征向量zi进行进一步提取，将特征向量的维度降至与初始类别原型pk相同，得到多个特征图所对应的特征向量zi。
[0100]
所述步骤s700中的建立对比损失函数l
con
具体包含如下步骤：
[0101]
步骤s710、所述类别对比模块将多个特征向量zi映射到对应的对比空间内，并分别与对应的初始类别原型pk进行比对，以求得特征向量zi与对应的初始类别原型pk的相似度q
i,k
；
[0102]
步骤s720：利用相似度q
i,k
计算对比损失函数l
con
；引导初始类别原型pk通过迭代的方式去靠近类别中心，感兴趣区域特征靠近本类的初始类别原型pk且远离不同类的初始类别原型pk，可以得到更具判别性的初始类别原型pk和特征向量zi；
[0103]
所述步骤s710中求得特征向量zi与对应的初始类别原型pk的相似度q
i,k
具体包含如下步骤：
[0104]
步骤s711：归一化初始类别原型pk，使每一类初始类别原型的模长为1，同时归一化感兴趣区域样本的特征向量zi，使之模长为1；
[0105]
步骤s712：计算感兴趣区域特征向量与初始类别原型pk的相似度q
i,k
，将归一化后的初始类别原型pk，与归一化后的特征向量zi相乘，得到特征向量zi与初始类别原型的相似度q
i,k
；计算公式可以表示为
[0106]
所述步骤s720具体包含如下步骤：
[0107]
步骤s721：挖掘困难负样本，将感兴趣区域特征向量zi与初始类别原型pk的相似度q
i,k
，除以温度系数τ来对相似度的梯度进行调节，促进正负样本分离；温度系数τ越小，对困难负样本的关注程度越高，温度系数取值范围为[0,1]；
[0108]
步骤s722：构建初始的对比损失函数l
con
，将有监督对比损失函数公式推广到初始的对比损失函数l
con
，初始的对比损失函数l
con
计算公式可以表示为：
[0109][0110]
其中yi为样本标签值，k为初始类别原型pk的类别总数；
[0111]
步骤s723：修正相似度q
i,k
，将该类正样本与该类初始类别原型pk的相似度取相反数，得到新的相似度q
i,k
；
[0112]
步骤s724：修正初始的对比损失函数l
con
；其公式为：
[0113][0114]
步骤s725：平衡正负样本，建立最终的对比损失函数l
contrast
，其计算公式表示为：
[0115]
其中|p
+
|为每批次中正样本类别数目；|p-|为负样本类别数目；k为初始类别原型pk的类别总数。
[0116]
所述步骤s800建立总损失函数的实现方式为：将对比损失函数l
con
、定位损失函数l
reg
和分类损失函数l
cls
进行线性组合，并通过赋予权重的方式控制各部分比重，λ1～λ3为预设的权重参数，公式为：
[0117]
loss＝λ1·
l
reg
+λ2·
l
cls
+λ3·
l
con
，其中loss为总损失函数。
[0118]
本实施中在训练和测试阶段用到的数据集为dota(数据集)与fair1m(航空图像细粒度目标检测的大规模数据集)数据集。
[0119]
一种基于原型对比学习的遥感图像目标检测方法，包括retinanet(遥感目标检测算法)，s2anet(遥感目标检测算法)，faster rcnn(遥感目标检测算法),roi transformer(遥感目标检测算法)，oriented r-cnn(遥感目标检测算法)，具体如图4，图4为fair1m数据集测试集中的图片，由图中可以看出，本文方法可以对目标包括密集目标，小目标，相似目标，大长宽比目标，进行准确的定位和细粒度分类。表1为fair1m上的对比实验结果，以map为评估指标。
[0120]
表1
[0121][0122]
为了进一步验证本方法的有效性，在大型遥感目标检测数据集dota(数据集)进行了对比实验，如表1所示在oriented r-cnn基础上加入原型对比学习(pcl)达到最佳精度，为76.60map，证明了本方法的有效性。
[0123]
参见表2，在oriented r-cnn(遥感目标检测算法)基础上加入pcl(prototype contrastive learning，原型对比学习)达到最优效果，为41.71map(mean average precision，平均精度)。比oriented r-cnn增加了1.45map，在25/34(总共34个类别，在第25个类别)上提升了精度，同时与其他算法相比，pcl在23个类别上达到了最优精度。体现了pcl对各个类别的普适性。同时在faster r-cnn基础上加入pcl，算法效果也得到了一定程度的提升，体现了本方法的可移植性。
[0124]
表2
[0125][0126]
第三实施例：
[0127]
本技术实施还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时包含以上所述的遥感图像目标检测方法。
[0128]
第四实施例：
[0129]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被外部的处理器执行时，包含以上所述的遥感图像目标检测方法。
[0130]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0131]
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不同限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变
化或替换，都应涵盖在本发明的保护范围之内。并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。