基于边界点选择算法的遥感图像语义分割方法与流程

1.本发明涉及图像处理技术领域，具体为基于边界点选择算法的遥感图像语义分割方法。


背景技术：

2.边缘检测是图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点，基于深度学习的遥感图像的语义分割方法通常由一个编码器和一个解码器构成，编码器通常是一个预先训练的分类网络，在基于深度学习的语义分割网络中，存在一个问题是通过几个交替的卷积层和池化层传播，输出特征映射的分辨率被降采样，因此，基于深度学习的语义分割网络的直接预测通常分辨率较低，导致对象边界相对模糊，为了解决这个问题，已经提出了各种更先进的方法，包括unet等去尝试在上采样的过程中去融合下采样过程中的低维度信息；
3.但是目前传统的边缘检测算法无法获取到边界内部像素的语义信息，基于深度学习的语义分割网络模型unet网络也会损失掉语义分割对象的边界结构信息，导致图像处理与预期有很大差距。


技术实现要素：

4.本发明提供基于边界点选择算法的遥感图像语义分割方法，可以有效解决上述背景技术中提出目前传统的边缘检测算法无法获取到边界内部像素的语义信息，基于深度学习的语义分割网络模型unet 网络也会损失掉语义分割对象的边界结构信息，导致图像处理与预期有很大差距的问题。
5.为实现上述目的，本发明提供如下技术方案：基于边界点选择算法的遥感图像语义分割方法，包括如下步骤：
6.s1、将原始图片进行边缘检测；
7.s2、边界点选择算法获取边界点图；
8.s3、使用空洞卷积获取不同大小边界点图特征；
9.s4、将不同大小的边界点图融合到与其大小相同的unet层中进行训练；
10.s5、得到训练后的语义分割模型。
11.根据上述技术方案，所述s1中，对遥感影像使用边缘检测算法制作语义分割对象的边界信息，图像中的边缘检测通过对灰度值求导数来确定，而导数通过微分算子计算来实现；
12.具体过程为：先将彩色遥感图像变换为灰度图，然后通过平滑来滤除图像中的噪声，然后进行一阶微分或二阶微分运算，求得二阶导数的过零点，最后选取适当的阈值来提取边界；
13.通过拉普拉斯高斯算法即边缘检测算法，首先对图像f(x,y)进行平滑滤波，其滤波函数根据人类视觉特性选为高斯函数，即：
[0014][0015]
其中，g(x,y)是一个圆对称函数，其平滑的作用是可通过σ来控制的，将图像g(x,y)与f(x,y)进行卷积，可以得到一个平滑的图像，即：
[0016]
g(x,y)＝f(x,y)*g(x,y)。
[0017]
根据上述技术方案，所述s1中，对平滑图像g(x,y)进行拉普拉斯运算，进行图像增强，即：
[0018][0019]
选择一阶导数大于某一阈值的零交叉点作为边缘点，由于对平滑图像g(x,y)进行拉普拉斯运算可以等效为g(x,y)的拉普拉斯运算与 f(x,y)的卷积，故h(x,y)变为:
[0020][0021]
式中称为log滤波器，其为：
[0022][0023]
根据上述技术方案，所述s1中，边缘检测判据是二阶导数的零交叉点(即h(x,y)＝0的点)并对应一阶导数的较大峰值。
[0024]
根据上述技术方案，所述s2-s3中，边缘检测得到的边界图像能够得到该图像中的边界，然后确定该图像有几块区域，假定为k块区域，依次遍历k个区域，在每个区域内随机选取n个点(n的选择与区域大小正相关)，t为迭代次数，然后通过连接第t次迭代时的n 个点构造了边界区域计算与sk的iou，选取iou值最大的边界点作为结构边界点。
[0025]
根据上述技术方案，所述s4中，选择基于unet实现，在参与网络训练时，对获得的结构边界关键点图做空洞卷积，使其在二维张量上与unet每次采样之前的张量一样，再用concat的方法在原图channel维度上进行堆叠，增强边界信息；
[0026]
再用融合方法将边界点融合进与其特征大小相同的卷积模块中，增强边界信息，其具体融合过程为：假设现在卷积层的特征维度是那么与之对应的边界点图的大小就是然后将特征fi和si在channel维度上广播做元素点乘，而后将得到的结果和特征fi相加，得到融合了边界信息的特征整个过程的具体公式为
[0027]
与现有技术相比，本发明的有益效果：
[0028]
通过边界点选择算法去结合边缘检测和深度学习的分割方法，在边缘检测的基础上选择结构边界点来构成边界点图，更好地保留语义分割对象的边界信息，结合了边缘检测算法，使得语义分割对象的边界与真实值吻合得更好，减少了在下采样过程中边界丢失的问题，得到的语义分割模型精度更好，明显改善分割对象边界与真实标签值不重合的问题。
附图说明
[0029]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0030]
图1是本发明遥感图像语义分割的步骤流程图；
[0031]
图2是本发明遥感图像语义分割的步骤图。
具体实施方式
[0032]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0033]
实施例：如图1-2所示，本发明提供一中技术方案，基于边界点选择算法的遥感图像语义分割方法，包括如下步骤：
[0034]
s1、将原始图片进行边缘检测；
[0035]
s2、边界点选择算法获取边界点图；
[0036]
s3、使用空洞卷积获取不同大小边界点图特征；
[0037]
s4、将不同大小的边界点图融合到(融合进)与其大小相同的 unet层中进行训练；
[0038]
s5、得到训练后的语义分割模型。
[0039]
根据上述技术方案，s1中，对遥感影像使用边缘检测算法制作语义分割对象的边界信息，图像中的边缘检测通过对灰度值求导数来确定，而导数通过微分算子计算来实现；
[0040]
具体过程为：先将彩色遥感图像变换为灰度图，然后通过平滑来滤除图像中的噪声，然后进行一阶微分或二阶微分运算，求得梯度最大值或二阶导数的过零点，最后选取适当的阈值来提取边界；
[0041]
通过拉普拉斯高斯算法即边缘检测算法，首先对图像f(x,y)进行平滑滤波，其滤波函数根据人类视觉特性选为高斯函数，即：
[0042][0043]
其中，g(x,y)是一个圆对称函数，其平滑的作用是可通过σ来控制的。将图像g(x,y)与f(x,y)进行卷积，可以得到一个平滑的图像，即：
[0044]
g(x,y)＝f(x,y)*g(x,y)。
[0045]
根据上述技术方案，s1中，对平滑图像g(x,y)进行拉普拉斯运算，进行图像增强，即：
[0046][0047]
为了避免检测出非显著边缘，应选择一阶导数大于某一阈值的零交叉点作为边缘点，由于对平滑图像g(x,y)进行拉普拉斯运算可以等效为g(x,y)的拉普拉斯运算与f(x,y)的卷积，故h(x,y)变为:
[0048][0049]
式中称为log滤波器，其为：
[0050][0051]
根据上述技术方案，s1中，边缘检测判据是二阶导数的零交叉点(即h(x,y)＝0的点)并对应一阶导数的较大峰值。
[0052]
根据上述技术方案，s2-s3中，由于遥感影像的边界比较明显，所以边缘检测得到的边界图像能够得到该图像中较为明确的边界，然后确定该图像有几块区域，假定为k块区域，依次遍历k个区域，在每个区域内随机选取n个点(n的选择与区域大小正相关)，t为迭代次数，然后通过连接第t次迭代时的n个点构造了边界区域，为了得到更好的边界点图，计算与的iou，选取iou值最大的边界点作为结构边界点；
[0053]
iou值通过如下计算获取：
[0054][0055][0056]
根据上述技术方案，s4中，选择基于unet实现，在参与网络训练时，对获得的结构边界关键点图做空洞卷积，使其在二维张量上与 unet每次采样之前的张量一样，再用concat的方法在原图channel 维度上进行堆叠，增强边界信息。再用融合方法将边界点融合进与其特征大小相同的卷积模块中，增强边界信息，其具体融合过程为：假设现在卷积层的特征维度是那么与之对应的边界点图的大小就是然后将特征fi和si在channel维度上广播做元素点乘，而后将得到的结果和特征fi相加，得到融合了边界信息的特征整个过程的具体公式为
[0057]
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽
管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。