一种基于特征增强的原油泄漏检测方法

1.本发明属于计算机视觉领域，涉及一种基于特征增强的原油泄漏检测方法。


背景技术：

2.近年来，计算机视觉技术的发展突飞猛进，深度学习算法在计算机视觉领域取得了快速发展，并且逐渐广泛应用于视频监控领域。区别于传统的手工制作特征的方法，深度学习算法可以自动学习数据中感兴趣的特征，从而实现各种各样的分类、识别、检测等任务。
3.对于油田生产区域的原油泄漏检测，目前的研究还很少。原油泄漏问题不仅造成一定的环境污染，也给油田工作区域带来了一定的安全隐患。在油田生产区域检测管理流程中，人工的投入非常大，而且成本高昂；人工监测的安全性也不高，很容易造成经济损失甚至人员伤亡。将油田生产区域原油泄漏检测引入远程视频监控系统，有利于实现油田智能化管理，进一步提升油田生产、作业的效率，也有利于保障人员的安全问题。实现油田生产区域下的原油泄漏检测面临着许多难题，如油田生产区域原油泄漏样本难以获得，油田生产区域光照阴影等干扰强烈，视频监控图像场景复杂、目标特征模糊等。这些干扰使原油泄漏检测效果急剧下降，因此，油田生产领域下的原油泄漏检测是一个亟待解决的难题。


技术实现要素：

4.本发明为了克服上述缺陷，提出了一种基于特征增强的原油泄漏检测方法，本发明具体步骤如下：
5.s1，利用数据增强方法对数据集进行扩增，根据待检测原油泄漏目标的特点对图像进行裁剪、翻转、缩放、色域增强等操作；
6.s2，对数据增强后的数据集进行图像预处理来去除图像中的噪声；
7.s3，使用基于mask-shadowgan的阴影检测网络检测并去除图像中的阴影区域；
8.s4，使用以cspdarknet53为核心的backbone进行提取检测目标的深层次特征；
9.s5，以基于注意力机制的特征融合方式衔接相邻特征层，自下而上构建目标信息丰富、特征显著的增强型特征金字塔；
10.s6，在多个有效特征层上引入panet结构进行特征提取；
11.s7，利用目标周边上下文信息为检测器提供有力判别依据
12.s8，输出原油泄漏目标的检测结果。
13.本发明的技术方案特征和改进为：
14.对于步骤s1，本发明主要使用随机缩放、翻转、裁剪、旋转等方式对数据进行扩增，根据原油泄漏目标的特点，从几何、灰度、纹理等特征的角度对检测目标进行数据增强，并采用一种mosaic的数据增强方法来丰富图像的背景，也进一步对小目标的数据量进行了扩增。
15.对于步骤s3，本发明采用一种基于mask-shadowgan的阴影检测网络来检测并去除
图像中的阴影区域，由于无法采集大量成对的基于油田场景下的有阴影和无阴影图片，mask-shadowgan网络采用不成对的图像数据训练模型，通过有阴影图(输入)和无阴影图像(网络的输出结果)进行作差，使用otsu自动阈值获得二值图像以得到阴影遮罩，通过阴影遮罩指导阴影图像的生成，以实现复杂场景下的阴影去除。
16.对于步骤s5，本发明提出将注意力机制引入特征金字塔，为了得到更加丰富的原油泄漏特征，通过自上而下重构金字塔的方式达到缩小浅层特征图和高层特征图之间的卷积跨度，以此来丰富高层特征图所含的细粒度特征。使用一种基于空间注意力机制的特征融合方式将相邻的特征层衔接起来，以达到生成显著性特征的目的，并且实现特征金字塔的自上而下连接。本发明所使用的空间注意力模块由沿通道方向的最大和平均池化层、3
×
3卷积层和sigmoid函数组成，通过池化操作来突出有效的信息区域，输出空间注意力图提取感兴趣区域特征。特征融合过程可表示为：
[0017][0018][0019]
式中：att(
·
)为注意力机制；σ(
·
)为sigmoid函数；f3×3为3
×
3卷积；f1×1为1
×
1卷积；avgpool、maxpool、g
2x-up
分别为平均池化、最大池化和2倍下采样；为concatenate特征叠加方式。
[0020]
对于步骤s6，本发明将panet结构引入特征金字塔，浅层特征多是图像的边缘形状等特征，这些特征是原油泄漏图像所要提取的关键特征，在特征金字塔网络后添加一个bottom-up path augmentation，浅层特征经过fpn再沿panet结构传递到顶层，能够较好的保留浅层特征信息。
[0021]
对于步骤s7，为了提升判定的准确性，本发明利用目标周边上下文信息为检测器提供有力判别依据，将预测边框周边特征作为上下文信息，为检测网络提供补充信息。根据边框坐标(b
x
,by,bw,bh)，在相应的预测特征图上提取目标周边的上下文特征，上下文坐标区域取(b
x
,by,βbw,βbh)，β为扩大倍数。上下文特征首先经过两个3
×
3的卷积层进行特征整合，然后通过平均池化层进行降维，最后经过sigmoid函数输出目标分数调整参数λ
obj
和类别置信度调整参数λk，并进行调整p
obj
和pk：
[0022][0023]
式中：σ(
·
)为sigmoid函数，pr(object)和pr(classk)为由卷积层直接输出且未经sigmoid函数规范化的目标分数和类别置信度值；p
obj
为目标分数，表示边框内包含目标的概率；pk为类别置信度，表示边框内的目标属于第k类的概率。本发明针对的是原油泄漏目标的检测，隐私只设置一个目标分类标签“oil spill”。分类器只需要计算出目标属于背景的概率p0和属于原油泄漏的概率p1。
[0024]
本发明的基于特征增强的原油泄漏检测方法，解决了油田生产区域这种复杂场景下的原油泄漏检测的问题，具有以下优点：
[0025]
(1)本发明的方法采用mosaic数据增强的方式，极大丰富了漏油目标的背景。
[0026]
(2)本发明的方法采用不成对的数据训练模型，能够解决光照阴影等对漏油目标检测的干扰问题，实现复杂场景下的原油泄漏检测；
[0027]
(3)本发明的方法引入深层次特征提取网络，从丰富特征图信息和提升显著性特征两方面入手进行特征增强，以适应低分辨率、小目标原油泄漏检测，从而提升检测网络的精确度。
附图说明
[0028]
图1为本发明中基于特征增强的原油泄漏检测方法的流程图。
[0029]
图2为本发明中基于mask-shadowgan阴影检测与去除方法的流程图。
[0030]
图3为本发明中基于深层次特征提取网络进行原油泄漏检测的流程图。
具体实施方式
[0031]
下面结合附图以及具体实施方式对本发明作进一步详细说明：
[0032]
一种基于特征增强的原油泄漏检测方法，如图1所示，为本发明的基于特征增强的原油泄漏检测方法的流程图，该方法包含：
[0033]
s1，数据增强，根据油田原油泄漏现场的特点和环境，针对原油泄漏图像数据集难以获取这一难题，将在油田场景下模拟原油泄漏现场进行采集并增强实验所需的样本。原油泄漏目标存在尺度不统一、形状不规则等特点，根据这些特点，在传统数据增强如随机缩放、随机裁剪、移位、水平/竖直翻转等方式的基础上，使用mosaic等方式进行数据扩充，将四张训练图像按一定比例组合成一张，这样可以增加小目标的数据量，所检测目标在图像中的位置也发生了变化。以增加漏油目标尺度、位置和背景的变化，以提升模型的泛化性。
[0034]
s2，图像预处理，现实中的图像会受到多种因素的影响从而含有一定的噪声，采用高斯双边滤波在保留检测目标边缘信息的同时去除图像噪声，为进一步的目标检测打好基础。
[0035]
s3，使用基于mask-shadowgan的阴影检测网络检测并去除图像中的阴影区域，由于无法采集大量成对的基于油田场景下的有阴影和无阴影图片，mask-shadowgan网络采用不成对的图像数据训练模型，通过有阴影图(输入)和无阴影图像(网络的输出结果)进行作差，使用otsu自动阈值获得二值图像以得到阴影遮罩，通过阴影遮罩指导阴影图像的生成，以实现复杂场景下的阴影去除。
[0036]
s4，使用以cspdarknet53为核心的backbone提取检测目标的深层次特征，将经过去噪和阴影去除后的图像输入以cspdarknet53为核心的主干特征网络，将输入图像调整为416
×
416的尺寸输入cspdarknet53网络，使用mish激活函数进行特征提取。
[0037]
s5，以基于注意力机制的特征融合方式衔接相邻特征层，自下而上构建目标信息丰富、特征显著的增强型特征金字塔。注意力模块由沿通道方向的最大和平均池化层、3
×
3卷积层和sigmoid函数组成，通过池化操作来突出有效的信息区域，输出空间注意力图提取感兴趣区域特征。特征融合过程可表示为：
[0038]
[0039][0040]
式中：att(
·
)为注意力机制；σ(
·
)为sigmoid函数；f3×3为3
×
3卷积；f1×1为1
×
1卷积；avgpool、maxpool、g
2x-up
分别为平均池化、最大池化和2倍下采样；为concatenate特征叠加方式。
[0041]
s6，在多个有效特征层上引入panet结构进行特征提取，在特征金字塔网络后添加一个bottom-up path augmentation，浅层特征经过fpn再沿panet结构传递到顶层，能够较好的保留浅层特征信息。
[0042]
s7，将提取到的多层特征信息输入检查网络，利用目标周边上下文信息为检测器提供有力判别依据，根据边框坐标(b
x
,by,bw,bh)，在相应的预测特征图上提取目标周边的上下文特征，上下文坐标区域取(b
x
,by,βbw,βbh)，β为扩大倍数。上下文特征首先经过两个3
×
3的卷积层进行特征整合，然后通过平均池化层进行降维，最后经过sigmoid函数输出目标分数调整参数λ
obj
和类别置信度调整参数λk，并进行调整p
obj
和pk：
[0043][0044]
式中：σ(
·
)为sigmoid函数，pr(object)和pr(classk)为由卷积层直接输出且未经sigmoid函数规范化的目标分数和类别置信度值；p
obj
为目标分数，表示边框内包含目标的概率；pk为类别置信度，表示边框内的目标属于第k类的概率。本发明针对的是原油泄漏目标的检测，隐私只设置一个目标分类标签“oil spill”。分类器只需要计算出目标属于背景的概率p0和属于原油泄漏的概率p1。
[0045]
s8，输出原油泄漏目标的检测结果，包括预测边框的坐标(b
x
,by,bw,bh)和p1。
[0046]
综上所述，本发明的基于特征增强的原油泄漏检测方法在大数据环境下解决了油田生产区域这种复杂场景下的原油泄漏检测的问题，提出的深层次特征提取网络，从丰富特征图信息和提升显著性特征两方面入手进行特征增强，能够适应于低分辨率、小目标物体检测。
[0047]
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。