基于背景差分法和深度学习的挖掘机实时检测方法和系统与流程

本发明涉及管道巡检领域，尤其涉及一种基于背景差分法和深度学习的挖掘机实时检测方法和系统。

背景技术：

近年来，随着国家和地方对许多新型燃气发电项目的投资和运营，“煤制气”等环保政策的执行力度加大，天然气得到了公众的广泛青睐。为了继续扩大天然气能源的利用，提高资源配置效率，必须加快油气管道网络系统的建设，确保管道的安全运行。多年的研究和管理经验降低了整体管道事故的可能性。然而，挖掘机施工作业引起的管道事故仍然时有发生。如何实时正确地检测管道网络附近的挖掘机在改善管道风险管理中起着重要的作用。现有的技术主要是利用无人机在高空对管网进行航拍，获取带有挖掘机目标对象的图片制作成数据集，对数据集利用卷积神经网络的相关算法达到挖掘机检测的效果。例如，专利号为201811351933.x的专利公开了一种基于深度学习用于高空巡检下的挖掘机检测方法，使用网络抓取或飞行器实地采样获得高空拍摄下管网系统附近的图像，经深度学习图像识别后判断是否有挖掘机施工作业。但由于带有挖掘机目标图像的数据集是高空拍摄的，噪声多，数据集质量不高，导致挖掘机检测准确率不高，且高空巡检实时性不强，不能第一时间检测到挖掘机，因此由于准确率和动态性不足的缺陷，现有技术无法满足第三方破坏高风险区域对挖掘机的检测要求。

技术实现要素：

本发明提供一种基于背景差分法和深度学习的挖掘机实时检测方法和系统，基于背景差分法，以红外背景库和可见光背景库作为数据集，通过红外背景库的挖掘机检测粗略的判断管网区域是否可能存在挖掘机施工作业，如果检测到可能有挖掘机，作为阈值触发信号，启用可见光背景库，进行精确且动态的挖掘机检测。

本发明的实现方法如下：

所述基于背景差分法和深度学习的挖掘机实时检测方法包括步骤：

s1.采集管网区域在无挖掘机情况下的背景图像，建立红外背景图像库和可见光背景图像库；

s2.利用所述红外背景图像库建立管网区域的红外背景模型；

s3.采集管网区域的红外实时监测图像，对所述红外实时监测图像与所述红外背景模型进行背景差分，获得二值化图像；

s4.判断所述二值化图像是否具有符合挖掘机尺寸的高亮区域；若是，则采集管网区域的可见光实时监测图像，对所述可见光实时监测图像与所述可见光背景图像库进行背景差分，提取感兴趣区域；若否，则转至步骤s3；

s5.将所述感兴趣区域使用卷积神经网络模型进行图像分类，确定所述感兴趣区域是否存在挖掘机。

进一步地，步骤s1具体包括：

s10.在管网区域安装红外摄像机和可见光摄像机；

s11.红外摄像机采集管网区域在无挖掘机情况下的红外背景图像，可见光摄像机采集管网区域在无挖掘机情况下的可见光背景图像；

s12.利用红外背景图像建立红外背景图像库，利用可见光背景图像建立可见光背景图像库。

进一步地，步骤s2，具体包括：

利用高斯混合分布模型对红外背景图像库中的红外背景图像进行背景建模，设t时刻图像中每个像素点的像素值为xt，所述高斯混合分布模型p(xt)为；

上式中k是高斯混合模型中高斯概率密度函数的个数，wk,t是第k个高斯概率密度函数在t时刻的权值，且各个高斯分量的权值之和为1，以确保概率密度函数在其作用域内的积分之和为1；是像素xt在t时刻的第k个高斯概率密度函数，是第k个高斯概率密度函数在t时刻的协方差矩阵，是第k个高斯概率密度函数在t时刻的样本均值。

进一步地，二值化图像为：，上式中ek(x,y)是二值化图像坐标处的像素值，t是进行二值化处理所需要的阈值，ak(x,y)及bk(x,y)分别是红外实时监测图像和红外背景模型在(x,y)处的像素值。

进一步地，卷积神经网络模型包括五层卷积层，分别使用32、64、64、128、128个3*3大小的卷积核。

进一步地，卷积层的激活函数采用修正线性单元，在修正线性单元激活函数之后执行批规一化，将其输出规范化到均值为0、方差为1的标准正态分布。

进一步地，在所述卷积神经网络模型的每一个卷积层后皆添加最大池化层，并在第三层、第四层、第五层和输出层采用dropout技术。

进一步地，还包括步骤：

s6.检测到挖掘机后，发出警报信号。

本发明还提供一种基于背景差分法和深度学习的挖掘机实时检测系统，实现方法如下：

红外摄像机，用于采集管网区域的红外图像，以建立无挖掘机情况下的红外背景图像库及获取红外实时监测图像；

可见光摄像机，用于采集管网区域的可见光图像，以建立无挖掘机情况下的可见光背景图像库及获取可见光实时监测图像；

建模模块，用于根据所述红外背景图像库建立红外背景模型；

分析模块，用于对所述红外实时监测图像与所述红外背景模型进行背景差分，获得二值化图像；

判断模块，用于判断所述二值化图像是否有符合挖掘机尺寸的高亮区域；若是，则调用所述可见光摄像机获取管网区域的可见光实时监测图像；

所述分析模块还用于对所述可见光实时监测图像和所述可见光背景图像库进行背景差分，提取感兴趣区域；

所述判断模块还用于利用卷积神经网络模型对所述感兴趣区域进行图像分类，确定所述感兴趣区域是否为挖掘机。

进一步地，还包括：

警报模块，用于在检测到挖掘机时执行报警。

与现有技术相比，本发明的有益技术效果为：

本发明提供的方法和系统以红外背景库和可见光背景库作为数据集，数据集质量高，可以实现挖掘机的精确检测和实时动态监测，且基于红外背景图库的背景差分计算投入成本低。红外监测图像应用场景广泛、计算量较低，可以应用于树莓派等移动端，易于扩展；

通过红外监测图像的初步判断可以以较低计算资源排除大部分的常规情景，在检测到可疑图像时再启动占用资源较多的可见光摄像机和可见光图像处理流程；

基于可见光背景图库的背景差分法保留了大量颜色信息，提高了背景差分识别算法的准确率，并且结合了人工智能的图像分类算法，可以对挖掘机破坏施工进行更为准确的识别。

附图说明

图1是本发明实施例一的基于背景差分法和深度学习的挖掘机实时检测方法的流程图；

图2是本发明实施例一的基于背景差分法和深度学习的挖掘机实时检测系统的结构图；

图3是本发明实施例一的卷积神经网络模型的结构图；

图4是本发明实施例一的卷积模块的结构图；

图5是本发明实施例二的基于背景差分法和深度学习的挖掘机实时检测方法的流程图。

具体实施方式

以下将结合附图对根据本发明的优选实施例进行详细说明。通过附图以及相应的文字说明，本领域技术人员将会进一步理解本发明的特点和优势。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

实施例一

本实施例的基于背景差分法和深度学习的挖掘机实时检测方法，其流程图如图1所示，所述方法包括：

s1.采集管网区域在无挖掘机情况下的背景图像，建立红外背景图像库和可见光背景图像库，具体包括：

（1）在管网区域安装红外摄像机和可见光摄像机；

（2）调用红外摄像机采集无挖掘机情况下的红外背景图像；调用可见光摄像机采集无挖掘机情况下的可见光背景图像；

（3）利用所采集的红外背景图像和可见光背景图像分别建立红外背景图像库和可见光背景图像库。

s2.利用所述红外背景图像库建立管网区域的红外背景模型，具体包括：

利用高斯混合分布模型对红外背景图像库中的红外背景图像进行背景建模，设t时刻图像中每个像素点的像素值为xt，则该时刻的高斯混合分布模型p（xt）为：

；

高斯混合分布模型（gmm）可以将管网区域背景图像的每一个像素点按若干个高斯分布的叠加来建模，每一种高斯分布都可以表示一种特定时刻的管网背景场景，多个高斯分布模型混合使用就可以模拟出复杂场景中的多模态情形。上式中，k是高斯混合模型中高斯概率密度函数的个数，k一般取值为3~5，在本实施例中取值为5，wk,t为第k个高斯概率密度函数在t时刻的权值，且各个高斯分量的权值之和为1，以确保概率密度函数在其作用域内的积分之和为1；是像素xt在t时刻的第k个高斯概率密度函数，是第k个高斯概率密度函数在t时刻的协方差矩阵，是第k个高斯概率密度函数在t时刻的样本均值。

s3.采集管网区域的红外实时监测图像，对红外实时监测图像和红外背景模型使用背景差分法处理，设ek(x,y)是二值化图像坐标处的像素值，ak为实时监测图像中的第k帧图像，bk为红外背景模型中的第k帧图像，(x,y)为图像中的坐标点，t是进行二值化处理所需要的阈值，背景差分后得到的“二值化”图像为：

；

s4.判断处理后的二值化图像是否具有面积符合挖掘机尺寸的高亮区域，如果不存在高亮区域或高亮区域面积不符合挖掘机尺寸，则返回步骤s3处理下一帧图像；如果高亮区域面积符合挖掘机尺寸，则转至s5；

s5.调用可见光摄像机采集管网区域的可见光实时监测图像，对可见光实时监测图像和可见光背景图像使用背景差分法处理，提取出感兴趣区域。通过红外监测图像的初步判断可以以较低计算资源排除大部分的常规情景，在检测到可疑图像时再启动占用资源较多的可见光摄像机和可见光图像处理流程。而基于可见光背景图库的背景差分法保留了大量颜色信息，提高了背景差分识别算法的准确率，通过红外背景图像及可见光背景图像的结合分析，在节省资源的基础上实现了识别算法的高准确率。

s6.使用卷积神经网络(cnn)对背景差分后提取的感兴趣区域进行图像分类，确定感兴趣区域是否为挖掘机。卷积神经网络模型的结构图如图3所示，依次包括输入层（inputlayer）、五个卷积层（convolutionallayer）和输出层（outputlayer），五个卷积层从左至右依次为第一层到第五层，分别使用32、64、64、128、128个3*3大小的卷积核，通过多层叠加小卷积核，增强了模型容量和模型复杂度，并且减少了模型中参数的数量，加快训练和推理速度。每一个二维卷积层（con2dlayer）依次连接一个激活层（relulayer）和一个批标准化层（bnlayer），构成卷积模块，如图4所示；每一个卷积层的激活函数采用修正线性单元（relu），使网络加入了非线性。此外，在relu激活函数之后执行批规一化，将其输出规范化至均值为0、方差为1的标准正态分布，以缓解网络训练中的梯度弥散和梯度爆炸，加快模型的训练速度。卷积神经网络模型的每一个卷积层后皆添加最大池化层（poolinglayer），以减少特征图的尺寸。五层卷积层和池化层之后连接flatten层（flattenlayer）及全连接层（fullyconnectedlayer），最后计算概率输出至输出层，在第三层、第四层、第五层和输出层采用dropout技术。dropout会随机丢弃一部分神经元及其连接，防止模型训练的过拟合。由于在训练过程中神经元的丢弃是随机的，因此每次训练都相当于处理一个全新的神经网络结构，显著提高卷积神经网络模型的泛化效果。利用上述设计的卷积神经网络模型，可以排除干扰因素引起的虚假检测，从而提高检测精度，精确判断感兴趣区域是否存在挖掘机。

对应于本实施例的挖掘机实时检测方法，本实施例还提供基于背景差分法和深度学习的挖掘机实时检测系统，其结构图如图2所示，所述系统包括：

太阳能电池板和蓄电池；太阳能电池板在白天对系统功能并向蓄电池储能，夜晚蓄电池放电，以供系统全天候运行。

红外摄像机，可见光摄像机，分别采集管网区域在无挖掘机情况下的红外背景图像和可见光背景图像。

cpu/gpu计算单元通过摄像机接口与红外摄像机和可见光摄像机连接，通过gpio接口与io板卡连接；cpu/gpu计算单元内设建模模块、分析模块、判断模块，以对图像进行处理；

建模模块，根据红外背景图像库使用高斯混合分布模型建立管网区域无挖掘机情况下的红外背景模型；

分析模块，根据红外背景模型对红外摄像机采集的红外实时监测图像进行基于背景差分法的红外图像识别，得到二值化图像；

判断模块，判断二值化图像是否具有面积符合挖掘机尺寸的高亮区域；若是，调用可见光摄像机采集管网区域的可见光实时监测图像并传递给第二分析模块；

分析模块还用于根据可见光实时监测图像对存储模块中的可见光背景图像库进行基于背景差分法的可见光图像识别并提取出感兴趣区域；

判断模块利用卷积神经网络模型对感兴趣区域进行图像分类以判断是否为挖掘机；卷积神经网络模型的结构图如图3所示，依次包括输入层（inputlayer）、五个卷积层（convolutionallayer）和输出层（outputlayer），五个卷积层从左至右依次为第一层到第五层，分别使用32，64，64，128，128个3*3大小的卷积核，通过多层叠加小卷积核，增强了模型容量和模型复杂度，并且减少了模型中参数的数量，加快训练和推理速度。每一个二维卷积层（con2dlayer）依次连接一个激活层（relulayer）和一个批标准化层（bnlayer），构成卷积模块，如图4所示；每一个卷积层的激活函数采用修正线性单元（relu），使网络加入了非线性。此外，在relu激活函数之后执行批规一化，将其输出规范化至均值为0、方差为1的标准正态分布，以缓解网络训练中的梯度弥散和梯度爆炸，加快模型的训练速度。卷积神经网络模型的每一个卷积层后皆添加最大池化层（poolinglayer），以减少特征图的尺寸。五层卷积层和池化层之后连接flatten层（flattenlayer）及全连接层（fullyconnectedlayer），最后计算概率输出至输出层，在第三层、第四层、第五层和输出层采用dropout技术。dropout会随机丢弃一部分神经元及其连接，防止模型训练的过拟合。由于在训练过程中神经元的丢弃是随机的，因此每次训练都相当于处理一个全新的神经网络结构，显著提高cnn模型的泛化效果。利用上述设计的cnn分类模型，可以排除干扰因素引起的虚假检测，从而提高检测精度，精确判断感兴趣区域是否存在挖掘机。

io板卡上搭载有gps和sim模块，用于系统定位及与外部通信。

实施例二

本实施例的基于背景差分法和深度学习的挖掘机实时检测方法与实施例一的不同之处在于，如图5所示，还包括步骤s7：

s7.检测到挖掘机施工作业后发出警报信号，以通知巡线人员到施工现场进行保护，并使用可见光摄像机持续监测挖掘机，以随时掌握挖掘机位置或管网损坏区域。

另一方面，基于背景差分法和深度学习的挖掘机实时检测系统中，cpu/gpu计算模块还包括：

警报模块，调用可见光摄像机持续监测挖掘机，以随时掌握管网损坏区域或挖掘机位置并传输给巡线人员。

其他部分可以参考实施例一。

以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。