原油管道巡检用无人机红外视频的管线发热诊断方法与流程

本发明涉及原油长输管道巡检用无人机技术领域，特别是涉及到一种原油管道巡检用无人机红外视频的管线发热诊断方法。

背景技术：

为满足大面积的原油管线的日常维护、巡检，急需现代化及自动化的技术手段。携带红外设备的无人机巡检就是一种理想的解决方案。

红外图像表现的是被摄物体表面发出的热辐射，相比于可见光图像，红外图像中目标与背景的对比程度比较低，物体边缘轮廓比较模糊，这就给常规的边缘提取带来了困难。除此之外，无人机所搭载的红外云台获取的红外视频中还包含许多随机噪声，同时背景图像也会相对比较复杂，要想从这样的红外图像中自动获取管线信息是有一定难度的，更难以完成对异常发热原油管线的自动识别及诊断。此外，受电子热噪声和信号传输干扰的影响，椒盐噪声、脉冲噪声以及其他种类的噪声都可能会出现在红外图像中，致使原油管线红外图像收到边缘模糊、对比度差、环境噪声污染等干扰。

杨政勃等人在文献“基于红外图像识别的输电线路故障诊断”中描述了一种以梯度法为基础的管线红外温度异常区域探测方法，基于红外图像的亮度、色调以及饱和度特性，经过降噪处理，采用梯度下降发辨识温度异常部位，以此来发现可能存在的问题，这种方法的缺点在于对背景图像很敏感，在复杂环境下无法达到很好的效果。为此我们发明了一种新的原油管道巡检用无人机红外视频的管线发热诊断方法，解决了以上技术问题。

技术实现要素：

本发明的目的是提供一种以无人机搭载的红外传感器获取的视频为数据源，基于红外图像的电力设备异常发热检测，实现了输电线故障缺陷位置的自动诊断和定位的原油管道巡检用无人机红外视频的管线发热诊断方法。

本发明的目的可通过如下技术措施来实现：原油管道巡检用无人机红外视频的管线发热诊断方法，该原油管道巡检用无人机红外视频的管线发热诊断方法包括：步骤1，利用无人机搭载的红外设备拍摄得到管线的视频画面；步骤2，依据神经网络的匹配方法，进行图像的拼接；步骤3，根据拼接后的图像，进行帧间差分；步骤4，从处理过的图像中提取长输管线的主方向；步骤5，以提取到的主方向作为先验知识，由红外图像提取有用的长输管线信息；步骤6，依据管线异常判断准则，沿着获得的管线区域的主方向，对长输管线中存在的故障、损坏进行识别和判断。

本发明的目的还可通过如下技术措施来实现：

该原油管道巡检用无人机红外视频的管线发热诊断方法还包括，在步骤2之前，利用加速稳健特征法提取预处理后的连续两帧画面的尺度不变特性。

在步骤3中，依据神经网络的匹配方法，基于连续两帧画面的匹配生成一帧新图像。

在步骤3中，通过步骤2将相邻连续两帧画面进行拼接后得出它们互相重叠的区域，对该区域同时做帧间差分运算。

在步骤3中，设ti和tj分别为连续两帧画面采集的时间，则经过帧间差分后重叠部分的图像iij(x,y)写成：

式中：t为像素差阈值；像素点(x,y)处的ti和tj时刻的灰度值分别为f(x,y,ti)和f(x,y,tj)。

该原油管道巡检用无人机红外视频的管线发热诊断方法还包括，在步骤4之前，对帧间差分后的图像进行双边滤波去噪，然后基于最大类间差法图像分割方法进行二值化分割；在先前帧间差分后的二值化图像的基础上做二维傅里叶变换，求出傅立叶谱fm(u,v)，将信号分解成幅值谱，显示与频率对应的幅值大小，进而得到功率谱pm(u,v)＝|fm(u,v)|²。

在步骤4中，进行直角坐标系到极坐标系(θ,r)的转换，选定一个角度，求所有该角度的功率谱之和，原油管线的主方向即为最大功率谱所对应的那个角度。

在步骤5中，确定一前景点，在此处加入一个与走向平行的平行四边形的窗口，这个平行四边形的大小由管线的长度以及相邻管线的间距决定，将该四边形窗口沿主方向分别向两侧移动，计算落在图像图幅以及窗口重叠区域内像素的前景信息填充程度，若填充程度超过预先确定的阈值时则保留该信息，图像中的管线状态由该窗口中的信息得出。

在步骤6中，参考石油行业制定的原油管线故障诊断标准，再结合红外图像中温度以及灰度值之间的结合关系，检查目标管线的温度情况。

在步骤6中，对于分离得到的管线区域，结合相对温差判断法以及表面温度判别法判断管线的故障状态，标出温度产生异常的位置，综合得到完善的诊断总结。

本发明中的原油管道巡检用无人机红外视频的管线发热诊断方法，首先要对原始红外图像采取图像增强、图像降噪等一系列预处理，以此来弱化图像中夹杂的随机噪声，同时提升图像对比度，为后续的原油管线特征提取提供稳定的基础。通过该方法可以得到高质量的图像，实现基于红外视频的异常发热原油管线自动定位和诊断。

附图说明

图1为本发明的原油管道巡检用无人机红外视频的管线发热诊断方法的一具体实施例的流程图；

图2为本发明的一具体实施例中相邻两帧画面拼接前后的图像；

图3为本发明的一具体实施例中帧间差分及分隔结果的示意图。

具体实施方式

为使本发明的上述和其他目的、特征和优点能更明显易懂，下文特举出较佳实施例，并配合附图所示，作详细说明如下。

如图1所示，图1为本发明的原油管道巡检用无人机红外视频的管线发热诊断方法的流程图。

步骤101：利用无人机搭载的红外设备拍摄得到管线的视频画面。

步骤102：利用加速稳健特征法(speededuprobustfeature，surf)提取预处理后的连续两帧画面的尺度不变特性。

步骤103：依据神经网络的匹配方法，基于连续两帧画面的匹配生成一帧新图像。在一实施例中，对相邻两帧的图像进行匹配生成一幅新的图像。图2为相邻两帧图像拼接前后的结果。第一张为参考图像，将第二张转换到第一张所在平面坐标系下，得到拼接结果第三张图。

步骤104：通过上一步将相邻连续两帧画面进行拼接后就能够得出它们互相重叠的区域。对该区域同时做帧间差分运算。

设ti和tj分别为连续两帧画面采集的时间，则经过帧间差分后重叠部分的图像iij(x,y)可以写成：

式中：t为像素差阈值；像素点(x,y)处的ti和tj时刻的灰度值分别为f(x,y,ti)和f(x,y,tj)。

重叠区域的图像经过帧间差分以后可以完整保留管线信息，在去除无用背景图像信息的同时为原油管线的定位提供了良好基础。

步骤105：对帧间差分后的图像进行双边滤波去噪，然后基于ostu图像分割方法进行二值化分割。

ostu算法也称最大类间差法，有时也称之为大津算法，被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性,将图像分成背景和前景两部分。背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。

如图3所示，图像经过帧间差分以后进一步通过二值化进行分割后仍然有目标提取不连续、噪声多等问题。传统的canny算子和hough变换都很难从上述图像中进行原油管线的完整提取。傅里叶频谱表明：对一个具有方向性的规则纹理而言，它在傅里叶频域的能量聚集在过原点的直线上。原油管线就是这样一个有方向性的对象。

步骤106：在先前帧间差分后的二值化图像的基础上做二维傅里叶变换，求出傅立叶谱fm(u,v)，进而得到功率谱pm(u,v)＝|fm(u,v)|²

步骤107：再进行直角坐标系到极坐标系(θ,r)的转换，选定一个角度，求所有该角度的功率谱之和，原油管线的主方向即为最大功率谱所对应的那个角度。

步骤108：由于原油管线大部分是平行而且连续的，根据前面算出的主方向，也就是管线的走向，为了从红外图像获得管线信息，先要确定一前景点，在此处加入一个与走向平行的平行四边形的窗口，这个平行四边形的大小由管线的长度以及相邻管线的间距决定，将该四边形窗口沿主方向分别向两侧移动，计算落在图像图幅以及窗口重叠区域内像素的前景信息填充程度，若填充程度超过预先确定的阈值时则保留该信息，图像中的管线状态可以由该窗口中的信息得出。

步骤109：参考石油行业制定的原油管线故障诊断标准，再结合红外图像中温度以及灰度值之间的结合关系，就能检查目标管线的温度情况。对于分离得到的管线区域，结合相对温差判断法以及表面温度判别法判断管线的故障状态，标出温度产生异常的位置，最后综合成完善的诊断总结，为相关操作人员提供决策依据。

本发明中的原油管道巡检用无人机红外视频的管线发热诊断方法，首先进行图像拼接和帧间差分，而后从处理过的图像中提取长输管线的主方向。以提取到的主方向作为先验知识，由红外图像提取有用的长输管线信息。依据管线异常判断准则，沿着获得的管线区域的主方向，对长输管线中可能存在的故障、损坏进行识别和判断。该方法能够有效去除复杂地面物体辐射对原油管线识别的干扰，同时需要的阈值少，特征提取的准确率较高，为无人机原油管线巡检故障异常定位和诊断提供了一种行之有效的自动化解决方案。该方法利用加速稳健特征法提取预处理后的连续两帧画面的尺度不变特性，接着依据神经网络的匹配方法，基于连续两帧画面的匹配生成一帧新图像。