基于区域分割和提取轮廓特征点的漏油检测方法及系统与流程

本发明属于风电，尤其涉及一种基于区域分割和提取轮廓特征点的漏油检测方法及系统。

背景技术：

1、当前风电领域的漏油检测手段主要包括光学、声学、红外和负压力波探测器，其中，基于图像和计算机视觉技术在漏油检测方面得到了突破性进展并受到广泛关注；计算机视觉技术具有直观性和便利的特点，可以随时监控设备运行中是否发生漏油事件。

2、发明人发现，传统漏油目标检测方法中，基于传统边缘检测方法，轮廓特征易受噪声影响，引入噪声特征，影响轮廓判断；生成的模版是从油污局部特征提取，没有利用油污整体特征，传统的人工特征分析无法适应不同形状的油污的检测；与背景对比度小的漏油，其定位能力弱，局部特征分析能力欠缺。而基于yolo神经网络的检测方法，没有涉及图片非局部特征的提取，也没有针对阴影、漏油形状附近的特征进行重点学习；需要标注掩码增大标注时间，非端到端的漏油定位识别；只是根据预测结果挑出困难样本进一步学习特征，没有对漏油样本中漏油形状和阴影等轮廓特征进行提取重点学习。

技术实现思路

1、本发明为了解决背景技术中的至少一个问题，提出了一种基于区域分割和提取轮廓特征点的漏油检测方法及系统，本发明综合考虑了非局部特征和局部特征，解决了局部特征分析能力欠缺以及没有对漏油目标轮廓特征进行提取考虑等问题。

2、为了实现上述目的，本发明是通过如下的技术方案来实现：

3、第一方面，本发明提供了一种基于区域分割和提取轮廓特征点的漏油检测方法，包括：

4、获取检测区域的图像；

5、将图像分割为若干区域，并提取所有区域的轮廓特征点；在轮廓特征点附近区域提取图片块，将图片块编码为非局部相关性特征；

6、提取图像的局部特征；将局部特征和非局部特征进行融合，得到融合特征；

7、利用融合特征和预设的相似性损失函数进行漏油的预测。

8、进一步的，提取所有区域的轮廓特征点时，还提取了区域的部分内部散点；根据亮度、颜色和区域块的大小将图像分割成若干区域。

9、进一步的，对每一个区域提取轮廓上的若干特征点，以及在区域内部提取若干特征点。

10、进一步的，利用卷积神经网络提取局部特征。

11、进一步的，将分割区域进行分块处理，并将包含特征采样点的图块生成编码特征，根据编码特征计算非局部特征。

12、进一步的，基于融合特征预测漏油目标边框和类别并给出置信度。

13、进一步的，先计算选择的特征点与标注边框之间的偏移位置，再将偏移位置移到预测边框上，找到特征点在预测边框上的位置；根据在标注边框中特征点位置和预测边框中特征点位置，提取包含特征点的图块并计算图块之间的相似性损失值；计算目标图块和预测图块的相似性损失，包含计算亮度l(x，y)、对比度c(x，y)和结构关系s(x，y)：

14、

15、

16、

17、ssim(x，y)＝l(x，y)α·c(x，y)β·s(x，y)γ

18、其中，x代表目标图块；y代表预测图块；ux，uy分别为计算两个图块的灰度平均值分别为计算两个图块的方差；σxy为协方差，c1、c2和c3为超参。

19、第二方面，本发明还提供了一种基于区域分割和提取轮廓特征点的漏油检测系统，包括：

20、数据采集模块，被配置为：获取检测区域的图像；

21、特征提取模块，被配置为：将图像分割为若干区域，并提取所有区域的轮廓特征点；在轮廓特征点附近区域提取图片块，将图片块编码为非局部相关性特征；

22、特征融合模块，被配置为：提取图像的局部特征；将局部特征和非局部特征进行融合，得到融合特征；

23、预测模块，被配置为：利用融合特征和预设的相似性损失函数进行漏油的预测。

24、第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于区域分割和提取轮廓特征点的漏油检测方法的步骤。

25、第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于区域分割和提取轮廓特征点的漏油检测方法的步骤。

26、与现有技术相比，本发明的有益效果为：

27、本发明中首先，将检测区域的图像分割为若干区域，并提取所有区域的轮廓特征点；在轮廓特征点附近区域提取图片块，将图片块编码为非局部相关性特征；然后，提取图像的局部特征；将局部特征和非局部特征进行融合，得到融合特征；最后，利用融合特征和预设的相似性损失函数进行漏油的预测；基于区域分割和提取轮廓特征点，综合考虑了非局部特征和局部特征，解决了局部特征分析能力欠缺以及没有对漏油目标轮廓特征进行提取考虑等问题，可以适应不同形状的油污的检测。

技术特征：

1.基于区域分割和提取轮廓特征点的漏油检测方法，其特征在于，包括：

2.如权利要求1所述的基于区域分割和提取轮廓特征点的漏油检测方法，其特征在于，提取所有区域的轮廓特征点时，还提取了区域的部分内部散点；根据亮度、颜色和区域块的大小将图像分割成若干区域。

3.如权利要求1所述的基于区域分割和提取轮廓特征点的漏油检测方法，其特征在于，对每一个区域提取轮廓上的若干特征点，以及在区域内部提取若干特征点。

4.如权利要求1所述的基于区域分割和提取轮廓特征点的漏油检测方法，其特征在于，利用卷积神经网络提取局部特征。

5.如权利要求1所述的基于区域分割和提取轮廓特征点的漏油检测方法，其特征在于，将分割区域进行分块处理，并将包含特征采样点的图块生成编码特征，根据编码特征计算非局部特征。

6.如权利要求1所述的基于区域分割和提取轮廓特征点的漏油检测方法，其特征在于，基于融合特征预测漏油目标边框和类别并给出置信度。

7.如权利要求1所述的基于区域分割和提取轮廓特征点的漏油检测方法，其特征在于，先计算选择的特征点与标注边框之间的偏移位置，再将偏移位置移到预测边框上，找到特征点在预测边框上的位置；根据在标注边框中特征点位置和预测边框中特征点位置，提取包含特征点的图块并计算图块之间的相似性损失值；计算目标图块和预测图块的相似性损失ssim(x，y)，包含计算亮度l(x，y)、对比度c(x，y)和结构关系s(x，y)：

8.基于区域分割和提取轮廓特征点的漏油检测系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-7任一项所述的基于区域分割和提取轮廓特征点的漏油检测方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的基于区域分割和提取轮廓特征点的漏油检测方法的步骤。

技术总结
本发明属于风电技术领域，提供了一种基于区域分割和提取轮廓特征点的漏油检测方法及系统，首先，将检测区域的图像分割为若干区域，并提取所有区域的轮廓特征点；在轮廓特征点附近区域提取图片块，将图片块编码为非局部相关性特征；然后，提取图像的局部特征；将局部特征和非局部特征进行融合，得到融合特征；最后，利用融合特征和预设的相似性损失函数进行漏油的预测；基于区域分割和提取轮廓特征点，综合考虑了非局部特征和局部特征，解决了局部特征分析能力欠缺以及没有对漏油目标轮廓特征进行提取考虑等问题，可以适应不同形状的油污的检测。

技术研发人员：刘传玺,赵小伟,赵世柏,谢国亮,李崇喜,李亮,唐婉莹
受保护的技术使用者：国核信息科技有限公司
技术研发日：
技术公布日：2024/3/11