一种双光融合裂纹检测方法及系统与流程

所属的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

背景技术：

1、管道输送在我国能源产业中占有重要的地位，安全是管道运行最基本的条件。管道缺陷是引起管道失效的重要原因，需要通过技术手段对管道变形进行检测与修复，部分管道变形、腐蚀等是在管道建设过程中由于下方石块挤压、施工机械顶伤、内部积水等原因导致。长输油气管道在投产运行前都需进行投产前检测，找到影响管道运行安全的较大缺陷点进行修复。传统的管道投产前检测通过机械臂方式对管道变形缺陷进行检测，但是机械臂方式无法实现管道内部金属损失的检测即亚表面缺陷检测。

技术实现思路

1、为了克服现有管道缺陷识别技术无法实现管道亚表面缺陷检测的问题，本发明提供了一种双光融合裂纹检测方法及系统。

2、第一方面，为了解决上述技术问题，本发明提供了一种双光融合裂纹检测方法，包括以下步骤：

3、对于管道目标位置，获取管道目标位置对应的可见光图像和红外热图像；

4、根据可见光图像和红外热图像，确定粗匹配图像，粗匹配图像为可见光图像与红外热图像通过像素点进行匹配后得到的图像；

5、根据粗匹配图像，确定红外检测框，红外检测框对应的区域表征了管道缺陷在粗匹配图像上对应的区域；

6、根据红外检测框和可见光图像，确定可见光图像上的目标框，目标框对应的区域表征了可见光图像上各个区域中与红外检测框对应的区域相似度最高的区域；

7、若红外热图像对应的红外检测框检测到缺陷，且可见光图像对应的目标框检测到缺陷，则判断管道缺陷对应的缺陷识别结果为管道表面缺陷；

8、若红外热图像对应的红外检测框检测到缺陷，且可见光图像对应的目标框未检测到缺陷，则判断管道缺陷对应的缺陷识别结果为管道亚表面缺陷。

9、本发明提供的一种双光融合裂纹检测方法的有益效果是：通过可见光图像和红外热图像，进行粗匹配，得到粗匹配图像，从而得到红外检测框，再通过红外检测框与可见光图像进行精匹配得到目标框，红外检测框能够检测红外热图像上的缺陷，目标框能够检测可见光图像上的缺陷，若红外检测框和目标检测框均存在缺陷，则表明为管道表面缺陷，若只有红外检测框存在缺陷，则表明为管道亚表面缺陷，解决了现有管道缺陷识别技术无法实现管道亚表面缺陷检测的问题。

10、在上述技术方案的基础上，本发明的一种双光融合裂纹检测方法还可以做如下改进。

11、进一步，上述根据可见光图像和红外热图像，确定粗匹配图像，包括：

12、将可见光图像和红外热图像中表征同一位置的像素点进行对齐处理，得到粗匹配图像。

13、采用上述进一步方案的有益效果是：通过像素点对齐处理，将可见光图像和红外热图像进行匹配，得到粗匹配图像。

14、进一步，上述根据粗匹配图像，确定红外检测框，包括：

15、根据粗匹配图像，通过yolov5检测器，确定红外检测框。

16、采用上述进一步方案的有益效果是：通过yolov5检测器，可得到粗匹配图像上的红外检测框，从而检测到红外热图像上的缺陷。

17、进一步，上述根据红外检测框和可见光图像，确定可见光图像上的目标框，包括：

18、根据红外检测框，确定红外检测框对应的区域与可见光图像上每个区域之间的第一相似度；

19、根据各个第一相似度中的最大值对应的可见光图像上的区域，确定目标框。

20、采用上述进一步方案的有益效果是：通过红外检测框对应的区域与可见光图像上每个区域之间的第一相似度，能够得到红外检测框与可将光图像上每个区域的相似性，从而确定目标框。

21、进一步，上述根据红外检测框和可见光图像，确定可见光图像上的目标框，包括：

22、根据红外检测框，确定红外检测框对应的区域与红外热图像上每个区域之间的第二相似度；

23、将各个第二相似度中的最大值作为第一目标相似度；

24、根据红外检测框，确定红外检测框对应的区域与可见光图像上每个区域之间的第三相似度；

25、根据第一目标相似度和各个第三相似度，确定第一目标相似度与每个第三相似度之间的第四相似度；

26、将第四相似度中的最大值对应的第三相似度作为第二目标相似度；

27、根据第二目标相似度对应的可见光图像上的区域，确定目标框。

28、采用上述进一步方案的有益效果是：通过红外检测框对应的区域与红外热图像上每个区域之间的第二相似度，得到红外检测框与红外热图像上每个区域的相似性，然后通过红外检测框对应的区域与可见光图像上每个区域之间的第三相似度，得到红外检测框与可见光图像上每个区域的相似性，最后将第二相似度中最大值对应的第一目标相似度与各个第三相似度进行匹配，得到各个第四相似度，即可通过间接比较的方法得到目标框。

29、可选的，该方法还包括：

30、根据红外检测框和目标检测框，确定红外检测框和目标检测框之间的交并比；

31、若交并比大于预设值，则判断红外检测框对应的区域和目标检测框对应的区域为管道上的同一区域。

32、采用上述进一步方案的有益效果是：当红外检测框与目标检测框之间饿交并比大于预设值，则表明红外检测框对应的区域和目标检测框对应的区域为管道上的同一区域，且表明获取到的目标框位置准确性较高。

33、第二方面，本发明提供了一种双光融合裂纹检测系统，包括：

34、图像获取模块，用于对于管道目标位置，获取管道目标位置对应的可见光图像和红外热图像；

35、粗匹配图像模块，用于根据可见光图像和红外热图像，确定粗匹配图像，粗匹配图像为可见光图像与红外热图像通过像素点进行匹配后得到的图像；

36、红外检测框模块，用于根据粗匹配图像，确定红外检测框，红外检测框对应的区域表征了管道缺陷在粗匹配图像上对应的区域；

37、目标框模块，用于根据红外检测框和可见光图像，确定可见光图像上的目标框，目标框对应的区域表征了可见光图像上各个区域中与红外检测框对应的区域相似度最高的区域；

38、第一判断模块，用于若红外热图像对应的红外检测框检测到缺陷，且可见光图像对应的目标框检测到缺陷，则判断管道缺陷对应的缺陷识别结果为管道表面缺陷；

39、第二判断模块，用于若红外热图像对应的红外检测框检测到缺陷，且可见光图像对应的目标框未检测到缺陷，则判断管道缺陷对应的缺陷识别结果为管道亚表面缺陷。

40、第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的程序，处理器执行程序时实现如上述的一种双光融合裂纹检测方法的步骤。

41、第四方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端设备上运行时，使得终端设备执行一种双光融合裂纹检测方法的步骤。