基于误检回溯算法的多模态模型原油泄漏检测方法及装置与流程

本发明涉及视觉检测，尤其涉及基于误检回溯算法的多模态模型原油泄漏检测方法及装置。

背景技术：

1、在工业化工领域，原油泄漏的检测是工业安防的重要一环。随着视觉检测技术的快速发展，从巡检机器人云台拍摄的图像中识别出原油滴漏的原油泄漏检测算法已大量应用于机器人巡检中。

2、但是，目前的原油泄漏检测算法存在如下问题：

3、一是，工业化工领域的原油颜色包括黑色、黄色以及无色透明等多种颜色，而每个化工厂需要检测的原油颜色不同，也存在同一化工厂需要检测多种颜色的原油，现有的原油泄漏检测算法需要根据不同颜色的原油检测需求进行定制化开发，增加了研发成本。并且，现有技术多采用闭集原油检测算法，对于新增颜色的原油泄漏检测，需要收集和标记新数据，并从头开始重新训练原油检测算法模型，需要通过训练来识别一组有限的预先确定的颜色类别，泛化能力较弱。

4、二是，原油泄漏初期是滴漏形式，目标特别小，特征不明显，检测效果不好，很容易造成误检。虽然在检测到原油泄漏时会上报相关人员，相关人员对检测结果进行确认，根据实际情况把图片中误检为滴漏的目标物(如原油管道、原油管道阀门等存在的局部凸起、水滴、附着异物等)手动标记为误检，但是在后续巡检中该目标物依然会被现有的原油泄漏检测算法误报为滴漏展示给相关人员，降低了用户体验。

技术实现思路

1、本发明旨在解决现有原油泄漏检测中存在的滴漏检测模型仅能检测预设颜色类别的原油滴漏，泛化能力弱，并且误检目标物会持续输出导致用户体验差的技术问题，提供基于误检回溯算法的多模态模型原油泄漏检测方法及装置。

2、为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了基于误检回溯算法的多模态模型原油泄漏检测方法，包括：获取文本信息和巡检机器人在巡检点的采集图像，所述文本信息包括m种原油颜色描述，m为正整数；将文本信息和采集图像输入预先训练好的多模态模型，多模态模型输出每种原油颜色描述对应的检测结果，每种原油颜色描述对应的检测结果均包括s个检测目标的边界框信息和置信度，s为大于或等于0的整数；依次判断每个检测目标是否能匹配到历史误检目标物集；输出不能匹配到历史误检目标物集的检测目标的边界框信息和置信度。

3、为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种基于误检回溯算法的多模态模型原油泄漏检测装置，用于实现本发明第一方面提供的基于误检回溯算法的多模态模型原油泄漏检测方法，包括：输入模块，获取文本信息和巡检机器人在巡检点的采集图像，所述文本信息包括m种原油颜色描述，m为正整数；多模态检测模块，将文本信息和采集图像输入预先训练好的多模态模型，多模态模型输出每种原油颜色描述对应的检测结果，每种原油颜色描述对应的检测结果均包括s个检测目标的边界框信息和置信度，s为大于或等于0的整数；误检判断模块，依次判断每个检测目标是否能匹配到历史误检目标物集；输出模块，输出不能匹配到历史误检目标物集的检测目标的边界框信息和置信度。

4、为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本发明第一方面提供的方法的步骤。

5、为了实现本发明的上述目的，根据本发明的第四个方面，本发明提供了一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明第一方面提供的基于误检回溯算法的多模态模型原油泄漏检测方法。

6、本申请提供了一种基于误检回溯算法的多模态模型原油泄漏检测方案，该方案将自定义的文本信息和巡检机器人在巡检点的采集图像这两个模态信息一起输入多模态模型，多模态模型融合每种原油颜色描述特征与采集图像特征获得每种原油颜色描述对应的检测结果，通过设置原油颜色描述能够对未见过的原油泄漏进行检测定位，实现了开集检测，增强了泛化能力，提升了原油泄漏检测能力；获得检测结果后，回溯历史误检目标物集，通过判断当前检测目标是否匹配到历史误检目标物集来排除历史误检，不再输出历史误检，能够改善用户体验，进一步提升原油泄漏检测能力。

技术特征：

1.基于误检回溯算法的多模态模型原油泄漏检测方法，其特征在于，包括：

2.如权利要求1所述的基于误检回溯算法的多模态模型原油泄漏检测方法，其特征在于，判断第s个检测目标是否能匹配到历史误检目标物集的过程包括：

3.如权利要求2所述的基于误检回溯算法的多模态模型原油泄漏检测方法，其特征在于，计算第s个检测目标与历史误检目标物集中第a个历史误检目标物的iou，包括：

4.如权利要求2或3所述的基于误检回溯算法的多模态模型原油泄漏检测方法，其特征在于，所述计算第s个检测目标的边界框图像与参考边界框图像的匹配程度，包括：

5.如权利要求4所述的基于误检回溯算法的多模态模型原油泄漏检测方法，其特征在于，计算第s个检测目标在第i种原油颜色描述下的检测边界框图像与参考边界框图像的相似度为：

6.如权利要求4所述的基于误检回溯算法的多模态模型原油泄漏检测方法，其特征在于，所述计算第s个检测目标在每种原油颜色描述下的置信权重，包括：

7.如权利要求1或2或3或5或6所述的基于误检回溯算法的多模态模型原油泄漏检测方法，其特征在于，所述输出不能匹配到历史误检目标物集的检测目标的边界框信息和置信度，包括：

8.一种基于误检回溯算法的多模态模型原油泄漏检测装置，用于实现权利要求1-7之一所述的基于误检回溯算法的多模态模型原油泄漏检测方法，其特征在于，包括：

9.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7之一所述方法的步骤。

10.一种电子设备，其特征在于，所述电子设备包括：

技术总结
本发明提供了基于误检回溯算法的多模态模型原油泄漏检测方法及装置。该方法包括：获取文本信息和巡检机器人在巡检点的采集图像，文本信息包括M种原油颜色描述；将文本信息和采集图像输入多模态模型，多模态模型输出每种原油颜色描述对应的检测结果，每种原油颜色描述对应的检测结果均包括S个检测目标的边界框信息和置信度；依次判断每个检测目标是否能匹配到历史误检目标物集；输出不能匹配到历史误检目标物集的检测目标的边界框信息和置信度。通过设置原油颜色描述能够对未见过的原油泄漏进行检测定位，泛化能力强，不再连续输出历史误检，提升了用户体验和原油泄漏检测能力。

技术研发人员：朱冬,曲春光,李欣,胡小东,陈小龙
受保护的技术使用者：七腾机器人有限公司
技术研发日：
技术公布日：2024/9/17