一种基于深度学习的红外图像漏气漏液检测方法及系统

1.本发明涉及一种基于深度学习的红外图像漏气漏液检测方法及系统，属于智能目标检测技术领域。


背景技术：

2.在目标检测领域中，和红外热成像技术结合的红外目标检测系统具有全天候、可探测距离远、不受大气和光照条件影响等优点，能够在雨雪、大雾、夜间等环境中实现较好的检测效果，具有广泛的应用前景。同时，红外目标检测是红外侦查、智能安防、夜间辅助驾驶等领域的基础任务。
3.红外热成像检测泄漏气体和泄露液体技术是利用热像仪接收包含流体特征吸收峰波段的红外辐射来完成对泄漏物体的成像检测。传统的红外目标检测方法大多沿用可见光图像的检测方式，根据红外目标与背景的灰度值差异进行人工设计特征来提取目标的浅层语义特征，并利用这些特征进行目标识别与分类。在人工设计特征方法中，根据特征提取方式的不同，可以将其划分为基于兴趣域搜索的红外目标检测、基于阈值分割的红外目标检测以及基于统计学习的红外目标检测。
4.然而，现有的深度学习目标检测算法大多基于卷积神经网络，通过提取图像颜色、纹理、几何等特征构建高层语义，红外图像边缘模糊、对比度不佳等特点会在一定程度上影响模型的语义表达能力，降低算法的检测精度。与此同时，大规模的目标检测模型对内存和算力有着较高要求，无法满足在嵌入式设备中的实时部署需求。


技术实现要素：

5.本发明的目的在于克服现有技术中的不足，提出一种基于深度学习的红外图像漏气漏液检测方法及系统，该方法提高了红外图像漏气漏液检测的速度和精确度。
6.为达到上述目的，本发明是采用下述技术方案实现的：
7.第一方面，本发明提供了一种基于深度学习的红外图像漏气漏液检测方法，包括以下步骤：
8.采集漏气漏液场景下的红外热图像数据；
9.对漏气漏液场景下的红外热图像数据进行预处理，在红外热图像数上标注漏气漏液信息，得到训练数据集，并使用该训练数据集训练目标检测网络，获得训练完成的目标检测网络权重；
10.获取并预处理待检测场景下的红外热成像数据，加载训练完成的目标检测网络权重，对目标检测网络输入待检测场景下的红外热成像数据进行实时检测，获取检测结果；
11.将检测结果可视化输出。
12.进一步的，红外热图像数据的获取方法包括：对红外热成像仪进行标定以获取红外热成像仪的参数信息，并使用红外热像仪采集待检测场景下的视频数据并解析所述视频数据得到待检测场景下的红外热图像数据；
13.其中红外热像仪为ir-hinet-640设备，获取得到的单张热成像图像分辨率大小为640*512，可测温度范围为-22℃至+550℃。
14.进一步的，对红外热图像数据进行预处理的方法包括以下步骤：
15.对所述红外热图像数据进行增强，以降低红外热成像中的噪声干扰；
16.对红外图像数据进行图像增强的方法包括形态学滤波操作；
17.所述形态学滤波操作包括图像膨胀腐蚀和图像锐化。
18.进一步的，使用训练数据集训练目标检测网络的方法包括以下步骤：
19.使用kmeans算法对训练数据集进行聚类分析得到锚候选框大小，并分配到目标检测网络的大、中、小三个特征尺度上；
20.使用经过mscoco数据集进行训练后的网络权重作为目标检测网络的初始权重，使用所述训练数据集对目标检测网络进行训练，得到最终训练的网络参数权重信息。
21.进一步的，使用kmeans算法对样本进行聚类分析得到锚候选框并分配到三个特征尺度上，具体方法步骤为：
22.步骤a:初始化k个anchorbox，通过在所有的标注得到的boundingbox中随机选取k个值作为k个anchorbox的初始值，其中k为设定值，anchorbox是锚候选框，boundingbox为数据集中标注得到的检测框；
23.步骤b:分别计算各boundingbox与个anchorbox的交并比iou；
24.交并比计算方式为anchorbox和boundingbox的交集和并集的比值:
[0025][0026]
式中，∩为取交集，∪为取并集,iou为交并比；
[0027]
计算距离参数d，表示其误差：
[0028]
d＝1-iou
[0029]
步骤c:经过前一步的计算可以的到各boundingbox对于各anchorbox的误差d(n,k)，d(n,k)表示第n个boundingbox和第k个anchorbox的误差距离；
[0030]
通过比较第i个boundingbox其对于各anchorbox的误差距离集{d(i,1)，d(i,2)，
…
,d(i,k)},选取最小误差的anchorbox，将该boundingbox分类入该最小误差的anchorbox的分类集；
[0031]
对于每个boundingbox均进行分类，获得各anchorbox的分类集；
[0032]
步骤d:对于各anchorbox的分类集中的boundingbox，求分类集中的boundingbox的宽高中值大小，将其作为该anchorbox新的尺寸；
[0033]
重复步骤b-d，比较新计算得到的boudingbox所属的anchorbox和原先该boudingbox所属的anchorbox，如果一致则停止，若不一致则跳转重复步骤b-d，继续计算。
[0034]
进一步的，所述目标检测网络为改进的yolov4网络，包括以下部分：
[0035]
主干网络：用来提取红外图像数据的特征图；
[0036]
特征提取网络：用来进一步提取红外图像数据的特征图；
[0037]
特征融合网络：用来将特征图进行融合；
[0038]
检测框选取网络：用于选取检测框；
[0039]
目标检测网络的构造方法包括以下步骤：
[0040]
借鉴cspnet后融合的思想，使用新的特征提取网络代替原有的连续的dbl 卷积模块；分别提取两路径的特征图并进行融合，一路使用1*1的卷积保留低层的语义信息，另一路通过多层的卷积池化激活层获取高维语义特征，最终通过shortcut拼接在一起；
[0041]
提出了新的特征融合模块将三个尺度的特征图进行融合，以提高目标检测网络的精度和速度；
[0042]
将所述目标检测网络的输入尺寸大小设置为红外热图像数据的原始尺寸大小。
[0043]
进一步的，所述主干网络为cspdarknet；所述特征提取网络为 cspdarknet53；
[0044]
所述cspdarknet包括cspx模块；所述cspx模块使用1
×
1卷积将输入特征分解为主干和旁支，其中主干为darknet的残差结构，包含5个残差块，旁支则是由1
×
1卷积构成的特征变换分支，通过级联的方式实现特征融合；
[0045]
cspdarknet使用mish激活函数作为网络的非线性单元,表达式如下：
[0046]
f(x)＝x
·
tanh(ln(1+e
x
))
[0047]
式中，
·
为乘号，x是特征图中的参数信息，f(x)为激活函数的输出。
[0048]
进一步的，所述特征融合模块使用fpn和asff特征融合算法将三个尺度的特征图进行融合，具体包括以下步骤：
[0049]
使用大、中、小三个尺度检测不同大小的目标，对三个尺度的特征信息进行了融合；
[0050]
对于通道数不一致的情况应用1*1的卷积层将特征通道数压缩到相同层中；
[0051]
上采样时，采用转置卷积的方式进行上采样；
[0052]
下采样时，对于1/2比例的降采样，使用3*3的卷积层，步幅为2，同时修改通道数量和分辨率；
[0053]
对于1/4的比例，在2步卷积之后添加一个步幅为2的最大池化层。
[0054]
进一步的，所述目标检测网络还包含用于评价模型的预测值和真实值不一样的程度的损失函数，所述损失函数包含：边界框回归损失函数、分类损失函数、置信度损失函数；
[0055]
其中，分类损失函数和置信度损失函数采用交叉熵；回归损失函数采用 ciou损失函数；
[0056]
ciou损失函数考虑了重叠面积、中心点距离、长宽比，其中，d为预测框和真实框中心点之间的欧氏距离，c代表对角线距离，α为权重参数，ν是衡量长宽比一致性参数；具体公式如下：
[0057][0058][0059][0060]
式中，arctan为三角函数，d为预测框和真实框中心点之间的欧氏距离，c代表对角线距离；α为权重参数，h和h
gt
表示两个box的高,ν是衡量长宽比一致性参数,l
ciou
为损失函
数。
[0061]
进一步的，所述检测框选取网络采用非极大值抑制算法，非极大值抑制算法使用diou交并值作为的标准，选取检测框的流程如下：
[0062]
获取生成的边界框；
[0063]
选取置信度最高的边界框放入集合中；
[0064]
遍历bi，计算每个bi和该候选框的diou，使用如下公式进行抑制候选框，最终得到候选框和该候选框的得分；
[0065][0066][0067]
其中，bi代表第i个边界框，si是该边界框分类得到的置信度分数，ε是预先设置好的阈值，m为argmax得到的置信度最高的边界框，rdiou是两个候选框中心点之间的距离，b和b
gt
表示anchor框和目标框的中心点,c是包含两个box 的最小box的对角线长度。
[0068]
第二方面，本发明提供了一种基于深度学习的红外图像漏气漏液检测系统，包括：
[0069]
采集模块：用于采集漏气漏液场景下的红外热图像数据；
[0070]
训练模块：用于对漏气漏液场景下的红外热图像数据进行预处理，在红外热图像数上标注漏气漏液信息，得到训练数据集，并使用该训练数据集训练目标检测网络，获得训练完成的目标检测网络权重；
[0071]
检测模块：用于获取并预处理待检测场景下的红外热成像数据，加载训练完成的目标检测网络权重，对目标检测网络输入待检测场景下的红外热成像数据进行实时检测，获取检测结果；
[0072]
输出模块：用于将检测结果可视化输出。
[0073]
第三方面，本发明提供了一种基于深度学习的红外图像漏气漏液检测系统，包括处理器及存储介质；
[0074]
所述存储介质用于存储指令；
[0075]
所述处理器用于根据所述指令进行操作以执行第一方面所述方法的步骤。
[0076]
与现有技术相比，本发明所达到的有益效果：
[0077]
1、本发明基于深度学习的目标检测算法，使用现场数据进行训练神经网络，使用神经网络相对于传统方法更加快速、准确和稳定的特性，提高检测的自动化程度和精确度；本发明通过深度学习的方法，有效解决了工业场景中存在的漏气漏液的检测问题。
[0078]
2、本发明使用基于形态学滤波的图像增强算法，抑制红外图像噪声，增强了图像部分边缘信息。
[0079]
3、在原yolo v4的neck结构中，存在大量的cbl卷积模块，本发明更改该模块的网络结构为cspdarknet以减少计算量。将目标检测网络中的特征图作为输入，利用卷积分别提取两路径的特征并进行融合，一路使用1*1的卷积保留低层的语义信息，另一路通过多层的卷积池化激活层获取高维语义特征，最终通过shortcut拼接在一起。
[0080]
4、本发明使用ir-hinet热像仪，采用优异的成像处理电路，具备体积小、功耗低、
启动快速、成像质量优异、测温精准等特点。hinet-640是一个非制冷式氧化钒红外探测器，能够生成640*512像素的热图像，这可以使热成像更加精准，在较远距离依然可以显示更多细节。
[0081]
5、为了解决复杂场景下的多尺度目标检测问题，提高模型精度，本发明提出新的特征融合网络，对三个尺度的特征信息进行了融合。浅层特征能够保留空间信息，有利于正确定位像素点，生成更加精确的目标检测框，然而随着特征层深度增加，图像空间分辨率在不断降低，这种准确的空间信息也在不断丢失但是其具有丰富的语义信息，对于这种特征不一致性，使用特征融合网络学习了空间信息，以抑制不同特征图的不一致性，从而提高特征的尺度不变性。
[0082]
6、本发明中提出的特征融合模块的网络结构图，yolo通过主干网络的特征提取分别下采样输出1/8,1/16,1/32倍，浅层特征能够保留空间信息，有利于正确定位像素点，生成更加精确的目标检测框，然而随着特征层深度增加，图像空间分辨率在不断降低，这种准确的空间信息也在不断丢失但是其具有丰富的语义信息，对于这种特征不一致性，使用特征融合网络学习了空间信息，以抑制不同特征图的不一致性，从而提高特征的尺度不变性。由于yolo v4中三个层次的特征具有不同的分辨率和不同的通道数量，因此相应地对每个尺度的上采样和下采样策略进行改进。可以从1/8下采样到1/32，每个特征图最后都是其他特征图上采样或下采样并和自身拼接融合得到，通过这种融合方式，极大的抑制了每个尺度的不一致性。
附图说明
[0083]
图1为本发明中红外热像仪传感器；
[0084]
图2为本发明中使用图像增强技术的结果图；
[0085]
图3为本发明中为改进的特征提取模块网络示意图；
[0086]
图4为本发明中的提出的特征融合模块的网络结构图；
[0087]
图5为本发明单帧图像检测的可视化结果。
[0088]
图6为本发明中主干网络示意图；
[0089]
图7为本发明中特征提取模块四倍上采样网络结构图；
[0090]
图8为本发明中特征提取模块四倍下采样网络结构图；
[0091]
图9为本发明的流程图。
具体实施方式
[0092]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0093]
实施例一：
[0094]
本实施例提供一种基于深度学习的红外图像漏气漏液检测方法。针对红外图像分辨率不高，信噪比低，红外热像不均匀等特点，本发明使用图像增强技术在一定程度上减少噪声，平滑物体轮廓以及增强对比度，同时提出特征提取模块和特征融合模块以提高目标检测网络对红外图像特征的学习能力和检测速度。具体来讲，首先使用红外热像仪ir-hinet-640采集漏气漏液场景下的视频数据并解析得到红外热图像数据。其次，使用图像膨
胀腐蚀操作抑制背景噪声、采用图像锐化操作即拉普拉斯算子来增强图像的突变信息、细节和边缘信息。并使用标注软件进行标注得到最终的数据集。步骤三，使用kmeans算法对样本进行聚类分析得到锚候选框并分配到三个特征尺度上，对目标检测网络yolov4网络进行改进，借鉴cspnet后融合的思想，提出特征提取模块代替原有的连续的dbl卷积模块以减少网络参数，增加梯度信息，并提出新的特征融合模块将三个尺度的特征图进行融合，以提高目标检测网络的精度，回归框损失函数采用ciou损失以及引入nms-ciou非极大值抑制算法。同时，为了避免网络训练出现过拟合的问题同时减少网络的训练时间，使用经过ms coco数据集进行训练后的权重作为初始权重，使用红外热成像数据集对网络进行训练，得到最终训练的网络参数权重信息。最后，加载网络权重信息，读取红外热成像的视频流，为了减少多余的计算量，修改网络部分内容以适应将原尺寸大小 (640*512)的原始数据直接输入到目标检测网络中进行实时检测，并将检测结果可视化。相比较于漏气漏液检测的传统方法和其他传感器检测方法，本发明在自制数据集中达到了很好的检测效果。
[0095]
具体的，本方法包括以下步骤：
[0096]
步骤一，使用红外热像仪ir-hinet-640采集漏气漏液场景下的视频数据并解析得到红外热图像数据。
[0097]
步骤二，使用图像膨胀腐蚀、图像锐化等形态学滤波操作对图像进行增强，降低红外热成像中的噪声干扰，并使用标注软件进行标注得到最终的数据集。
[0098]
步骤三，使用kmeans算法对样本进行聚类分析得到锚候选框并分配到三个特征尺度上，对目标检测网络yolo v4网络进行改进，借鉴cspnet后融合的思想，使用新的特征提取网络代替原有的连续的dbl卷积模块，并提出了新的特征融合模块将三个尺度的特征图进行融合，以提高目标检测网络的精度和速度。同时，为了避免网络训练出现过拟合的问题同时减少网络的训练时间，使用经过ms coco数据集进行训练后的权重作为初始权重，使用红外热成像数据集对网络进行训练，得到最终训练的网络参数权重信息。
[0099]
步骤四，加载网络权重信息，读取红外热成像的视频流，为了减少计算，修改网络将原尺寸大小(640*512)的数据输入到目标检测网络中进行实时检测，并将检测结果可视化。
[0100]
具体的，步骤一中，使用红外热像仪采集漏气漏液场景下的视频数据并解析得到红外热图像数据，其中红外热像仪采用ir-hinet-640设备，获取得到的单张热成像图像分辨率大小为640*512，可测温度范围为-22℃至+550℃。
[0101]
具体的，步骤二中，形态学滤波运算就是通过在原始图像上移动结构元素，结构元素与图像进行逻辑运算后输出图像。假设输入图像a，b代表结构元素， z表示实整数的集合，使用b对a分别进行膨胀和腐蚀的定义为：
[0102][0103][0104]
从上式可以看出，膨胀操作是先将结构元素b进行原点映像，然后以z对映像在a上进行位移，结构元素b与覆盖的a进行或操作，最终得到输出结果。整个膨胀的运算过程与上文介绍的卷积操作过程类似。使用膨胀运算处理图像的后能够将图像中细小的断裂变成连通的区域。而腐蚀操作就是用z平移结构元素b，输出结果为b包含于a中的所有点z的集合。
腐蚀操作通过控制结构元素的大小来消除图像中小于结构元素大小的细节。
[0105]
具体的，步骤二中，图像锐化操作使用拉普拉斯算子(laplaceoperator)，拉普拉斯算子是n维欧几里德空间中的一个二阶微分算子，是工程数学中常用的一种积分变换，属于空间锐化滤波操作，laplace算子的差分形式为：
[0106][0107]
转换为滤波器掩码的形式为：
[0108]
0101-41010
[0109]
mask在上下左右四个90度的方向上结果相同，也就是说在90度方向上无方向性。为了让该mask在45度的方向上也具有该性质，对该filtermask进行扩展定义为：
[0110]
1111-81111
[0111]
具体的，步骤三中，使用kmeans算法对样本进行聚类分析得到锚候选框并分配到三个特征尺度上，具体方法步骤为：
[0112]
(1)初始化k个anchorbox，通过在所有的boundingbox中随机选取k个值作为k个anchorbox的初始值，其中k为9。
[0113]
(2)计算每个boundingbox与每个anchorbox的交并比(intersectionoverunion)值。iou计算方式为anchorbox和boundingbox的交集和并集的比值:
[0114][0115]
由于iou值往往越大越好，定义距离参数d，表示其误差：
[0116]
d＝1-iou
[0117]
(3)经过前一步的计算可以的到每一个boundingbox对于每个anchorbox的误差d(n,k)，我们通过比较每个boundingbox其对于每个anchorbox的误差大小{d(i,1)，d(i,2)，
…
,d(i,k)},选取最小误差的那个anchorbox，将这个boundingbox分类给它，对于每个boundingbox都做这个操作，最后记录下来每个anchorbox有哪些boundingbox属于它。
[0118]
(4)对于每个anchorbox中的那些boundingbox，我们再求这些boundingbox的宽高中值大小，将其作为该anchorbox新的尺寸。重复第2步到第4步，直到在第4步中发现对于全部boundingbox其所属的anchorbox类与之前所属的anchorbox类一样。最终得到的结果如下：
[0119] 锚点框1锚点框2锚点框3特征图1(120,113)(176,207)(243,276)特征图2(32,61)(62,45)(59,119)特征图3(10,13)(16,30)(33,23)
[0120]
具体的，步骤三中，特征提取网络使用cspdarknet。cspdarknet是由cspx构成的
模块化网络，cspx模块使用1
×
1卷积将输入特征分解为主干和旁支，其中主干为darknet的残差结构，包含x个残差块，旁支则是由1
×ꢀ
1卷积构成的特征变换分支，目的是实现通道数目的匹配，最后通过级联的方式实现特征融合。cspdarknet使用mish激活函数作为网络的非线性单元,与 relu激活函数相比，它的计算量比较大，但在cspdarknet这种深度神经网络中显示了比relu更好的结果，它的特点是无上限，但是有下限、光滑、非单调。具体表达式如下：
[0121]
f(x)＝x
·
tanh(ln(1+e
x
))
[0122]
具体的，步骤三中，在yolo v4的neck结构中，存在大量的cbl卷积模块，该结构的输入特征通常是cspdarknet的高层输出特征或者路径聚合网络的级联输出结果，拥有较大的特征尺寸和通道数目，直接使用3*3的卷积对其进行特征提取会引入较大的参数量和计算复杂度，因此借鉴cspnet中后融合的思想，设计新的特征提取模块代替原网络中连续的cbl模块，分别提取两路径的特征并进行融合。具体来说，一路使用1*1的卷积保留低层的语义信息，同时可以减少计算，另一路通过多层的卷积池化激活层获取高维语义特征，其中激活层使用leaky-relu激活函数。最终通过shortcut拼接在一起，这种跨连接网络可以获取更丰富的梯度信息，同时大大减少了计算量，提高网络的推理速度和准确率。
[0123]
具体的，如图6所示，步骤三中，yolov4沿用yolov3的结构设计，使用三个尺度检测不同大小的目标，其中，1/32大小的特征图具有较大的感受野和丰富的语义信息，适合检测大尺寸的目标；1/8大小的特征图具有较大的图像分辨率，几何细节信息表征能力强，适合检测小尺寸的目标，1/16大小的特征图用来检测一般大小的物体。为了解决复杂场景下的多尺度目标检测问题，提高模型精度，本发明提出新的特征融合网络，对三个尺度的特征信息进行了融合。浅层特征能够保留空间信息，有利于正确定位像素点，生成更加精确的目标检测框，然而随着特征层深度增加，图像空间分辨率在不断降低，这种准确的空间信息也在不断丢失但是其具有丰富的语义信息，对于这种特征不一致性，使用特征融合网络学习了空间信息，以抑制不同特征图的不一致性，从而提高特征的尺度不变性。
[0124]
由于yolo v4中三个层次的特征具有不同的分辨率和不同的通道数量，因此相应地对每个尺度的上采样和下采样策略进行改进。对于通道数不一致的情况可以应用1*1的卷积层将特征通道数压缩到相同层中。
[0125]
上采样时，如图7所示，采用转置卷积的方式进行上采样。转置卷积是一种基于学习的方式，相比于线性插值，可以更好的学习网络参数，信息损失小，映射能力大。本发明中一次转置卷积将进行两倍的上采样以提高分辨率，对于 1/32层到1/8则需要分别使用两次转置卷积操作。
[0126]
下采样时，对于1/2比例的降采样，首先简单地使用3*3的卷积层，步幅为 2，同时修改通道数量和分辨率。对于1/4的比例，我们在2步卷积之后添加一个步幅为2的最大池化层。四倍下采样过程如图8所示。
[0127]
具体的，步骤四中，加载网络权重信息，读取红外热成像的视频流，修改网络将原尺寸大小(640*512)的热成像数据输入到目标检测网络中进行实时检测，并使用可视化工具将检测结果可视化，其中该图像经过主干网络1/32下采样之后得到的特征图大小为20*16，1/8和1/16对应得到的特征图大小分别为 80*64，40*32。其中由于类别种类是2，所以通道数为21，计算公式为((2+5)*3)。其中2为类别数，5包含坐标相关信息(w,h,x,y)和有无目
标，3为三个不同尺度的特征图。
[0128]
具体的，损失函数主要包含三个部分：边界框回归损失函数、分类损失函数、置信度损失函数。其中分类损失函数和置信度损失函数采用交叉熵，而回归损失函数采用ciou损失函数。ciou损失函数考虑了重叠面积、中心点距离、长宽比等几何信息其中d为预测框和真实框中心点之间的欧氏距离，c代表对角线距离。α为权重参数，ν是衡量长宽比一致性参数。具体公式如下：
[0129][0130][0131][0132]
具体的，在原始的nms中，iou指标用于抑制多余的检测框，但由于仅考虑了重叠区域，经常会造成错误的抑制，特别是在bbox包含的情况下。因此，可以使用diou作为nms的标准，不仅考虑重叠区域，还考虑了中心点距离，具体表达式如下所示，其中bi代表第i个边界框，si是该边界框分类得到的置信度分数，ε是预先设置好的阈值，m为argmax得到的置信度最高的边界框。首先选取置信度最高的候选框放入集合中，然后遍历bi，计算每个bi和该候选框的 diou，使用如下公式进行抑制候选框，最终得到经过nms一致的候选框和该候选框的得分。
[0133][0134][0135]
如图1所示，为ir-hinet热像仪。1为高性能红外镜头，2为低噪声非制冷红外机芯，采用优异的成像处理电路，具备体积小、功耗低、启动快速、成像质量优异、测温精准等特点。hinet-640是一个非制冷式氧化钒红外探测器，能够生成640*512像素的热图像，这可以使热成像更加精准，在较远距离依然可以显示更多细节。
[0136]
如图2所示，为本发明中图像增强的结果图，其中图2上和图2下的左侧图片为原图，图2上右侧为经过拉普拉斯算子增强后的结果，图2下中、右分别为经过腐蚀、膨胀后的结果。
[0137]
如图3所示，为本发明中设计的跨连接融合网络，分别提取两路径的特征并进行融合。具体来说，一路使用1*1的卷积保留低层的语义信息，同时可以减少计算，另一路通过多层的卷积池化激活层获取高维语义特征，最终通过 shortcut拼接在一起，这种跨连接网络可以获取更丰富的梯度信息，这种模块可以替代原有网络中连续的cbl模块，大大减少了计算量，提高网络的推理速度和准确率。
[0138]
如图4所示，为本发明中提出的特征融合模块的网络结构图，yolo通过主干网络的特征提取分别下采样输出1/8,1/16,1/32倍，我们对这三个尺度的特征信息进行了融合。浅
层特征能够保留空间信息，有利于正确定位像素点，生成更加精确的目标检测框，然而随着特征层深度增加，图像空间分辨率在不断降低，这种准确的空间信息也在不断丢失但是其具有丰富的语义信息，对于这种特征不一致性，使用特征融合网络学习了空间信息，以抑制不同特征图的不一致性，从而提高特征的尺度不变性。由于yolo v4中三个层次的特征具有不同的分辨率和不同的通道数量，因此相应地对每个尺度的上采样和下采样策略进行改进。
[0139]
上采样时，首先应用1*1的卷积层将特征通道数压缩到相同层中，然后通过反卷积方法分别提高分辨率。对于1/2比例的降采样，首先简单地使用3*3的卷积层，步幅为2，同时修改通道数量和分辨率。对于1/4的比例，在2步卷积之后添加一个步幅为2的最大池化层，这样可以从1/8下采样到1/32，每个特征图最后都是其他特征图上采样或下采样并和自身拼接融合得到，通过这种融合方式，极大的抑制了每个尺度的不一致性。
[0140]
实施例二：
[0141]
本实施例提供一种基于深度学习的红外图像漏气漏液检测系统，包括：
[0142]
采集模块：用于采集漏气漏液场景下的红外热图像数据；
[0143]
训练模块：用于对漏气漏液场景下的红外热图像数据进行预处理，在红外热图像数上标注漏气漏液信息，得到训练数据集，并使用该训练数据集训练目标检测网络，获得训练完成的目标检测网络权重；
[0144]
检测模块：用于获取并预处理待检测场景下的红外热成像数据，加载训练完成的目标检测网络权重，对目标检测网络输入待检测场景下的红外热成像数据进行实时检测，获取检测结果；
[0145]
输出模块：用于将检测结果可视化输出。
[0146]
本实施例的装置可用于实施实施例一所述方法的步骤。
[0147]
实施例三：
[0148]
本发明实施例还提供了一种基于深度学习的红外图像漏气漏液检测系统，包括处理器及存储介质；
[0149]
所述存储介质用于存储指令；
[0150]
所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。
[0151]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0152]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0153]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0154]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0155]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。