一种基于机器视觉的飞机蒙皮缺陷智能检测方法与流程

1.本发明属于深度神经网络及图像滤波领域，尤其涉及一种基于机器视觉的飞机蒙皮缺陷智能检测方法。


背景技术：

2.近年来，随着深度学习的迅速发展，深度学习的方法逐渐渗透到各个领域。而对于飞机蒙皮检测来说，深度学习技术有着相当明显的优势，除了节省劳动力、缩短检修时长外，还能提升检测效率和检测结果的准确率，并且还能减轻光线因素以及恶劣天气给飞机蒙皮检测工作带来的影响。
3.目前，国内外对于飞机蒙皮检测的研究主要以爬壁机器人为代表的便捷机器人的研究方法为主。本次研究主要利用深度学习目标检测算法解决飞机蒙皮检测问题。从网络收集飞机蒙皮数据并通过贴图来增加数据量，把最终数据当作训练样本。将改进网络训练出来的模型部署到机器人中，机场的地勤人员可以通过机器人检测到的蒙皮问题作为飞机检修的一种辅助手段，降低人工工作的强度，同时可以减少漏检情况的发生，保障飞机的飞行安全。


技术实现要素：

4.本发明目的在于提供一种基于机器视觉的飞机蒙皮缺陷智能检测方法,以解决上述技术问题。
5.为解决上述技术问题，本发明的一种基于机器视觉的飞机蒙皮缺陷智能检测方法的具体技术方案如下：
6.一种基于机器视觉的飞机蒙皮缺陷智能检测方法，包括如下步骤：
7.步骤1：由飞机地勤人员使用普通相机和和红外相机对飞机蒙皮进行拍摄，并将拍摄到的rgb图像和红外图像上传至后端数据库中，经过筛选得到高质量的飞机蒙皮图像数据集，并进行缩放、旋转、裁剪、镜像和透视变化的操作，采用贴图的方式对缺陷样本进行数据增强；
8.步骤2：将红外图像数据与rgb图像数据分别输入引导滤波模块，分别得到对应的低频、高频图像，将两种数据的高频图像输入雨雪图像判别模块中,当模块输出不为雨、雪图像时，直接将红外图像与rgb图像进行图像融合，与步骤3中得到的图像形成新的数据库；当模块输出为雨、雪图像时，将红外图像和rgb图像的高、低频图像输入去雨、雪网络；
9.步骤3：去雨、雪网络对高、低频图像进行特征提取，最后将输出的去雨、雪的低频图像与高频图像相结合得到去除雨、雪的复原图像，并将此红外与rgb图像进行图像融合；
10.步骤4：经过预处理得到的图像数据输入沙漏卷积神经网络中进行重新估计姿态和提取特征；
11.步骤5：经主干网络处理输出的特征图输入到关系感知全局通道注意力网络对图像中的可见光特征和红外特征进行通道维度的加权；
12.步骤6：将通道注意力网络输出的特征图输入角点预测和特征调节模块，最终将物体的信息整合到左上角点或者右下角点；
13.步骤7：将步骤5中获取预测的角点和适应的特征输入向心偏移模块中，预测每个角点与中心点的偏移量，根据预测角点和向心偏移量进行角点匹配；
14.步骤8：飞机蒙皮检测系统训练。
15.进一步地，所述步骤2中引导滤波模块与雨雪图像判别模块为：
16.步骤2.1：引导滤波模块：用引导滤波器对有雨图像进行分解，原理如下所示：
17.有雨图像i经过引导滤波后得到低频背景图像i
l
和高频图像ih：
18.i＝ih+i
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2-1)
19.得到低频图像后，用原始图像减去低频图像得到高频图像：
20.ih＝i-i
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2-2)
21.将高频图像ih再次通过引导滤波器，得到新的低频背景图像i
hl
和高频图像i
hh
：
22.ih＝i
hl
+i
hh
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2-3)
23.然后用高频图像减去通过引导滤波器的图像得到最终的高频雨雪图像
24.i
hh
＝i
h-i
hl
；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2-4)
25.步骤2.2：雨雪图像判别模块：将高频图像平均分成n个相同的矩形，将每一个矩形的名称设为αn，(n＝1,2,...,n)，将每个矩阵的灰度值定义为
26.当所有矩阵灰度值的平均值大于平均灰度阈值且方差小于设定的方差阈值，则判定此高频图像所对应的红外与rgb图像为有雨、雪图像；公式(2-5)、(2-6)为判断矩阵灰度的平均值是否大于平均灰度阈值，公式(2-7)为矩阵灰度值的方差公式：
27.m为灰度平均值；
ꢀꢀꢀ
(2-5)
[0028]028]
为平均灰度阈值；
ꢀꢀꢀꢀꢀꢀꢀ
(2-6)
[0029][0030][0030]
为方差阈值。(2-8)
[0031]
进一步地，步骤3中去雨、雪网络为：
[0032]
步骤3.1：去雨、雪网络结构：对于高频图像，第一层是特征提取层，利用空洞卷积对高频图像分两路提取特征，卷积核为3*3,空洞卷积率为1和2，两路空洞卷积的感知野分别为3*3和5*5，卷积层后均有relu激活函数，之后通过一个连接层将特征图连接，第二层卷积层来估计有雨、雪图像与去雨、雪图像之间特征图的映射关系，最后通过一层输出层输出去雨、雪的高频图像；对于低频图像的特征提取，第一层是卷积核为3*3的卷积层，维度512，提取的图像特征通过第二层卷积层来估计有雨、雪图像与去雨、雪图像之间特征图的映射关系，最后一层输出层输出去雨低频图像，将输出得到的高频图像和低频图像相加最终得到去雨、雪图像；
[0033]
步骤3.2：去雨、雪网络训练过程：输入的低频与高频图像大小均为s*s，使用的批量尺寸设定为n0,迭代总次数设置为e0,初始化学习率设置为lr0；将高频图像与低频图像
分别输入各自的网络，进行训练，如果两个网络的loss值一直下降，则继续训练，直到迭代m次后，得到最终的模型；如果loss值在中途趋于稳定，则停止迭代，得到最终的两个模型。进一步地，步骤4中沙漏卷积神经网络模型为：
[0034]
步骤4.1：沙漏卷积神经网络结构：沙漏网络是一种形如沙漏的下采样-上采样结构，包含卷积层，上采样层，池化层三种网络层；卷积层用经典的卷积层进行特征提取，图像输入后，通过卷积和池化操作将特征图降低到输入图像分辨率的2^n/1的分辨率下采样通过池化操作完成，n为跳级路的个数，同时通过另一路卷积保留下采样前的特征图，用于和右侧上采样部分同尺度的特征图进行融合，当下采样部分特征图达到最小分辨率后，网络经过最近邻上采样后与保留的同尺度特征图进行融合，最后网络输出表示各个关节点在该像素出现的概率的特征集；
[0035]
步骤4.2：沙漏卷积神经网络使用：输入飞机蒙皮的图片，为后续的向心偏移网络中的角点预测提供飞机蒙皮缺陷图片的角点特征图。
[0036]
进一步地，步骤5中关系感知全局通道注意力机制模型为：
[0037]
步骤5.1：关系感知全局通道注意力机制：对于步骤3输入角点特征图的每一个特征位置，使用rga模块来将各种关系堆叠起来，即将所有特征位置的成对相关性与特征本身联系到一起，使用一个浅层神经网络来学习出注意力；
[0038]
步骤5.2：注意力机制具体实现：输入的特征张量为x∈rc×h×w，根据输入的特征图，获得n＝h
×
w的特征节点，其中每个特征节点xi的维度为c，从节点i到节点j的对级相关性r
i，j
定义为嵌入空间中的点乘相关性：
[0039][0040]
其中θc和为两个嵌入函数：1x1卷积层+bn层+relu，
[0041]
同理，可以得到节点j到节点i的对应相关性r
j，i
＝fc(xj，xi),使用(r
i，j
，r
j，i
)来描述xi和xj的双向相关性，然后使用相似性矩阵rs∈rn×n来表示所有节点的对级相关性；
[0042]
对于第i个特征节点，以一个确切的固定顺序来堆叠所有节点的对级相关性，其中节点名字为j＝1，...，n，相关性向量为ri＝[rs(i，：)rs(：，i)]∈r
2n
，
[0043]
因为xi与相关性向量不在同一个特征域中，因此使用下列公式将其转换，并进行串联获得：
[0044][0045]
其中poolc为池化层，φs和分别为特征xi本身和全局相关性ri的嵌入函数：1x1卷积层+批归一化层+relu激活函数；
[0046]
然后通过学到的模型从其中挖掘有价值的知识来生成注意力值ai：
[0047][0048]
其中w1和w2为1x1卷积操作与批归一化操作。
[0049]
进一步地，步骤6中角点预测和特征调节模块为：
[0050]
步骤6.1：角点池化层：经过步骤4的特征图输入到角点池化层中，角点池化将物体的信息整合到左上角点或者右下角点，左上点的池化区域是其右侧与下方的特征点，右下点的池化区域是其左侧与上方的特征点：假设当前一个点的坐标为(x,y)，特征图宽为w，高为h，则角点池化的计算过程如下：
[0051]
1、计算该点到其下方所有点的最大值，即(x,y)到(x,h)所有点的最大值；
[0052]
2、计算该点到其最右侧所有点的最大值，即(x,y)到(w,y)所有点的最大值；
[0053]
3、将两个最大值相加，作为角点池化的输出；
[0054]
步骤6.2：角点预测模块：经过角点池化层的特征图输入3
×
3的卷积层与批标准化层得到的特征图与步骤4输出的特征图经过1
×
1的卷积层与批标准化层的特征图像素点相加，再经过relu激活函数后，输入3
×
3的卷积层、批标准化层和relu激活函数得到角点预测的结果；
[0055]
步骤6.3：特征调节模块：使用十字星可形变卷积做为特征调节模块的方法，首先，将经过角点池化层的特征图输入到十字星形可形变卷积模块中，学习“十字星”可形变卷积的几何结构，使用相应目标对象的大小来明确地指导偏移量，在模块中嵌入一个引导转移，即从角点到中心的偏移。
[0056]
进一步地，步骤7中向心偏移模块为：
[0057]
步骤7.1：向心偏移模块：根据步骤5生成角点候选与角点偏移，然后，针对所有候选角点，引入向心偏移算法，并生成最终的预测边界框：向心偏移模块预测角点的向心偏移，并与其位置解码后的偏移结果对齐的角点进行匹配形成角点对；然后，提出一种新颖的十字星形可形变卷积模块，进行特征自适应选择并丰富角点位置的视觉特征；
[0058]
步骤7.2：角点匹配：为了匹配角点，使用向心偏移及其位置来设计匹配方法，属于同一边界框的一对角点共享该框的中心，一旦角点是从角点热图和局部偏移特征图中获得的，就将他们划分为同一类别分组并构造预测的边界框，对于每个预测框，将其得分设置为其角点得分的几何平均值，这是通过在预测的角点热图上应用softmax获得的，然后，将每个边界框的中心区域定义为下式，以比较解码后的中心与边界框中心的接近度：
[0059][0060]
ctlx表示左上方x坐标，ctly表示左上方y坐标，cbrx表示右下方x坐标，cbry表示右下方y坐标，其中，0《μ≤1表示中心区域的宽度和高度是边界框的宽度和高度的μ倍，通过向心偏移，分别解码左上角和右下角的中心(tl
ctx
，tl
cty
)(br
ctx
，br
cty
)。
[0061]
进一步地，所述步骤8的全流程为：
[0062]
步骤8.1：数据集的准备：将普通相机拍摄到的可见光图像与主导红外相机拍摄到灰度图像分别输入引导滤波模块中，得到低频高频图像；将高频图像输入雨、雪图像判别模块中将雨雪图像输入到已训练好的去雨、雪网络中，输出去雨、雪的可见光图像和灰度图像，输出的图像进行融合处理传入数据库模块中；将非雨雪图像直接进行图像融合处理，并传入数据库模块中；
[0063]
步骤8.2：数据集预处理：数据库模块中的数据作为步骤4、5、6、7的输入数据，按照
8:1:1划分为训练集、验证集、测试集，采用随机水平翻转、随机尺度缩放，缩放比例在0.6到1.3之间、随机裁剪与随机色彩抖动的方法进行数据增强；
[0064]
步骤8.3：网络训练：输入图像的大小为s*s，使用的批量尺寸设定为n1,迭代总次数设置为5000,初始化学习率设置为0.01,将经过预处理的数据集输入网络进行训练，若网络的loss值一直下降，则继续训练，直到迭代5000次后，得到飞机蒙皮检测网络的模型。
[0065]
本发明的一种基于机器视觉的飞机蒙皮缺陷智能检测方法具有以下优点：本发明引入了引导滤波和雨雪图像判别器模块，用来区分雨雪图像和非雨雪图像。建立去雨雪网络模型，用来得到去雨雪图像。将灰度图像和rgb图像进行图像融合，可以有效减少反光带来的影响。经过全局通道注意力网络，对灰度图像和rgb图像中特征进行通道维度加权，进一步减少反光带来的影响。向心偏移模块对于小目标有更好的效果，对飞机蒙皮缺陷的检测有更好的帮助。
附图说明
[0066]
图1是本发明的一种基于机器视觉的飞机蒙皮缺陷智能检测总体流程示意图。
[0067]
图2是本发明的步骤4沙漏卷积神经网络结构模型示意图。
具体实施方式
[0068]
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于机器视觉的飞机蒙皮缺陷智能检测方法做进一步详细的描述。
[0069]
如图1所示，一种基于机器视觉的飞机蒙皮缺陷智能检测方法，具体实现主要包括如下步骤：
[0070]
步骤1：由飞机地勤人员使用普通相机和和红外相机对飞机蒙皮进行拍摄，并将拍摄到的rgb图像和红外图像上传至后端数据库中，经过严格筛选得到高质量的飞机蒙皮图像数据集，并通过缩放、旋转、裁剪、镜像和透视变化等操作实现数据的增广，扩充样本的丰富度，同时增加样本对于外界拍摄条件的鲁棒性。对于缺陷样本不平衡问题，本方法采用了贴图的方式进行数据增强。
[0071]
步骤2：将红外图像数据与rgb图像数据分别输入引导滤波模块，分别得到对应的低频、高频图像。将两种数据的高频图像输入雨、雪图像判别模块中,当模块输出不为雨、雪图像时，直接将红外图像与rgb图像进行图像融合，与步骤3中得到的图像形成新的数据库；当模块输出为雨、雪图像时，将红外图像和rgb图像的高、低频图像输入去雨、雪网络。
[0072]
步骤3：去雨、雪网络对高、低频图像进行特征提取，最后将输出的去雨、雪的低频图像与高频图像相结合得到去除雨、雪的复原图像。并将此红外与rgb图像进行图像融合。
[0073]
步骤4：经过预处理得到的图像数据输入沙漏卷积神经网络中进行重新估计姿态和提取特征。
[0074]
步骤5：经主干网络处理输出的特征图输入到关系感知全局通道注意力网络对图像中的可见光特征和红外特征进行通道维度的加权。
[0075]
步骤6：将通道注意力网络输出的特征图输入角点预测和特征调节模块，最终将物体的信息整合到左上角点或者右下角点。
[0076]
步骤7：将步骤5中获取预测的角点和适应的特征输入向心偏移模块中，预测每个
角点与中心点的偏移量，根据预测角点和向心偏移量进行角点匹配。在匹配过程中，如果移动后得到的角点位置足够接近，则可以得到置信度较高的边界框。
[0077]
步骤8：机场的地勤人员应用飞机蒙皮缺陷检测方法作为飞机检修的一种辅助手段，及时的查看损伤类型、大小及出现的位置，提升地勤人员的工作效率，降低人工工作强度，减少漏检情况发生，保障飞机的飞行安全。
[0078]
进一步，步骤2中引导滤波模块与雨雪图像判别模块为：
[0079]
步骤2.1：引导滤波模块：本方法用引导滤波器对有雨图像进行分解，其计算效率高且具有很强的边缘保护性，原理如下所示：
[0080]
有雨图像i经过引导滤波后得到低频背景图像i
l
和高频图像ih：
[0081]
i＝ih+i
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2-1)
[0082]
得到低频图像后，用原始图像减去低频图像得到高频图像：
[0083]
ih＝i-i
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2-2)
[0084]
雨、雪纹理主要存在图像的高频部分，为了使高频部分的雨雪信息更为明显，减少雨雪特征学习时的背景误判，再次对高频图像进行提取高频图像。
[0085]
将高频图像ih再次通过引导滤波器，得到新的低频背景图像i
hl
和高频图像i
hh
：
[0086]
ih＝i
hl
+i
hh
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2-3)
[0087]
然后用高频图像减去通过引导滤波器的图像得到最终的高频雨雪图像
[0088]ihh
＝i
h-i
hl
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2-4)
[0089]
步骤2.2：雨雪图像判别模块：将高频图像平均分成n个相同的矩形，将每一个矩形的名称设为αn，(n＝1,2,...,n)，将每个矩阵的灰度值定义为
[0090]
当所有矩阵灰度值的平均值大于平均灰度阈值且方差小于设定的方差阈值，则判定此高频图像所对应的红外与rgb图像为有雨、雪图像。公式(2-5)、(2-6)为判断矩阵灰度的平均值是否大于平均灰度阈值，公式(2-7)为矩阵灰度值的方差公式。
[0091]
(m为灰度平均值)
ꢀꢀ
(2-5)
[0092]
(平均灰度阈值)
ꢀꢀ
(2-6)
[0093][0094]
(方差阈值)
ꢀꢀ
(2-8)
[0095]
进一步的，步骤3中去雨、雪网络为：
[0096]
步骤3.1：去雨、雪网络结构：对于高频图像，第一层是特征提取层，利用空洞卷积对高频图像分两路提取特征。卷积核为3*3,空洞卷积率为1和2，两路空洞卷积的感知野分别为3*3和5*5。卷积层后均有relu激活函数。之后通过一个连接层将特征图连接，第二层卷积层来估计有雨、雪图像与去雨、雪图像之间特征图的映射关系，最后通过一层输出层输出去雨、雪的高频图像。对于低频图像的特征提取，第一层是卷积核为3*3的卷积层，维度512。提取的图像特征通过第二层卷积层来估计有雨、雪图像与去雨、雪图像之间特征图的映射关系，最后一层输出层输出去雨低频图像。将输出得到的高频图像和低频图像相加最终得到去雨、雪图像。
[0097]
步骤3.2：去雨、雪网络训练过程：输入的低频与高频图像大小均为s*s，使用的批量尺寸设定为n0,迭代总次数设置为e0,初始化学习率设置为lr0；将高频图像与低频图像分别输入各自的网络，进行训练。如果两个网络的loss值一直下降，则继续训练，直到迭代m次后，得到最终的模型；如果loss值在中途趋于稳定，则停止迭代，得到最终的两个模型；
[0098]
进一步的，如图2所示，步骤4中沙漏卷积神经网络模型为：
[0099]
步骤4.1：沙漏卷积神经网络结构：沙漏网络是一种形如沙漏的下采样-上采样结构，并且包含卷积层，上采样层，池化层三种网络层。卷积层用经典的卷积层进行特征提取。图像输入后，通过卷积和池化操作将特征图降低到降低到输入图像分辨率的2^n/1(n为跳级路的个数，跳级路是指只包含一个核尺度为1的卷积层不改变数据尺寸，只对数据深度进行变更，其主要作用是保留了原有层次的信息)的分辨率下采样通过池化操作完成，同时通过另一路卷积保留下采样前的特征图，用于和右侧上采样部分同尺度的特征图进行融合。当下采样部分特征图达到最小分辨率后，网络经过最近邻上采样后与保留的同尺度特征图进行融合，最后网络输出表示各个关节点在该像素出现的概率的特征集。沙漏卷积神经网络结构设计的目的在于获取不同尺度下图像所包含信息。
[0100]
步骤4.2：沙漏卷积神经网络使用：输入飞机蒙皮的图片，为后续的向心偏移网络中的角点预测提供很好的飞机蒙皮缺陷图片的角点特征图。
[0101]
进一步的，步骤5中关系感知全局通道注意力机制模型为：
[0102]
步骤5.1：关系感知全局通道注意力机制简介：对于步骤3输入角点特征图的每一个特征位置，为了更加紧凑地捕获全局的结构信息和局部的外观信息，使用rga模块来将各种关系堆叠起来，即将所有特征位置的成对相关性与特征本身联系到一起，使用一个浅层神经网络来学习出注意力。通过应用rga模块，可以显著的增强特征表示能力，从而学习到更具有判别力的特征。
[0103]
步骤5.2：注意力机制具体实现：输入的特征张量为x∈rc×h×w，根据输入的特征图，获得n＝h
×
w的特征节点，其中每个特征节点xi的维度为c。从节点i到节点j的对级相关性r
i，j
定义为嵌入空间中的点乘相关性。
[0104][0105]
其中θc和为两个嵌入函数(1x1卷积层+bn层+relu)。
[0106]
同理，可以得到节点j到节点i的对应相关性r
j，i
＝fc(xj，xi),使用(r
i，j
，r
j，i
)来描述xi和xj的双向相关性，然后使用相似性矩阵rs∈rn×n来表示所有节点的对级相关性。
[0107]
对于第i个特征节点，本文以一个确切的固定顺序来堆叠所有节点的对级相关性，其中节点名字为j＝1，...，n，相关性向量为ri＝[rs(i，：)rs(：，i)]∈r
2n
.
[0108]
因为xi与相关性向量不在同一个特征域中，因此使用下列公式将其转换，并进行串联获得：
[0109][0110]
其中poolc为池化层，φs和分别为特征xi本身和全局相关性ri的嵌入函数(1x1卷积层+批归一化层+relu激活函数)。
[0111]
然后通过学到的模型从其中挖掘有价值的知识来生成注意力值ai。
[0112]
[0113]
其中w1和w2为1x1卷积操作与批归一化操作。
[0114]
进一步的，步骤6中角点预测和特征调节模块为：
[0115]
步骤6.1：角点池化层：经过步骤4的特征图输入到角点池化层中，角点池化可以将物体的信息整合到左上角点或者右下角点，左上点的池化区域是其右侧与下方的特征点，右下点的池化区域是其左侧与上方的特征点。
[0116]
用一个特征点举例做例子：假设当前点的坐标为(x,y)，特征图宽为w，高为h，则角点池化的计算过程如下：
[0117]
1、计算该点到其下方所有点的最大值，即(x,y)到(x,h)所有点的最大值。
[0118]
2、计算该点到其最右侧所有点的最大值，即(x,y)到(w,y)所有点的最大值。
[0119]
3、将两个最大值相加，作为角点池化的输出。
[0120]
步骤6.2：角点预测模块：经过角点池化层的特征图输入3
×
3的卷积层与批标准化层得到的特征图与步骤(4)输出的特征图经过1
×
1的卷积层与批标准化层的特征图像素点相加，再经过relu激活函数后，输入3
×
3的卷积层、批标准化层和relu激活函数得到角点预测的结果。
[0121]
步骤6.3：特征调节模块：使用十字星可形变卷积做为特征调节模块的方法，首先，将经过角点池化层的特征图输入到十字星形可形变卷积模块中。要学习“十字星”可形变卷积的几何结构，可以使用相应目标对象的大小来明确地指导偏移量，因为“十字星”的形状与边界框的形状有关。但是，因为物体外还有更多无用的信息，于是在模块中嵌入了一个引导转移，即从角点到中心的偏移。
[0122]
进一步的，步骤7中向心偏移模块为：
[0123]
步骤7.1：向心偏移模块：根据步骤5生成角点候选与角点偏移。然后，针对所有候选角点，引入向心偏移算法，以追求高质量的角点对，并生成最终的预测边界框。具体地，向心偏移模块预测角点的向心偏移，并与其位置解码后的偏移结果对齐的角点进行匹配形成角点对。然后，提出了一种新颖的十字星形可形变卷积模块，其卷积的偏移量大小是从角点到相应中心的偏移中获得的，因此可以进行特征自适应选择并丰富角点位置的视觉特征，这对于提高向心偏移的准确性是很重要的。
[0124]
步骤7.2：角点匹配：为了匹配角点，使用向心偏移及其位置来设计匹配方法。属于同一边界框的一对角点应该共享该框的中心是直观且合理的。由于可以从其位置和向心偏移中解码出相应的预测角中心，因此很容易比较一对角点的中心是否足够靠近并接近由角点组成的边界框的中心。一旦角点是从角点热图和局部偏移特征图中获得的，就将他们划分为同一类别分组并构造预测的边界框。对于每个预测框，将其得分设置为其角点得分的几何平均值，这是通过在预测的角点热图上应用softmax获得的。然后，将每个边界框的中心区域定义为下式，以比较解码后的中心与边界框中心的接近度。
[0125][0126]
ctlx表示左上方x坐标，ctly表示左上方y坐标，cbrx表示右下方x坐标，cbry表示右下方y坐标，其中，0《μ≤1表示中心区域的宽度和高度是边界框的宽度和高度的μ倍。通过向心偏移，可以分别解码左上角和右下角的中心(tl
ctx
，tl
cty
)(br
ctx
，br
cty
)。
[0127]
进一步的，飞机蒙皮检测系统训练全流程为：
[0128]
1)数据集的准备：将普通相机拍摄到的可见光图像与主导红外相机拍摄到灰度图像分别输入引导滤波模块中，得到低频高频图像。将高频图像输入雨、雪图像判别模块中将雨雪图像输入到已训练好的去雨、雪网络中，输出去雨、雪的可见光图像和灰度图像，输出的图像进行融合处理传入数据库模块中。将非雨雪图像直接进行图像融合处理，并传入数据库模块中。
[0129]
2)数据集预处理：数据库模块中的数据作为步骤4、5、6、7的输入数据，按照8:1:1划分为训练集、验证集、测试集，采用随机水平翻转、随机尺度缩放(比例在0.6到1.3之间)、随机裁剪与随机色彩抖动等方法进行数据增强。
[0130]
3)网络训练：输入图像的大小为s*s，使用的批量尺寸设定为n1,迭代总次数设置为5000,初始化学习率设置为0.01,将经过预处理的数据集输入网络进行训练，若网络的loss值一直下降，则继续训练，直到迭代5000次后，得到飞机蒙皮检测网络的模型。
[0131]
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明所保护的范围内。