基于自注意力蒸馏和图像增强的水下目标检测方法及系统

1.本发明涉及水下目标检测技术领域，具体涉及一种基于自注意力蒸馏和图像增强的水下目标检测方法及系统。


背景技术：

2.海洋资源开发成了我国越来越重要的任务，由于海洋环境复杂且充满不确定性，人员直接进入海洋进行勘探的风险较大。水下机器人因其可以代替人在危险的水下环境下进行作业倍受关注，机器人在水下作业时，依赖视觉系统感知水下环境。水下目标检测系统是水下机器人视觉系统的重要组成部分，其主要负责完成两类功能：水下图像增强和水下目标检测。水下目标检测的核心在于是对定位图像中的各类水下目标；然而，水下环境复杂多变，收集大量水下图像较为困难，同时收集到的图像存在图像模糊，分辨率低以及目标堆叠等情况导致水下机器人获得的图像难以直接满足实际需求，并在一定程度上影响了后续目标检测的准确性和效率。
3.基于改进ssd和迁移学习的水下目标检测方法(cn 111209952 a)、基于改进的yolo算法的水下目标检测方法(cn 110765865 a)、一种基于faster-rcnn的强负样本水下目标检测方法(cn 109165658 b)、一种基于centernet的轻量级水下目标检测方法(cn 113420819 a)、基于小样本机器学习与超参数优化的水下目标检测方法(cn 113239980 a)和用于水下目标检测的检测网络的方法(cn 110956222 b)，这些水下目标检测方法的主要技术手段为：获取水下感知识别目标图像数据集a，将水下感知识别目标图像数据输入到深度神经网络，利用深度神经网络提取感知识别目标特征表征，最后获取感知识别目标的分类结果。例如：一种基于faster-rcnn的强负样本水下目标检测方法(cn 109165658 b)方案中将水下目标图像输入卷积神经网络得到低维特征图，将低维特征图输入rpn网络得到正负样本，提取正负样本建议区域的特征；将获取的建议区域特征传入全连接层，输出该区域的分类结果。这些方法依赖于深度神经网络的特征表征能力，关注于水下图像的特征信息，而忽略深度神经网络特征层间信息，存在网络提取的特征表征不够鲁棒，模型识别精度低等问题。


技术实现要素：

4.为了解决现有水下目标检测技术网络提取的目标特征不够鲁棒，模型识别精度低等问题，本发明提出一种基于自注意力蒸馏和图像增强的水下目标检测方法及系统，能够自适应地捕获不同层的特征注意力图编码的信息，监督深度神经网络并精确定位、识别目标位置。
5.实现本发明目的的技术解决方案为：一种基于自注意力蒸馏和图像增强的水下目标检测方法，包括步骤：
6.构造目标检测模型，基于yolov5网络，嵌入基于暗通道先验的水下图像增强模块；同时将自注意力蒸馏引入网络yolov5，获取从后层到前层的反馈连接路径；
7.对目标检测模型训练，获取满足精度要求的最优目标检测模型训练；
8.采集图像输入至最优目标检测模型训练，进行水下水下目标检测。
9.进一步的，所述水下图像增强模块进行图像增强的方法为：构建水下成像模型，用暗通道检测前0.1％最暗区域，将这些区域对应的输入图像像素值的平均值作为背景光的估计值，利用不同通道的衰减比率估计透射率图，进行水下图像初步增强；同时采用灰度世界算法进行颜色校正。
10.进一步的，所述水下成像模型为：
11.i
λ
(x)＝j
λ
(x)t
λ
(x)+a
λ
(1-t
λ
(x))
12.其中，x为图像的像素点，λ为rgb三通道，i
λ
(x)是浑浊图像，j
λ
(x)是场景原图像，a
λ
为背景光，t
λ
(x)是各通道透射率，j
λ
(x)t
λ
(x)为直接照射分量，a
λ
(1-t
λ
(x)为后向散射分量。
13.进一步的，所述各通道透射率t
λ
(x)为：
14.t
λ
(x)＝e-βλdλ(x)
15.其中，β
λ
为衰减系数，d
λ
(x)为景深。
16.进一步的，所述场景原图像j
λ
(x)为：
[0017][0018]
其中，为各通道透射率t
λ
(x)的估计值，为：
[0019][0020]
其中，ω(x)是size
×
size的区域，a
λ
是像素点x在λ通道的大气光值，i
λ
(x)是像素点x在λ通道的浑浊图像。
[0021]
进一步的，所述自注意力蒸馏具体为：
[0022]
基于激活的自注意力蒸馏，生成映射函数g：
[0023]
g:r
cm
×
hm
×
wm
→rcm
×
hm
[0024]
其中：cm是通道，hm是高度，wm是宽度；
[0025]
通过统计每个元素的绝对值构造函数：
[0026][0027][0028][0029]
其中，a
mi
表示am在通道维度上的第i个切片，g
sum
(am)表示p＝1时通过求和构造的函数，表示p》1时通过求和构造的函数，时通过最大值构造的函数。
[0030]
进一步的，所述目标检测模型训练的方法为：
[0031]
获取不同拍摄条件下的水下感知识别目标图像数据集a，使用labelimg进行数据标注，标注文件包括图片名称、图像尺寸、矩形边界框框坐标和感知识别目标类别；
[0032]
将水下感知识别目标图像数据集a输入至目标检测模型进行迭代训练，直至获取满足精度要求的目标检测模型。
[0033]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计
算机程序，所述处理器执行所述程序时实现所述的基于自注意力蒸馏和图像增强的水下目标检测方法。
[0034]
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于自注意力蒸馏和图像增强的水下目标检测方法。。
[0035]
与现有技术相比，本发明的有益效果在于：
[0036]
(1)本发明设计了水下图像增强方法，利用不同通道的衰减比率估计透射率图，进行水下图像初步增强。采用灰度世界算法进行颜色校正改善图像色彩视效，有效提升画质和对比度，获得最佳水下图像增强效果；
[0037]
(2)本发明将自注意力蒸馏引入水下目标检测网络，提供了从后层到前层的反馈连接路径，允许网络从后层注意力图中提取有助于前层学习的信息，这种连接有助于通过自注意力蒸馏促进连续层之间的互惠学习，利用网络自身的注意力图作为蒸馏目标，自适应捕获不同层的特征注意力图编码的信息，提高水下目标特征表征的鲁棒性和判别性；
[0038]
(3)将图像增强和自注意力蒸馏嵌入到目标检测网络，实现了端到端的水下图像增强和目标检测，显著提升了水下感知识别目标的检测精度和速度，可提升水下目标检测网络的泛化性和鲁棒性，并解决现有水下目标检测网络提取的特征表征不够鲁棒，模型识别精度低等问题。
附图说明
[0039]
图1为基于自注意力蒸馏和图像增强的水下目标检测方法流程图。
[0040]
图2为基于自注意力蒸馏和图像增强的水下目标检测方法训练阶段示意图。
[0041]
图3为基于自注意力蒸馏和图像增强的水下目标检测方法测试阶段示意图。
具体实施方式
[0042]
下面对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
一种基于自注意力蒸馏和图像增强的水下目标检测方法，具体包括：
[0044]
1.数据准备阶段
[0045]
1.1搜集大量，不同拍摄条件下的水下感知识别目标图像数据集a，使用labelimg进行数据标注，标注文件包括图片名称、图像尺寸、矩形边界框框坐标和感知识别目标类别等信息。
[0046]
2.模型设计阶段
[0047]
2.1设计基于暗通道先验的水下图像增强方法。
[0048]
与雾形成原理相似，光遇到悬浮的颗粒和浮游生物发生散射造成水下图像浑浊，为此本发明设计一种基于暗通道先验的水下图像增强方法对水下图像进行预处理：用暗通道检测前0.1％最暗区域，这些区域对应的输入图像像素值的平均值作为背景光的估计值，利用不同通道的衰减比率估计透射率图，进行水下图像初步增强。采用灰度世界算法进行颜色校正改善图像色彩视效，有效提升画质和对比度，获得最佳水下图像增强效果。
[0049]
水下图像浑浊与雾形成原理相似，均是可见光遇到悬浮的颗粒发生散射造成。针
对该问题本发明提出一种基于暗通道先验的水下图像增强方法。水下成像模型可表示为：
[0050]iλ
(x)＝j
λ
(x)t
λ
(x)+a
λ
(1-t
λ
(x))
[0051]
其中，x为图像的像素点，λ为rgb三通道，i
λ
(x)是浑浊图像，j
λ
(x)是场景原图像，a
λ
为背景光，t
λ
(x)是各通道透射率，j
λ
(x)t
λ
(x)为直接照射分量，a
λ
(1-t
λ
(x)为后向散射分量。t
λ
(x)由衰减系数β
λ
和景深d
λ
(x)决定：
[0052]
t
λ
(x)＝e-βλdλ(x)
[0053]
考虑到阳光的存在，光源有背景光与阳光两部分组成，用暗通道检测前0.1％最暗的区域，这些区域对应像素值的平均值作为背景光值
[0054][0055]
假设透射率在局部区域ω(x)是个常量记作ω(x)是size
×
size的区域(取size＝15)，分别对两端计算暗通道：
[0056][0057]
统计发现清晰无浑浊的图像任何局部区域像素中至少有一个通道亮度很低：
[0058][0059]
以此估计各通道的透射率为：
[0060][0061]
则场景原图像j
λ
(x)：
[0062][0063]aλ
是像素点x在λ通道的大气光值，i
λ
(x)是像素点x在λ通道的浑浊图像，为改善图像色彩视效，同时采用灰度世界算法进行颜色校正。
[0064]
2.2基于自注意力蒸馏的水下目标检测网络。
[0065]
自注意力蒸馏分为基于激活的自注意力蒸馏和基于梯度的自注意力蒸馏。基于梯度的自注意力蒸馏，通过使用层的梯度输出获得自注意力图，很难取得理想的效果；而基于激活的自注意力蒸馏，通过处理特征层的激活获得自注意力图，在水下目标检测网络中产生了可观的效果。将自注意力蒸馏引入目标检测网络yolov5预训练一个水下目标检测网络：当模型训练到合理水平时，来自不同层的特征注意力图将编码丰富的信息，这些信息无需额外的便签便可用作监督目标检测网络。本发明在目标检测网络中引入自注意力蒸馏，允许网络利用自身高层注意力图作为底层注意力图的蒸馏目标，增强主干网络的特征表达能力。基于激活的自注意力蒸馏，其自注意力图生成相当于寻找一个映射g：
[0066]
g:r
cm
×
hm
×
wm
→rcm
×
hm
[0067]
其中：cm是通道，hm是高度，wm是宽度；
[0068]
映射函数中每个元素的绝对值代表了这个元素在最终输出中的重要性，通过统计每个元素的绝对值来构造函数：
[0069][0070][0071][0072]
其中，a
mi
表示am在通道维度上的第i个切片，g
sum
(am)表示p＝1时通过求和构造的函数，表示p》1时通过求和构造的函数，时通过最大值构造的函数。p＞1，a
mi
表示am在通道维度上的第i个切片。g
sum
(am)与相比，将更多的权重赋予具有更高激活的区域，p越大，对这些区域的关注越多，由经验可得p＝2时，性能提升的更大。与g
sum
(am)相比，计算跨多个神经元的权重，而不是选择这些神经元的最大值作为权重，偏差更小。
[0073]
相对于直接使用标签来监督网络的每一层，自注意力蒸馏提供了从后层到前层的反馈连接路径，允许网络从后层注意力图中提取有助于前层学习的信息，这种连接有助于通过自注意力蒸馏促进连续层之间的互惠学习。
[0074]
2.3将水下图像增强方法引入水下目标检测网络端到端训练深度神经网络m。
[0075]
多步骤，多模型解决网络提取的特征表征不够鲁棒，模型识别精度低等问题时，某个模块的目标函数可能与系统的宏观目标有偏差，训练的检测系统没有达到最优的性能。采用yolov5作为目标检测网络，在水下目标检测网络yolov5中引入基于暗通道先验的水下图像增强方法，端到端训练基于自注意力蒸馏和图像增强的水下目标检测网络，规避多模块固有的缺陷，减少工程的复杂度。
[0076]
3.模型训练阶段
[0077]
3.1将步骤1.1获得的水下感知识别目标图像数据集a按照8：1：1分为训练集t，验证集v和测试集i；
[0078]
3.2将训练集t输入到步骤2.3设计的端到端的模型m中进行模型训练。训练阶段同时使用验证集v验证模型训练效果，当模型m在验证集v上获得较好的效果且精度未随着训练过程提升时，停止训练；
[0079]
3.3最终训练完成获得模型m’。
[0080]
4.模型测试阶段
[0081]
将水下图像测试集i输入训练完毕的模型m’，端到端检测感知识别目标，经测试，该模型提高了水下目标特征表征的鲁棒性和判别性。
[0082]
一种基于自注意力蒸馏和图像增强的水下目标检测系统，包括数据采集模块和目标检测模型；所述数据采集模块用于采集水下目标图像数据，所述目标检测模型用于水下目标检测，其基于yolov5网络，嵌入基于暗通道先验的水下图像增强模块；同时将自注意力蒸馏引入网络yolov5，获取从后层到前层的反馈连接路径。该系统包含所述方法的全部技术特征，在此不再累述。