一种基于深度学习的网衣附着物检测方法及系统

1.本发明涉及水下检测技术领域，特别是涉及一种基于深度学习的网衣附着物检测方法及系统。


背景技术：

2.由于浅海滩涂存在水体富营养化、养殖区域过密等问题，因此养殖业重心逐渐转向发展深远海网箱养殖。网箱是养殖环境与外界海洋隔离的重要装置，其中网衣系统的状态是最为关键的。由于网衣易受海浪、自然侵蚀等因素的影响，产生生物附着现象，会不同程度的影响网箱内外水资源交换与更新，从而造成养殖的水生动物含氧量减少，不利于鱼的生长，甚至水质恶化导致鱼类疾病发生，因此迫切需要对网衣状况进行实时检测。
3.目前检测网衣附着物的主要方法是依靠人工完成，但由于深远海网箱养殖的环境复杂多变，属于开放海域，会存在很多不可控因素，为此需要非接触式的检测方式来为网箱网衣无人巡检提供新的思路。


技术实现要素：

4.本发明的目的是提供一种基于深度学习的网衣附着物检测方法及系统，以实现网衣附着物的非接触式实时检测，提高网衣附着物检测速度及准确度。
5.为实现上述目的，本发明提供了如下方案：一种基于深度学习的网衣附着物检测方法，包括：获取网衣视频并制作检测数据集；对所述检测数据集中的图像进行预处理，得到预处理后的融合图像数据集；基于改进后的yolov5目标检测模型和deeplabv3+语义分割模型构建附着物检测模型；采用所述预处理后的融合图像数据集对所述附着物检测模型进行训练，生成训练好的附着物检测模型；采用所述训练好的附着物检测模型进行网衣附着物检测，输出分割出附着物的分割图像；统计所述分割图像中分割出的附着物的附着程度，并将所述附着程度大于附着程度阈值的分割图像作为附着物识别图像进行输出。
6.可选地，所述获取网衣视频并制作检测数据集，具体包括：通过水下机器人对目标网衣进行拍摄，获取网衣视频；对所述网衣视频进行抽帧转化，转化为多张图像；使用数据标注软件对多张图像进行标签标注，带标签的多张图像构成所述检测数据集。
7.可选地，所述对所述检测数据集中的图像进行预处理，得到预处理后的融合图像数据集，具体包括：
针对所述检测数据集中的每张图像，对图像进行复制得到第一图像和第二图像；利用动态阈值白平衡算法对所述第一图像进行白点检测和白点调整，之后利用自动色彩均衡快速算法进行校正，得到校正后的图像；利用自适应对比度增强算法将所述第二图像分为低频部分和高频部分，增强代表细节的高频部分，重组得到增强图像，之后利用快速双边滤波算法对增强图像进行滤波，得到滤波后的图像；分别将所述校正后的图像和所述滤波后的图像进行小波变换，建立图像的小波金字塔分解层；对各分解层从高到低分别进行融合处理，各分解层上的不同频率分量采用不同的融合规则进行融合处理，得到融合后的小波金字塔；对所述融合后的小波金字塔进行小波逆变换，将所得重构图像作为融合图像；多张所述融合图像构成预处理后的融合图像数据集。
8.可选地，所述基于改进后的yolov5目标检测模型和deeplabv3+语义分割模型构建附着物检测模型，具体包括：引入有效通道注意力模块对yolov5网络的网络结构进行改进，并利用五参数回归方法改进yolov5网络的数据目标检测框的标注方式，得到改进后的yolov5目标检测模型；将改进后的yolov5目标检测模型的输出作为deeplabv3+语义分割模型的输入，构建出附着物检测模型。
9.可选地，所述采用所述训练好的附着物检测模型进行网衣附着物检测，输出分割出附着物的分割图像，具体包括：获取当前拍摄的目标网衣图像并进行预处理，得到预处理后的目标融合图像；将所述目标融合图像输入训练好的改进后的yolov5目标检测模型进行目标检测，若同时检测到鱼类非附着物标签和附着物标签，从所述目标融合图像中剔除非附着物标签框区域后再通过训练好的deeplabv3+语义分割模型进行分割，输出分割出附着物的分割图像；若仅检测到附着物标签，直接将所述目标融合图像输入训练好的deeplabv3+语义分割模型进行分割，输出分割出附着物的分割图像。
10.可选地，所述统计所述分割图像中分割出的附着物的附着程度，具体包括：统计所述分割图像中分割出的附着物的附着物面积以及从所述分割图像中剔除非附着物标签框区域后的剩余面积；计算所述附着物面积与所述剩余面积的比值作为附着程度。
11.可选地，所述的网衣附着物检测方法，还包括：采用软滤波器剪枝方法对训练好的附着物检测模型进行剪枝操作，得到压缩模型；将所述压缩模型移植到嵌入式平台上，将嵌入式平台搭载到水下机器人中对网衣附着物进行实时检测。
12.一种基于深度学习的网衣附着物检测系统，包括：数据获取模块，用于获取网衣视频并制作检测数据集；数据预处理模块，用于对所述检测数据集中的图像进行预处理，得到预处理后的融合图像数据集；
模型建立模块，用于基于改进后的yolov5目标检测模型和deeplabv3+语义分割模型构建附着物检测模型；模型训练模块，用于采用所述预处理后的融合图像数据集对所述附着物检测模型进行训练，生成训练好的附着物检测模型；附着物检测模块，用于采用所述训练好的附着物检测模型进行网衣附着物检测，输出分割出附着物的分割图像；附着物识别模块，用于统计所述分割图像中分割出的附着物的附着程度，并将所述附着程度大于附着程度阈值的分割图像作为附着物识别图像进行输出。
13.可选地，所述数据预处理模块具体包括：图像复制单元，用于针对所述检测数据集中的每张图像，对图像进行复制得到第一图像和第二图像；图像平衡及校正单元，用于利用动态阈值白平衡算法对所述第一图像进行白点检测和白点调整，之后利用自动色彩均衡快速算法进行校正，得到校正后的图像；图像增强及滤波单元，用于利用自适应对比度增强算法将所述第二图像分为低频部分和高频部分，增强代表细节的高频部分，重组得到增强图像，之后利用快速双边滤波算法对增强图像进行滤波，得到滤波后的图像；小波变换单元，用于分别将所述校正后的图像和所述滤波后的图像进行小波变换，建立图像的小波金字塔分解层；融合处理单元，用于对各分解层从高到低分别进行融合处理，各分解层上的不同频率分量采用不同的融合规则进行融合处理，得到融合后的小波金字塔；小波逆变换单元，用于对所述融合后的小波金字塔进行小波逆变换，将所得重构图像作为融合图像；多张所述融合图像构成预处理后的融合图像数据集。
14.可选地，所述模型建立模块具体包括：yolov5网络改进单元，用于引入有效通道注意力模块对yolov5网络的网络结构进行改进，并利用五参数回归方法改进yolov5网络的数据目标检测框的标注方式，得到改进后的yolov5目标检测模型；附着物检测模型构建单元，用于将改进后的yolov5目标检测模型的输出作为deeplabv3+语义分割模型的输入，构建出附着物检测模型。
15.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于深度学习的网衣附着物检测方法及系统，所述方法包括：获取网衣视频并制作检测数据集；对所述检测数据集中的图像进行预处理，得到预处理后的融合图像数据集；基于改进后的yolov5目标检测模型和deeplabv3+语义分割模型构建附着物检测模型；采用所述预处理后的融合图像数据集对所述附着物检测模型进行训练，生成训练好的附着物检测模型；采用所述训练好的附着物检测模型进行网衣附着物检测，输出分割出附着物的分割图像；统计所述分割图像中分割出的附着物的附着程度，并将所述附着程度大于附着程度阈值的分割图像作为附着物识别图像进行输出。采用本发明提供的网衣附着物检测方法及系统，能够实现网衣附着物的非接触式实时检测，提高了网衣附着物检测速度及准确度。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明一种基于深度学习的网衣附着物检测方法的流程图；图2为本发明网衣附着物检测方法中数据预处理过程示意图；图3为本发明网衣附着物检测方法中yolov5目标检测模型改进前后的结构对比图；图4为本发明改进后的yolov5目标检测模型中有效通道注意力模块的结构示意图；图5为本发明改进后的yolov5目标检测模型中利用五参数回归方法增加角度参数的原理示意图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本发明的目的是提供一种基于深度学习的网衣附着物检测方法及系统，以实现网衣附着物的非接触式实时检测，提高网衣附着物检测速度及准确度。
20.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
21.图1为本发明一种基于深度学习的网衣附着物检测方法的流程图。参见图1，本发明一种基于深度学习的网衣附着物检测方法包括：步骤1：获取网衣视频并制作检测数据集。
22.本发明在进行网衣附着物检测前，首先需采集网衣视频并制作数据集。所述步骤1获取网衣视频并制作检测数据集，具体包括：步骤1.1：通过水下机器人对目标网衣进行拍摄，获取网衣视频；水下机器人搭载的水下相机可为单目水下相机，还可为其他类型的相机；步骤1.2：对所述网衣视频进行抽帧转化，转化为多张图像；步骤1.3：使用数据标注软件对多张图像进行标签标注，带标签的多张图像构成所述检测数据集；制作数据集的软件可为label me数据标注软件，还可为其他类型的标注软件。
23.在一个具体实施例中，检测数据集可以使用rolabelimg标注软件进行旋转目标框标注，分为两类标签：鱼类非附着物与附着物；分割数据集可以使用labelme标注软件进行点标注，分为一类标签：附着物。检测数据集用于作为改进后的yolov5目标检测模型的输入进行训练，分割数据集作为deeplabv3+语义分割模型的输入进行训练。
24.步骤2：对所述检测数据集中的图像进行预处理，得到预处理后的融合图像数据
集。
25.本发明在拍摄网衣视频并制作出数据集后，进一步对数据集进行以下预处理：通过动态阈值白平衡算法和自动色彩均衡算法进行色彩校正，通过自适应对比度增强算法和快速双边滤波处理增强对比度并去除噪声，利用融合算法得到最终融合图像。其中动态阀值白平衡算法解决不同色温下引起的白色漂移现象，实现对白色物体的还原，整体分为白点检测和白点调整两部分；自动色彩均衡快速算法通过差分来计算目标点与周围像素点的相对明暗关系来校正最终像素值，调整图像的对比度，实现人眼色彩恒常性和亮度恒常性；自适应对比度增强算法其原理是将一幅图像分成低频和高频两个部分，目标是增强代表细节的高频部分，将高频部分乘以某个增益值，然后重组得到增强图像；快速双边滤波算法可以达到保持边缘、降噪平滑的效果，和其他滤波原理一样，采用加权平均的方法，用周边像素亮度值的加权平均代表某个像素的强度，所用的加权平均基于高斯分布；图像融合指的是对同一目标场景的不同图像进行融合，以使图像的质量变好，包含更多的有用信息，基于小波变换的图像融合方法能够最大限度地保留两幅图像的特征。
26.图2为本发明网衣附着物检测方法中数据预处理过程示意图，参见图2，所述步骤2对所述检测数据集中的图像进行预处理，得到预处理后的融合图像数据集，具体包括：步骤2.1：针对所述检测数据集中的每张图像，对图像进行复制得到第一图像和第二图像。
27.步骤2.2：利用动态阈值白平衡算法对所述第一图像进行白点检测和白点调整，之后利用自动色彩均衡快速算法进行校正，得到校正后的图像。
28.其中，利用动态阈值白平衡算法对所述第一图像进行白点检测和白点调整的过程如下。
29.首先将第一图像从颜色空间转换到颜色空间。按宽高比对第一图像进行分块，针对每一块分别计算和的平均值与，再根据和分别计算和的方差和，其中:，其中:，其中:颜色空间中代表亮度信号，代表红色色度分量，代表蓝色色度分量；因此公式中代表第一图像中像素点的红色度值，代表第一图像中像素点的蓝色度值；为每个分块区域的像素数。
30.设定白色参考点的亮度矩阵，并给出判别表达式来确定哪些点属于白色参考点，其中为符号函数。本发明采用的判别表达式如下：为符号函数。本发明采用的判别表达式如下：若符合以上判别表达式，则作为参考白色点，并把该像素点的亮度值赋给亮度矩阵；若不符合判别表达式，则该像素点亮度矩阵的值为。
31.对于初步判断已经属于白色参考点的像素，根据像素亮度值（分量）由高到低排列，选取分量在前10%的白点作为最终白色参考点，并选取其中的最小值；调整，若
ꢀ
，；否则，。
32.分别把第一图像的分量与相乘，得到，分别计算的平均值。
33.按以下公式计算中每个通道的增益、、，其中是颜色空间中分量在整幅图像中的最大值：然后按以下公式计算最终每个通道的颜色值来调整原第一图像，其中为在原始的颜色空间中的值：在原始的颜色空间中的值：代表最终每个通道的颜色值，将第一图像的值调整为，即完成了动态阈值白平衡算法对所述第一图像的白点检测和白点调整。
34.自动色彩均衡（automatic color enhancement，ace）算法考虑了图像中颜色和亮度的空间位置关系，进行局部特性的自适应滤波，实现具有局部和非线性特征的图像亮度与色彩调整和对比度调整，同时满足灰色世界理论假设和白色斑点假设。由于自动色彩均衡算法复杂度较高，对于一幅像素数为的图像，需要执行级次非线性映射计算，图像尺寸越大，耗时越多，所以针对常规自动色彩均衡算法产生了相应的自动色彩均衡快速算法。本发明利用自动色彩均衡快速算法进行图像校正的过程如下。
35.将经动态阈值白平衡算法处理后的第一图像进行归一化处理，去掉最大最小0.5%的像素值，然后线性拉伸至[0,1]，得到图像；定义自动色彩均衡快速算法实现函数，根据函数中的卷积模板半径radius计算权重参数矩阵；对图像进行缩放后，再对其利用自动色彩均衡快速算法进行增强，并将其结果进行尺度放大，放大到与图像尺寸相同即得到图像，和由常规自动色彩均衡算法得到的图像是非常接近的。定义单通道自动色彩均衡快速算法的增强实现函数，其原理为由于自动色彩均衡算法是在整个图像域进行差分比较运算，与近处邻域像素的比较构成了图像的细节信息，与远处像素的比较构成了图像的全局背景信息，图像和图像的全局背景信息相同，只更新细节信息即可，在图像的基础上加上图像中邻近像素的差分结果，并减去图像中邻近像素的差分结果就是最终的输出图像。定义三通道增强函数，对图像按三通道分别增强，从而得到校正后的图像。
[0036]
步骤2.3：利用自适应对比度增强算法将所述第二图像分为低频部分和高频部分，增强代表细节的高频部分，重组得到增强图像，之后利用快速双边滤波算法对增强图像进行滤波，得到滤波后的图像。
[0037]
图像是由低频部分和高频部分构成的，低频部分可以由图像的低通滤波来得到，而高频部分可以由原图像减去低频部分来得到。本发明利用自适应对比度增强算法的目标是增强代表细节的高频部分，即是对高频部分乘上一个系数，然后重组得到增强的图像。自
适应对比度增强算法的核心就是高频部分增益系数（cg）的计算。
[0038]
假设第二图像中像素点表示为, 那么以为中心，窗口大小为的区域内，其局部均值和方差可以表示为：的区域内，其局部均值和方差可以表示为：上述式子中，代表坐标为的点的像素值，为以点为中心，窗口大小为的区域的局部均值，对应的为局部的方差，为局部图像的标准差，均为正整数。
[0039]
利用自适应对比度增强算法对第二图像进行增强，具体的公式如下：利用自适应对比度增强算法对第二图像进行增强，具体的公式如下：上式中，为增强后的像素值，就是高频部分增益系数的值，代表像素点的像素值。一般情况下cg总是大于1的，这样高频部分就可以得到增强。为全局均值，是一个系数参数，一般取大于0且小于1的小数。
[0040]
经过自适应对比度增强算法处理后的输出结果为图像，该增强后的图像是快速双边滤波算法的输入。
[0041]
双边滤波的权重不仅考虑了像素的欧氏距离，还考虑了像素范围域中的辐射差异，在计算中心像素的时候同时考虑这两个权重，按公式进行双边滤波操作，其中将增强后的图像记作以下公式中的输入图像，输出图像即为滤波后的图像：即为滤波后的图像：其中、代表像素点物理坐标，为邻域像素点的灰度值， 是中心像素点的灰度值，和 为灰度邻近度函数和空间邻近度函数，是基于高斯函数的距离标准差，是基于高斯函数的灰度标准差。为空间域核，为值域核，其中中代表欧氏距离，代表绝对值，为双边滤波的范围，是空间权值和灰度权值乘积的总和。
[0042]
步骤2.4：分别将所述校正后的图像和所述滤波后的图像进行小波变换，建立图像的小波金字塔分解层。
[0043]
图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解。因此本发明分别将所述校正后的图像和所述滤波后的图像进行小波变换，建立图像的小波金字塔分解，输出各分解层。
[0044]
步骤2.5：对各分解层从高到低分别进行融合处理，各分解层上的不同频率分量采
用不同的融合规则进行融合处理，得到融合后的小波金字塔。
[0045]
其中，对低频分量的融合规则为对所有像素点计算其局部方差，并将所有点的方差和除以所有点之和，得到两张图像的权重，融合图像每个像素点的值为两张图像对应像素点的加权平均值。
[0046]
对高频分量的融合规则为对所有像素点进行边缘提取，对边缘图像的每一个像素点计算其局部方差，得到方差图像，融合图像每个像素点的值为方差图像中对应像素点取值较大的图像的像素点的值。
[0047]
步骤2.6：对所述融合后的小波金字塔进行小波逆变换，将所得重构图像作为融合图像；多张所述融合图像构成预处理后的融合图像数据集。
[0048]
步骤3：基于改进后的yolov5目标检测模型和deeplabv3+语义分割模型构建附着物检测模型。
[0049]
本发明引入有效通道注意力模块对yolov5网络的网络结构进行改进，并利用五参数回归方法改进yolov5网络的数据目标检测框的标注方式，得到改进后的yolov5目标检测模型。基于改进后的yolov5目标检测模型与deeplabv3+语义分割模型构建附着物检测模型，将改进后的yolov5目标检测模型的输出作为deeplabv3+语义分割模型的输入，通过目标检测模型获得不属于附着物的目标类别，作为先验信息来提高语义分割任务的检测精度。
[0050]
应当理解的是，对yolov5目标检测模型的改进的出发点是抑制无用信息，增加模型的特征提取能力，通过加入有效通道注意力（efficient channel attention，eca）模块对yolov5的特征提取网络进行改进，通过增加局部跨通道交互和通道共享参数，降低模型的复杂度，提高学习注意力的效率。
[0051]
针对目标检测框对于鱼类等非附着物目标检测具有局限性，会产生大量的冗余区域，会降低剔除后进行语义分割任务精度的问题，本发明引入五参数回归的方法，通过增加角度参数，来进行目标检测框的旋转，实现旋转目标检测，减少冗余区域的产生，使其在水下目标密集场景发挥更好的效果。
[0052]
通过加入有效通道注意力eca模块对yolov5的特征提取网络进行改进的前后结构如图3所示，原始的yolov5模型由backbone、neck和prediction三部分组成，其中cbl为卷积块，由conv、batch normalization（bn）、leaky relu三个网络层组成。conv层为卷积层，对输入图像采用多个不同的卷积核进行处理，得到不同的响应特征图。bn层为批归一化层，放在激活函数之前、卷积层之后使用。对所有的批处理数据求均值与方差，之后像素值与均值求差之后除以方差进行规范化，同时加入偏移因子与尺度变化因子控制归一化后的值。leaky relu函数是relu函数的变体，解决了relu函数进入负区间后，导致神经元不学习的问题。backbone中的bottleneckcsp用于提取图像的深度语义信息，neck中bottleneckcsp用于融合不同尺度的特征图来丰富语义信息。
[0053]
本发明对原始yolov5模型的改进之处为：将有效通道注意力模块（图3中表示为attention）嵌入到backbone的cbl模块和bottleneckcsp的残差块中，来抑制无用信息，增加模型的特征提取能力，增强图像特征的表达效果。
[0054]
进一步地，根据所述有效通道注意力模块结构如图4所示，图4中c表示需要加权的特征图通道集合，h、w代表每个通道的二维特征，函数gap表示全局平均池化操作，表示激
活函数，k为卷积核大小。
[0055]
所述有效通道注意力模块首先使用全局平局池化操作将每个通道的特征图映射为单一变量，即特征图从[h,w,c]的矩阵变成[1,1,c]的向量；计算得到自适应的一维卷积核大小kernel_size（设置k为5）；将kernel_size用于一维卷积中，得到对于特征图的每个通道的权重；将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图。
[0056]
所述有效通道注意力模块在全局平均池化之后不降低通道的维数，通过考虑每个通道及其k个邻居进行局部跨通道交互信息，避免了降维，有效捕获了跨通道交互的信息，其信道权重的计算公式为：其中为的k域通道，eca模块可以通过大小为k的快速一维卷积核来有效实现，卷积核大小为k代表了局部跨信道交互的覆盖率。为relu激活函数，为共享参数。为经过全局平均池化后通道的特征表示，表示的1
×
1卷积内的第个变量。为了避免通过交叉验证对k进行手动调优，可以自适应地确定k，其中交互的覆盖率与通道维数成正比，可以将这种线性关系扩展为非线性关系，通道维数和一维卷积核大小k的关系如下：和一维卷积核大小k的关系如下：和一维卷积核大小k的关系如下：和一维卷积核大小k的关系如下：其中函数表示取离最近的奇数，设置为2，设置为1。
[0057]
进一步地，利用五参数回归方法改进yolov5网络的数据目标检测框的标注方式的原理如图5所示，其中五参数是指，本发明通过增加角度参数，改进了目标检测框的计算方式。其中，表示目标对应中心点坐标；表示目标检测框的宽和高；是角偏量（即本发明增加的角度参数）；这5个参数被封装成一个向量，与真值计算相应的损失。
[0058]
本发明通过增加角度参数，来进行目标检测框的旋转，实现旋转目标检测，减少了冗余区域的产生。
[0059]
步骤4：采用所述预处理后的融合图像数据集对所述附着物检测模型进行训练，生成训练好的附着物检测模型。
[0060]
进行模型训练时，改进后的yolov5目标检测模型的输入是经过步骤2预处理后所输出的融合图像构成的融合图像数据集；输出是两类目标检测结果：鱼类非附着物标签与附着物标签。当图像没有检测到鱼类非附着物标签与附着物标签时，则说明该区域既没有鱼类等非附着物也没有附着物，无需后续处理；当图像检测到鱼类非附着物标签时，将其区域从整体图像中剔除（以提高接下来对附着物分割的精度）并进行后续判断；当图像检测到附着物标签时，通过deeplabv3+语义分割模型对附着物进行分割。
[0061]
deeplabv3+语义分割模型的输入是经上述改进后的yolov5目标检测模型检测出的含有附着物标签的图像，输出是分割出附着物的分割图像。
[0062]
步骤5：采用所述训练好的附着物检测模型进行网衣附着物检测，输出分割出附着物的分割图像。
[0063]
在采用所述训练好的附着物检测模型进行网衣附着物检测时，首先应获取当前拍摄的目标网衣图像并进行预处理，得到预处理后的目标融合图像或目标融合图像数据集；
将所述目标融合图像或其数据集输入训练好的改进后的yolov5目标检测模型进行目标检测，若既没有检测到鱼类非附着物标签也没有检测到附着物标签，则不进行处理；若同时检测到鱼类非附着物标签和附着物标签，需从所述目标融合图像中剔除非附着物标签框区域后再通过训练好的deeplabv3+语义分割模型进行分割，输出分割出附着物的分割图像；若仅检测到附着物标签，则直接将所述目标融合图像输入训练好的deeplabv3+语义分割模型进行分割，输出分割出附着物的分割图像。
[0064]
步骤6：统计所述分割图像中分割出的附着物的附着程度，并将所述附着程度大于附着程度阈值的分割图像作为附着物识别图像进行输出。
[0065]
本发明通过训练好的附着物检测模型检测分割出图像中附着物目标，统计像素点个数获得其附着面积及附着程度，设定需进行处理的附着程度阈值，将大于该附着程度阈值的附着物目标作为检测结果进行输出。
[0066]
具体地，统计所述分割图像中分割出的附着物的附着物面积以及从所述分割图像中剔除非附着物标签框区域后的剩余面积；计算所述附着物面积与所述剩余面积的比值作为附着程度。设定附着程度阈值，判断附着程度是否超过该附着程度阈值，如果超过该附着程度阈值则将超过阈值的附着物识别图像输出，并标注出其区域与附着程度；否则结束检测。
[0067]
在实际应用中，还可以将附着物检测模型压缩并移植至嵌入式平台上，搭载到水下机器人载体中，实现对网衣附着物的实时检测。由于深度学习目标检测模型所需要的计算、存储资源较大，将模型部署在计算资源匮乏或具有严格延迟要求的设备上的时候，无法实现实时检测，存在检测效率低的问题，因此需要先对模型进行压缩处理；模型压缩后，模型会变小，在不会显著降低模型性能的情况下，能够加速模型的训练与推理。
[0068]
具体地，本发明采用软滤波器剪枝（soft filter pruning，sfp）方法对训练好的附着物检测模型进行剪枝操作，得到压缩模型；将所述压缩模型移植到嵌入式平台上，将嵌入式平台搭载到水下机器人中对网衣附着物进行实时检测。检测时，获取待检测目标的视频流，将视频流作为附着物检测模型的输入参数，进行附着物实时检测。
[0069]
应当理解的是，sfp方法是在每次进行滤波器裁减操作时将需要被裁减的滤波器参数置零，该滤波器并不会被移除网络之外，还会以完整的网络形态继续下一个epoch的训练，sfp在每个epoch结束后会进行剪枝操作，剪枝完成后就会再训一个epoch，然后继续剪枝。采用sfp方法可以使得网络的学习能力更加强大，提高模型的效果，具体步骤如下：（1）第一个循环是epoch，每次训练完一个epoch就要开始执行剪枝操作；（2）第二个循环是遍历网络的每一层，计算每一层的每个卷积核的l2范数；（3）剪枝概率和第层的卷积核数量相乘表示一个网络层中被剪枝的卷积核个数，将卷积核的l2范数最低的个卷积核剪枝，剪枝是通过将该卷积核的值置为0来实现，从而完成第层卷积核的剪枝操作；（4）随着epoch的不断迭代，最终得到的模型会包含一些值为0的卷积核，将这些卷积核去掉得到最终的剪枝模型，作为压缩模型移植到嵌入式平台上。
[0070]
本发明基于深度学习的网衣附着物检测方法，在yolov5目标检测模型中加入eca模块对特征提取网络进行改进，增强了图像特征的表达效果；引入五参数回归的方法，通过增加角度参数，来进行目标检测框的旋转，实现旋转目标检测，减少了冗余区域的产生；基
于改进后的yolov5目标检测模型与deeplabv3+语义分割模型构建附着物检测模型，通过目标检测模型获得不属于附着物的目标类别，作为先验信息来提高语义分割任务的检测精度，提高了附着物检测模型的检测精度。通过附着物检测模型检测分割出图像中附着物目标，统计像素点个数获得其附着面积及附着程度，并设定需进行处理的附着程度阈值，将大于该阈值的附着物目标作为检测结果进行输出；最后将附着物检测模型压缩并移植至嵌入式平台上，搭载到水下机器人载体，能够实现对网衣附着物的实时检测。
[0071]
基于本发明提供的方法，本发明还提供一种基于深度学习的网衣附着物检测系统，包括：数据获取模块，用于获取网衣视频并制作检测数据集；数据预处理模块，用于对所述检测数据集中的图像进行预处理，得到预处理后的融合图像数据集；模型建立模块，用于基于改进后的yolov5目标检测模型和deeplabv3+语义分割模型构建附着物检测模型；模型训练模块，用于采用所述预处理后的融合图像数据集对所述附着物检测模型进行训练，生成训练好的附着物检测模型；附着物检测模块，用于采用所述训练好的附着物检测模型进行网衣附着物检测，输出分割出附着物的分割图像；附着物识别模块，用于统计所述分割图像中分割出的附着物的附着程度，并将所述附着程度大于附着程度阈值的分割图像作为附着物识别图像进行输出。
[0072]
其中，所述数据预处理模块具体包括：图像复制单元，用于针对所述检测数据集中的每张图像，对图像进行复制得到第一图像和第二图像；图像平衡及校正单元，用于利用动态阈值白平衡算法对所述第一图像进行白点检测和白点调整，之后利用自动色彩均衡快速算法进行校正，得到校正后的图像；图像增强及滤波单元，用于利用自适应对比度增强算法将所述第二图像分为低频部分和高频部分，增强代表细节的高频部分，重组得到增强图像，之后利用快速双边滤波算法对增强图像进行滤波，得到滤波后的图像；小波变换单元，用于分别将所述校正后的图像和所述滤波后的图像进行小波变换，建立图像的小波金字塔分解层；融合处理单元，用于对各分解层从高到低分别进行融合处理，各分解层上的不同频率分量采用不同的融合规则进行融合处理，得到融合后的小波金字塔；小波逆变换单元，用于对所述融合后的小波金字塔进行小波逆变换，将所得重构图像作为融合图像；多张所述融合图像构成预处理后的融合图像数据集。
[0073]
所述模型建立模块具体包括：yolov5网络改进单元，用于引入有效通道注意力模块对yolov5网络的网络结构进行改进，并利用五参数回归方法改进yolov5网络的数据目标检测框的标注方式，得到改进后的yolov5目标检测模型；附着物检测模型构建单元，用于将改进后的yolov5目标检测模型的输出作为deeplabv3+语义分割模型的输入，构建出附着物检测模型。
[0074]
与传统人工检测方式比较，本发明基于深度学习的网衣附着物检测方法及系统检测效率高、风险低，能实现对水下环境全方位、多角度监测，为网箱网衣无人巡检提供新的思路。与传统图像预处理方法比较，本发明采用基于小波变换的融合算法，使图像既得到了色彩校正，又增强对比度并去除噪声，提高了图像精度。与深度学习中分割网络比较，本发明首先使用改进后的yolov5目标检测模型提取非附着物类别，并剔除其检测框位置信息，作为先验信息传入deeplabv3+语义分割模型，提高了对附着物识别分割的精度。与传统附着物检测方式比较，本发明充分考虑了实际情况下大面积附着的问题，统计像素点个数获得其附着面积及附着程度，设定需进行处理的附着程度阈值，将大于该阈值的附着物目标作为检测结果进行输出，提高了网衣附着物检测精度。与传统检测模型比较，本发明将附着物检测模型压缩并移植至嵌入式平台上，搭载到水下机器人载体中，实现了对网衣附着物的实时检测。
[0075]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0076]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。