一种在恶劣天气下舰船检测中像素级自适应图像处理方法

本技术涉及图像处理领域，主要涉及一种在恶劣天气下舰船检测中像素级自适应图像处理方法。

背景技术：

1、近年来，无人水面艇(unmanned surface vehicle，usv)方向的研究为海上目标检测领域提供了新思路。这种具有自主航行特性的无人水面舰艇有较为广泛的应用，因其具有体积小、成本低、适应性强等特点而被广泛应用于巡航、侦察、搜救和勘测等危险性较高或环境恶劣的任务当中。在无人艇的结构组成中，其视觉系统的作用就是代替人眼对海上的目标以及障碍物进行检测、跟踪和测量，因此结合无人船的视觉系统进行海上舰船检测的研究对无人艇的发展和实时海面监测都具有重要意义。

2、然而在真实的成像条件下，由于复杂的天气条件，例如雾霾、暗光等，基于正常海况开发的模型通常无法检测到舰船。其原因在于图像中的光学信息被恶劣天气削弱，从而降低了从这些图像中提取有用于舰船检测的特征。少数研究通过改进检测网络和合成退化图像来学习恶劣天气条件下的特征以及恶劣天气下捕获的船舶图。然而，恶劣天气对船舶探测的影响仍未得到解决。

3、为实现恶劣天气下的船舶检测，一种直接的方法是恢复模糊图像的可见性作为预处理步骤。首先经过去雾模型或亮度恢复模型的预处理，然后使用基于正常图像开发的模型进行检测。由于经过预处理的图像和正常图像还是存在偏差导致检测性能不一定提升。另一种方法通过联合执行图像增强和图像检测来解决这个问题。采用双子网网络(检测子网和恢复子网)减少图像退化的影响，其中特征提取层是共享的。然而这种方法在训练期间平衡检测和恢复之间的权重是非常具有挑战性的。恶劣天气下捕获的图像存在域偏移，可以通过对其两个域的分布特征来解决。这种方法在图像恢复过程中缺乏对任务相关信息的关注。最近出现了可学习的图像预处理方法，联合学习图像处理和目标检测，每个图像都可以通过可学习的参数自适应增强，确保了经过预处理的图像有利于目标检测。然而，参数调整是一个全局操作，在图像恢复过程中不必要的信息也会被增强。

技术实现思路

1、针对当前方法在图像恢复过程中缺乏对任务相关信息的关注以及全局调整会增强不必要的信息，本发明采用像素级调整方法，只对有利于检测的信息进行增强，突出前景信息弱化背景信息。本发明提出了一种新的像素级自适应图像处理船舶检测框架，称为pip-yolo，它可以端到端训练，并共同学习三个任务：图像增强、船舶分类和船舶定位。具体来说，本发明提出了一种像素级可微图像处理模块(pip)，通过学习多个滤波器的参数来自适应调整每个像素。滤波器参数由视觉编码器预测，并由全局优化器进一步改进。全局优化器根据任务调整参数，以捕获有利于检测的特征。通过联合学习，确保pip可以直接通过下游船舶检测损耗学习到合适的参数。最后使用经典的单级探测器yolov5来学习船舶入级和船舶定位。

2、根据本发明的一方面，提出了一种在恶劣天气下舰船检测中像素级自适应图像处理方法，其特征在于，包括以下步骤：

3、输入原始图像数据，利用像素级可微图像处理模块(pip)识别出原始图像数据的每个像素；

4、图像增强，所述图像处理模块(pip)，通过学习多个图像滤波器的参数自适应调整原始图像数据的每个像素，得到强化后的图像数据；

5、学习检测，将得到的强化后的图像数据利用单级探测器yolov5进一步学习船舶入级和船舶定位。

6、进一步的，所述的像素级可微图像处理模块(pip)具体为：

7、所述图像处理模块(pip)由多个图像滤波器组成，包括去雾滤波器、曝光校正滤波器、白平衡滤波器、伽马校正滤波器、对比度平衡滤波器和锐化滤波器。

8、进一步的，所述的去雾滤波器为可微的滤波器，具体包括：

9、根据大气散射模型，雾图像的形成用公式(1)表示：

10、i(x)＝j(x)t(x)+a(1-t(x))    (1)

11、其中i(x)表示雾图像，j(x)表示清晰图像，t(x)表示介质投射图，a表示大气光，x表示单个像素位置；

12、介质投射图t(x)通过公式(2)表示：

13、t(x)＝e-βd(x)    (2)

14、其中，β表示大气的散射系数，d(x)表示场景深度。

15、变换公式(1)，可以得到清晰图像j(x)：

16、

17、从公式3中可以得出，得到清晰图像j(x)的关键是得到介质投射图t(x)和大气光a。

18、为了降低模型的复杂性，我们选择将介质投射图t(x)和大气光a集成到一个变量中进行预测，如公式(4)

19、j(x)＝h(x)i(x)-h(x)+1    (4)

20、其中：

21、

22、得到可微去雾滤波器后就可以优化通过反向传播使除雾滤波器更有利于雾天图像的检测。

23、进一步的，所述的自适应滤波器具体为：

24、所述曝光校正滤波器、白平衡滤波器、伽马校正滤波器、对比度平衡滤波器和锐化滤波器分别采用映射函数对像素点进行变换，以下使用px＝(rx，gx，bx)表示变换前的像素点，使用pyi＝(ryi，gyi，byi)表示变换后的像素点，(r，g，b)表示三个颜色通道分别为红色、绿色和蓝色，x表示单个像素位置且不超过图像范围，其中所述i的范围为1～5中的一个，

25、曝光校正滤波器的映射函数为py1＝2jp0，其中参数j表示曝光校正参数，p0表示原始像素点；

26、白平衡滤波器的映射函数为py2＝(kry1，kgy1，kby1)，其中参数k表示为图像三原色比例；

27、伽马滤波器的映射函数为其中参数l表示伽马参数；

28、对比滤波器的映射函数为py4＝men(py3)+(1-m)py3，其中参数m表示图像反差值，en(py3)的定义如下：

29、lum(py3)＝0.27rx+0.67gx+0.06bx    (6)

30、

31、

32、其中，px＝(rx,gx，bx)通过映射函数变换为像素值py＝(ry,gy,by)；

33、锐化滤波器的映射函数为iy＝i(x)+n(i(x)-gau(i(x)))，其中n表示正比例因子，i(x)表示输入包括以上滤波器处理过后的图像，gau(i(x))表示i(x)的高斯滤波器。

34、由曝光校正滤波器、白平衡滤波器和伽马滤波器的原像素点经过乘积或幂变换，对比滤波器映射函数中的m表示增强像素点与完全增强像素点之间的线性插值，锐化滤波器映射函数中的gau(i(x))为高斯滤波器n(x)的逐像素正缩放因子可得到所述映射函数均可微。

35、在相机图像信号处理(isp)管道中，通常采用一些可调整的滤波器来进行图像增强，其超参数由经验丰富的工程师通过目视检查手动调整(mosleh et al.2020)。通常，这样的调整过程对于为广泛的场景寻找合适的参数是非常尴尬和昂贵的。为了解决这个限制，本发明设计由多个图像滤波器组成的图像处理模块(pip)自适应调整图像中每个像素对应的参数，可以大大节省计算成本。

36、进一步的，所述曝光校正滤波器、白平衡滤波器、伽马校正滤波器、对比度平衡滤波器和锐化滤波器分别为自适应滤波器，其参数由视觉编码器预测，并由全局优化器进一步改进优化。

37、进一步的，所述的视觉编码器具体为：

38、所述视觉编码器由5个卷积块组成，每个卷积块由3×3步长为2的卷积层、批标准层和一个激活函数层组成，每一层通道数量是前一层的两倍，从第一层的16个通道到最后一层的256个通道；

39、所述视觉编码器通过学习输入图像的亮度、颜色、色调、雾度的整体信息来提取多尺度特征参数，所述特征参数为所述图像滤波器的参数。

40、进一步的，所述的全局优化器具体为：

41、所述全局优化器为一种基于多尺度特征融合和注意机制的全局优化器，具体包括：

42、多尺度特征融合模块，采用双线性插值实现特征映射上采样，设c2卷积层的特征图x为c1卷积层的特图y为y∈rh×w×c，x通过双线性插值上采样到x’∈rh×w×c/2，在通道的维度上连接两个特征映射(x’和y)，对融合特征图进行卷积层处理，得到output∈rh×w×c特征图，表示为：

43、fin＝conv(concat(up(x),y))     (9)

44、通道注意力模块，计算所有通道的注意力权重，根据注意力权重计算特征重新校准，表示为：

45、fc＝pool(fin)     (10)

46、cac＝σ(conv(δ(conv(fc))))      (11)

47、

48、其中，pool表示池化操作，fin表示特征融合的结果，fc表示输入特征fin池化后的结果即fc∈r1×c，通过卷积(conv)学习各个通道之间的关系，并经过激活操作(σ、δ)生成0-1不等的权重值(cac)，作用到fc上，从而给予重要通道更多的关注度。

49、最后，将得到的强化后的图像数据利用单级探测器yolov5进一步学习船舶入级和船舶定位。这样我们便实现了通过像素级调整方法，只对有利于检测的信息进行增强，突出前景信息弱化背景信息，恢复更多关于原始模糊的船舶。

50、根据本发明的第二方面，提出了一种在恶劣天气下舰船检测中像素级自适应图像处理的系统，该系统包括：

51、输入模块，配置用于利用像素级可微图像处理模块(pip)识别出原始图像数据的每个像素；

52、图像增强模块，配置用于所述图像处理模块(pip)通过学习多个图像滤波器的参数自适应调整原始图像数据的每个像素，得到强化后的图像数据；

53、学习检测模块，配置用于将得到的强化后的图像数据利用单级探测器yolov5进一步船舶入级和船舶定位。

54、根据本发明的第三个发明，一种计算机可读介质，其中存储有计算机程序，所述计算机程序在被处理器执行时实施如第一方面所述的在恶劣天气下舰船检测中像素级自适应图像处理的方法。

55、本发明与现有技术相比具有以下优势：

56、本发明利用可学习的图像预处理方法，联合学习图像处理和目标检测，每个图像都可以通过可学习的参数自适应增强，确保了经过预处理的图像有利于目标检测。然而，参数调整是一个全局操作，在图像恢复过程中不必要的信息也会被增强。