一种基于修正模型的水下图像复原方法、设备及存储介质

1.本发明涉及水下图像识别领域，尤其是涉及一种基于修正模型的水下图像复原方法、设备及存储介质。


背景技术：

2.在海底观测网所采集的信息中，有一大部分是实时的鱼类图像与视频数据。对这些视觉数据进行充分分析和挖掘可以为海洋生物科学和海洋环境科学研究提供重要手段，进一步推动海洋科技创新。尽管几十年来视觉数据处理技术得到了长足发展，然而如何能有效处理和充分利用海洋鱼类视觉数据仍是一项充满挑战的任务。究其原因主要是在海洋环境下，由于海水介质的存在，光线在传播过程中会发生前向散射、后向散射、吸收等物理作用的影响，导致视觉图像或视频出现模糊、对比度低、颜色失真等现象，给后续的视觉图像数据理解和分析带来很大挑战。
3.针对上述挑战，国内外研究学者提出了一系列水下图像复原算法，根据研究思路可以划分为三个类别：图像增强方法、基于先验知识的方法、基于数据驱动的方法。其中基于先验知识的方法和部分基于数据驱动的方法后，通常都需要依赖于水下成像物理模型进行求解，目前都无法取得足够令人满意的复原效果，存在颜色复原效果差、性能不稳定等局限性，其原因之一是使用了不准确、不完整的水下成像建模方程式，引入了严重的误差和不确定性。
4.具体地说，基于先验知识的水下图像复原算法是通过先验知识或特殊硬件对场景深度、环境光等参数进行估计后，对水下成像物理模型进行求解，从而实现水下图像复原的过程。其中水下成像物理模型的基础通常是指是jaffe
‑
maglamery模型，如图1所示，其表达式为：
5.i
c
＝d
c
+b
c
6.其中，c＝r，g，b三个颜色通道，i
c
表示水下相机获取到的视觉信号，即水下图像，d
c
表示直接信号量，即光线到达水下目标后反射到相机镜头的信号量；b
c
表示后向散射信号量，即环境光线经过水体中悬浮的微粒的散射后到达相机镜头的信号量。
7.由于大气去雾成像与水下成像具有较高的相似度，现有的大多数水下图像复原算法包括2015年发表在image represent的rcp、2017年发表在british machine vision conference的dhl、2018年发表在ieee robotics and automation letters的watergan等普遍采用的是大气去雾方程的变形，在大气去雾方程的基础上加入了衰减系数对波长的依赖，形式化如下式：
8.i(x)＝j(x)*e
‑
β(λ)d(x)
+a(1
‑
e
‑
β(λ)d(x)
)
9.其中，a表示环境光，j(x)表示待求解的目标图像，β表示光线经过海洋水体的衰减系数，依赖于波长λ，d(x)表示场景深度，即相机镜头与目标之间的距离。
10.在上述这个现有方法常用的建模方程式中，假定了直接信号和后向散射信号的衰减系数为同一个系数，且均假定两者为均匀值。而derya akkaynak等研究学者2018年发表
在cvpr上的研究工作中指出：
11.1)光线在海洋水体中的直接和后向散射信号依赖于不同的系数；
12.2)信号在海水环境中的散射系数不是均匀的，而是依赖于目标距离和反射率。
13.上述现有的基于物理模型的方法，由于使用了不准确、不完整的水下成像模型，无法取得令人满意的效果，存在颜色复原效果差、性能不稳定等局限性。


技术实现要素：

14.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适用性高、精度高的一种基于修正模型的水下图像复原方法、设备及存储介质。
15.本发明的目的可以通过以下技术方案来实现：
16.根据本发明的第一方面，涉及了一种基于修正模型的水下图像复原方法，该方法包括以下步骤：
17.步骤s1：基于直接信号衰减系数后向散射信号衰减系数与深度信息z的高相关性，建立修正简化后的水下成像模型；
18.步骤s2：基于给定的rgb图像，采用单目深度估计算法估算获得场景目标的相对深度信息，并结合水下能见度进行缩放，得到深度信息z的估计；
19.步骤s3：基于深度信息z的估计，将图像上的所有像素点按深度值划分为n个距离区间，并筛选各个距离区间内黑色或完全阴影区域的像素点，获得后向散射信号的估计值从而得到去除后向散射影响后的图像；
20.步骤s4：针对去除后向散射影响后的图像，采用局部光源估计算法估计直接信号衰减系数并通过指数二项式建模与深度信息z对粗略估计值进行拟合修正，从而得到复原后的图像j
c
；
21.步骤s5：对复原后的图像j
c
进行白平衡处理，从而获得最终的复原图像。
22.优选地，所述步骤s1中修正简化后的水下成像模型为：
[0023][0024]
其中，i
c
为水下相机获取到的视觉图像，d
c
为直接信号量，b
c
为后向散射信号量；j
c
表示待求解的目标图像，表示环境光，z为深度信息，为直接信号衰减系数，为后向散射信号衰减系数。
[0025]
优选地，所述步骤s2中水下能见度为以米为单位的最大能见度，用于缩放相对深度，从而得到绝对深度信息z的估计。
[0026]
优选地，所述步骤s3包括以下步骤：
[0027]
步骤s31：基于深度信息z的估计的最大值和最小值，将图像所有像素点按深度值等跨度划分为n个相同大小的集合ω＝{ω1，ω2，...ω
n
}，对应n个不同深度区间的目标像素点；
[0028]
步骤s32：在n个集合中分别取r、g、b三个通道值均值位于前t％区间的像素点，构成集合φ＝{φ1，φ2，...φ
n
}，满足：
[0029]
[0030]
其中，r，g，b分别为对应的r、g、b像素值；ω
i
为第i集合；该集合φ中像素点满足不存在反射的光线的假定；
[0031]
步骤s33：以集合φ中像素点的直接反射信号d
c
(φ)将接近于0为拟合目标，结合后向散射信号b
c
(φ)的定义，使用集合φ中的像素点对输入图像的后向散射信号进行非线性建模拟合：
[0032][0033][0034]
其中，为后向散射信号的估计值，表示环境光，为后向散射信号衰减系数，z为深度信息估计，i
c
(φ)为水下相机获取到的视觉图像。
[0035]
优选地，
[0036]
所述步骤s3的后向散射信号的建模估计中，如果能够获得相机参数、水体类型的额外信息，对进行近一步的微调，得到更加准确的模型表达式。
[0037]
优选地，所述步骤s4包括以下步骤：
[0038]
步骤s41：基于除去后向散射影响后的图像，使用局部光源估计算法估计得到局部光源映射并对进行估计，得到直接信号衰减系数的粗略估计值其表达式为：
[0039][0040]
其中，z为深度信息估计，为局部光源映射；
[0041]
步骤s42：基于估计得到的和深度信息z进行建模分析，使用二项指数模型进行拟合，拟合目标为：使建模值与估计值的误差最小化，其表达式为：
[0042][0043][0044]
其中，a，b，c，d为该二项指数模型的参数，满足b＜0，d＜0，z为深度信息估计。
[0045]
优选地，所述步骤s41中的局部光源估计算法具体为：将直接信号衰减量的估计问题转换为基于retinex模型的场景光照估计问题，采用lsac算法基于已知深度信息估计对场景光照进行估计，得到局部光源映射
[0046]
优选地，所述步骤s5具体为：采用灰度世界算法、完美反射算法或动态阈值算法对复原后的图像j
c
进行白平衡处理。
[0047]
根据本发明的第二方面，涉及了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时上述的方法。
[0048]
根据本发明的第三方面，涉及了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的方法。
[0049]
与现有技术相比，本发明具有以下优点：
[0050]
1)相较于现有方法，求解过程建立在直接信号和后向散射信号依赖于同一个衰减系数的前提上，本发明提出的水下图像复原方法使用了修正的水下成像模型，对直接信号
和后向散射信号的衰减系数分别进行建模估计，在物理模型上具备更高的准确性和合理性；
[0051]
2)相较于现有方法，求解过程建立在直接信号和后向散射信号依赖于一个均匀的衰减系数的前提上，本发明提出的方法考虑到了衰减系数与深度信息之间的依赖性，通过建模拟合的方法建立了直接信号和后向散射信号两者各自的衰减系数与目标到镜头之间距离信息(深度信息)之间的关系模型，得到更加准确的衰减系数，从而能够获得更加准确的复原结果；
[0052]
3)本发明提出的水下图像复原方法只需输入一张rgb彩色的水下图像，就可以实现应用修正的水下成像模型完成图像复原，而现有方法，需要依赖于额外的设备如测距雷达，水下双目相机，或者需要拍摄连续多张不同角度的图像(如seathru方法)来获取修正的水下成像模型求解需要的深度信息，只能适用于极少数特定的数据集；本发明提出的方法使用了单目深度估计方法获得相对深度信息，结合尺寸信息进行缩放获得估计的绝对深度信息，建立在估计得到的深度信息的基础上完成水下图像的复原，具有更高的普适性，可以应用于更多水下拍摄场景和现有的所有数据集。
附图说明
[0053]
图1为jaffe
‑
maglamery模型示意图；
[0054]
图2为本发明的框架流程图；
[0055]
图3a
‑
c分别为数据集1的r、g、b通道与z的相关性结果图；
[0056]
图4a
‑
c分别为数据集2的r、g、b通道与z的相关性结果图；
[0057]
图5a
‑
c分别为数据集3的r、g、b通道与z的相关性结果图；
[0058]
图6a
‑
b分别为本发明的水下图像复原方法的图片1的前、后结果对比图；
[0059]
图7a
‑
b分别为本发明的水下图像复原方法的图片2的前、后结果对比图；
[0060]
图8a
‑
b分别为本发明的水下图像复原方法的图片3的前、后结果对比图。
具体实施方式
[0061]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0062]
针对上述提到的现有的基于物理模型的方法，由于使用了不准确、不完整的水下成像模型，无法取得令人满意的效果，存在颜色复原效果差、性能不稳定等局限性，本发明提供了一种基于修正模型的水下图像复原方法，如图1所示，该方法包括以下步骤：
[0063]
步骤s1：基于直接信号衰减系数后向散射信号衰减系数与深度信息z的高相关性，建立修正简化后的水下成像模型；
[0064]
步骤s2：基于给定的rgb图像，采用单目深度估计算法估算获得场景目标的相对深度信息，并结合水下能见度进行缩放，得到深度信息z的估计；
[0065]
步骤s3：基于深度信息z的估计，将图像上的所有像素点按深度值划分为n个距离
区间，并筛选各个距离区间内黑色或完全阴影区域的像素点，获得后向散射信号的估计值从而得到去除后向散射影响后的图像；
[0066]
步骤s4：针对去除后向散射影响后的图像，采用局部光源估计算法估计直接信号衰减系数并通过指数二项式建模与深度信息z对粗略估计值进行拟合修正，从而得到复原后的图像j
c
；
[0067]
步骤s5：对复原后的图像j
c
进行白平衡处理，从而获得最终的复原图像。
[0068]
下面结合附图，具体介绍上述方法。
[0069]
1.水下成像物理模型的处理
[0070]
现有的基于先验知识的方法采用的成像模型忽略了衰减系数对环境深度的依赖，且假定直接信号和后向散射信号依赖于相同的系数，本发明提出的水下图像复原算法采用修正后的成像模型，修正和补充了现有方法忽略的关系，其模型方程如下式：
[0071][0072]
其中，i
c
表示水下相机获取到的视觉图像，j
c
表示待求解的目标图像，表示环境光，v
d
和v
b
分别表示直接信号量的衰减系数和后向散射信号量的衰减系数所依赖的因素，v
d
＝{z，ρ，e，s
c
，β}，v
b
＝{e，s
c
，β，b}，所对应的解释如下表1所示：
[0073]
表1
[0074]
参数含义λ光线波长z深度信息ρ反射系数e环境光谱s
c
相机光谱响应β光线在水体中的衰减系数
[0075]
求解j
c
需要知道或估计上述所有参数，显然是不现实的，因此需要对这些参数进行取舍。根据akkaynak和treibitz在2017年发表的研究工作表明，相较于其他参数，衰减系数和对深度信息z的相关性更为突出，基于这项前提条件，将种对上述多个参数的依赖关系进行处理，仅保留依赖关系更突出的深度信息z，处理后的水下成像模型可形式化为下式：
[0076]
可以看出，相比较于其他参数，和都严重依赖于深度信息z，处理后的水下成像模型可简化为：
[0077][0078]
2.深度信息z的估计
[0079]
深度信息的获取有两种思路：第一种是借助特定的设备，如水下雷达、水下双目相机等直接获取深度信息，或者通过连续拍摄场景目标多个角度的多张图片，重建结构信息来估计获取深度信息；第二种是通过单目深度估计算法来粗略估计场景深度信息。
[0080]
其中第一种思路虽然在深度信息z的估计上能够提供更高的准确度，但是对于拍摄现场的设备和技术要求过于严苛，将严重限制算法的应用；而第二种思路相比较于第一
种思路而言，能够提供更多的应用场景，输入只需要一张rgb水下图像，即可完成复原任务。
[0081]
由于目前还没有有效的水下单目深度估计方法，本发明提出的水下图像复原方法中采用densedepth方法来进行相对深度信息的估计，该方法使用迁移学习在标准的encoder
‑
decoder结构的基础上，encoder加载预训练网络的权重，辅以数据增强和训练的策略，来实现高分辨率的深度估计。
[0082]
由于现有的深度估计预训练网络是基于室内采集的图像或者街道图像进行训练了，为了使模型适用于水下场景，本发明提出的复原方法使用公开的水下数据集squid和seathru对预训练模型进行微调训练。
[0083]
由于水下成像模型依赖的是绝对深度信息，而通过单目深度估计算法得到的是相对深度信息。因此，需要根据所估计得到的相对深度来粗略估计绝对深度。受益于水下环境光线在水体中迅速衰减的特性，水下的能见度会随着距离的增加而迅速下降，因此，本发明定义一个以米为单位的最大能见度(默认为10)，以此来缩放相对深度，得到粗略的绝对深度信息的估计值。
[0084]
3.后向散射的估计
[0085]
后向散射信号的估计依赖于一个假定：场景中黑色或完全阴影区域对应的图像值完全由后向散射信号决定，因为在这些区域中场景本身不存在反射的光线。基于这个假定，后向散射估计的算法可以概述为以下流程：
[0086]
首先，根据估计得到的深度信息的最大值和最小值，将图像所有像素点按深度值等跨度划分为10个集合ω＝{ω1，ω2，...ω
10
}，对应10个不同深度区间的目标像素点；
[0087]
接着，在每个集合中取r、g、b三个通道值均值最小1％的像素点，构成集合φ＝{φ1，φ2，...φ
10
}，满足：
[0088][0089]
根据假定，集合φ中的像素点不存在反射的光线，也就是说，集合φ中的像素点的直接反射信号d
c
(φ)将尽可能接近于0。
[0090]
以这个结论作为拟合目标，本发明提出的方法根据公式(1)中后向散射信号b
c
(φ)的定义，使用集合φ中的像素点对输入图像的后向散射信号进行非线性建模拟合：
[0091][0092][0093]
在后向散射信号的建模估计中，没有考虑后向散射系数对深度信息的依赖性，如果能够获得相机参数、水体类型等额外的信息，可以对进行近一步的微调，得到更加准确的模型表达式。
[0094]
4.衰减系数的估计
[0095]
4.1的粗略估计
[0096]
根据式(1)可知，完成后向散射b
c
的估计之后，问题就转换成了直接信号量的估计：
[0097]
[0098]
其中，直接信号d
c
是光线照射到目标后的反射信号j
c
(即无失真的图像信号)经过的传输衰减后到达相机的光线，考虑到颜色一致性领域的场景光照估计问题，对衰减量的估计问题转换为基于retinexmodel的场景光照估计问题，其中retinexmodel可以定义为：
[0099][0100]
其中i是相机捕捉到的图像，j是光线照射到目标后的反射信号(即没有光照影响的图像信号)，依赖于目标物体自身的纹理和颜色；p是illumination，依赖于图像拍摄时的环境光源。符号是element
‑
wiseproduct。
[0101]
场景光照估计问题主要任务就是求解出准确的p，来消除光照对图像颜色的影响。本发明采用lsac(localspaceaveragecolor)算法，利用已知的深度信息对illumination进行估计，其原理和流程如下：
[0102]
对于给定的像素点(x，y)，要估计其c颜色通道的localspaceaveragecolorl
c
(x，y)，第一步需要根据给定的深度差阈值∈值，找到与像素点(x，y)深度差小于∈的像素点集合，作为像素点(x，y)的邻居像素集合n
e
，可定义为：
[0103]
n
e
(x，y)＝{(x
′
，y
′
)|||z(x，y)
‑
z(x
′
，y
′
)||≤∈}(8)
[0104]
在得到n
e
后，l
c
(x，y)可通过下式进行迭代估计：
[0105][0106]
i
c
(x，y)＝d
c
(x，y)*(1
‑
p)+l
′
c
(x，y)*p(10)
[0107]
其中i
c
(x，y)的初始值都设置为0，参数p表示thelocalityoftheneighborhood；
[0108]
定义为：
[0109][0110]
其中，f是依赖于几何的常数因子，本实例中将f设置为2；
[0111]
使用lsac方法对消除后向散射影响后的图像的光源估计，可以作为的估计值：
[0112][0113]
可以得到的粗略估计：
[0114][0115]
4.2的拟合优化
[0116]
基于与z之间相关性研究的结论可知，是关于z的函数，因此，本发明对的粗略估计值和深度信息z进行建模拟合，来进一步确定与z的关系。如图3
‑
图5，可以看到与z基本符合二项指数模型，其中b通道和g通道更加明显。
[0117]
因此，本发明使用对数模型对直接信号衰减系数与深度信息z进行拟合，拟合目标为：使建模值与估计值的误差最小化：
[0118][0119][0120]
其中，参数b＜0，d＜0。如果仍然无法拟合(通常发生在红色通道)，本发明根据r通道呈现出来的关系模式，可以采用线性模型替代来完成拟合。
[0121]
5.白平衡处理
[0122]
求解j
c
所需的关键参数都已经估计完成，为了符合人眼视觉效果，算法的最后可以对上述步骤求解得到的j
c
进行白平衡处理，可采用灰色世界算法、完美反射算法或动态阈值算法等方法，本实施例采用的是灰度世界算法进行白平衡处理。
[0123]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0124]
本发明电子设备包括中央处理单元(cpu)，其可以根据存储在只读存储器(rom)中的计算机程序指令或者从存储单元加载到随机访问存储器(ram)中的计算机程序指令，来执行各种适当的动作和处理。在ram中，还可以存储设备操作所需的各种程序和数据。cpu、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也连接至总线。
[0125]
设备中的多个部件连接至i/o接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0126]
处理单元执行上文所描述的各个方法和处理，例如方法s1～s5。例如，在一些实施例中，方法s1～s5可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由rom和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到ram并由cpu执行时，可以执行上文描述的方法s1～s5的一个或多个步骤。备选地，在其他实施例中，cpu可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法s1～s5。
[0127]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。
[0128]
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0129]
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0130]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。