基于Lab色域变换、分类及白平衡的水下图像恢复方法与流程

基于lab色域变换、分类及白平衡的水下图像恢复方法
技术领域
1.本发明涉及基于lab色域变换、分类及白平衡的水下图像恢复方法，属于图像增强及恢复技术领域。


背景技术：

2.海洋中存在着丰富的资源，水下图像作为海洋信息的重要载体，受到了越来越多的关注和重视，同时水下图像增强技术也得到了广泛应用，如水下目标检测与跟踪、水下基础设施检查和海洋生物研究等。与一般图像不同，由于光的吸收和散射效应，导致水下图像可见性差。其中，光的吸收减少了光照强度，且由于不同波长的光谱在水中的传播距离不同，造成水下图像的颜色失真；光的散射引起了光传播方向的变化，使图像产生雾状模糊。这些特性导致水下图像普遍存在模糊、偏色、对比度低等问题，极大限制了水下图像在海洋资源利用中的实际应用。因此，提升水下图像的质量具有重要意义。
3.近些年，水下图像增强已经有了很多的研究基础，包括先验ifm模型、基于卷积神经网络(cnn)等。有针对光的吸收和散射特性，根据水下模型对光进行补偿，用来实现对水下图像的增强和颜色校正；也有通过校正对比度和色彩来克服光在水下衰减和散射的问题，达到图像的增强，还有针对水下图像的模糊和色偏问题，暗通道先验的去雾增强等。
4.现有水下图像增强方法主要针对自然光照射下水下浅层的图像增强，对于人工光源照明为主的夜间水域或深水区域可见度更低，光的吸收和散射效应非常突出，存在获取的图像严重的光照不均的情况，因此，非常需要研究一种有效的图像恢复方法，增强水下图像的全局对比度。


技术实现要素：

5.本发明的目的是针对水下环境中不同光照条件下采集的图片或视频，增强效果不佳的情况，提出了基于lab色域变换、分类及白平衡的水下图像恢复方法。
6.本发明的核心思想为：1)通过空间变换和hsv平均阈值，划分了hsv平均值水下图像分为三类：偏蓝图像、偏绿图像以及非蓝/绿图像；2)将图像颜色模式调整为lab模式，分别依据对应的平衡参数针对偏蓝或偏绿图像进行lab色域的白平衡；3)再利用dcp先验通过消除散射速率来估计背景光，得到去雾后图像；4)利用clahe进行直方图均衡得到提升照度的增强图像。
7.为达到上述目的，本发明所采用的技术方案如下：
8.所述水下图像恢复方法，包括如下步骤：
9.步骤1、采集水下图像的rgb信息，并生成图像矩阵i；
10.其中，图像矩阵i的维度为m
×
n；
11.步骤2、将图像矩阵i转换为hsv域的图像矩阵，得到hsv域图像矩阵的h和s矩阵分量，并分别计算h及s矩阵分量的平均值；
12.其中，h矩阵分量的平均值，记为h1，s矩阵分量的平均值，记为s1；
13.步骤3、判断h1和s1的数值范围，对hsv域图像矩阵表征的水下图像进行分类，将水下图像划分为偏蓝图像或偏绿图像跳入步骤4进行颜色校正或输出图像矩阵i并跳至步骤5，具体为：
14.3.a若h1在50和180之间且s1>0.3，则将hsv域图像矩阵表征的水下图像判定为偏绿图像，将平衡参数设为a1，并跳至步骤4进行颜色校正；
15.其中，平衡参数a1的取值范围为1到3；
16.3.b若h1在180和300之间且s1>0.3，则将hsv域图像矩阵表征的水下图像判定为偏蓝图像，将平衡参数设为b1，并跳至步骤4进行颜色校正；
17.其中，平衡参数b1的取值范围为3到8；
18.3.c否则，若不满足3.a及3.b，即h1不在50和300之间或s1≤0.3，则输出当前hsv域图像矩阵对应的图像矩阵i，并跳至步骤5；
19.步骤4，步骤3输出的偏蓝或偏绿图像对应的图像矩阵i转换为lab色域进行颜色校正，得到颜色校正后的矩阵i
lab
，具体为：
20.步骤4.1将图像矩阵i转换为lab色域的图像矩阵j；
21.其中，图像矩阵j包括明度向量w、a通道向量a_color以及b通道向量b_color；
22.步骤4.2计算a通道向量和b通道向量的均值，再基于参数a1或b1进行颜色校正，输出校正后的图像矩阵i
lab
；
23.其中，颜色校正为白平衡；a1或b1为经验值，可根据图像蓝绿程度以及处理效果进行调整；
24.步骤5：根据大气成像模型对步骤3输出的图像矩阵i或步骤4输出的图像矩阵ilab进行暗通道先验去雾后再转换为hsv色域图像，得到图像矩阵j
hsv
；
25.其中，步骤3输出的图像矩阵i或步骤4输出的图像矩阵ilab，统称为图像矩阵i
dcpbefore
；
26.步骤5，具体包括如下子步骤：
27.步骤5.1：对图像矩阵i
dcpbefore
进行背景光bl进行估计，得到背景光bl；其中，背景光bl选取图像中红色光波与蓝色和绿色光波中最大值相差最大的点作为背景光的选取点；
28.步骤5.2：在得到图像矩阵i
dcpbefore
的背景光bl之后，再求得大气光及透射率,然后根据暗通道先验计算得图像矩阵j
dcp
；
29.步骤5.3将图像矩阵j
dcp
转换为hsv色域，得到图像矩阵j
hsv
；
30.步骤6：对图像矩阵j
hsv
的v分量取均值得v
j
，依据v
j
判断图像矩阵j
hsv
对应的图像是否为低照度图像，明度对图像划分为3个层次，并设定3个对比度阈值，得到直方图均衡处理之后的图像j
hsv1
，具体如下：
31.6.1：若图像矩阵j
hsv
的v
j
分量小于ja，则将对比度阈值设置为aa并基于该阈值进行对比度拉伸和直方图均衡，得到均衡后图像；
32.其中，ja的取值范围为80到90之间；aa的取值范围为4到6；
33.6.2：若图像矩阵j
hsv
的v
j
分量大于等于ja且小于jb，则将对比度阈值设置为ab，并据此进行对比度拉伸和直方图均衡，得到均衡后图像；
34.其中，jb的取值范围为105到115之间；ab的取值范围为2到4；
35.6.3：若图像矩阵j
hsv
的v
j
分量大于jb，则将对比度阈值设置为ac，进行对比度拉伸
和直方图均衡，得到均衡后图像矩阵j
hsv1
；
36.其中，ac的取值范围为0到2；
37.步骤7.将步骤6得到的均衡后图像矩阵转换为hsv域图像矩阵，并求该图像矩阵v矩阵分量的均值v
j1
，判断“v
j1
小于jc”、“若v
j1
大于等于jc且小于等于jd”还是“若v
j1
大于jd”，根据判断结果决定跳至7.a、7.b还是7.c是否进行对比度拉伸和直方图均衡以及若进行“对比度拉伸和直方图均衡”，则设定对比度阈值，具体为：
38.7.a：若v
j1
小于jc，则将对比度阈值在原来的基础上加1并判断对比度阈值是否等于ad，若是，则输出图像矩阵j
hsv1
并结束本方法，若否则再次进行对比度拉伸和直方图均衡，并跳转到7.a；
39.其中，jc的取值范围为123到128；jd的取值范围为145到155；ad的取值范围为5到8；
40.7.b：若v
j1
大于等于jc且小于等于jd，则输出图像矩阵j
hsv1
；若否，则跳至7.b；
41.7.c：若v
j1
大于jd，则将对比度阈值在原来的基础上减1，并判断对比度阈值是否等于ae，若是，则输出图像矩阵j
hsv1
并结束本方法，若否则进行对比度拉伸和直方图均衡，并跳转到步骤7.c；
42.其中，ae的取值范围为0到2。
43.有益效果
44.所述基于lab色域变换、分类及白平衡的水下图像恢复方法，与现有技术相比，具有如下有益效果：
45.1.针对复杂多变的水下图像产生的蓝绿图像，准确分类以及进行针对性的增强非常关键，本申请基于lab色域处理蓝绿图像的同时，最大限度保留图像清晰度，又保证了与现有技术相比，更好的还原效果；
46.2.与目前针对水下图像的单一增强方法相比，通过照度分类以及蓝绿分类，辅助hsv域转换、均值获取以及阈值设定，为应用lab色域下的灰度世界的颜色调整奠定了基础，仿真与实验表明，本方法能够适应不同类型的水下图片；
47.3.本方法具体实现时考虑了光的传播和水下图像的真实物理形成，基于dcp去雾方法处理图像，再使用clahe、自适应直方图限制对比度及进行均衡，使得图像的对比度得到进一步增强，取得了较好的性能。
附图说明
48.图1是本发明基于lab色域变换、分类及白平衡的水下图像恢复方法的流程图；
49.图2为本发明方法与常用的几种的图像处理方法对3张图像进行增强及恢复处理的效果；
50.图3为本发明方法与常用的几种的图像处理方法对海参和海胆图像进行增强与恢复的处理效果对比。
具体实施方式
51.下面结合附图和实施例对本发明基于lab色域变换、分类及白平衡的水下图像恢复方法做进一步说明和详细描述。
52.实施例1
53.水下的图像增强主要有三种：直方图变换及灰度拉伸、基于成像模型、深度学习，其中，直方图变换及灰度拉伸、基于成像模型属于常用传统增强方式，三种方式各有优劣，深度学习的增强效果相对较好，但是非常耗费时间及资源。本发明提出的基于lab色域变换、分类及白平衡的水下图像恢复方法先对图像进行分类，按照借鉴深度学习中对图像进行分类的思想，以大气成像模型为主导，并结合传统图像增强方法，对水下多变环境下捕获的图像进行有效增强。
54.步骤1、采集水下图像信息，具体实施时，通过图像预处理将采集到的图像，缩放为统一维度的图像矩阵i；
55.其中，具体实施时，采集水下图像信息，具体实施时选择bubble vision网站及squid数据集(stereo quantitative underwater image dataset)作为参考和操作图像。所选图像均为高清图像，图像颜色丰富，可选择性多，使用时均储存为256
×
256的图像；
56.步骤2、将图像矩阵i转换为hsv域，得到h和s矩阵分量，并依据h1＝e(h)计算h矩阵的均值h1，依据s1＝e(s)/255计算s矩阵的均值s1；
57.其中，e为取均值操作；
58.步骤3、依据步骤2输出的h1和s1的数值判断所处范围，对hsv域图像矩阵表征的图像矩阵i进行分类，划分为偏蓝图像或偏绿图像，并依据偏蓝偏绿分类结果设定平衡参数值，具体如下：
59.3.a若h1在50和180之间且s1>0.3，则将图像矩阵i判定为偏绿图像，将平衡参数设为a1，并跳至步骤4进行颜色校正；
60.具体实施时，平衡参数a1值为1.3，可根据图像蓝绿程度及h1的值进行适当调整，设定规则为：若是h1的比较接近50，则将a1的值适当调大；若是h1的比较接近180，则将a1的值适当调小；
61.3.b若h1在180和300之间且s1>0.3，则将图像矩阵i判定为偏蓝图像，将平衡参数设为b1，并跳至步骤4进行颜色校正；
62.具体实施时，平衡参数b1值为3.5，根据图像蓝绿程度及h1的值进行适当调整，设定规则为：若是h1的值比较接近180，则将b1的值适当调小；若是h1的值比较接近300，则将b1的值适当调大；
63.3.c否则，若不满足3.a及3.b，即h1不在50和300之间或s1≤0.3，则将图像矩阵i输出至步骤5；
64.步骤4，步骤3判定的偏蓝或偏绿图像进行颜色校正，得到颜色校正后矩阵ilab，具体为：
65.步骤4.1将图像矩阵i转换为lab色域的图像矩阵j；
66.其中，图像矩阵j包括明度向量w、a通道向量a_color以及b通道向量b_color；
67.步骤4.2基于e_a＝e(a_color)计算a通道向量的均值e_a，基于e_b＝e(b_color)计算b通道向量的均值e_b；
68.步骤4.3基于平衡参数a1或b1进行颜色校正，输出校正后的图像矩阵ilab给步骤5，颜色校正依据如下公式(1)至(3)：
69.a_lab＝a_color
‑
((e_a
‑
128)*(w/255)*a1/b1)
ꢀꢀꢀꢀ
(1)
70.b_lab＝b_color
‑
((e_b
‑
128)*(w/255)*a1/b1)
ꢀꢀꢀꢀ
(2)
71.ilab＝[w,a_lab,b_lab]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0072]
步骤5：根据大气成像模型对步骤3输出的图像矩阵i或步骤4输出的图像矩阵ilab进行暗通道先验去雾后再转换为hsv色域图像，得到图像矩阵j
hsv
；
[0073]
其中，步骤3输出的图像矩阵i或步骤4输出的图像矩阵ilab，统称为图像矩阵i
dcpbefore
；
[0074]
步骤5，具体包括如下子步骤：
[0075]
步骤5.1：对图像矩阵i
dcpbefore
进行背景光bl进行估计，得到背景光bl；其中，背景光bl选取图像中红色光波与蓝色和绿色光波中最大值相差最大的点作为背景光的选取点；
[0076]
步骤5.2：在得到图像矩阵i
dcpbefore
的背景光bl之后，再求得大气光及透射率,然后根据暗通道先验计算得图像矩阵j
dcp
；
[0077]
步骤5.3将图像矩阵j
dcp
转换为hsv色域的图像矩阵j
hsv
；
[0078]
其中，图像矩阵j
hsv
包括h、s和v矩阵分量，记为h
j
、s
j
和v
j
分量；
[0079]
步骤6：根据图像矩阵j
hsv
的v
j
分量判定是否为低照度图像，明度对图像划分不同的层次，并设定相应的对比度阈值，对得到直方图均衡处理之后的图像j
hsv
；具体如下：
[0080]
步骤6.1：若图像矩阵j
hsv
的v
j
分量小于89，则将对比度阈值设置为4，进行对比度拉伸和直方图均衡；
[0081]
步骤6.2：若图像矩阵j
hsv
的v
j
分量大于90且小于110，则将对比度阈值设置为3，进行对比度拉伸和直方图均衡；
[0082]
步骤6.2：若图像矩阵j
hsv
的v
j
分量不属于步骤6.1和6.2的情况，则将对比度阈值设置为2，进行对比度拉伸和直方图均衡；
[0083]
步骤7.再步骤6对处理后的图像j
hsv
的v
j
进行判断，进行自适应调整，具体如下：
[0084]
7.1：若图像矩阵j
hsv
的v
j
分量小于126，则将对比度阈值在原来的基础上加1，再进行对比度拉伸和直方图均衡；否则，跳转步骤7.1；
[0085]
7.2：若图像矩阵j
hsv
的v
j
分量大于150，则将对比度阈值在原来的基础上减1，再进行对比度拉伸和直方图均衡；否则，跳转步骤7.2；
[0086]
7.3：若v
j
分量在126和150之间，则直接输出图像；
[0087]
至此，从步骤1到步骤7，完成了基于色域变换、分类及白平衡的水下图像恢复方法。
[0088]
对本发明方法与常用的几种的图像处理方法对同一图像进行增强处理，图像处理的效果如图2所示，对应的图像质量评价标准数据psnr、ssim和uciqe如表1所示。其中，对比方法分别为udcp：underwater dark channel prior；ulap：a rapid scene depth estimation model based on underwater light attenuation prior for underwater image restoration；ibla:underwater image restoration based on image blurriness and light absorption；mip:initial results in underwater single image dehazing。
[0089]
表1图像质量标准对比
[0090][0091]
由图2和表1的对比可知，本发明所述方法相较于其它方法，在同样的输入和参考图像情况下，有较好的处理效果。
[0092]
实施例2
[0093]
本申请所述方法具体实施时基于水下采集的图像信息，具体实施时选用real
‑
world underwater image enhancement(ruie)数据集的图像。该数据集采集于真实海洋环境评测平台，靠近黄海的獐子岛。图像数量多、色彩丰富、检测目标多样，利于可见性增强、色偏校正、等多个角度来衡量水下图像增强方法的性能。ruie数据集为水下真实图像数据库，图像集颜色多为偏绿图像，清晰度较低。具体实施时均储存为256
×
256的图像；图3为海参和海胆的处理效果对比；由图3的对比可知，本发明方法相较于其它方法，在同样的输入有较好的处理效果。
[0094]
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。