基于水下先验约束的图像复原方法与流程

本发明涉及一种计算机图像处理方法，尤其涉及一种图像复原方法。

背景技术：

海洋能源是我国的一项重要战略资源，海洋资源的开发与保护是我国建成海洋强国的重要基础。近年来，水下图像在海洋能源勘探、海洋生态保护以及海洋军事等领域有着极为广泛的应用^[1]。但由于受水下场景中的有机物和悬浮颗粒等的影响，水对光能量具有强烈的吸收和散射作用，使得水下图像存在对比度低，颜色失真和细节丢失等问题^[2]。因此，水下图像复原问题在计算机视觉应用领域和数字图像处理领域亟待解决^[3]。

现有的水下图像处理方法可分为基于图像处理技术的增强方法和基于成像模型的复原方法。基于图像处理技术的方法主要通过改变水下图像每个颜色通道的强度值以改善图像的亮度与颜色。ancuti等人^[4]将图像融合思想用于水下图像增强，该方法通过将权重图像与输入图像进行融合以增强图像的质量。fu等人^[5]提出了基于retinex理论的水下图像增强方法，该方法可显著提升图像的整体亮度，但会引入大量噪声，降低图像信噪比。基于成像模型的复原方法针对水下图像退化过程，构建适用于水下环境的成像模型以恢复清晰图像。chiang等^[6]通过假设已知水下图像的红、绿、蓝三种颜色的光的单位衰减比，通过各通道的颜色信息及单位衰减比去除颜色失真并且增强图像的对比度。wen等人^[7]通过研究光在空气和水中的传播特性的差异，发现由于水对光能量的选择性吸收作用，使得各个波长不同的颜色光的光衰减情况不一致，因此提出了一种新的水下光学成像模型并利用该模型恢复出颜色相对自然地清晰图像。galdran等人^[8]提出redchannel先验，通过对红通道反转和添加饱和度分量，减少衰减严重的红通道对透射率估计的影响，该方法虽然指出了三通道透射率之间的关系，但是并没有分开求解各通道透射率，而是通过对背景光加权调整各颜色分量，恢复图像仍存在较严重的颜色失真。

[参考文献]

[1]lic,guoj,congr,etal.underwaterimageenhancementbydehazingwithminimuminformationlossandhistogramdistributionprior[j].ieeetransactionsonimageprocessingapublicationoftheieeesignalprocessingsociety,2016,25(12):5664-5677。

[2]huangb,liut,huh,etal.underwaterimagerecoveryconsideringpolarizationeffectsofobjects[j].opticsexpress,2016,24(9):9826-9838。

[3]j.mertens,f.replogle.useofpointspreadandbeamspreadfunctionsforanalysisofimagingsystemsinwater.journaloftheopticalsocietyofamerica,1977,67(8):1105-1117。

[4]ancutic,ancutico,habert,etal.enhancingunderwaterimagesandvideosbyfusion[c].computervisionandpatternrecognition.ieee,2012:81-88。

[5]fux,zhuangp,huangy,etal.aretinex-basedenhancingapproachforsingleunderwaterimage[c].ieeeinternationalconferenceonimageprocessing.ieee,2015:4572-4576。

[6]chiangjy,chenyc.underwaterimageenhancementbywavelengthcompensationanddehazing[j].ieeetransactionsonimageprocessing,2012,21(4):1756-69。

[7]wenh,tiany,huangt,etal.singleunderwaterimageenhancementwithanewopticalmodel[c].ieeeinternationalsymposiumoncircuitsandsystems.ieee,2013:753-756。

[8]galdrana,pardod,picóna,etal.automaticred-channelunderwaterimagerestoration[j].journalofvisualcommunication&imagerepresentation,2015,26(c):132-145。

[9]gayajdo,codevillaf,duarteac,etal.singleimagerestorationforparticipatingmediabasedonpriorfusion[j].2016。

[10]mengg,wangy,duanj,etal.efficientimagedehazingwithboundaryconstraintandcontextualregularization[c].ieeeinternationalconferenceoncomputervision.ieee,2014:617-624。

[11]gouldrw,arnonera,martinolichpm.spectraldependenceofthescatteringcoefficientincase1andcase2waters.appliedoptics,1999,38(12):2377-2383。

技术实现要素：

针对上述问题，本发明提出一种基于水下先验约束的图像复原方法，首先，考虑水下三通道衰减差异，提出一种适用于水下环境的图像成像新模型；其次，利用一种有效的颜色校正算法去除水下图像中存在的色偏，并在颜色校正后的图像中使用shadesofgray算法估计水下环境光；然后，利用原始清晰图像的边界约束估计透射率，可以弥补目前很多方法对透射率估计不准的缺陷，并对估计得到的透射率进行细化；最后，利用求得的透射率与估计的环境光，并结合新的水下成像模型恢复出清晰的复原结果。该方案可以有效的去除水下图像中存在的颜色失真，并且可以增强图像的对比度，复原得到的结果颜色自然，细节清晰。

为了解决上述技术问题，本发明提出的一种基于水下先验约束的图像复原方法，包括以下步骤：

步骤1：输入的水下图像为ic(x)，利用一种基于统计方法的颜色校正算法去除水下图像中存在的颜色失真，包括：

首先，使用水下图像ic(x)的均值和均方误差值计算各个颜色通道的最大值与最小值：

式(1)中，是水下图像的均值，是水下图像的均方误差值，是水下图像各个颜色通道的最大值，是水下图像各个颜色通道的最小值，μ是控制图像动态范围的参数，μ＝3.0，c∈{r,g,b}表示红，绿，蓝三个颜色通道；

然后，通过各个颜色通道的最大值与最小值得到颜色校正后的水下图像

步骤2：在颜色校正后的水下图像中使用shadesofgray算法估计出水下场景中的光源颜色包括：

假设该光源颜色即为水下环境光通过该假设建立一水下成像模型：

式(3)中，是颜色校正后的水下图像，是水下环境光，t(x)是水下场景透射率，mc(x)是水下目标物体的表面反射率；由于各颜色通道具有不同的透射率，因此，对式(3)改进后得出：

式(4)中，tc(x)表明颜色校正后的水下图像的透射率tc(x)，表示为：

步骤3：利用式(5)得到的颜色校正后的水下图像的透射率tc(x)，得到颜色校正后透射率的下边界：

步骤4：图像局部块中的透射率具有一致性，因此，基于边界限制的透射率tbd_c(x)的表达式如下：

式(7)中，ωx和ωy是分别以x和y为中心的局部图像块，采用导向滤波对得到的透射率tbd_c(x)进行细化得到透射率估计值；

步骤5：完成透射率估计后即可得到最终的复原图像mc(x)：

与现有技术相比，本发明的有益效果是：

为了验证本发明提出算法的有效性，将本发明图像复原方法与现有主流水下图像复原算法进行对比。首先与文献[7]算法进行对比，图1的实验结果表明文献[7]算法虽然能够很好的恢复图像细节，但是复原后的图像颜色整体偏暗，近景处的红色分量被过度增强。与该算法相比，本发明的算法可以得到更加清晰的细节信息，得到的视觉效果更佳。

为客观评价本发明算法，使用文献[11]中提出的一种鲁棒的色偏检测方法说明彩色图像色偏情况。计算的k值越大，表示图像色偏越严重。

其中，mean_a，mean_b分别表示lab颜色空间中a，b两个分量的均值，m_a,m_b分别表示a,b两个分量的平均差，σ²为l分量的方差，thres为阈值，h,w为图像的分别率。

与此同时，使用lab颜色空间的l分量计算图像的对比度c，c越大说明图像细节越清晰。

其中，num表示l分量分块数目，ni为第i个l分量块的像素数，lbi(x)表示第i个l分量块中像素点x的像素值，lbi为第i个l分量块的均值。

图2和图3分别是本发明复原方法与文献[8]和文献[9]比较结果。由效果图可知，本发明算法在提高水下图像清晰度的同时，减弱了原始图像中的色偏问题，较好的保持了水下图像的主色调，视觉效果更加自然。从客观指标上来看，所提算法也在图像对比度和色偏问题上优于文献[8]和文献[9]的算法。

附图说明

图1利用本发明复原方法与文献[7]算法对原始图像1处理效果对比，其中，(a)是原始图像1(即水下图像)，c＝11.28，k＝2.57，(b)是利用文献[7]算法处理后的效果图c＝20.75，k＝2.06，(c)是利用本发明方法处理后的复原效果c＝29.72，k＝1.34；

图2利用本发明复原方法与文献[7]算法对原始图像2处理效果对比，其中，(a)是原始图像2，c＝13.01，k＝2.21，(b)是利用文献[8]算法处理后的效果图c＝14.62，k＝1.24，(c)是利用本发明方法处理后的复原效果c＝23.32，k＝1.18；

图3图2利用本发明复原方法与文献[7]算法对原始图像3处理效果对比，其中，(a)是原始图像3，c＝12.35，k＝1.99，(b)是利用文献[9]算法处理后的效果图c＝14.58，k＝1.59，(c)是利用本发明方法处理后的复原效果c＝17.34，k＝1.08；

上述c表示图像的对比度指标，c值越大图像越清晰，k表示图像的色偏指标，k值越小图像越接近真实颜色。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

由于水下图像与雾天图像都会受到各自媒介中的悬浮颗粒的影响，因此有许多学者使用大气散射模型作为水下图像的成像模型。但是，由于光在水下传播时既受到散射作用的影响，同时还受到吸收作用的影响。因此，将反映雾天衰减特性的大气散射模型作为水下图像的成像模型是不合理的。

文献[9]中假设水下环境光与光源颜色是近似相等的，并通过该假设给出一种新的水下成像模型：

ic(x)＝ac·mc(x)·t(x)+ac·(1-t(x)),c∈{r,g,b}

其中，ic(x)是观测到的水下图像，ac是水下环境光，t(x)是水下场景透射率，mc(x)是水下目标物体的表面反射率，c∈{r,g,b}表示红，绿，蓝三个颜色通道。考虑各颜色通道具有不同的透射率，可对上式进行改进：

ic(x)＝ac·mc(x)·tc(x)+ac·(1-tc(x)),c∈{r,g,b}

其中，tc(x)表明不同颜色通道具有各自不同的透射率。

由于在水下模型中求解透射率是一个病态问题，因此，通常需要先验信息或约束条件辅助求解。文献[10]中提出一种对于清晰图像的边界约束，并利用该约束求解场景透射率进行粗估计，得到基于局部图像块的场景透射率。

根据ic(x)＝ac·mc(x)·tc(x)+ac·(1-tc(x)),c∈{r,g,b}，水下场景透射率可表示成：

其中，水下环境光ac与水下目标物体的表面反射率mc(x)的强度可认为是严格限制0到1之间的，即：

0≤acmc(x)≤1,c{r,g,b}

结合式ic(x)＝ac·mc(x)·tc(x)+ac·(1-tc(x)),c∈{r,g,b}，可得到针对场景透射率的边界约束：

tc(x)∈[tlow_c(x),1],c∈{r,g,b}

其中，tlow_c(x)表示透射率的下边界，可写成：

本发明提出的一种基于水下先验约束的图像复原方法，主要处理过程是：对于输入的水下图像ic(x)，首先，考虑水下三通道衰减差异，提出一种适用于水下环境的图像成像新模型；其次，利用一种简单有效的颜色校正算法去除水下图像中存在的颜色失真(即色偏)，并在颜色校正后的图像中依据文献[9]的假设使用shadesofgray算法估计出水下场景中的光源颜色，可认为该光源颜色即为水下环境光；然后，利用边界约束条件对颜色校正后的水下图像进行透射率的粗估计，得到基于局部图像块的场景透射率，从而可以弥补目前很多方法对透射率估计不准的缺陷，并对估计得到的透射率进行细化，以去除透射率的块效应；最后，利用估计得到的场景透射率、水下环境光并结合新的水下成像模型恢复出清晰的复原图像。其具体步骤如下：

步骤1：输入的水下图像为ic(x)，利用文献[5]提出的一种基于统计方法的颜色校正算法去除水下图像中存在的颜色失真：首先，使用水下图像ic(x)的均值和均方误差值计算各个颜色通道的最大值与最小值：

式(1)中，是水下图像的均值，是水下图像的均方误差值，是水下图像各个颜色通道的最大值，是水下图像各个颜色通道的最小值，μ是控制图像动态范围的参数，μ＝3.0，c∈{r,g,b}表示红，绿，蓝三个颜色通道；

然后，通过各个颜色通道的最大值与最小值得到颜色校正后的水下图像

步骤2：在颜色校正后的水下图像中使用shadesofgray算法估计出水下场景中的光源颜色依据文献[9]提出的假设，可认为该光源颜色即为水下环境光通过该假设建立一种新的水下成像模型：

式(3)中，是颜色校正后的水下图像，是水下环境光，t(x)是水下场景透射率，mc(x)是水下目标物体的表面反射率；考虑各颜色通道具有不同的透射率，对式(3)改进后得出：

式(4)中，tc(x)表明不同颜色通道具有各自不同的透射率。

受文献[10]的思想所启发，针对水下成像环境，可认为对于水下每个颜色通道的来说，其强度值都具有各自的边界值，并且这种边界限制会作为一种约束条件作用于水下场景的透射率。因此，针对颜色校正后的水下图像，其透射率tc(x)可表示为：

步骤3：利用式(5)得到的颜色校正后的水下图像的透射率tc(x)，可进一步得到颜色校正后透射率的下边界：

步骤4：通常情况下，可认为图像局部块中的透射率是具有一致性的。因此，可得基于边界限制的透射率tbd_c(x)：

其中，ωx和ωy是分别以x和y为中心的局部图像块。为了去除透射率图中的块效应，恢复出更多的细节，采用导向滤波对得到的透射率tbd_c(x)进行细化得到透射率估计值。

步骤6：完成透射率估计的工作后，即可得到最终的复原图像mc(x)：

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。