专利名称：基于雾天图像复原和图像融合的图像去雾方法
技术领域：
本发明涉及图像处理领域，尤其涉及一种基于可见光图像和近红外图像，结合暗原色先验和加权最小二乘滤波器的去雾方法。
背景技术：
在雾天情况下，由于景物的能见度降低，以致在相机获取的图像中，目标对比度和颜色特征被大大地衰减，因此需要消除雾气的影响。随着计算机技术的不断发展，对有雾条件下的景物影像进行去雾处理已经成为可能。事实上，图像去雾一直是计算机视觉领域研究的重要内容，其主要应用在目标探测、视频监控、地形勘测和自动驾驶等领域。目前图像去雾的方法主要有两类，即雾天图像增强和雾天图像复原。雾天图像的增强方法不考虑图像退化的原因，单从图像处理的角度出发，增强图像的对比度，改善图像的视觉效果，突出图像的细节，但对于突出部分的信息可能会造成一定损失；雾天图像复原是研究雾天图像退化的物理过程，建立退化模型，反演退化过程，补偿由于雾气存在所造成的图像失真，从而改善雾天图像的质量。这种方法针对性强，得到的去雾效果自然，一般不会有信息损失，处理的关键点是模型中参数的估计。图像融合是指将不同波段采集到的同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各波段图像中的有效信息，最后融合成高质量的图像，从而提高图像信息的利用率，增强图像中信息透明度和目标的对比度，以形成对目标信息描述的清晰性、完整性和准确性。图像融合在医学、遥感、计算机视觉、气象预报及军事目标识别等方面的应用潜力得到充分认识、尤其在计算机视觉方面，图像融合被认为是克服目前某些难点的技术方向；在航天、航空多种运载平台上，各种遥感器所获得的大量光谱遥感图像的融合，为信息的高效提取提供了良好的处理手段，取得明显效益。但是，目前还没有提出结合雾天图像复原和图像融合的图像去雾方法，传统的雾天图像去雾方法的效果均不够理想。
发明内容
本发明的目的是提供一种去雾后图像清晰、对比度和清晰度高、细节丰富的基于雾天图像复原和图像融合的图像去雾方法。为解决上述技术问题，本发明采用的技术方案为一种基于雾天图像复原和图像融合的图像去雾方法，其实施步骤如下1)输入有雾的可见光图像，获取可见光图像的暗原色，并根据暗原色获取可见光图像的大气光值；2)根据暗原色先验获取可见光图像的透射率初始值，根据软抠图方法对透射率初始值进行优化，得到优化后的透射率；3)根据雾图形成模型，利用所述大气光值和所述优化后的透射率恢复有雾的可见光图像，得到初步去雾图像；4)输入与所述可见光图像同一场景的近红外图像，将近红外图像和所述初步去雾
4图像的亮度信息分别进行多次加权最小二乘滤波，根据滤波结果获取融合图像亮度信息；5)用融合后的图像亮度信息替代初步去雾图像的亮度信息，得到最终去雾图像。作为上述技术方案的进一步改进所述步骤1)中获取可见光图像的暗原色具体是指根据
/M(X) =Cy)))获取可见光图像的暗原色Itok，其中C表示r通道、g通道或者
b通道；Γ表示图I的C通道的分量，I为输入的可见光图像，Ω (χ)表示以像素点X为中心的正方形区域。所述步骤1)中获取可见光图像的大气光值具体是指首先从可见光图像的暗原色的所有点中提取部分最亮点，然后在所述部分最亮点对应可见光图像的像素中选择强度最大的像素点的值作为大气光值。所述步骤2、中根据暗原色先验获取可见光图像的透射率初始值具体是指根据
t' = l-m min(min；)获取可见光图像的透射率初始值t ‘，其中c为r通道、g通道或者b通
c Ω A
道；Γ为图I的c通道的分量，I为输入的可见光图像，Ω为以像素点X为中心的正方形区域，Ae为大气光值的c通道的分量，ω为常数系数。所述步骤2、中根据软抠图方法对透射率初始值进行优化具体是指根据t = Xt' /(L+λ U)获取优化后的透射率t，其中L为软抠图拉普拉斯矩阵，λ为修正参数，U 为和L相同大小的单位矩阵。所述步骤幻中恢复可见光图像具体是指根据) 获取初步去雾图
像J，其中I为输入的可见光图像，A为大气光值，t为优化后的透射率，t0为常数。所述步骤4)进行多次加权最小二乘滤波并根据滤波结果获取融合图像亮度信息具体是指将近红外图像或者初步去雾图像的亮度信息作为输入参数进行第一次加权最小二乘滤波，然后将当前的滤波结果作为下一次滤波的输入参数进行多次加权最小二乘滤波，获取每一次滤波的输入参数与输出结果的差值，并将该差值除以当次滤波的输出结果， 获得与滤波次数相对应的多组可见光图像亮度信息和近红外图像的对比图像；将所述多组对比图像中的每一组可见光图像亮度信息和近红外图像进行比较获取其中的较大值，然后将较大值加1后进行连乘运算，再将连乘运算结果乘以最后一次滤波输出的可见光图像的亮度信息，得到融合后的可见光图像的亮度信息。所述步骤4)中进行加权最小二乘滤波时，加权最小二乘滤波的表达式为 ΖΓ+1 =w^(Zak)，其中Ζ；"为第k次滤波的输入参数，Z表示输入的初步去雾图像的亮度信息或近红外图像，ζ:为第k次滤波的输出参数以及第k+1次滤波的输入参数，WvJO为加权最小二乘滤波器。所述加权最小二乘滤波器^^ (·)的表达式为^^ (O = (U + A0CkLgY1，其中λ Qck为
第k次滤波结果的粗糙度，λ ^为进行第一次滤波时输入参数的粗糙度，c为常数系数，k为滤波序号，Lg为拉普拉斯矩阵，U为和Lg相同大小的单位矩阵。本发明具有下述优点本发明提出了一种结合暗原色先验和加权最小二乘滤波器的图像去雾算法，利用基于暗原色先验的单幅雾天图像去雾方法，以及基于加权最小二乘滤波器的可见光图像和近红外图像的融合技术，得到清晰的去雾图像，该算法能有效地提高雾天图像的对比度和清晰度，增加图像细节信息，能显著改善由雾气造成的图像对比度下降、景物颜色失真以及亮度减弱等图像质量退化的情况，得到高质量的去雾图像，具有去雾图像清晰、对比度和清晰度高、细节丰富的优点。
图1为本发明实施例的实施流程示意图；图2为输入的有雾场景的可见光图像；图3为图2的暗原色；图4为根据暗原色先验由图2、图3获得的透射率初始值；图5为根据软抠图方法得到的透射率优化值；图6为根据雾图形成模型得到的初步去雾图像；图7为输入的同一场景的近红外图像；图8为根据最小二乘滤波由图6、图7得到的融合图像，即最终去雾图像。
具体实施例方式如图1所示，本发明实施例基于雾天图像复原和图像融合的图像去雾方法的实施步骤如下1)输入有雾的可见光图像，获取可见光图像的暗原色，并根据暗原色获取可见光图像的大气光值；2)根据暗原色先验获取可见光图像的透射率初始值，根据软抠图方法对透射率初始值进行优化，得到优化后的透射率；3)根据雾图形成模型，利用大气光值和优化后的透射率恢复有雾的可见光图像， 得到初步去雾图像；4)输入与可见光图像同一场景的近红外图像，将近红外图像和初步去雾图像的亮度信息分别进行多次加权最小二乘滤波，根据滤波结果获取融合图像亮度信息；5)用融合后的图像亮度信息替代初步去雾图像的亮度信息，得到最终去雾图像。步骤1)中获取可见光图像的暗原色具体是指根据= 41 ^%)))获取可见光图像的暗原色Itok，其中c表示r通道、g通道或者b通道；Γ表示图I的c通道的分量，I为输入的可见光图像，Ω (χ)表示以像素点χ为中心的正方形区域。Ω (χ)区域大小应以恰好能覆盖除天空区域以外的白色物体为宜，本实施例中，可见光图像(如图2所示)和近红外图像(如图7所示)的像素大小均为563*373，Ω (χ)区域大小为9*9大小的区域。图2的暗原色如图3所示。步骤1)中获取可见光图像的大气光值具体是指首先从可见光图像的暗原色的所有点中提取部分最亮点，然后在部分最亮点对应可见光图像的像素中选择强度最大的像素点的值作为大气光值。本实施例提取部分最亮点时，提取0. 数量的最亮点作为部分最
売点ο步骤幻中根据暗原色先验获取可见光图像的透射率初始值具体是指根据
6t' = l-m min(min；)获取可见光图像的透射率初始值t ‘，其中c为r通道、g通道或者b通
c ω a
道；Γ为图I的c通道的分量，I为输入的可见光图像，Ω为以像素点χ为中心的正方形区域，Ae为大气光值的c通道的分量，ω为常数系数。ω可取值0< ω ( 1，本实施例中ω =0. 8。暗原色先验来自对户外无雾图像数据库的统计规律，它基于经观察得到的这么一个关键事实——绝大多数的户外无雾图像的每个局部区域都存在某些至少一个颜色通道的强度值很低的像素。利用这个先验知识分析去雾模型，我们可直接估算图像的透射率以
及场景的深度信息。根据i' = l- min(min;)计算可见光图像的透射率初始值t'时运用
c ω a
了暗原色先验，其推导过程如下在计算机视觉和计算机图形中，下述方程所描述的雾图形成模型被广泛使用
I(x) =J (χ) t (χ) +A (l_t (χ))其中，I是指观测到的图像的强度，J是景物光线的强度，A是全球大气光成分，t 用来描述光线通过媒介透射到照相机过程中没有被散射的部分，称为透射率。假定在一个局部区域的透射率是恒定不变的，由雾图形成方程可以得到
J /7 = ^f 十重一 f对上式左右两边都进行与计算暗原色相同的操作，有
J w>TC·mirJmin-—) = {ηι η(ητ η-—)} + 1 - 根据暗原色先验π ηΩ (mincJc) — 0，上式可以写成￠ = 1- mi.n,.n (mi n:c现实中，即使是很晴朗的天气，空气中总会不可避免地包含一些杂质分子。因此， 引进一个常数ω ( < ω < 1)，有针对性的保留一部分覆盖遥远景物的雾，从而最终得到表
Γ
达式广= 1_ω min(min —)
ο透射率的初始值如图4所示。步骤2、中根据软抠图方法对透射率初始值进行优化具体是指根据t = λ t' / (L+λυ)获取优化后的透射率t，其中L为软抠图拉普拉斯矩阵，U为和L相同大小的单位矩阵，λ为修正参数，本实施例中λ = 10Λ雾图形成模型方程和抠图方程在形式上是相同的，透射率的分布可以当做是阿尔法的分布。因此，优化后的透射率可以通过最小化以下代价函数来求得E(t) = tTLt+A (t-t' )T(t-t')软抠图拉普拉斯矩阵中的元素L(i，j)定义如下
r ι rε^Σ1 + (/^^/(^ +JJ3)-1^.
剛八 KKKlJJ其中，wk为以像素点k为中心的3*3像素大小的窗口，|wk|为Wk窗口区域的像素个数，Sij为克罗内克符号，Ii是一个3*1的矩阵，三个元素分别是输入图像在i像素点处的r、g、b信息；1」是一个3*1的矩阵，三个元素分别是输入图像在j像素点处的r、g、b信息；μ k是窗口 wk窗口区域中元素的平均值；Σ k为Wk窗口区域中元素的方差；U3是一个3*3 的单位矩阵，ε也是一个修正参数，本实施例中ε = ΙΟ"20透射率的优化值如图5所示。步骤3)中恢复可见光图像具体是指根据J =+ j获取初步去雾图像J，
其中I为输入的可见光图像，A为大气光值，t为优化后的透射率，、为常数，本实施例中、 =0.1。初步去雾图像如图6所示。步骤4)进行多次加权最小二乘滤波并根据滤波结果获取融合图像亮度信息具体是指将近红外图像或者初步去雾图像的亮度信息作为输入参数进行第一次加权最小二乘滤波，然后将当前的滤波结果作为下一次滤波的输入参数进行多次加权最小二乘滤波，获取每一次滤波的输入参数与输出结果的差值，并将该差值除以当次滤波的输出结果，获得与滤波次数相对应的多组可见光图像亮度信息和近红外图像的对比图像；将所述多组对比图像中的每一组可见光图像亮度信息和近红外图像进行比较获取其中的较大值，然后将较大值加1后进行连乘运算，再将连乘运算结果乘以最后一次滤波输出的可见光图像的亮度信息，得到融合后的可见光图像的亮度信息。步骤4)中进行加权最小二乘滤波时，加权最小二乘滤波的表达式为 zL1 =w^AzD，其中ζ；"为第k次滤波的输入参数，ζ表示输入的初步去雾图像的亮度信息或近红外图像，ζ:为第k次滤波的输出参数以及第k+i次滤波的输入参数，『vi(_)为加权最小二乘滤波器。加权最小二乘滤波器WvO的表达式为^^O = (" + Vl》—1，其中λ Ock为第k
次滤波结果的粗糙度，λ ^为进行第一次滤波时输入参数的粗糙度，c为常数系数，k为滤波序号，Lg为拉普拉斯矩阵，U为和Lg相同大小的单位矩阵。本实施例中，= l，c = 2。拉普拉斯矩阵的表达式为、=DtxAxDx +DryAyDy，Dx和Dy为离散差分算子，Ax、Ay
是对角矩阵，其元素定义为= (]|cp)f + f)"", i e Cv.y.M表示输入图像的亮度信息的
常数对数值，P表示像素位置，α为常数系数，本实施例中，α =1.2，ε为一个很小的常数，本实施例中ε = 0.0001。本实施例中经过六次滤波之后，根据下式求取每一次滤波结果的对比图像 (contrast image)Zi1-z^ztl其中k为通过的滤波器序号，取值范围从1到6 ；Zak为第k个滤波器的输入参数， Z表示亮度信息V或近红外图像N ；Zak+1为第k个滤波器的输出参数；Zdk+1为第k个滤波器的输出结果的对比图像。将得到的每一组对比图像作比较取最大值，加1后连乘，将得到的值再乘以最后一个滤波器输出的亮度信息，即得到融合后的图像亮度信息，如下式F0 = 2 TT'"￥“)+ 1)
i ^k=I其中η为滤波次数(本实验中η = 6) ；Van+1为第η个滤波器输出的可见光图像亮度信息；Vdk+1为第k个滤波器输出的可见光图像亮度信息的对比图像；Ndk+1为第k个滤波器输出的近红外图像的对比图像；Π为连乘符号。最后，利用所得融合后的图像亮度信息，结合步骤(3)获得的可见光图像的初步去雾图像，即可得到最终的去雾图像，如图8所示。
以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而言，在不脱离本发明的原理的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种基于雾天图像复原和图像融合的图像去雾方法，其特征在于其实施步骤如下1)输入有雾的可见光图像，获取可见光图像的暗原色，并根据暗原色获取可见光图像的大气光值；2)根据暗原色先验获取可见光图像的透射率初始值，根据软抠图方法对透射率初始值进行优化，得到优化后的透射率；3)根据雾图形成模型，利用所述大气光值和所述优化后的透射率恢复有雾的可见光图像，得到初步去雾图像；4)输入与所述可见光图像同一场景的近红外图像，将近红外图像和所述初步去雾图像的亮度信息分别进行多次加权最小二乘滤波，根据滤波结果获取经融合的图像亮度信息；5)用融合后的图像亮度信息替代初步去雾图像的亮度信息，得到最终去雾图像。
2.根据权利要求1所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤υ中获取可见光图像的暗原色具体是指根据=41 , Pi^1(Poo))获取可见光图像的暗原色Itok，其中c表示r通道、g通道或者b通道；Γ表示图I的c通道的分量，I为输入的可见光图像，Ω (χ)表示以像素点χ为中心的正方形区域。
3.根据权利要求2所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤1)中获取可见光图像的大气光值具体是指首先从可见光图像的暗原色的所有点中提取部分最亮点，然后在所述部分最亮点对应可见光图像的像素中选择强度最大的像素点的值作为大气光值。
4.根据权利要求1所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤幻中根据暗原色先验获取可见光图像的透射率初始值具体是指根据t' = l-m min(min；)获取可见光图像的透射率初始值t ‘，其中c为r通道、g通道或者b通c ω a道；Γ为图I的c通道的分量，I为输入的可见光图像，Ω为以像素点χ为中心的正方形区域，Ae为大气光值的c通道的分量，ω为常数系数。
5.根据权利要求4所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤幻中根据软抠图方法对透射率初始值进行优化具体是指根据t= At' / (L+AU)获取优化后的透射率t，其中L为软抠图拉普拉斯矩阵，λ为修正参数，U为和L相同大小的单位矩阵。
6.根据权利要求1所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤3)中恢复可见光图像具体是指根据J=、+W获取初步去雾图像J，其中I为输入的可见光图像，A为大气光值，t为优化后的透射率，t0为常数。
7.根据权利要求1 6中任意一项所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤4)进行多次加权最小二乘滤波并根据滤波结果获取融合图像亮度信息具体是指将近红外图像或者初步去雾图像的亮度信息作为输入参数进行第一次加权最小二乘滤波，然后将当前的滤波结果作为下一次滤波的输入参数进行多次加权最小二乘滤波，获取每一次滤波的输入参数与输出结果的差值，并将该差值除以当次滤波的输出结果，获得与滤波次数相对应的多组可见光图像亮度信息和近红外图像的对比图像；将所述多组对比图像中的每一组可见光图像亮度信息和近红外图像进行比较获取其中的较大值，然后将较大值加1后进行连乘运算，再将连乘运算结果乘以最后一次滤波输出的可见光图像的亮度信息，得到融合后的可见光图像的亮度信息。
8.根据权利要求7所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤4)中进行加权最小二乘滤波时，加权最小二乘滤波的表达式为 ΖΓ+1 =^(Ζ)，其中Ζ；"为第k次滤波的输入参数，Z表示输入的初步去雾图像的亮度信息或近红外图像，Ζ:为第k次滤波的输出参数以及第k+Ι次滤波的输入参数，^/(·)为加权最小二乘滤波器。
9.根据权利要求8所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述加权最小二乘滤波器^/(·)的表达式为=^其中XtlCk为第k次滤波结果的粗糙度，λ ^为进行第一次滤波时输入参数的粗糙度，C为常数系数，k为滤波序号，Lg为拉普拉斯矩阵，U为和Lg相同大小的单位矩阵。
全文摘要
本发明公开了一种基于雾天图像复原和图像融合的图像去雾方法，其实施步骤如下1)输入有雾的可见光图像，获取可见光图像的大气光值；2)根据暗原色先验获取可见光图像的透射率初始值，根据软抠图方法对透射率初始值进行优化，得到优化后的透射率；3)根据雾图形成模型，利用大气光值和优化后的透射率恢复可见光图像，得到初步去雾图像；4)输入同一场景的近红外图像，将近红外图像和所述初步去雾图像的亮度信息分别进行多次加权最小二乘滤波，根据滤波结果获取经融合的图像亮度信息；5)用融合后的图像亮度信息替代初步去雾图像的亮度信息，得到最终去雾图像。本发明具有提高图像的对比度和清晰度、增加图像细节的优点。
文档编号G06T5/50GK102254313SQ201110196878
公开日2011年11月23日 申请日期2011年7月14日 优先权日2011年7月14日
发明者冯华君, 徐之海, 李奇, 陶叔银 申请人:浙江大学