除雾装置及图像生成方法与流程

本发明涉及一种除雾装置，尤其涉及一种范围很广的除雾技术。

背景技术：

在日本专利特开2012-168936号公报中公开了一种基于大气模型的除雾技术(参见背景技术栏)。大气模型是指在大气中有悬浮微粒时，由摄像机拍摄物体或者用肉眼观察物体的光学原理。大气模型如以下的式(1)所示。

I(x)＝J(x)t(x)+A(1-t(x))…式(1)

I表示观测图像(有雾的图像)、J表示处理图像(无雾的图像)、t表示雾浓度、x表示对象像素的座标、A表示气辉。

通过摄像装置观察的图像I(x)由来自于物体的反射光J(x)被空中的悬浮微粒散射后仍然残存的部分J(x)t(x)以及太阳光被空中的悬浮微粒散射后形成的大气环境光A(1-t(x))构成。

另外，在所述公报的图10中使用显示所述I(x)、J(x)、A、t(x)各值的图像来进行说明。

通过上述式(1)可以求出雾浓度t和气辉A，从观测图像I可以求出处理图像J。

Kaiming He等人在2009年的有关计算机视觉和模式识别(Computer Vision and Pattern Recognition)的IEEE会议的论文“Single Image Haze Removal Using Dark Channel Prior”中提供了新型除雾技术。

简单来说，所述大气模型中，针对各像素，通过下述式(2)求得包含周边像素的像素值的最小值(暗原色先验(Dark Channel Prior(以下简称为DCP)))，假设相关的值表示雾浓度，通过该DCP的值来改变除雾的程度。

[式1]

在普通的无雾的自然图像中，由于在哪个像素的周边都有阴影和饱和度高的部分，因此DCP的值几乎为0。另一方面，在有雾的图像中，由雾使亮度变高，从而DCP的值也变高。因此，通过进行使DCP为0的处理，使得除雾成为可能。

技术实现要素：

发明要解决的问题:

然而，在所述除雾方法中存在如下问题。在雾很浓的图像中，色彩成分较少，成为没有起伏的图像。在相关的图像中，DCP与输入图像成为相接近的值，如果进行使DCP的值为0的处理，处理后的图像会变得非常暗。相反，如果为了防止图像变暗而将参数设定得较弱的话，除雾效果也会变弱，造成图像无法变得清晰的问题。

本发明的目的是为了解决上述问题而提供一种除雾装置，从含有雾的图像中进行除雾。

解决问题的方案:

(1)本发明所述的除雾装置包括：分离模块，从含雾图像中分离出反射率成分和照明光成分；反射率成分除雾模块，针对分离出的所述反射率成分，基于另外确定的雾浓度进行除雾；照明光成分除雾模块，针对分离出的所述照明光成分，基于所述雾浓度进行除雾；以及合成模块，将除雾后的所述反射率成分及除雾后的所述照明光成分进行合成；所述反射率成分除雾模块中的除雾与所述照明光成分除雾模块中的除雾，其除雾度不同。

如此一来，通过在所述反射率成分与所述照明光成分使除雾度不同并进行合成，能够实现更加灵活的除雾处理。

(2)在本发明所述除雾装置中，所述反射率成分除雾模块中的除雾比所述照明光成分除雾模块中的除雾的除雾度更高。因此，即使是所述雾较浓的情形，也能够得到在强化边缘的同时保持了图像整体亮度的图像。

(3)在本发明所述除雾装置中，所述照明光成分除雾模块中的除雾比所述反射率成分除雾模块中的除雾的除雾度更高。因此，即使下调了图像整体亮度，也能够得到不强化边缘的图像。

(4)本发明所述图像生成方法中包括：从含雾图像分离出反射率成分和照明光成分；针对所述反射率成分基于另外确定的雾浓度进行除雾；针对所述照明光成分基于所述雾浓度进行除雾；将除雾后的所述反射率成分及除雾后的所述照明光成分进行合成；通过针对所述反射率成分的除雾处理与针对所述照明光成分的除雾处理，生成改变了除雾度的图像。因此，能够生成因所述反射率成分与所述照明光成分使所述除雾度不同的图像。

(5)本发明所述除雾装置中包括：分离模块，从含雾图像中分离出反射率成分和照明光成分；反射率成分除雾模块，针对分离出的所述反射率成分，基于另外确定的雾浓度进行除雾；照明光成分除雾模块，针对分离出的所述照明光成分，基于所述雾浓度进行除雾；以及合成模块，将除雾后的所述反射率成分及除雾后的所述照明光成分进行合成。因此，能够使所述反射率成分与所述照明光成分相独立地进行除雾处理。

(6)本发明所述除雾装置中包括：分离模块，从含雾图像中分离出反射率成分和照明光成分；反射率成分除雾模块，针对分离出的所述反射率成分，基于另外确定的雾浓度进行除雾；以及合成模块，将分离出的所述照明光成分及除雾后的所述反射率成分进行合成。因此，能够生成仅针对反射率成分实施了所述除雾处理的图像。

(7)本发明所述除雾装置中包括：分离模块，从含雾图像中分离出反射率成分和照明光成分；照明光成分除雾模块，针对分离出的所述照明光成分，基于另外确定的雾浓度进行除雾；以及合成模块，将除雾后的所述照明光成分及分离出的所述反射率成分进行合成。因此，能够生成仅针对照明光成分实施了所述除雾处理的图像。

另外，在本发明说明书中，“雾”是指也包含霭、薄雾、烟、粉尘、砂尘、雨、雪的概念。

针对权利要求所述的各种模块与实施方式的结构的对应进行说明。雾浓度计算部11相当于“计算模块”。照明光分离部4相当于“分离模块”。反射率成分除雾部13相当于反射率成分除雾模块，照明光成分除雾部14相当于“照明光成分除雾模块”。合成部16相当于“合成模块”。

本发明的特征、其他的目的、用途、效果等可以参照实施方式及附图而变得明了。

附图说明

图1表示图像处理装置1的结构。

图2表示照明光成分及反射率成分与除雾强度的关系。

具体实施方式

以下，参照附图对本发明中的实施方式进行说明。图1表示具有与本发明的一实施方式相关的除雾装置10的图像处理装置1的结构。

除雾装置10具有照明光分离部23、反射率成分除雾部13、照明光成分除雾部14、雾浓度计算部11、及合成部16。

照明光分离部23具有边缘保留型低通滤波器，通过YUV转换部3算出被转换的YUV数据的局部亮度的加权平均值，即算出照明光成分，从而进行照明光成分与反射率成分的分离。

雾浓度计算部11使用分离出的照明光成分计算被提供的输入图像的雾浓度。在本实施方式中，假设背景技术中说明的DCP表示雾浓度，通过该DCP的值求出最终的雾浓度t。

反射率成分除雾部13针对反射率计算部12算出的反射率成分进行除雾。照明光成分除雾部14针对被分离出的照明光成分进行除雾。通过照明光成分除雾部14与通过反射率成分除雾部13进行除雾的除去度不同。具体以后说明。

合成部16使用进行了除雾的照明光成分和所述反射率成分合成被除雾的图像。所合成的图像在RGB转换部18从YUV数据转换为RGB数据。

针对照明光成分除雾部14和反射率成分除雾部13进行的除雾进行说明。

在视网膜大脑皮层(Retinex)理论中，观测图像I被定义为照明光L与反射率R之积。

I＝RL…式(3)

将大气模型的式(1)变形后能够得到式(4)。

能够得到J(x)＝(I(x)-A)/t(x)+A…(4)

此处，对上述I、J、A适用Retinex理论，以反射率成分与照明光成分之积的形式对每一个进行表示时，求得下述式(5)。

J_R J_L＝(I_R I_L-A_R A_L)/t+A_RA_L…式(5)

此处，在大气模型中，假设在气辉A中没有反射率成分。而且，当然，大气模型的式(1)对照明光成分也成立。因此，如果考虑将所述式(4)限定为照明光成分的话，则可以设定下述两个限制条件。

A_R＝1…式(6)

J_L＝(I_L-A_L)/t+A_L…式(7)

将式(6)、(7)代入式(5)后推导出式(8)。

J_R＝(I_R I_L-(1-t)A_L)/(I_L-(1-t)A_L)…式(8)

从该式(8)可以看出，J_R的值当I_R>1时则大于I_R，当I_R<1时则小于I_R。也就是说，针对反射率成分，根据雾浓度来进行强化边缘的处理，这与由雾引起的边缘变模糊具有一致性。

这样一来，通过式(7)对照明光成分的除雾、通过式(8)对反射率成分的除雾，从而能够分别将照明光成分和反射率成分进行除雾。

使用图2针对能够将照明光成分和反射率成分分别进行除雾的优点进行说明。如果增大除雾度，则反射率成分的边缘强化度会变高，照明光成分的亮度会减少。相反，如果减小除雾度，则反射率成分的边缘强化度会降低，照明光成分的减少度会降低。也就是说不会变得这么暗。因此，针对雾较浓、色彩较淡、缺乏起伏的图像，如果增大除雾度，虽然边缘会加强，但图像会变暗。

针对于此，本方案中虽然也是这样的图像，但可以针对反射率成分增大除雾度，而另一方面可以针对照明光成分减小除雾度。因此能够在保持了图像亮度的同时还提高可视性。

作为对相关的照明光成分和反射率成分改变除雾程度的方案，可以使用令照明光成分、反射率成分各自的除雾处理中的雾浓度不相同的值，或者对照明光成分、反射率成分各自的除雾处理结果进行加权即可。

作为前者，例如可以将式(7)、式(8)中的值t变为两个。如果是雾较浓且图像的平均亮度较低(不高)的图像，最好是边缘强化了但亮度没怎么下降。因此，如果把照明光成分的值t作为t_L、把反射率成分的值t作为t_R，则只要使照明光成分的除雾减弱，使反射率成分的除雾加强(t_L>t_R)即可。

另外，如果要针对除雾处理结果进行加权，则例如可以像以下这样来做。

将除雾后的照明光成分作为J_L、将加权的结果作为J_L’，在下述式(9)中求得J_L’。

J_L’＝I_L+k(J_L-I_L)…(9)

式(9)并不是在求出的值上乘上系数，而是对来自于原图像的改变量，通过系数k能够进行改变，从而改变权重。具体地，当想要使照明光成分的除雾程度减弱时，可以使k<1。

如此，将含有识别障碍的图像分别分离成Retinex理论中的照明光成分、反射率成分，对他们分别进行图像处理，使得基于大气模型的所述除障强度不相同，然后将二者进行合成，从而能够针对每一个的识别障碍实现减轻处理。在本实施方式中，针对照明光成分降低其因雾而变亮的部分的亮度，针对反射率成分强化其因雾而变模糊的边缘，但由于二者为相对而言的值，因此，虽然只是减弱了对照明光成分的处理，但也达到了同样的效果。

另外，关于对除雾后照明光成分和除雾后反射率成分分别进行的调整，除此以外的组合方式也是可以适用的。

(2.另一实施方式)

本实施方式中，暂且对通过YUV值来判断RGB值的情形进行了说明，但也可以采用其他的颜色空间模型(HSV等)。在雾浓度计算和/或除雾处理中，如果有必要，也可以在该阶段中从RGB进行转换。

另外，在本实施方式中以除雾的情形为例进行了说明，但对于除去雾以外的外光成分的情形也同样适用。

在本实施方式中，通过DCP求得了雾浓度，但关于雾浓度的计算，其他方案也是可以的，而且操作人员也可以进行手动调整。

上述中对本发明的较佳实施方式进行了说明，但只是用于说明而不用于限定，不脱离本发明的范围及精神，在附带的权利要求的范围内也是可以进行改变的。

附图标记说明

4 照明光分离部

13 反射率成分除雾部

14 照明光成分除雾部

16 合成部