基于光照调整的图像增强方法和设备的制造方法
【技术领域】
[0001] 本发明涉及图像处理领域，特别涉及基于光照调整的图像增强方法和设备。
【背景技术】
[0002] 随着移动设备性能不断升级和普及，在日常生活中，人们越来越习惯于随时随地 的对感兴趣事物进行拍照或摄像，但这些图像或视频的生成往往是在非限制性的条件下， 这就导致图像中会存在光照不均匀情况。对于非均匀光照图像的处理已成为图像处理领域 迫切需要解决的问题。
[0003] 为了解决光照不均勾问题，科研人员开展了大量的研究。Retinex(Retina and Cortex)理论被广泛地用于光照不均匀图像的增强。该理论假设图像是由亮度分量和反射 分量结合而成，且两个分量是可以分离处理的。早期的Retinex算法在补偿光照的同时，压 制了图像的动态范围，且会出现光晕和颜色失真现象。为了解决光晕和色彩失真问题，采用 多尺度Retinex色调映射的方法来增强非均匀光照图像，但增强图像显得不够自然。结合 Retinex原理和双对数亮度滤波器，进一步提高图像的能见度和自然性，但其计算复杂度很 高，耗时大，亮度变化大。
【发明内容】
[0004] 本发明为解决现有算法实时性差和增强效果不理想的问题，提出一种基于 Retinex理论的自适应Gamma增强算法，利用Retinex理论分离图像的亮度分量和反射分 量，对亮度分量进行自适应Gamma校正，最后利用反射分量恢复图像的细节和色彩。实验结 果证明，所提算法具有图像清晰度更高，增强效果更为自然，时效性更好等优点。
【附图说明】：
[0005] 图1是基于光照调整的图像增强方法；
[0006] 图2是图像Boy的增强结果；
[0007] 图3是图像Museum的增强结果；
[0008] 图4是图像Cockpit的增强结果；
[0009] 图5是图像Girl的增强结果；
[0010] 图6是图像Hall的增强结果；
[0011] 图7是图像Building的增强结果；
[0012] 图8是ISP芯片中应用图像增强方法。
[0013] 技术方案
[0014] 如图1所示，图1给出了基于光照调整的图像增强算法流程图，本文将针对几种不 同类型的降质图像，通过所提出图像增强算法进行处理，并分别与不同的算法进行对比，来 验证本文所提算法的性能和通用性。
[0015] 对基于光照调整的图像增强算法分为几个步骤：
[0016] 步骤一：获取观测图像I (x，y);
[0017] 步骤二：对观测到的图像进行分解，将图像分解成为反射分量和亮度分量；
[0018] Retinex理论认为图像是由亮度分量和反射分量组成。假设RGB图像I (X，y)各通 道具有相同的亮度，即：
[0019] Γ (x, y) = Rc (x, y) · L (x, y), c e {r, g, b} (I)
[0020] 式中!T(X，y)表示各个通道的反射分量，L(x，y)表示图像的亮度分量。通常，将 RGB通道的最大值作为人眼观察的照度V (X，y)。
[0021]
[0022] 根据Retinex理论，用2D高斯滤波器G (X，y)对照度图像V (X，y)进行卷积可获得 图像的亮度分量L(x，y)。
[0023] L(x,y) = G (x, y) *V (x, y) (3)
[0024] 由此，反射分量Re(x，y)可以被分离出来。
[0025] Rc (x, y) = Γ (x, y) /L (x, y), c e {r, g, b} (4)
[0026] 反射分量主要包含了图像的高频成分，包括边缘和细节。
[0027] 步骤三：对亮度分量进行Gamma变换；
[0028] 在获取图像亮度分量后，对其进行自适应Gamma校正。
[0029] Len (x,y) = L(x,y)Y(x'y) (5)
[0032] Len (x, y)表示增强后的亮度分量，γ (x, y)表示Gamm校正系数矩阵，Pu(I)为对 应于各亮度倌的权倌分布函数：
[0030]
[0031]
[0033]
[0034] 式中，P⑴是亮度分量的概率密度函数，p_为P(I)的最大值，p _为P(I)的最 小值，P(I)可通过下式求得：
[0035] P⑴=n/rip (9)
[0036] 式中，Ii1为对应的亮度所含像素数，η ρ为亮度分量包含的像素总数。
[0037] 步骤四：将反射分量和变换后的亮度分量合成；
[0038] 融合Lot(X，y)及IT (X，y)即可得到最终的增强图像(X，y)。
[0039] ILm(χ, γ) = Rc (.v，3') · Len (x,y), c e {r,g,b} (10)
[0040] 步骤五：形成增强的图像。
[0041 ] 增强的图像质量评价：
[0042] 为评价本文算法的性能，选取先进的Retinex非均匀光照图像增强算法，进行主 观评价、客观评价和时效性比较。
[0043] 1.主观评价
[0044] 图2~7为不同场景的非均匀光照图像处理结果。图2原图为晴天户外，男孩的脸 部处于阴影中，脸部能见度低。图3原图为室内弱光照图像，展示柜后的场景景物不清晰。 图4原图中有玻璃反光，飞机舱内的事物能见度低。图5原图中，由于光照被遮挡，右侧显 得很暗。图6原图为室内非均匀光照图像。图7为户外阴天建筑照片的处理结果，原图红 色框内局部图像的处理结果列于对应的增强图像的下方。
[0045] 文献1 (张尚伟，曾平，罗雪梅，等.具有细节补偿和色彩恢复的多尺度Retinex 色调映射算法[J].西安交通大学学报，2012, 46(4) :32-37)算法的处理结果增强效果不 够明显，图像的动态范围受到压缩。文献2 (Wang S, Zheng J, Hu H，et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing, 2013, 22 (9) :3538 - 3548.)算法的处理结果使图像 在全局和局部的清晰度得到大幅提高，但图像的动态范围也被压制。本发明算法不仅能显 著提高图像全局和局部区域的清晰度，而且使图像具有很好的动态范围和主观自然感。
[0046] 2.客观评价
[0047] 为了对处理图像进行客观的评价，本文引入EBCM (edge based contrast measure)，VE(visible edges)，NIQE(naturalness image quality evaluator)等评价指 标。其中EBCM用于评价图像的对比度，该参数数值越大，则图像的对比度越高。VE用于评 价增强图像相对于原图的能见度提高的比例，其值越大，则图像中事物能见度越高。NIQE用 于评价图像的自然性，其值越小，说明图像的自然性越好。
[0048] 表1~3分别列出了图2~7中图像的评价指标结果。从表中可以看出，各算法处 理后图像相对于原图在对比度、能见度、自然性三个方面都得到了显著提高。本文的方法显 然比文献[1]和文献[2]中算法具有更好的性能：在对比度方面，分别平均提高了 49. 7% 和10. 8% ;在能见度方面，分别平均提高了 102. 4%和38. 5% ;在自然性方面，分别提高了 31%和 16. 4%。
[0049] 表1各算法的EBCM结果 [00501
[0051] 表2各算法的VE结果
[0052]
[0053] 表3各算法的NIQE结果
[0054]
[0055] 3.时效性比较
[0056] 为了比较各算法的时效性，表4示出了各种算法对大小为2000 X 1312图像的平均 耗时，这些数据是在硬件参数3. 3GHz CPU、4GB RAM电脑上利用Matlab 2014的测试结果。 显然，本文所提方法的时效性最好，仅为文献[6]耗时的11%和文献[7]耗时的2%。
[0057] 表4各算法的处理2000 X 1312图像的平均耗时
[0058]
[0059] 从实验结果中可以观察到，本发明所提出的自适应Ga_a增强算法可以将一幅观 测RGB图像分离成亮度图像和反射率图像。由于只针对图像的亮度进行处理，没有引入颜 色信息。因此分离出的亮度图像和反射率图像均为灰度图像，其中亮度图像很好地反应了 周围环境的亮度信息，同时具有空间平滑的性质。反射率图像则保留了图像自身的边缘和 细节信息，这些特点很好地证明了本歌名所提出的新的目标函数，即公式（10)的合理性。 而在RGB空间下，亮度图像和反射率图像除了拥有HSV空间下的计算结果的特性外，还显示 了颜色信息。从结果中可以看出，通过Ga_a矫正对光照进行调整再结合反射率所得到的 增强图像，除了增强细节部分，提升阴暗区域的亮度的同时，主观视觉效果也会有一定地改 善。
[0060] 本发明提出的算法可以应用在电视、手机、摄像机等图像和视频相关的通用设备 上。可以应用到特定场合（医学、军事、公共安全等）的图形增强。本节介绍算法在高清摄 像机上的应用。
[0061] 通常，为了提高图形处理的的性能，高清摄像机都集成了图像信号处理器 ISP(Image Singal Processor)，用于对图像传感器（CCD或CMOS)输出的信号进行后期处 理（如：3D降噪、帧累积、强光抑制），进而增强所输出图像的质量，满足特定应用的需求。 可以将本文的算法集成到ISP芯片中，实现对非均匀光照条件下的图像增强。系统组成如 图7所示。
[0062] 本发明提出了一种基于Retinex理论的自适应Gamma增强方法，利用Retinex理 论分离图像的亮度分量和反射分量，对亮度分量进行自适应Gamma校正，最后利用反射分 量恢复图像的细节和色彩。本文算法解决了现有Retinex算法时效性差和处理效果不理想 的问题，该算法处理的非均匀光照图像具有最佳的对比度、能见度、自然性和时效性。本文 算法对硬件无特殊要求，可移植到各种电视、手机、摄像机或其他具有显像功能的电子产品 中。
【主权项】
1. 一种基于光照调整的图像增强方法，其特征在于，本方法分为几个步骤： 步骤一：获取观测图像I(x，y); 步骤二：对观测到的图像进行分解，将图像分解成为反射分量和亮度分量； Retinex理论认为图像是由亮度分量和反射分量组成，假设RGB图像I(x，y)各通道具 有相同的亮度，即： Ic (x, y) = Rc (x, y) ? L (x, y), c G {r, g, b} (1) 式中IT(x，y)表示各个通道的反射分量，L(x，y)表示图像的亮度分量。通常，将RGB通 道的最大值作为人眼观察的照度V(x，y)，⑵ 根据Retinex理论，用2D高斯滤波器G(x，y)对照度图像V(x，y)进行卷积可获得图像 的亮度分量L(x，y)， L(x,y) = G(x,y)*V(x,y) (3) 由此，反射分量Re(x,y)可以被分尚出来， Rc(x，y) = Ic(x，y)/L(x，y)，c G {r，g，b} (4) 反射分量主要包含了图像的高频成分，包括边缘和细节， 步骤三：在获取图像亮度分量后，对其进行自适应Gamma校正；Un(x，y)表示增强后的亮度分量，Y(x，y)表示Ga_a校正系数矩阵，PU(1)为对应于 各亮度值的权值分布函数：(§)' 式中，P⑴是亮度分量的概率密度函数，P_为P(l)的最大值，P_SP(1)的最小值，P(l)可通过下式求得： P(l) =rij/rip(9) 式中，叫为对应的亮度所含像素数，np为亮度分量包含的像素总数； 步骤四：融合LOT(x，y)及IT(x，y)即可得到最终的增强图像IOT(x，y)。 Kn(j) = (-y,>?)?A*(-^}%C(E\rU〇)2. -种高性能图像信号处理器ISP，其特征在于，使用了权利要求1所述的方法。
【专利摘要】本发明提出了一种基于Retinex理论的自适应Gamma增强方法，利用Retinex理论分离图像的亮度分量和反射分量，对亮度分量进行自适应Gamma校正，最后利用反射分量恢复图像的细节和色彩。本发明解决了现有Retinex算法时效性差和处理效果不理想的问题，处理的非均匀光照图像具有最佳的对比度、能见度、自然性和时效性。
【IPC分类】G06T5/00
【公开号】CN105096278
【申请号】CN201510608275
【发明人】马玉军, 赵雪, 刘丽, 刘晓慧, 刘中艳
【申请人】南阳理工学院
【公开日】2015年11月25日
【申请日】2015年9月22日