一种非均匀光照图像二次曝光的实现方法
【专利摘要】本发明公开了一种非均匀光照图像二次曝光的实现方法，包括以下步骤：获取光照图像；获取反射图像；将光照图像和反射图像叠加获取全局增强结果，并将全局增强结果和原始图像融合；对增强结果进行颜色校正，获取视觉匹配图像。本发明通过约束光照图像的平滑性质，并对反射图像通过视觉阈值特性进行锐化，保证了图像的细节信息；通过图像融合方法，有效保持了原始图像亮区的亮度、对比度和颜色信息，而且由于引入了人眼视觉感知平均背景亮度的特性，使得融合后的图像能够有效消除阴影边界附近图像颜色扭曲；通过色彩校正技术对低照度区域的色彩进行了恢复，使得低照度区域和亮区的色彩没有明显的畸变，连续性较好，视觉效果更加自然。
【专利说明】一种非均匀光照图像二次曝光的实现方法【技术领域】
[0001]本发明属于图像二次曝光【技术领域】，尤其涉及一种非均匀光照图像二次曝光的实现方法。
【背景技术】
[0002]目前宽动态技术主要采用特殊DSP(数字信号处理)电路，对明亮部分进行最合适的快门速度曝光，然后再对暗的部分用最合适的快门速度曝光，之后将两个图像进行DSP处理重新组合，使明亮的部分和暗的部分可以看得清楚，这需要很高的技术使色彩和清晰度损失最小，然而由于CCD的特性所限制，摄像机宽动态范围最大能到60dB，因此即便使用最先进的宽动态技术摄像机，在复杂光照条件下依然会得到非均匀光照图像，从而造成即得图像不能满足“视觉匹配”的问题。
[0003]目前针对非均匀光照图像增强的主要算法有:基于直方图操作的算法；基于邻域的非线性图像增强方法；基于视觉特性的图像增强方法；基于视觉皮质模型的图像增强方法；基于小波及后续发展的多种X-1et变换的多尺度图像增强算法；基于偏微分方程的图像增强方法。[0004]基于直方图操作的算法如直方图均衡(Histogram equalization, HE)是图像增强广泛采用的技术，但HE是在整体范围内改善光照环境影响的全局增强方法，实际处理时一幅图像的不同部分可能有不同的图像质量，此时就需要基于邻域的局部方法来处理，自适应直方图均衡(Adaptive histogram equalization, AHE),对比度限制自适应直方图均衡(Contrast limited adaptive histogram equalization, CLAHE)和基于人类视觉临界可见偏差引导的自适应直方图均衡(JND-guided adaptive contrast enhancement, JGACE),都是基于局部操作更深入的探讨，但AHE往往存在较严重的过冲，而在其改进算法中局部操作的参数选择和控制也存在困难，根据AHE的发展思路，局部直方图规定化也有改进，同时在使用直方图统计方面，R.C.Gonzalez等分析了一种基于局部统计(Localstatistics, LS)的增强方法，Kim等提出了梯度处理与统计处理相结合的图像增强技术，虽然在增强性能和噪声放大方面存在不足，但是局部统计量是形成算法自适应的关键，其提供了较好的案例，ZhiYu Chen等提出了灰度级组合(Grey-level Grouping, GLG)的方法，其在特定准则下实现了灰度级的重新组合，依靠查找表实现快速寻优，基本方法和自适应改进都体现了算法性能优良，Kwok等将原始直方图在相邻像素值间光滑，而后从新映射得到增强后图像，尤其在面向天空等视景时处理效果良好。
[0005]基于邻域的非线性增强方法对非均匀光照图像从全局和局部两个方面进行处理，引向了较为深入的复合思路，OldDominion大学视觉实验室从2003年起一直致力于非均匀光照图像增强算法的研究和实时化，提出了一系列方法:自适应邻域依赖的非线性增强(Adaptive integrated neighborhood dependent approach for nonlinearenhancement, AINDANE)，光照-反射模型图像增强(Illuminance-ref lection modelfor image enhancement, IRME),局部调整 Sine 函数非线性增强(Locally tuned sinenonlinear enhancement, LTSNE)等,许多学者针对特殊场景也进行了相关改进工作，如多窗逆 Sigmoid 变换方法(Multiple windowed inverse sigmoid, MWIS), Li Tao 等一系列文章提供了一个非常重要的图像增强核心框架，其具体分成两个计算步骤:亮度增强和对比度增强:亮度增强主要是动态范围的调整，通过精细的非线性变换函数得以实现；对比度增强是基于在邻域内中心像素与周围像素的关系设计的变换函数；最后采用线性颜色恢复方式得到彩色增强图像结果。
[0006]基于视觉特性的图像增强方法中具有代表性的是基于Retinex的算法，视网膜皮质理论即Retinex理论(由视网膜Retina和大脑皮质Cortex两个词合成),力图模拟人类视觉系统在光照条件空间变化的情况下仍然能对场景中每一点的颜色有稳定的感知能力，其核心是认为人类视觉对某一点的感受存在对比机制，不仅来源于该点的绝对亮度和颜色，还取决于该点与周围亮度、颜色的对比，NASA兰利研究中心提出了一系列基于Retinex的算法，包括单尺度 Retinex (Single-scale Retinex, SSR)、多尺度 Retinex (Mult1-scaleRetinex, MSR)、颜色校正算法(Mult1-scale Retinex with color restoration, MSRCR),其核心是假设光照变化的平滑，容易导致在明暗对比强烈处产生光晕现象(halo effect)，相应的改进算法包括=Meylan通过对图像的RGB空间进行主成份分析获得亮度分量，利用边缘信息指导滤波，能较好地抑制光晕，但由于自适应滤波时各点处模糊核不同，处理速度较慢；Doo Hyun Choi等进一步融入了视觉特性中的临界可见偏差,在邻域中心与邻域信息的差异比较中自适应改变光照估计模板的权值；许欣等提出了基于MeanShift滤波的方法进行光照估计，而蒋永馨等提出了限邻域经验模式分解(Neighborhood limited empiricalmode decomposition, NLEMD)的方法估计光照,都取得了较好的效果，而结合视觉侧抑制现象的自动彩色均衡(Automatic color equalization, ACE),融入局部滤波的Random SprayRetinex,基于核的 Retinex (Kernel-based Retinex, KBR)算法也有很多进展。
[0007]基于视觉特性的图像增强方法在国内具有代表性的研究成果有:北京理工大学颜色科学与工程国家重点实验室倪国强教授团队提出了真实图像再现(RIR)研究方向，以人类视觉特性为研究对象，以真实再现人类对外界场景的感知为目标，涉及颜色/亮度恒常性、动态范围压缩等问题，旨在解决图像增强和高动态范围图像可视化等相关问题，而王守觉院士提出用高维形象几何学方法研究信息处理中的问题，并在彩色图像盲增强领域取得很好的效果；并进一步在Li Tao提出的框架下，融入视觉阈值特性设计了仿生图像增强算法。
[0008]基于视觉皮质模型的图像增强方法，基于小波及后续发展的多种X-1et变换的多尺度图像增强算法，基于偏微分方程的图像增强方法近年来也都引起了广泛关注。
[0009]2003年以色列惠普实验室Kimmel等人提出了变分框架Retinex算法,将对光照图像的估计归结于求能量泛函的最优化问题，求解相应的Euler-Lagrange(E-L)方程，并利用McCann提出的金字塔结构得到梯度下降流的数值快速求解，其在保证良好的动态范围压缩前提下将早期的随机游走、同态滤波等方法统一成在变分框架之中，
[0010]Kimmel变分框架下的模型能量泛函表达式为
min F[I) = J(|V/f +a/-J\ + β\v(/-sf)drdy
[0011]ω,(I) s.t.l>s cnui (ν/^?-0 oncQ.[0012]其中，Ω表示图像空间δΩ<图像的边缘是边缘法向量，α、β为惩罚因子，假定光照在空间的变化平缓，反射四像R在O和I之间，则L≥S，由log运算的单调性则I ≥ s，被限制了动态范围的反射系数即被作为约束条件，三个罚函数分别保证了光照图像的空间平滑、光照图像与原始图像的相关性和反射图像的平滑性，Kimmel将带约束的归一化最速下降法(Projected Normalized Steepest Descent, PNDS)运用到此问题的数值求解中，同时构建金字塔采用多分辨率计算进行加速，使用较少的迭代次数即可得到较好的收敛效果；
[0013]上述求解结果得到光照图像的估计L，然后将光照图像在原始图像剔除获取反射图像R，对L采取gamma校正，将校正后的光照图像在空域内相乘得到最终增强结果。
[0014]但是变分框架Retinex算法存在以下问题:
[0015](I)Kimmel变分Retinex算法通常会平滑图像的细节信息，尤其在阴影边界附近图像颜色扭曲的更为明显；
[0016](2)增强结果的亮区中的亮度、对比度、色度信息被改变，但亮区的此类信息本身满足“视觉匹配”特性，改变后反而影响视觉效果；
[0017](3)低照度区域亮度虽然能够得到有效提升，但其色彩信息视觉效果不够自然；
[0018](4)参数α、β对增强结果的影响很大，实际使用中设置难度较大，导致算法鲁棒性下降。
【发明内容】
[0019]本发明实施例的目的在于提供一种非均匀光照图像二次曝光的实现方法，旨在解决通常会平滑图像的细节信息，尤其在阴影边界附近图像颜色扭曲的更为明显；增强结果的亮区中的亮度、对比度、色度信息被改变，但亮区的此类信息本身满足“视觉匹配”特性，改变后反而影响视觉效果；低照度区域亮度虽然能够得到有效提升，但其色彩信息视觉效果不够自然；参数α、β对增强结果的影响很大，实际使用中设置难度较大，导致算法鲁棒性下降的问题。
[0020]本发明实施例是这样实现的，一种非均匀光照图像二次曝光的实现方法，所述非均匀光照图像二次曝光的实现方法包括以下步骤:
[0021]获取光照图像；
[0022]获取反射图像；
[0023]将光照图像和反射图像叠加获取全局增强结果，并将全局增强结果和原始图像融合；
[0024]对增强结果进行颜色校正，获取视觉匹配图像。
[0025]进一步，获取逼真的光照图像通过改进变分框架下的Retinex估计光照图像,求
解Ki臟el模型时可将目标明确为获取光滑的光照图像，提出通过
【权利要求】
1.一种非均匀光照图像二次曝光的实现方法，其特征在于，所述非均匀光照图像二次曝光的实现方法包括以下步骤: 获取光照图像； 获取反射图像； 将光照图像和反射图像叠加获取全局增强结果，并将全局增强结果和原始图像融合； 对增强结果进行颜色校正，获取视觉匹配图像。
2.如权利要求1所述的非均匀光照图像二次曝光的实现方法，其特征在于，获取逼真的光照图像通过改进变分框架下的Retinex估计光照图像,求解Kimmel模型时可将目标明确为获取光滑的光照图像，提出通过
3.如权利要求2所述的非均匀光照图像二次曝光的实现方法，其特征在于，Kimmel模型为:考虑到|v<是常数且在计算过程中意义不大，为了降低计算复杂度，第三项罚函数修改为，综上，可将Kimmel模型改写为
4.如权利要求1所述的非均匀光照图像二次曝光的实现方法，其特征在于，获取逼真的反射图像的具体过程为: 求解(2)式得到光照图像7的估计，继而通过反解Retinex模型S=R -L,可以得到反射图像的估计S，先将中心像素受邻域像素影响造成的模糊去掉，得到锐化图像，再将锐化图像和原图像相加就可以增加中心像素和周围背景亮度间的比例，类比反热传导方程的近似解。
5.如权利要求1所述的非均匀光照图像二次曝光的实现方法，其特征在于，类比反热传导方程的近似解，如公式(3)所示，
6.如权利要求1所述的非均匀光照图像二次曝光的实现方法，其特征在于，全局增强结果的获取及和原始图像融合利用了偏置幂函数在2和10之间平滑地进行基底插值，1glO作用在最亮的像素上，而其他像素值根据邻域信息进行对数操作，基底在2到10之间插值，可以对低亮度提升，对高亮度压缩，函数表达式为
7.如权利要求6所述的非均匀光照图像二次曝光的实现方法，其特征在于，局增强结果的获取及和原始图像融合中全局增强结果获取方法为: 偏置幂函数在2和10之间平滑地进行基底插值,易知λ e (O, I],引入?inax-?m_作为亮度映射强度的参考，其中和分别为输入光照图像(动态范围O~255)的最大值和均值，越大表明光照越不均匀，低照度区域需要更大的亮度提升，即./(>,A)应该越大，否则越小，由公式(5)易知/(>,λ)是λ的下降函数，故令A = l/(?max-?m_)，代入公式(5)并化简后得到
8.如权利要求7所述的非均匀光照图像二次曝光的实现方法，其特征在于，计算平均背景亮度公式为:
9.如权利要求1所述的非均匀光照图像二次曝光的实现方法，其特征在于，低照度区域色彩重现步骤可以归纳为:将融合后的结果和原始图像由RGB空间转换到HSI空间，使用原始图像的H分量和S分量替换融合结果的的H分量和S分量，并采用公式(9)对低照度区域的饱和度分量进一步校正，校正后的结果再由HIS空间转换到RGB空间得到最终视觉匹配图像，
【文档编号】G06T5/00GK103530848SQ201310455253
【公开日】2014年1月22日 申请日期:2013年9月27日 优先权日:2013年9月27日
【发明者】李权合, 毕笃彦, 熊磊, 张登福, 王晨 申请人:中国人民解放军空军工程大学