基于超现实亮度对比度传递算法的可见光与红外视频融合方法
【专利摘要】基于超现实亮度对比度传递算法的可见光与红外视频融合方法，它涉及一种可见光与红外视频融合方法，本发明是要解决现有的红外和可见光图像融合方法，无法既能满足视频处理的实时性要求和又能在烟雾环境中获得理想的可见光与红外视频融合效果的问题。本发明按以下步骤进行：将可见光视频与背景信息进行超现实融合得到融合后的可见光视频序列，并计算其亮度分量；将该亮度分量与红外图像分别进行两层提升小波变换得到稀疏系数；按一定的融合规则将两类稀疏系数进行融合得到融合后稀疏系数并进行小波逆变换得灰度融合图像并进行亮度调整，最后对调整后的图像变换回彩色空间，便得到最终的融合图像即视频序列。本发明适用于图像处理【技术领域】。
【专利说明】基于超现实亮度对比度传递算法的可见光与红外视频融合方法
【技术领域】
[0001 ] 本发明涉及图像处理【技术领域】，尤其涉及一种基于超现实亮度对比度传递算法的可见光与红外视频融合方法。
【背景技术】
[0002]图像融合是指通过某种计算方法把不同传感器拍摄的多幅图像合并成一幅高质量的图像的过程，从而可以有效地发挥各种图像传感器的优点，提高图像信息的可分析性。现实生活中要获取某一场景的图像可以使用可见光相机、红外热像仪等传感器，可见光像机拍摄的图像色彩鲜明、对比度高、符合人类的视觉特点，但是在有烟雾或者光线不足的情况下效果较差。红外热像仪通过感应物体辐射出来的红外线来成像，它能够在存在烟雾或者光线不足的条件下正常工作，但是它所拍摄的图像往往对比度不高，成像清晰度低。如果希望能够全天候地观察某一场景或目标，则单一传感器就不能够完成任务，这时就需要融合多种传感器拍摄的图像信息，使融合图像同时具有多种传感器各自成像的优点。
[0003]目前图像融合的经典方法主要有:1、刘坤等人提出了像素级多传感器图像融合的研究(见刘坤，郭雷，李晖晖.像素级多传感器图像融合的研究[J].计算机工程与应用，2007,43(12):59-61)，主要针对红外与可见光图像进行融合处理。2、赵高鹏等人提出了基于提升小波的红外和可见光图像融合方法(见赵高鹏，薄煜明，刘娣.基于提升小波的红外和可见光图像融合方法[J].计算机工程与设计，2009，30 (7):1697-1699)，以提升小波为分析工具，获得了比普通小波更高的效率。而针对小波变换在描述图像高维纹理细节时不具有各向异性的缺陷，3、宋江山、Arash等人提出了基于曲波变换的图像融合方法(见宋江山，徐建强，司书春.改进的曲波变换图像融合方法[J].中国光学与应用光学，2009，2
(2):145-149 和 Arash，Golibagh，Mahyari，etal.ANovel Image Fusion Method UsingCurvelet Transform Based on Linear Dependency Test [C].1nternational Conferenceon Digital Image Processing, 2009:351_354)，与传统的小波变换相比，获得了更好的效果，并能有效地抑制噪声，但是曲波变换复杂度较高，速度较慢。4、Zejing Guang等人提出了基于Contourlet变换的图像融合方法(见Zejing Guang, Zhenbing Zhao，QiangGa0.1nfrared and Visible Images Fusion Based on Contourlet-domain HiddenMarkov Tree Model[C].1nternational Congress on Image and Signal Processing,2011:1916-1920),将Contourlet变换这一新的多尺度分析工具应用到了图像融合中，相比于传统的小波变换其效果有了明显的改善。针对普通Contourlet变换不具有移位不变性的缺陷，5、黄克宇、W.Kong等人提出了非釆样Contourlet变换(见黄克宇，李敏，何玉杰等.一种基于非釆样Contourlet变换的图像融合算法[J].现代电子技术，2011，34
(24):96-98 和 I Kong, Y.Lei, X.N1.Fusion technique for grey-scale visiblelight and infrared images based on non-subsampled contourlet transform andintensity-hue-saturation transform[J].1ET Signal Processing,2011,5(1):75-80),该算法在图像融合中取得了很好的效果，但是上述五种图像融合的经典方法，在环境中存在大面积烟雾时，可见光与红外图像融合的效果很差。6、李光鑫等人提出了红外和彩色可见光亮度对比度传递融合算法(见李光鑫，吴伟平，胡君.红外和彩色可见光亮度对比度传递融合算法.中国光学，2011，4 (2):162-167)，但由于正交小波变换计算量大，导致该方法的运算时间过长，无法满足视频处理的实时性要求。7、蔡琴慧等人提出了超现实的图像融合方法(见蔡琴慧.超现实的图像融合及在视频中的应用.杭州:浙江大学硕士学位论文，2007,5:11-21)，但该方法需要进行梯度域的图像重建，计算相对复杂，也无法满足视频处理的实时性要求。
【发明内容】
[0004]本发明是要解决现有的红外和可见光图像融合方法，无法既能满足视频处理的实时性要求和又能在烟雾环境中获得理想的可见光与红外视频融合效果的问题，而提出基于超现实亮度对比度传递算法的可见光与红外视频融合方法。
[0005]基于超现实亮度对比度传递算法的可见光与红外视频融合方法，其实现步骤包括如下:
[0006]步骤一:采用加权平均法从η帧可见图像中提取出所拍摄场景的背景信息background,其中η为大于300且小于3000的正整数；
[0007]步骤二:如需更换背景信息background,则采用加权平均法从另外m巾贞可见图像中提取出所拍摄场景的背景信息background,其中m为大于300且小于3000的正整数；
[0008]步骤三:采用加权平均法对可见光视频与背景信息background进行超现实融合，得到融合后的可见光视频序列visible，具体过程采用如下经验公式:
[0009]Visible=0.15Xbackground+0.9Xvisible ；
[0010]步骤四:使用如下经验公式求解可见光视频序列visible的亮度分量Yvis,
[0011]Yvis=0.299XR+0.587XG+0.114XB，其中R，G，B分别表示可见光视频序列的红，
绿，蓝通道；
[0012]步骤五:将可见光视频序列visible的亮度分量Yvis与红外图像IR分别进行两层提升小波变换得到亮度分量的稀疏系数Ytmp与红外图像的稀疏系数IRtmp ；
[0013]步骤六:按着一定融合规则对亮度分量的稀疏系数Ytmp与红外图像的稀疏系数IRtmp进行融合，得到融合后的稀疏系数Ftmp，具体的融合规则如下:
[0014]a、稀疏系统低频分量直接选取红外图像的低频分量，以融入更多的目标信息；
[0015]b、二层分解的高频分量采取绝对值取大的融合准则，这样可以更好地选取图像中的细节变化比较明显的像素点；
[0016]C、一层分解的高频分量采取加权平均的融合准则；
[0017]步骤七:对融合后的稀疏系数Ftmp进行两层提升小波逆变换得灰度融合图像F ；
[0018]步骤八:使用现有的亮度对比度传递算法对将灰度融合图像F进行调整得到调整后的图像F%并求F*与亮度分量Yvis之差Imid ；
[0019]步骤九:使用如下公式得到融合结果的三个分量Re、Ge、Be并将其合并为最终结果视频序列，
【权利要求】
1.基于超现实亮度对比度传递算法的可见光与红外视频融合方法，其特征在于它按以下步骤进行: 步骤一:采用加权平均法从η帧可见图像中提取出所拍摄场景的背景信息background,其中η为大于300且小于3000的正整数； 步骤二:如需更换背景信息background，则采用加权平均法从另外m帧可见图像中提取出所拍摄场景的背景信息background,其中m为大于300且小于3000的正整数； 步骤三:采用加权平均法对可见光视频与背景信息background进行超现实融合，得到融合后的可见光视频序列visible，具体过程采用如下经验公式:visible=0.15Xbackground+0.9X visible ； 步骤四:使用如下经验公式求解可见光视频序列visible的亮度分量Yvis, Yvis=0.299XR+0.587XG+0.114XB，其中R，G，B分别表示可见光视频序列的红，绿，蓝通道； 步骤五:将可见光视频序列visible的亮度分量Yvis与红外图像IR分别进行两层提升小波变换得到亮度分量的稀疏系数Ytmp与红外图像的稀疏系数IRtmp ； 步骤六:按着一定融合规则对亮度分量的稀疏系数Ytmp与红外图像的稀疏系数IRtmp进行融合，得到融合后的稀疏系数Ftmp ； 步骤七:对融合后的稀疏系数Ftmp进行两层提升小波逆变换得灰度融合图像F ；步骤八:使用现有的亮度对比度传递算法对将灰度融合图像F进行调整得到调整后的图像F%并求F*与亮度分量Yvis之差Imid ； 步骤九:使用如下公式得到融合结果的三个分量Re、Ge、Be并将其合并为最终结果视频序列，
2.如权利要求1所述的基于超现实亮度对比度传递算法的可见光与红外视频融合方法，其特征在于步骤六中所述融合规则为: a.稀疏系统低频分量直接选取红外图像的低频分量； b.二层分解的高频分量采取绝对值取大的融合准则； c.一层分解的高频分量采取加权平均的融合准则。
3.如权利要求1所述的基于超现实亮度对比度传递算法的可见光与红外视频融合方法，其特征在于步骤八中所述现有的亮度对比度传递算法公式为:
F*= ( 0 Ref+ 0 F) X (F_ Ii f) + Ii Eef 式中F*为经过亮度对比度调整后的灰度融合图像，(μ F，σ F)和(μ Eef, σ Eef)分别是调整前的灰度融合图像F以及及灰度参考图像Ref的一阶统计量和二阶统计量。
【文档编号】G06T5/50GK103761724SQ201410041858
【公开日】2014年4月30日 申请日期:2014年1月28日 优先权日:2014年1月28日
【发明者】宋华军, 任鹏, 百晓, 祝艳宏, 肖渤涛, 孙文健, 王玉霞, 邸萌萌 申请人:中国石油大学(华东)