一种基于YUV空间的彩色夜视图像融合方法与流程
本发明涉及计算机视觉领域，具体涉及一种基于yuv空间的彩色夜视图像融合方法。
背景技术：
夜视图像包括微光图像和红外图像。随着微光与红外成像技术的发展，综合和发掘微光与红外图像的特征信息，使其融合成信息更全面的图像已发展成为一种有效的技术手段。由于微光图像和红外图像都是单色图像，其最大的缺陷是低信噪比且图像缺乏深度感，不利于对目标的探测。
之所以彩色图像融合技术得到重视，是因为彩色图像提供的场景信息更多，能帮助观察者提高对场景理解的能力。图像色彩的真实性和自然性是对彩色夜视技术研究的主要组成部分，使融合后的图像与白天自然场景的图像色彩相同是彩色夜视技术的最终目标。
技术实现要素：
针对上述已有技术的不足，本发明提供了一种基于yuv空间的彩色夜视图像融合方法，其能够很好综合其他算法的优点，基于彩色空间与控向金字塔变换融合结合的方法提高了图像的细节信息，改善了彩色图像融合的自然性。
本发明的技术方案是：
一种基于yuv空间的彩色夜视图像融合方法，包括以下步骤，首先确定参考图像以及夜视图像，夜视图像包括微光图像和红外图像。设定参考图像是为了最终得到的微光与红外彩色夜视图像的色彩传递效果；然后对夜视图像进行预处理，预处理之后的夜视图像即为待融合的微光与红外图像。把经预处理后的得到图像进行彩色融合。把彩色融合后的微光与红外图像进行yuv色彩空间转换，同样的对参考图像进行yuv色彩空间转换；接着通过控向金字塔分解将经色彩空间转换处理后的微光与红外图像、参考图像分解到相同尺度的子带，将经色彩空间转换处理后的微光与红外图像、参考图像在对应通道和子带内进行一阶(均值)和二阶统计值(标准方差)的传递，经上述处理后的微光与红外图像中的各子带的均值和方差均与参考图像的相同，对上述处理后的微光与红外图像进行控向金字塔重构，并对重构后的图像进行rgb空间转换，就获得了一副色彩与参考图像类似的微光与红外彩色夜视图像。
s1.对夜视图像(包括微光图像和红外图像)即源图像进行预处理
s1.1将夜视图像分成一系列互不重叠的相同大小的子图像；
s1.2采用式(1)对各子图像分别进行局部增强；
其中：n＝m×n,k＝0,1,...,l-1；m×n表示当前子图像的大小，ni表示当前子图像中灰度级为i的像素个数，l为当前子图像的图像灰度级数；t为拉伸系数；k为图像灰度级数范围。
s1.3为了消除人为产生的边缘信息，采用双线性内插法融合相邻子图像，对于相邻子图像边界上的任一像素点h(i,j)，其插值后的新值f'(i,j)为：
其中：f(i,j)，f(i,j+1)，f(i+1,j)、f(i+1,j+1)分别为增强后图像中像素h(i,j)，h(i,j+1)，h(i+1,j)，h(i+1,j+1)的灰度值。
s1.4夜视图像增强过程中，噪声也会得到放大。中值滤波器较其他平滑滤波器在消除噪声时可以较好地保持图像的细节，因此，对增强后的图像进行中值平滑滤波：
其中，g(i,j)、f'(i-k,j-1)分别为以像素h(i,j)为中心的窗口a内的中值以及窗口a内除中值以外的其他像素值。(k,l)为窗口a的尺寸大小。
经上述s1.1至s1.4处理后的夜视图像即为待融合的微光与红外图像。
s2将经s1预处理后得到的图像进行彩色融合
通过对红、绿、蓝三基色进行赋值就能得到彩色融合图像，融合的映射公式(按美国海军研究室nrl表示)表示为：
式(4)中ir是红外图像，vis是微光图像。
s3将经s2彩色融合后的微光与红外图像进行yuv色彩空间转换，采用同样的方法对参考图像也进行yuv色彩空间转换；
将rgb空间转换到yuv空间，rgb彩色空间与yuv色彩空间转换关系如下：
s4控向金字塔的分解与重构
控向金字塔分解的方法是：控向金字塔分解在频域进行，如图2。待进行金字塔分解的图像通过傅里叶变换变换到频率域f(u,v)，先经过高通滤波器fh0和低通滤波器fl0分成高通自带h0和低通子带l0，l0再分解为方向q的带通子带bq(使用方向带通滤波器fbq)和1个经1/2欠采样后频率更低的低通子带l1(使用窄带低通滤波器fl1)，q＝1时代表水平(0°)和垂直(90°)两个方向，q＝3时代表0°、45°、90°、135°四个方向。第一级低通子带l1可继续分解，获得多尺度多方向的金字塔结构。控向金字塔重构过程与控向金字塔分解过程相反。
通过控向金字塔分解将经s3色彩空间转换处理后的微光与红外图像、参考图像分解到相同尺度的子带，将经s3色彩空间转换处理后的微光与红外图像与参考图像在对应通道和子带内进行一阶(均值)和二阶统计值(标准方差)的传递，其表达式为：
其中：图像的均值和标准方差分别通过式(7)和式(8)求得：
式(7)中，μ是子带图像的均值，f(i,j)是子带图像，o×t是子带图像大小。
式(8)中σ是子带图像的标准方差。
式(6)中，参考图像的参量用下标r表示，微光与红外图像的参量用下标s表示，x表示颜色空间，
b'x,p,q表示带通子带
经式(6)处理后的微光与红外图像中的各子带(b',l',h')的均值和方差均与参考图像的相同，对经式(6)处理后的微光与红外图像进行控向金字塔重构。
s5.对控向金字塔重构后的微光与红外图像进行yuv空间到rgb空间转换，就获得了一副色彩与参考图像类似的传递图像。
yuv空间到rgb空间的转换公式为：
采用本发明可以达到以下技术效果：
控向金字塔分解结构，把图像分解成不同尺度、不同方向的子带。相比拉普拉斯、梯度等金字塔结构，其可进行多方向的分解，提取图像的方向信息，更符合人眼辨别失误的特点，且具有平移不变性和旋转不变性、过完备和防混叠的特性。本发明以获得人眼视觉感知的彩色夜视图像为目的，提出了一种基于yuv空间的彩色夜视图像融合方法，研究yuv空间基于微光和红外彩色融合结构，为进一步改善彩色融合图像的色彩自然性，突出红外热目标，利用控向金字塔多尺度、多方向的特点，提出了基于多分辨率分解的色彩传递方法。不仅使彩色夜视图像拥有更符合真实场景的色彩，还可以提高其细节信息，改善场景感知，提升了融合图像目标探测能力。
本发明提出了一种基于yuv空间的彩色夜视图像融合方法，提出了利用多分辨率分解将参考图像的色彩传递给微光/红外的彩色融合入图像，选取一幅自然场景彩色图像作为参考，使用控向金字塔对彩色融合入图像和参考图像进行多分辨率分解，并在各子带图像内进行色彩传递，最终得到类似参考图像的彩色夜视图像。本发明不仅可以获得自然的场景信息，还能突出观察目标和边缘细节，既符合人眼的色彩感知，人眼观察舒适，还能提高融合图像目标检测能力。
附图说明
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
图1为本发明的流程图；
图2为本发明中的控向金字塔分解图；
图3为本发明的测试结果图对比。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
一种基于yuv空间的彩色夜视图像融合方法，包括以下步骤，首先确定参考图像以及夜视图像，夜视图像包括微光图像和红外图像。设定参考图像是为了最终得到的微光与红外彩色夜视图像的色彩传递效果；然后对夜视图像进行预处理，预处理之后的夜视图像即为待融合的微光与红外图像。把经预处理后的得到图像进行彩色融合。把彩色融合后的微光与红外图像进行yuv色彩空间转换，同样的对参考图像进行yuv色彩空间转换；接着通过控向金字塔分解将经色彩空间转换处理后的微光与红外图像、参考图像分解到相同尺度的子带，将经色彩空间转换处理后的微光与红外图像、参考图像在对应通道和子带内进行一阶(均值)和二阶统计值(标准方差)的传递，经上述处理后的微光与红外图像中的各子带的均值和方差均与参考图像的相同，对上述处理后的微光与红外图像进行控向金字塔重构，并对重构后的图像进行rgb空间转换，最终得到的微光与红外彩色夜视图像获得类似参考图像的自然感色彩。
s1.对夜视图像即源图像进行预处理
s1.1将夜视图像分成一系列互不重叠的相同大小的子图像；
s1.2采用式(1)对各子图像分别进行局部增强；
其中：n＝m×n,k＝0,1,...,l-1；m×n表示当前子图像的大小，ni表示当前子图像中灰度级为i的像素个数，l为当前子图像的图像灰度级数；t为拉伸系数；k为图像灰度级数范围。
s1.3为了消除人为产生的边缘信息，采用双线性内插法融合相邻子图像，对于相邻子图像边界上的任一像素点h(i,j)，其插值后的新值f'(i,j)为：
其中：f(i,j)，f(i,j+1)，f(i+1,j)、f(i+1,j+1)分别为增强后图像中像素h(i,j)，h(i,j+1)，h(i+1,j)，h(i+1,j+1)的灰度值。
s1.4夜视图像增强过程中，噪声也会得到放大。中值滤波器较其他平滑滤波器在消除噪声时可以较好地保持图像的细节，因此，对增强后的图像进行中值平滑滤波：
其中，g(i,j)、f'(i-k,j-1)分别为以像素h(i,j)为中心的窗口a内的中值以及窗口a内除中值以外的其他像素值。(k,l)为窗口a的尺寸大小。
经上述s1.1至s1.4处理后的夜视图像即为待融合的微光与红外图像。
s2将经s1预处理后的图像进行彩色融合
通过对红、绿、蓝三基色进行赋值就能得到彩色融合图像，融合的映射公式表示为：
式(4)中ir是红外图像，vis是微光图像。
s3将经s2彩色融合后的微光与红外图像进行yuv色彩空间转换，采用同样的方法对参考图像也进行yuv色彩空间转换；
将rgb空间转换到yuv空间，rgb彩色空间与yuv色彩空间转换关系如下：
s4控向金字塔的分解与重构
控向金字塔分解的方法是：控向金字塔分解在频域进行，如图2。待进行金字塔分解的图像通过傅里叶变换变换到频率域f(u,v)，先经过高通滤波器fh0和低通滤波器fl0分成高通自带h0和低通子带l0，l0再分解为方向q的带通子带bq(使用方向带通滤波器fbq)和1个经1/2欠采样后频率更低的低通子带l1(使用窄带低通滤波器fl1)，q＝1时代表水平(0°)和垂直(90°)两个方向，q＝3时代表0°、45°、90°、135°四个方向。第一级低通子带l1可继续分解，获得多尺度多方向的金字塔结构。控向金字塔重构过程与控向金字塔分解过程相反。
通过控向金字塔分解将经s3色彩空间转换处理后的微光与红外图像、参考图像分解到相同尺度的子带，将经s3色彩空间转换处理后的微光与红外图像与参考图像在对应通道和子带内进行一阶(均值)和二阶统计值(标准方差)的传递，其表达式为：
其中：子带图像的均值和标准方差分别通过式(7)和式(8)求得：
式(7)中，μ是子带图像的均值，f(i,j)是子带图像，o×t是子带图像的大小。
式(8)中σ是子带图像的标准方差。
式(6)中，参考图像的参量用下标r表示，微光与红外图像的参量用下标s表示，x表示颜色空间，
b'x,p,q表示带通子带
经式(6)处理后的微光与红外图像中的各子带(b',l',h')的均值和方差均与参考图像的相同，对经式(6)处理后的微光与红外图像进行控向金字塔重构。
s5.对控向金字塔重构后的微光与红外图像进行yuv空间到rgb空间转换，就获得了一副色彩与参考图像类似的传递图像。
yuv空间到rgb空间的转换公式为：
控向金字塔分解结构，把图像分解成不同尺度、不同方向的子带。相比拉普拉斯、梯度等金字塔结构，其可进行多方向的分解，提取图像的方向信息，更符合人眼辨别失误的特点，且具有平移不变性和旋转不变性、过完备和防混叠的特性。本发明以获得人眼视觉感知的彩色夜视图像为目的，提出了一种基于yuv空间的彩色夜视图像融合方法，研究yuv空间基于微光和红外彩色融合结构，为进一步改善彩色融合图像的色彩自然性，突出红外热目标，利用控向金字塔多尺度、多方向的特点，提出了基于多分辨率分解的色彩传递方法。不仅使彩色夜视图像拥有更符合真实场景的色彩，还可以提高其细节信息，改善场景感知，提升了融合图像目标探测能力。
如图3所示处理效果图比较可知，本发明提出的方法处理的结果，色彩自然，且边缘突出。仔细观察可知，图像中细节信息丰富，热目标也更清晰。
图3(a)和图3(b)分别为红外图像和微光图像，即原始夜视图像(也即源图像)，图3(c)是通过nrl融合方法处理后的融合图像，可看出图像对比度太高，不适合人眼观察。图3(d)为参考图像。图3(e)是色彩传递的结果图像，这个图像是利用参考图像进行的。图3(f)是本发明算法处理后的图像，色彩自然，且边缘突出。仔细观察可知，图像中细节信息丰富，目标也更清晰。
本发明中提出的方法实际上可嵌入fpga实现，开发具有图像融合的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！