一种基于混合曲率滤波器的红外与可见光图像融合方法与流程

1.本发明涉及图像处理技术领域，具体而言，涉及一种基于混合曲率滤波器的红外与可见光图像融合方法。


背景技术：

2.在对场景以及目标拍摄的过程中，红外传感器可不受光照条件的影响，识别和捕获周围环境以及目标发出的红外波段辐射信息，其获得的红外图像具有突出的特征成像效果，但缺乏具体的背景细节信息和空间分布信息；
3.可见光传感器可根据物体光谱信息的反射特性，记录与人类感知一致的场景信息，具有更高的图像分辨率，清晰地呈现了目标区域的纹理和细节,但无法了解目标的辐射信息。
4.融合图像是指将多幅图像，在经过去噪、配准等预处理后，再依据某些融合规则合成一幅图像的过程。现有融合图像处理方法在对红外图像与可见光图像进行融合处理时存在细节纹理信息易丢失等问题。


技术实现要素：

5.基于此，为了解决现有融合图像处理方法在对红外图像与可见光图像进行融合处理时存在细节纹理信息易丢失的问题，本发明提供了一种基于混合曲率滤波器的红外与可见光图像融合方法，其具体技术方案如下：
6.一种基于混合曲率滤波器的红外与可见光图像融合方法，包括如下步骤：
7.通过混合曲率滤波器以及高斯滤波器对红外图像进行图像分解以获取红外图像细节层、红外图像粗糙层以及红外图像基础层；
8.通过混合曲率滤波器以及高斯滤波器对可见光图像进行图像分解以获取可见光图像细节层、可见光图像粗糙层以及可见光图像基础层；
9.分别对所述红外图像细节层与所述可见光图像细节层、所述红外图像粗糙层与所述可见光图像粗糙层以及所述红外图像基础层与所述可见光图像基础层进行融合，以获取小尺寸层、大尺寸层以及融合后的基础层；
10.对所述小尺寸层、所述大尺寸层以及所述融合后的基础层进行叠加以获取红外与可见光融合图像；
11.其中，所述混合曲率滤波器由高斯曲率滤波器和全变分滤波器组成。
12.通过所述高斯曲率滤波器以及全变分滤波器组成混合曲率滤波器，分别对输入的红外图像以及可见光图像进行图像分解，可以获取相应的不同比例的细节层、粗糙层以及基础层。
13.通过对所述红外图像细节层与所述可见光图像细节层进行融合获取所述小尺寸层，所述小尺寸层保留了源图像的细节信息以及纹理信息。通过对所述红外图像粗糙层与所述可见光图像粗糙层进行融合获取所述大尺寸层，所述大尺寸层可提供源图像的边缘信
息和结构信息。通过对所述红外图像基础层与所述可见光图像基础层进行融合获取所述融合后的基础层，所述融合后的基础层包含有大量源图像的基本信息以及模糊信息。
14.由于所述小尺寸层保留了源图像的细节信息以及纹理信息，所述大尺寸层可提供源图像的边缘信息和结构信息，所述融合后的基础层包含有大量源图像的基本信息以及模糊信息，故而通过对所述小尺寸层、所述大尺寸层以及所述融合后的基础层进行叠加获取的红外与可见光融合图像，保留了源图像的细节纹理信息、边缘信息以及结构信息，可以呈现更好的视觉感知效果。
15.综上所述，所述一种基于混合曲率滤波器的红外与可见光图像融合方法，解决了现有融合图像处理方法在对红外图像与可见光图像进行融合处理时存在细节纹理信息易丢失的问题，保留了源图像的细节纹理信息、边缘信息以及结构信息，可以呈现更好的视觉感知效果。
16.进一步地，所述小尺寸层由和构成；其中，其中，表示第一个红外图像细节层，表示第一个可见光图像细节层，表示第一个红外图像粗糙层，表示第一个可见光图像粗糙层。
17.进一步地，所述大尺寸层由以及构成；
18.其中，其中，
[0019][0020][0020][0021]
以及分别表示第二个红外图像细节层的空间频率、第二个可见光图像细节层的空间频率、第二个红外图像细节层的局部方差以及第二个可见光图像细节层的局部方差，以及分别表示第二个红外图像粗糙层的空间频率、第二个可见光图像粗糙层的空间频率、第二个红外图像粗糙层的局部方差以及
第二个可见光图像粗糙层的局部方差，以及分别表示第三个红外图像细节层的空间频率、第三个可见光图像细节层的空间频率、第三个红外图像细节层的局部方差以及第三个可见光图像细节层的局部方差，细节层的局部方差以及第三个可见光图像细节层的局部方差，以及分别表示第三个红外图像粗糙层的空间频率、第三个可见光图像粗糙层的空间频率、第三个红外图像粗糙层的局部方差以及第三个可见光图像粗糙层的局部方差。
[0022]
进一步地，所述融合后的基础层其中，e
ir
(x,y)＝exp(α|b
ir
(x,y)-s
ir
)，e
vis
(x,y)＝exp(α|b
vis
(x,y)-s
vis
)，α表示增益因子，b
ir
(x,y)以及b
vis
(x,y)分别表示所述红外图像基础层的像素坐标以及所述可见光图像基础层的像素坐标，s
ir
以及s
vis
分别表示所述红外图像基础层的固有属性以及所述可见光图像基础层的固有属性。
[0023]
进一步地，所述红外图像基础层的固有属性s
ir
＝μ
ir
+m
ir
，所述可见光图像基础层的固有属性s
vis
＝μ
vis
+m
vis
；其中，μ
ir
以及m
ir
分别表示所述红外图像基础层的平均值以及中位数，μ
vis
以及m
vis
分别表示所述可见光外图像基础层的平均值以及中位数。
[0024]
进一步地，所述红外与可见光融合图像
[0025][0026]
进一步地，通过高斯曲率滤波器以及高斯滤波器对红外图像进行分解以获取红外图像细节层、红外图像粗糙层以及红外图像基础层，通过全变分滤波器以及高斯滤波器对可见光图像进行分解以获取可见光图像细节层、可见光图像粗糙层以及可见光图像基础层。
[0027]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时实现所述的一种基于混合曲率滤波器的红外与可见光图像融合方法。
附图说明
[0028]
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
[0029]
图1是本发明一实施例中一种基于混合曲率滤波器的红外与可见光图像融合方法的整体流程示意图；
[0030]
图2是本发明一实施例中；
[0031]
图3是本发明一实施例中一种基于混合曲率滤波器的红外与可见光图像融合方法的图像融合框架；
[0032]
图4是本发明一实施例中一种基于混合曲率滤波器对红外图像的分解示意图；
[0033]
图5是本发明一实施例中一种基于混合曲率滤波器对可见光图像的分解示意图；
[0034]
图6是本发明一实施例中基于最大值融合策略所获得的小尺寸层的效果示意图；
[0035]
图7是本发明一实施例中基于综合融合策略所获得的大尺寸层的效果示意图；
[0036]
图8是本发明一实施例中基于能量融合策略所获得的融合后的基础层的效果示意图；
[0037]
图9是本发明一实施例中红外与可见光融合图像的效果图。
具体实施方式
[0038]
为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明。应当理解的是，此处所描述的具体实施方式仅用以解释本发明，并不限定本发明的保护范围。
[0039]
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
[0040]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0041]
本发明中所述“第一”、“第二”不代表具体的数量及顺序，仅仅是用于名称的区分。
[0042]
如图1所示，本发明一实施例中的一种基于混合曲率滤波器的红外与可见光图像融合方法，包括如下步骤：
[0043]
通过混合曲率滤波器以及高斯滤波器对红外图像进行图像分解以获取红外图像细节层、红外图像粗糙层以及红外图像基础层；
[0044]
通过混合曲率滤波器以及高斯滤波器对可见光图像进行图像分解以获取可见光图像细节层、可见光图像粗糙层以及可见光图像基础层；
[0045]
分别对所述红外图像细节层与所述可见光图像细节层、所述红外图像粗糙层与所述可见光图像粗糙层以及所述红外图像基础层与所述可见光图像基础层进行融合，以获取小尺寸层、大尺寸层以及融合后的基础层；
[0046]
对所述小尺寸层、所述大尺寸层以及所述融合后的基础层进行叠加以获取红外与可见光融合图像；
[0047]
其中，所述混合曲率滤波器由高斯曲率滤波器和全变分滤波器组成。
[0048]
具体而言，所述红外图像细节层、红外图像粗糙层、可见光图像细节层以及可见光图像粗糙层均包括三个。红外图像基础层以及可见光图像基础层各包括一个。
[0049]
对源图像进行分解以获取三个图像细节层、三个图像粗糙层以及一个图像基础层的具体方法如图2所示，其中，i
in
表示源图像，表示源图像经过高斯滤波器作用后得到的第i个图像，表示源图像经过混合曲率滤波器作用后得到的第i个图像，gf表示高斯滤波器，gcf表示混合曲率滤波器，fd(i)表示第i个图像细节层，cd(i)表示第i个图像粗糙层，b表示图像基础层。即是说，对i
in
与进行融合以获取fd
(1)
，对与进行融合以获取cd
(1)
，对与进行融合以获取fd
(2)
，对与进行融合以获取cd
(2)
，对与进行融合以获取fd
(3)
，对与进行融合以获取cd
(3)
，为图像基础层。
[0050]
具体而言，所述源图像为红外图像以及可见光图像。
[0051]
通过所述高斯曲率滤波器以及全变分滤波器组成混合曲率滤波器，分别对输入的红外图像以及可见光图像进行图像分解，可以获取相应的不同比例的细节层、粗糙层以及基础层。
[0052]
通过最大值融合策略mx对所述红外图像细节层与所述可见光图像细节层进行融合获取所述小尺寸层，所述小尺寸层保留了源图像的细节信息以及纹理信息。通过基于空间频率和局部方差的综合融合策略if对所述红外图像粗糙层与所述可见光图像粗糙层进行融合获取所述大尺寸层，所述大尺寸层可提供源图像的边缘信息和结构信息。通过能量融合策略ef对所述红外图像基础层与所述可见光图像基础层进行融合获取所述融合后的基础层，所述融合后的基础层包含有大量源图像的基本信息以及模糊信息。
[0053]
由于所述小尺寸层保留了源图像的细节信息以及纹理信息，所述大尺寸层可提供源图像的边缘信息和结构信息并且所述融合后的基础层包含有大量源图像的基本信息以及模糊信息，故而通过对所述小尺寸层、所述大尺寸层以及所述融合后的基础层进行叠加获取的红外与可见光融合图像，保留了源图像的细节纹理信息、边缘信息以及结构信息，可以呈现更好的视觉感知效果。
[0054]
综上所述，所述一种基于混合曲率滤波器的红外与可见光图像融合方法，解决了现有融合图像处理方法在对红外图像与可见光图像进行融合处理时存在细节纹理信息易丢失的问题，保留了源图像的细节纹理信息、边缘信息以及结构信息，可以呈现更好的视觉感知效果。
[0055]
由于所述小尺寸层保留了源图像的细节信息和纹理信息，这些信息量的数目与像素值的大小成正比，故而通过寻找图像像素最大值的方法(即最大值融合策略mx)，即可获得含有最大图像信息量的小尺寸层融合图像。在其中一个实施例中，所述小尺寸层通过最大值融合策略mx对所述红外图像细节层与所述可见光图像细节层进行融合来获取。
[0056]
具体而言，如图3所示，所述小尺寸层由和构成；其中，构成；其中，表示第一个红外图像细节层，表示第一个可见光图像细节层，表示第一个红外图像粗糙层，表示第一个可见光图像粗糙层。图6所示为通过最大值融合策略mx对所述红外图像细节层与所述可见光图像细节层进行融合而获取的所述小尺寸层的效果图。
[0057]
所述大尺寸层的主要作用是提供源图像的边缘信息和结构信息。为了使融合图像包含的信息量实现最大化，在其中一个实施例中，采用基于图像的空间频率和局部方差的综合融合策略来获取所述大尺寸层。
[0058]
具体而言，如图3所示，所述大尺寸层由以及构
成；
[0059]
其中，其中，其中，其中，其中，其中，以及分别表示第二个红外图像细节层的空间频率、第二个可见光图像细节层的空间频率、第二个红外图像细节层的局部方差以及第二个可见光图像细节层的局部方差，以及分别表示第二个红外图像粗糙层的空间频率、第二个可见光图像粗糙层的空间频率、第二个红外图像粗糙层的局部方差以及第二个可见光图像粗糙层的局部方差，以及分别表示第三个红外图像细节层的空间频率、第三个可见光图像细节层的空间频率、第三个红外图像细节层的局部方差以及第三个可见光图像细节层的局部方差，三个可见光图像细节层的局部方差，以及分别表示第三个红外图像粗糙层的空间频率、第三个可见光图像粗糙层的空间频率、第三个红外图像粗糙层的局部方差以及第三个可见光图像粗糙层的局部方差。图7所示为基于图像的空间频率和局部方差的综合融合策略所获取的所述大尺寸层的效果图。
[0060]
图像的空间频率描述了图像值在空间的变化梯度，图像的边缘特征和结构特征由图像值的变化和差异构成，图像空间频率的差异数值越大，形成的结构特征就越明显。像素点(x,y)的空间频率可由公式表示。其中，sf表示空间频率，rf以及cf分别表示行以及列的频率函数，p
×
q为以像素点(x,y)为中心的图像区域块尺寸。
[0061]
图像的局部方差反映了图像区域块数值的波动，图像的局部方差可由公式表示，μ表示p
×
q大小图像块内像素值的平均数。
[0062]
在其中一个实施例中，当且仅当图像层的空间频率和局部方差同时满足要求时，融合图像层的信息才分别由两个红外图像以及可见光图像的细节层和粗糙层决定，其它情
况下，融合图像的信息由红外图像的细节层和粗糙层决定。即在当且仅当图像层的空间频率和局部方差同时满足要求时由和融合而得，由和融合而得，由和融合而得，由和融合而得；在其它情况下，由决定，由决定，由决定，由决定。
[0063]
如图4以及图5所示，随着分解等级的增加，红外图像细节层、红外图像粗糙层以及红外图像基础层的人物纹理特征以及边缘信息越来越清晰，可见光图像细节层、可见光图像粗糙层以及可见光图像基础层对背景房屋框架描写的表现力渐佳。其中，i
ir
以及i
vis
分别表示红外图像以及可见光图像。
[0064]
所述红外图像基础层以及可见光图像基础层包含了大量基本信息和模糊信息，这些信息在最终的融合工作中起关键作用。为了提高图像信息的储存量，在其中一个实施例中，采用能量融合策略对所述红外图像基础层以及可见光图像基础层进行融合，以获取融合后的基础层。
[0065]
具体而言，如图3所示，所述融合后的基础层其中，e
ir
(x,y)＝exp(α|b
ir
(x,y)-s
ir
)，e
vis
(x,y)＝exp(α|b
vis
(x,y)-s
vis
)，α表示增益因子，b
ir
(x,y)以及b
vis
(x,y)分别表示所述红外图像基础层的像素坐标以及所述可见光图像基础层的像素坐标，s
ir
以及s
vis
分别表示所述红外图像基础层的固有属性以及所述可见光图像基础层的固有属性。图8所示为基于能量融合策略所获取的融合后的基础层的效果图。
[0066]
在其中一个实施例中，所述红外图像基础层的固有属性s
ir
＝μ
ir
+m
ir
，所述可见光图像基础层的固有属性s
vis
＝μ
vis
+m
vis
；其中，μ
ir
以及m
ir
分别表示所述红外图像基础层的平均值以及中位数，μ
vis
以及m
vis
分别表示所述可见光外图像基础层的平均值以及中位数。
[0067]
在其中一个实施例中，如图3所示，所述红外与可见光融合图像图9为所述红外与可见光融合图像的效果图。
[0068]
在其中一个实施例中，通过高斯曲率滤波器以及高斯滤波器对红外图像进行分解以获取红外图像细节层、红外图像粗糙层以及红外图像基础层，通过全变分滤波器以及高斯滤波器对可见光图像进行分解以获取可见光图像细节层、可见光图像粗糙层以及可见光图像基础层。
[0069]
在其中一个实施例中，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时实现所述的一种基于混合曲率滤波器的红外与可见光图像融合方法。
[0070]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0071]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。