基于视觉注意特性的可见光红外图像增强彩色融合方法与流程

本申请涉及红外与可见光图像的融合技术领域，具体地说，涉及一种基于视觉注意特性的可见光红外图像增强彩色融合方法。

背景技术：

图像融合是以图像为研究对象的信息融合技术，它把对同一目标或场景，用不同传感器获得的不同图像、或用同种传感器不同成像方式获得的图像、或同一传感器在不同时相获取的图像进行数据层(像素级)、或特征级、或决策级的融合，使融合图像具有不同特征或不同视点的多个传感器获得的多源图像之中的优点。图像融合技术具有一般图像处理的特点，因而可在图像数据层上展开大量的算法研究。

进行图像融合的源图像多种多样，有同类图像也有异类图像，包括可见光、微光、红外、紫外、雷达sar、多光谱、高光谱、ct和mri等图像。红外与可见光成像传感器广泛的应用于侦察、监视等任务中。红外热像仪主要探测场景中目标发射或反射的热辐射信息,可以不受照明条件的影响,在光照较差时仍具有较优的目标探测性能。另一方面,可见光传感器反映了场景的光谱反射特性,包含了场景的边缘与纹理等丰富的细节信息,但受场景照明环境的影响较大。对红外与可见光传感器的图像进行融合处理,既可以拥有可见光图像丰富的细节和灰度，又能反映出场景中目标的温度信息，有助于观察者发现异常目标，在军事侦察、流感防控、危险品检测等领域具有良好的应用前景。

图像融合往往根据源图像和应用场合的不同而采用有针对性的融合算法，通常并不存在一种或一类可以解决所有图像融合问题的方法。对已经开发出来的各式各样、功能各异的图像融合算法，按照其理论基础，可分为空域融合方法、谱域融合方法和尺度空间融合方法；按融合结果的色彩，分为灰度融合和彩色融合；按分辨力的级别，又分为单分辨力融合和多分辨力融合。

目前效果较好的可见光与红外融合方法有waxman提出的基于响尾蛇双模式细胞的拮抗融合算法以及toet提出的色差增强算法等。这些算法追求融合后的图像色彩自然、可视性好，但往往对目标区域表现得不够明显，不利于人眼识别。

技术实现要素：

有鉴于此，本申请所要解决的技术问题是提供了一种基于视觉注意特性的可见光红外图像增强彩色融合方法，在红外和可见光图像融合的过程中对热红外目标进行恰当的突显处理，以提高目标的视觉检测效率。由于图像融合前后目标的形状不宜发生改变，因此主要突显目标的亮度和颜色。如此方案，可使人眼在融合有目标灰度细节和温度信息的图像中，快速注意到清晰的异常目标。

为了解决上述技术问题，本申请有如下技术方案：

一种基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，包括：

对给定的红外图像进行滤波去噪，并对滤波去噪后的红外图像进行灰度值归一化处理，得到归一化处理后的红外图像；

对所述归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像；

对所述经幂次变换后的红外图像进行阈值分割，得到目标区域和非目标区域；

提取给定的可见光图像的亮度分量，得到提取的亮度图像；

在所述提取的亮度图像中，对所述目标区域进行增强处理得到增强后的亮度图像，对所述非目标区域维持原貌；

选择一种突显颜色对所述增强后的亮度图像进行着色处理，得到具有某种单一色调的彩色图像；

以所述经幂次变换后的红外图像为参考，对原始可见光图像和所述着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像。

优选地，其中：

对给定的红外图像进行滤波去噪，并对滤波去噪后的红外图像进行灰度值归一化处理，得到归一化处理后的红外图像，进一步为：

对给定的红外图像ir，利用高斯滤波器进行滤波去噪，并将其灰度值归一化至[0,1]，得到归一化处理后的红外图像。

优选地，其中：

对所述归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，进一步为：

根据ir′＝(norm(filter(ir)))^γ对所述归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，其中，ir′代表经幂次变换后的红外图像，filter(.)表示去噪滤波器，norm(.)表示归一化操作，幂次变换的伽马值满足γ＞1。

优选地，其中：

对所述经幂次变换后的红外图像进行阈值分割，得到目标区域和非目标区域，进一步为：

根据对所述经幂次变换后的红外图像ir′进行阈值分割，其中，t代表分割阈值，im代表目标区域掩膜，分割阈值t的大小根据整体图像灰度信息，利用最大类间方差法确定。

优选地，其中：

提取给定的可见光图像的亮度分量，进一步为：

对于给定的可见光图像is，若原图像是灰度图像，则其亮度分量就是图像本身，即vs＝is；若原图像是包含rs、gs、bs三个通道的彩色图像，则采用通用的亮度分量计算公式vs＝0.39rs+0.59gs+0.11bs计算亮度分量。

优选地，其中：

在所述提取的亮度图像中，对所述目标区域进行增强处理得到增强后的亮度图像，对所述非目标区域维持原貌，进一步为：

对于目标区域，利用公式：

vs′＝enhance(log(vsim+1))+vs(1-im)

对提取的亮度图像进行对数变换，再利用对比度增强函数对目标区域进行增强处理，得到增强后的亮度图像，对于非目标区域保持原貌，其中，enhance(.)为对比度增强函数。

优选地，其中：

所述对比度增强函数包括线性拉伸对比度增强函数或直方图均衡化对比度增强函数。

优选地，其中：

选择一种突显颜色对所述增强后的亮度图像进行着色处理，得到具有某种单一色调的彩色图像，进一步为：

用突显颜色ch对增强后的亮度图像vs′进行着色，得到具有某种单一色调的彩色图像ic，其像素点(i,j)处的第k个颜色通道的值由下式获得：

ic(i，j，k)＝ch(k)vs′(i，j)，

(0≤i＜m，0≤j＜n，k＝{0，1，2})

其中，m、n分别表示图像的高和宽。

优选地，其中：

所述突显颜色为红色、绿色、蓝色或黄色。

优选地，其中：

以所述经幂次变换后的红外图像为参考，对原始可见光图像和所述着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像，进一步为：

依据红外图像上的像素灰度值逐个处理原始可见光图像的像素点，将经幂次变换后的红外图像的像素灰度值作为权重，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像：

id(k)＝(1-ir′)is(k)+ir′ic(k)，

(k＝{0，1，2})

其中，ir′为经幂次变换后的红外图像，is为原始可见光图像，ic为着色后具有单一色调的彩色图像。

与现有技术相比，本申请所述的方法，达到了如下效果：

第一，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法所得融合图像能真实地反映出可见光下场景丰富的灰度细节信息，以及目标与背景间的红外温差信息。

第二，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法，能在较好保留非目标区域原貌的同时，根据目标与背景的温差变化对目标区域进行不同程度的突显，提高了目标的视觉检测效率，有利于人眼快速感知目标信息。

第三，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法，在突显红外目标的同时，对灰度图像对应的目标区域进行了增强处理，得到的目标区域细节清晰可辨。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法的流程图；

图2为本发明对归一化后的红外图像进行幂次变换的曲线图；

图3为本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法的应用实施例的流程图。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

实施例1

参见图1所示为本申请一种基于视觉注意特性的可见光红外图像增强彩色融合方法的流程图，从图1可看出，该基于视觉注意特性的可见光红外图像增强彩色融合方法包括：

步骤101、对给定的红外图像进行滤波去噪，并对滤波去噪后的红外图像进行灰度值归一化处理，得到归一化处理后的红外图像；

步骤102、对归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像；

步骤103、对经幂次变换后的红外图像进行阈值分割，得到目标区域和非目标区域；

步骤104、提取给定的可见光图像的亮度分量，得到提取的亮度图像；

步骤105、在提取的亮度图像中，对目标区域进行增强处理得到增强后的亮度图像，对非目标区域维持原貌；

步骤106、选择一种突显颜色对增强后的亮度图像进行着色处理，得到具有某种单一色调的彩色图像；

步骤107、以经幂次变换后的红外图像为参考，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像。

上述步骤101-步骤103是对红外图像的处理，步骤104-步骤105是对可见光图像的处理，这两组步骤的顺序可调换，例如先执行步骤104-105对可见光图像进行处理，再执行步骤101-103对红外图像进行处理。

心理学研究表明，由于视觉神经元细胞数量有限，人眼在观察整个场景时，为了降低场景分析的复杂度会选择一部分区域进行更高级的视觉处理，而局部特征较强的区域比较容易引起观察者的视觉注意。本申请利用人类视觉的这种选择性感知能力，在图像中对感兴趣的目标进行突显处理，能够有效地减少目标搜索的时间。可使观察者快速地将注意力集中到某一目标的视觉突显方法包括改变其形状、亮度、颜色等。

本申请所提供的基于视觉注意特性的可见光红外图像增强彩色融合方法中，在红外和可见光图像融合的过程中对热红外目标进行恰当的突显处理，有利于提高目标的视觉检测效率。由于图像融合前后目标的形状不宜发生改变，因此主要突显目标的亮度和颜色。如此方案，可使人眼在融合有目标灰度细节和温度信息的图像中，快速注意到清晰的异常目标。

上述步骤101中，对给定的红外图像进行滤波去噪，并对滤波去噪后的红外图像进行灰度值归一化处理，得到归一化处理后的红外图像，进一步为：

对给定的红外图像ir，利用高斯滤波器进行滤波去噪，并将其灰度值归一化至[0,1]，得到归一化处理后的红外图像。

上述步骤102中，对归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，进一步为：

根据ir′＝(norm(filter(ir)))^γ对归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，其中，ir′代表经幂次变换后的红外图像，filter(.)表示去噪滤波器，norm(.)表示归一化操作，幂次变换的伽马值满足γ＞1。本申请对红外图像进行幂次变换的曲线参见图2，图中γ＝s^γ，幂次变换的伽马值需满足γ＞1，这样使幂次变换后的热红外图像中灰度值较小的背景像素被抑制，灰度值较大的目标区域对比度得到增强。

上述步骤103中，对经幂次变换后的红外图像进行阈值分割，得到目标区域和非目标区域，进一步为：

根据对经幂次变换后的红外图像ir′进行阈值分割，其中，t代表分割阈值，im代表目标区域掩膜。此处的分割阈值t的大小可根据整体图像灰度信息，利用ostu提出的最大类间方差法确定。

上述步骤104中，提取给定的可见光图像的亮度分量，进一步为：

对于给定的可见光图像is，若原图像是灰度图像，则其亮度分量就是图像本身，即vs＝is；若原图像是包含rs、gs、bs三个通道的彩色图像，则采用通用的亮度分量计算公式vs＝0.39rs+0.59gs+0.11bs计算亮度分量。通过此种方式可获得提取的亮度图像。

上述步骤105中，在提取的亮度图像中，对目标区域进行增强处理得到增强后的亮度图像，对非目标区域维持原貌，进一步为：

对于目标区域，利用公式：

vs′＝enhance(log(vsim+1))+vs(1-im)

对提取的亮度图像进行对数变换，再利用对比度增强函数对目标区域进行增强处理，得到增强后的亮度图像，对于非目标区域保持原貌，其中，enhance(.)为对比度增强函数。

上述过程中对提取的亮度图像进行对数变换的目的是适应人类视觉系统对光强的主观感受特征，研究表明，主观亮度与进入人眼的对数成近似线性关系。本申请对提取的亮度图像进行对数变换，再利用对比增强函数对目标区域进行增强处理，能够提高图像的细节对比度。

上述过程中所采用的对比度增强函数可采用线性拉伸对比度增强函数或直方图均衡化对比度增强函数等。

上述步骤106中，选择一种突显颜色对增强后的亮度图像进行着色处理，得到具有某种单一色调的彩色图像，进一步为：

用突显颜色ch对增强后的亮度图像vs′进行着色，得到具有单一色调的彩色图像ic，其像素点(i,j)处的第k个颜色通道的值由下式获得：

ic(i，j，k)＝ch(k)vs′(i，j)，

(0≤i＜m，0≤j＜n，k＝{0，1，2})

其中，m、n分别表示图像的高和宽。

上述过程中，选择一种突显颜色对增强后的亮度图像进行着色处理，用突显颜色进行处理的区域比较容易引起观察者的视觉注意，根据人类视觉的选择性感知能力，在图像中对感兴趣的目标进行突显处理，能够有效地减少目标的搜索时间，并能够让观察者快速地将注意力集中到该突显颜色区域。

本申请对突显颜色的选择应充分考虑到环境背景，通常可选取红色、绿色、蓝色、黄色四种颜色。大多数实际情况下，图像的背景是天空、植被、大地等自然景观，且以灰白或者蓝绿色为主色调，因此本案优选红色作为突显颜色，此外红色常常代表着高温、危险等含义，会对人类心理产生警示的作用。当然，除了上述情况外，本申请中的突显颜色还可根据图像的实际背景进行灵活调整，而不仅限于之前提到的红、绿、蓝、黄四种颜色。

上述步骤107中，以经幂次变换后的红外图像为参考，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像，进一步为：

依据红外图像上的像素灰度值逐个处理原始可见光图像的像素点，将经幂次变换后的红外图像的像素灰度值(此处的像素灰度值已归一化至[0,1]且经过幂次变换)作为权重，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像：

id(k)＝(1-ir′)is(k)+ir′ic(k)，

(k＝{0，1，2})

其中，ir′为经幂次变换后的红外图像，is为原始可见光图像，ic为着色后具有单一色调的彩色图像。考虑到rgb颜色空间的非均匀性问题，对原始可见光图像和具有单一色调的彩色图像进行像素级加权融合的过程应该在相对较均匀的颜色空间下进行。

实施例2

以下提供本申请基于视觉注意特性的可见光红外图像增强彩色融合方法的应用实施例，参见图3。从图3可看出，该实施例所提供的基于视觉注意特性的可见光红外图像增强彩色融合方法包括：

步骤201、输入红外图像；

步骤202、对所输入的红外图像进行滤波去噪和灰度值归一化处理；

具体地，可利用高斯滤波器对红外图像进行滤波去噪，并将其灰度值归一化至[0,1]。

步骤203、对归一化处理后的红外图像进行幂次变换；

具体为，根据ir′＝(norm(filter(ir)))^γ对归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，其中，ir′代表经幂次变换后的红外图像，filter(.)表示去噪滤波器，norm(.)表示归一化操作，幂次变换的伽马值满足γ＞1。

步骤204、对经幂次变换后的红外图像进行阈值分割，得到目标区域；

具体地，热红外图像目标区域可通过对ir′进行阈值分割得到。设t为分割阈值，则目标区域掩膜为：

步骤205、输入可见光图像。

步骤206、提取可见光图像的亮度分量，若原始的可见光图像为灰度图像，则其亮度分量就是可见光图像本身；若原始图像是包含rs、gs、bs三个通道的彩色图像，则采用通用的亮度分量计算公式vs＝0.39rs+0.59gs+0.11bs计算亮度分量，以获得提取的亮度图像。

步骤207、在提取的亮度图像中，对目标区域进行增强处理。

具体为，在目标区域，利用公式：

vs′＝enhance(log(vsim+1))+vs(1-im)

先对提取的亮度图像进行对数变换，再利用对比度增强函数对目标区域进行增强处理。

步骤208、选择一种突显颜色对增强后的亮度图像进行着色处理，得到具有单一色调的彩色图像。

该步骤中，突显颜色可根据图像的背景色调来进行选择，通常选择与背景色调反差较大的颜色作为突显颜色。

步骤209、以所述经幂次变换后的红外图像作为参考图像，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像。

通过上述步骤201-步骤209即实现了基于视觉注意特性的可见光红外图像增强彩色融合方法。

通过以上各实施例可知，本申请存在的有益效果是：

第一，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法所得融合图像能真实地反映出可见光下场景丰富的灰度细节信息，以及目标与背景间的红外温差信息。

第二，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法，能在较好保留非目标区域原貌的同时，根据目标与背景的温差变化对目标区域进行不同程度的突显，提高了目标的视觉检测效率，有利于人眼快速感知目标信息。

第三，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法，在突显红外目标的同时，对灰度图像对应的目标区域进行了增强处理，得到的目标区域细节清晰可辨。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。