图像融合方法、装置、电子设备及可读存储介质与流程

1.本申请涉及红外技术领域，特别是涉及一种图像融合方法、装置、电子设备及可读存储介质。


背景技术：

2.红外技术作为一种新的探索工具，已被广泛应用于各科学领域。但是由于红外辐射十分复杂，且影响目标红外辐射的因素有很多，导致红外图像的成像质量远不如可见光图像。在利用红外图像分析问题时，通常还需要同时结合可见光信息，这就使得红外图像和可见光图像进行双光图像融合技术应用而生。
3.相关技术通常采用金字塔算法进行双光融合，该方法层数较难确定，若层数较低，则最终所得图像效果较差；若层数较高，相对的复杂度较高，计算量很大，不利于工程化实现。


技术实现要素：

4.本申请提供了一种图像融合方法、装置、电子设备及可读存储介质，图像融合效果好，计算量少，有利于工程化实现。
5.为解决上述技术问题，本发明实施例提供以下技术方案：
6.本发明实施例一方面提供了一种图像融合方法，包括：
7.分别提取已配准的可见光图像和红外图像的显著层、基层和细节层；
8.将所述可见光图像的显著层与所述红外图像的显著层、所述可见光图像的基层与所述红外图像的基层、所述可见光图像的细节层与所述红外图像的细节层分别进行融合，得到融合显著层、融合基层和融合细节层；
9.按照预设权重系数将所述融合显著层、所述融合基层和所述融合细节层进行叠加处理，得到双光融合图像。
10.可选的，在所述按照预设权重系数将所述融合显著层、所述融合基层和所述融合细节层进行叠加处理之后，所述得到双光融合图像之前，还包括：
11.判断叠加处理所得图像的每个像素点的像素值是否在预设像素值允许范围内；
12.若存在像素值不在所述预设像素值允许范围的目标像素点，则将所述目标像素点的像素值调整为预设目标值；所述目标值为所述预设像素值允许范围的数值。
13.可选的，所述分别提取已配准的可见光图像和红外图像的显著层、基层和细节层，包括：
14.对所述可见光图像和所述红外图像进行图像配准处理；
15.对所述可见光图像进行灰度化处理，得到可见光灰度图像；
16.基于所述可见光灰度图像和所述红外图像经滤波处理所得图像，计算所述可见光图像和所述红外图像的显著层权重值；
17.根据所述可见光图像、所述红外图像和各自归一化后的显著层权重值确定所述可
见光图像和所述红外图像的显著层。
18.可选的，所述基于所述可见光灰度图像和所述红外图像经滤波处理所得图像，计算所述可见光图像和所述红外图像的显著层权重值，包括：
19.对所述可见光灰度图像和所述红外图像进行低通滤波处理，得到可见光低频图像和红外低频图像；
20.对所述可见光灰度图像和所述红外图像进行线性滤波处理，得到可见光滤波图像和红外滤波图像；
21.基于所述可见光低频图像和所述可见光滤波图像，调用预设显著层权重计算关系式计算得到所述可见光图像的显著层权重值；
22.基于所述红外低频图像和所述红外滤波图像，调用所述预设显著层权重计算关系式计算得到所述红外图像的显著层权重值。
23.可选的，所述分别提取已配准的可见光图像和红外图像的显著层、基层和细节层，包括：
24.从所述可见光图像中分离其显著层，得到可见光目标图像；
25.从所述红外图像中分离其显著层，得到红外目标图像；
26.分别对所述可见光目标图像和所述红外目标图像进行低通滤波分层处理，得到可见光低频基层和红外低频基层，以作为所述可见光图像和所述红外图像的基层；
27.根据所述可见光目标图像和所述可见光低频基层确定所述可见光图像的细节层；
28.根据所述红外目标图像和所述红外低频基层确定所述红外图像的细节层。
29.可选的，所述将所述可见光图像的显著层与所述红外图像的显著层、所述可见光图像的基层与所述红外图像的基层、所述可见光图像的细节层与所述红外图像的细节层分别进行融合，包括：
30.根据预先设置的所述可见光图像和所述红外图像的表的阈值，计算所述可见光图像和所述红外图像各自的权重表；所述表的阈值根据所述可见光图像和所述红外图像各自的显著层权重值所确定；
31.基于所述可见光图像和所述红外图像的权重表，将所述可见光图像的显著层与所述红外图像的显著层进行融合。
32.可选的，所述将所述可见光图像的显著层与所述红外图像的显著层、所述可见光图像的基层与所述红外图像的基层、所述可见光图像的细节层与所述红外图像的细节层分别进行融合，包括：
33.依次判断所述可见光图像的基层的每个像素点的可见像素值是否大于其对应在所述红外图像的基层的像素点的红外像素值；
34.若所述可见像素值大于所述红外像素值，则将所述可见像素值作为所述当前像素点在所述融合基层的像素值；
35.若所述可见像素值不大于所述红外像素值，则将所述红外像素值作为所述当前像素点在所述融合基层的像素值；
36.采用加权平均对所述可见光图像和所述红外图像的细节层进行融合。
37.本发明实施例另一方面提供了一种图像融合装置，包括：
38.图层提取模块，用于分别提取已配准的可见光图像和红外图像的显著层、基层和
细节层；
39.图层融合模块，用于将所述可见光图像的显著层与所述红外图像的显著层、所述可见光图像的基层与所述红外图像的基层、所述可见光图像的细节层与所述红外图像的细节层分别进行融合，得到融合显著层、融合基层和融合细节层；
40.图像融合模块，用于按照预设权重系数将所述融合显著层、所述融合基层和所述融合细节层进行叠加处理，得到双光融合图像。
41.本发明实施例还提供了一种电子设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述图像融合方法的步骤。
42.本发明实施例最后还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述图像融合方法的步骤。
43.本申请提供的技术方案的优点在于，将需要融合的红外图像和可见光图像分为显著层、基层和细节层，先将红外图像和可见光图像各自的显著层、基层和细节层分别进行融合，最后对三层进行加权融合，增强细节层，得到的双光融合图像既保留了红外的温度信息，也保留了可见光的细节信息，图像整体得到大幅度的提升，细节强，层次感分明，符合人眼的视觉特性。不仅对可见光和红外图像的质量要求不高，还能达到一个令人满意的效果。同时，整个图像融合过程的复杂度较低，耗时低，可以实时处理，有利于工程化实现。
44.此外，本发明实施例还针对图像融合方法提供了相应的实现装置、电子设备及可读存储介质，进一步使得所述方法更具有实用性，所述装置、电子设备及可读存储介质具有相应的优点。
45.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
46.为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1为本发明实施例提供的一种图像融合方法的流程示意图；
48.图2为本发明实施例提供的另一种图像融合方法的流程示意图；
49.图3为本发明实施例提供的图像融合装置的一种具体实施方式结构图；
50.图4为本发明实施例提供的电子设备的一种具体实施方式结构图。
具体实施方式
51.为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及
他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
53.在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
54.首先参见图1，图1为本发明实施例提供的一种图像融合方法的流程示意图，本发明实施例可包括以下内容：
55.s101：分别提取已配准的可见光图像和红外图像的显著层、基层和细节层。
56.在执行s101之前，需要将待融合的可见光图像和红外图像进行图像配准处理，可采用基于灰度和模板的图像配准算法，也可采用基于特征的匹配方法，如sift、surf点特征，或者向量特征等等；还可采用基于域变换的方法，采用相位相关(傅里叶
‑
梅林变换)或者沃尔什变换、小波等方法，在新的域下进行配准。所属领域技术人员可根据实际需求灵活选择图像配准算法，本申请并不做任何限定。至于图像配准的实现过程，所属领域技术人员可参阅所选择的图像配准算法在相关技术中记载的内容，此处，便不再赘述。
57.本步骤将可见光图像和红外图像均分为显著层、基层和细节层，为了区别，可见光图像的显著层、基层和细节层可称为可见光显著层、可见光基层和可见光细节层，红外图像的显著层、基层和细节层可称为红外显著层、红外基层和红外细节层。也就是说，经s101处理后，可见光图像由可见光显著层、可见光基层和可见光细节层构成，红外图像同样由红外显著层、红外基层和红外细节层构成。其中，显著层包含图像显著性特征，图像显著性是图像中重要的视觉特征，体现了人眼对图像的某些区域的重视程度，也即显著层符合人的主观评价。基层和细节层包含的是图像中去除显著层之外的图像特征。
58.s102：将可见光图像的显著层与红外图像的显著层、可见光图像的基层与红外图像的基层、可见光图像的细节层与红外图像的细节层分别进行融合，得到融合显著层、融合基层和融合细节层。
59.在本步骤中，将可见光显著层和红外显著层进行融合得到融合显著层，将可见光基层和红外基层进行融合得到融合基层，将可见光细节层和红外细节层融合得到融合细节层。而至于各层融合时所采用的方法可根据实际需求进行选择，本申请不做任何限定。
60.s103：按照预设权重系数将融合显著层、融合基层和融合细节层进行叠加处理，得到双光融合图像。
61.根据所需求的融合效果和各层对双光融合图像的图像效果的影响程度为融合显著层、融合基层和融合细节层分配相应的权重系数，所属领域技术人员可通过多次实验来确定最优的权重系数。对三层进行加权融合，增强细节层，得到的红外图像既保留了红外的温度信息，也保留了可见光的细节信息，图像整体得到大幅度的提升。
62.在本发明实施例提供的技术方案中，将需要融合的红外图像和可见光图像分为显著层、基层和细节层，先将红外图像和可见光图像各自的显著层、基层和细节层分别进行融合，最后对三层进行加权融合，增强细节层，得到的双光融合图像既保留了红外的温度信息，也保留了可见光的细节信息，图像整体得到大幅度的提升，细节强，层次感分明，符合人眼的视觉特性。不仅对可见光和红外图像的质量要求不高，还能达到一个令人满意的效果。同时，整个图像融合过程的复杂度较低，耗时低，可以实时处理，有利于工程化实现。
63.为了进一步提高图像融合效果，在按照预设权重系数将融合显著层、融合基层和
融合细节层进行叠加处理之后，得到双光融合图像之前，还包括：
64.判断叠加处理所得图像的每个像素点的像素值是否在预设像素值允许范围内；若存在像素值不在预设像素值允许范围的目标像素点，则将目标像素点的像素值调整为预设目标值；目标值为预设像素值允许范围的数值。
65.本实施例将叠加处理后所得的图像的各像素点的像素点限制在像素值允许范围内，像素值允许范围例如可为[0，255]。预设目标值可根据实际需求灵活选择，例如可为像素值允许范围的端点值。举例来说，叠加处理后所得的图像称为fusionimg，那么将fusionimg的范围限制在[0，255]进行截断处理，fusionimg(i，j)表示(i，j)像素点像素值，对fusionimg的每个像素点(i，j)的处理方式为：
[0066]
fusionimg(i，j)＝255；iffusionimg(i，j)>255；
[0067]
fusionimg(i，j)＝0；iffusionimg(i，j)<0；
[0068]
fusionimg(i，j)＝fusionimg(i，j)；otherwise。
[0069]
将截断处理所得的图像作为双光融合图像，该双光融合图像是灰度图像，若当前应用场景需求的并不是灰度图像，进一步的，还可将双光融合图像进行伪彩映射处理，得到伪彩图，将伪彩图作为最终双光融合图像进行输出。
[0070]
在上述实施例中，对于如何执行步骤s101并不做限定，本实施例中给出图像的显著层、基层和细节层的一种提取方式，可包括如下步骤：
[0071]
在本实施例中，对图像的显著层的提取过程可包括：
[0072]
对可见光图像和红外图像进行图像配准处理；
[0073]
对可见光图像进行灰度化处理，得到可见光灰度图像；
[0074]
基于可见光灰度图像和红外图像经滤波处理所得图像，计算可见光图像和红外图像的显著层权重值；
[0075]
根据可见光图像、红外图像和各自归一化后的显著层权重值确定可见光图像和红外图像的显著层。
[0076]
其中，可见光图像为rgb图像，为了后续图像处理方便，需要将rgb图像转换为灰度图像，举例来说，可按照vis＝0.299*visr+0.587*visg+0.114*visb进行转换，vis为可见光灰度图像，visr为可见光图像的r通道，visg为可见光图像的g通道，visb为可见光图像的b通道。
[0077]
可以理解的是，显著层权重越大，代表该位置在整体图像中越显著，而显著层又作为反映人眼主观感觉的图像特征，为了提高融合效果，考虑到应当在融合结果中予以体现，所以需要进行显著层权重值的计算。本实施例在对可见光灰度图像和红外图像进行滤波处理之后，基于滤波处理之后所得图像进行显著层权重计算，作为一种可选的实施方式，可见光图像和红外图像的显著层权重值的计算过程可包括下述步骤：
[0078]
对可见光灰度图像和红外图像进行低通滤波处理，得到可见光低频图像和红外低频图像。
[0079]
对可见光灰度图像和红外图像进行线性滤波处理，得到可见光滤波图像和红外滤波图像。
[0080]
基于可见光低频图像和可见光滤波图像，调用预设显著层权重计算关系式计算得到可见光图像的显著层权重值。
[0081]
基于红外低频图像和红外滤波图像，调用预设显著层权重计算关系式计算得到红外图像的显著层权重值。
[0082]
在本实施例中，低通滤波处理例如可采用低通滤波器，也可采用高斯滤波方法分别对可见光灰度图像和红外图像进行处理，举例来说，用模板或称卷积、掩模扫描可见光灰度图像和红外图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，得到可见光低频图像和红外低频图像。高斯滤波的模板gaussfilt例如可为：
[0083][0084]
式中，σ为标准差，e表示指数，(x，y)为当前像素点与中心像素点之间的距离值。可选的，可采用半径大于5，标准差大于10的高斯滤波对可见光灰度图像和红外图像进行低通滤波处理，得到效果好的可见光低频图像和红外低频图像。
[0085]
线性滤波例如可采用均值滤波，中值滤波，或者还可采用图片平均值代替原始图像的各像素点的像素值来处理。举例来说，可基于且半径与高斯滤波半径相同对可见光灰度图像和红外图像分别做均值滤波，得到可见光滤波结果avrvis和红外滤波结果avrir。式中，n为像素点总数，a
n
为第n个像素点的像素值。
[0086]
本实施例的预设显著层权重计算关系式例如可表示为weight＝(img1‑
img2)2，weight为显著层权重值，img1为低通滤波处理之后所得图像，img2为线性滤波处理之后所得图像，可见光图像和红外图像的预设显著层权重计算关系式可相同也可不同。以低通滤波采用高斯滤波、线性滤波采用均值滤波为例，可见光图像的显著层权重值weightsaliencyvis可根据关系式weightsaliencyvis＝(gaussvis
‑
avrvis)^2计算得到，gaussvis为高斯滤波处理之后所得可见光图像，avrvis为均值滤波处理之后所得可见光图像。红外图像的显著层权重值weightsaliencyir可根据关系式weightsaliencyir＝(gaussir
‑
avrir)^2计算得到，gaussir为高斯滤波处理之后所得红外图像，avrir为均值滤波处理之后所得红外图像。
[0087]
在计算得到红外图像和可见光图像的显著层权重值之后，可先对各自的显著层权重值进行归一化处理，然后与原始图像相乘得到显著层。举例来说，显著层的计算方式可表示为：
[0088]
saliencyvis＝vis.*weightsaliencyvis/max(weightsaliencyvis)；
[0089]
saliencyir＝ir.*weightsaliencyir/max(weightsaliecnyir)；
[0090]
式中，saliencyvis为可见光图像的显著层，saliencyir为红外图像的显著层，vis.为可见光图像，ir.为红外图像，weightsaliencyvis为可见光图像的显著层权重值，max(weightsaliencyvis)为可见光图像的显著层权重值中的最大值，weightsaliencyir为红外图像的显著层权重值，max(weightsaliecnyir)为红外图像的显著层权重值中的最大值。
[0091]
可以理解的是，对图像的基层和细节层是原始图像中去除显著层之外的图像特征，在上个实施例提取得到显著层之后，红外图像的基层和细节层、可见光图像的基层和细
节层的提取过程可包括：
[0092]
从可见光图像中分离其显著层，得到可见光目标图像；
[0093]
从红外图像中分离其显著层，得到红外目标图像；
[0094]
分别对可见光目标图像和红外目标图像进行低通滤波分层处理，得到可见光低频基层和红外低频基层，以作为可见光图像和红外图像的基层；
[0095]
根据可见光目标图像和可见光低频基层确定可见光图像的细节层；
[0096]
根据红外目标图像和红外低频基层确定红外图像的细节层。
[0097]
在本实施例中，低通滤波仍然可采用高斯滤波处理，当前也可采用其他类型的低通滤波，这均不影响本申请的实现。可见光低频基层即为可见光图像的基层，红外低频基层即为红外图像的基层，可将可见光目标图像和可见光低频基层进行做差得到可见光图像的细节层，所谓的做差即为将对应像素点的像素值做减法运算，将红外目标图像和红外低频基层进行做差得到红外图像的细节层。
[0098]
由上可知，本实施例将红外图像和可见光图像分为显著层、细节层和基层，有利于得到融合效果好的融合效果。
[0099]
在上述实施例中，对于如何执行步骤s102并不做限定，本实施例中给出图像的显著层、基层和细节层的一种融合方式，可包括如下步骤：
[0100]
根据预先设置的可见光图像和红外图像的表的阈值，计算可见光图像和红外图像各自的权重表；表的阈值可根据可见光图像和红外图像各自的显著层权重值所确定。基于可见光图像和红外图像的权重表，将可见光图像的显著层与红外图像的显著层进行融合。
[0101]
依次判断可见光图像的基层的每个像素点的可见像素值是否大于其对应在红外图像的基层的像素点的红外像素值；若可见像素值大于红外像素值，则将可见像素值作为当前像素点在融合基层的像素值；若可见像素值不大于红外像素值，则将红外像素值作为当前像素点在融合基层的像素值。
[0102]
采用加权平均对可见光图像和红外图像的细节层进行融合。
[0103]
在本实施例中，在计算得到显著层权重值之后，可利用avrweightsaliencyvis＝mean(weightsaliencyvis)和avrweightsaliency ir＝mean(weightsaliencyir)计算各图像的显著层权重均值，以显著层权重均值的两倍作为表的阈值计算出各自的权重表，然后可基于权重表采用下述方式对两个显著层进行融合：
[0104]
mapvis(i，j)＝1，ifweightsaliencyvis(i，j)>2*avrweightsaliencyvis；
[0105]
mapvis(i，j)＝0，otherwise；
[0106]
mapir(i，j)＝1，ifweightsaliencyir(i，j)>2*avrweightsaliencyir
[0107]
mapir(i，j)＝0，otherwise。
[0108]
saliency(i，j)＝saliencyir(i，j)，ifmapir(i，j)＝＝1；
[0109]
saliency(i，j)＝saliencyvis(i，j)，ifmapir(i，j)＝＝0&&mapvis(i，j)＝＝1；
[0110]
saliency(i，j)＝(saliencyir(i，j)+saliencyvis(i，j))/2，otherwise；
[0111]
式中，avrweightsaliencyvis为可见光图像的显著层权重均值，avrweightsaliencyir为红外图像的显著层权重均值，mapvis为可见光图像的权重表，mapvis(i，j)为可见光图像的权重表中(i，j)像素点的像素值，mapir为红外图像的权重表，mapir(i，j)为红外图像的权重表中(i，j)像素点的像素值，saliency(i，j)为融合显著层的
(i，j)像素点的像素值，saliencyir(i，j)为红外图像的显著层的(i，j)像素点的像素值，saliencyvis(i，j)为可见光图像的显著层的(i，j)像素点的像素值。
[0112]
本实施例采用取大原则对基层进行融合，也即基于下述关系式执行红外基层和可见光基层的融合操作：
[0113]
base(i，j)＝baseir(i，j)，ifbaseir(i，j)>basevis(i，j)；
[0114]
base(i，j)＝basevis(i，j)，ifbaseir(i，j)<＝basevis(i，j)；
[0115]
式中，base(i，j)为融合基层中(i，j)像素点的像素值，baseir(i，j)为红外图像的基层的(i，j)像素点的像素值，basevis(i，j)为可见光图像的基层的(i，j)像素点的像素值。
[0116]
作为一种可选实施方式，可基于加权平均计算关系式即detail(i，j)＝m*detailvis(i，j)+(1
‑
m)*detailir(i，j)对红外细节层和可见光细节层，基于加权平均进行融合，既保留红外细节，也保留可见光细节。detail(i，j)为融合细节层中(i，j)像素点的像素值，m为系数，实验结果表明，m取0.8，图像效果细节明显，人眼观感好。detailvis(i，j)为可见光图像的细节层的(i，j)像素点的像素值，detailir(i，j)为红外图像的细节层的(i，j)像素点的像素值。
[0117]
由上可知，本实施例使用显著性权重均值的两倍来指导显著层的融合，无须额外的参数，鲁棒性强；对于基层，选用取大原则，保留可见光图像和红外图像中较大的部分；对于细节层则直接加权平均，既保留了红外中的细节，也凸显了可见光的细节。从而可有效提升最终双光融合图像的图像效果。
[0118]
为了使所属领域技术人员更加清楚明白本申请的技术方案，本申请结合图2以示意性例子阐述红外图像和可见光图像的融合过程，可包括下述内容：
[0119]
1：对可见光图像vis和红外图像ir进行预处理，得到配准好的图像。
[0120]
2.基于关系式vis＝0.299*visr+0.587*visg+0.114*visb对可见光图像进行灰度化，将rgb图像转成灰度图像。
[0121]
3.对可见光和红外图像分别做高斯滤波处理，得到可见光低频图像gaussvis和红外低频图像gaussir。
[0122]
4.对可见光和红外图像分别做均值滤波处理，得到可见光滤波结果avrvis和红外滤波结果avrir。
[0123]
5.通过对高斯滤波和均值滤波所得图像的像素点的像素值做差，并取平方，得到两幅图像的显著层权重，可表示为weightsaliencyvis和weightsaliencyir。
[0124]
6.计算显著层权重均值，以均值两倍作为表的阈值，计算出各自的权重表mapvis和mapir。
[0125]
7.对显著层权重进行归一化，然后与原图像相乘，得到两图像各自的显著层saliencyvis和saliencyir。
[0126]
8.将显著层从原图像中分离，得到剩下的图像dbvis和dbir。
[0127]
9.对dbvis和dbir使用低通滤波分层，比如高斯滤波，得到可见光低频基层basevis和红外低频基层baseir。
[0128]
10.使用dbvis和dbir分别与基层做差，得到可见光细节层detailvis和红外细节层detailir。
[0129]
11.使用权重表对显著层saliencyir(i，j)和saliencyvis(i，j)进行融合。
[0130]
12.采用取大原则对基层baseir(i，j)和basevis(i，j)进行融合。
[0131]
13.采用加权平均对细节层detailvis(i，j)和detailir(i，j)进行融合。
[0132]
14.基于fusionimg＝a*saliency+b*base+c*detail将显著层saliency、基层base和细节层detail进行叠加，增强细节，得到最终输出结果fusionimg。实验结果表明，a＝0.9，b＝1，c＝2，图像效果较好。
[0133]
15.将fusionimg的范围限制在[0，255]，进行截断处理。
[0134]
16.fusionimg即为最终的融合结果，之后进行伪彩映射，得到伪彩图。
[0135]
由上可知，本发明实施例将图像分为显著层、基层和细节层，使用显著性权重均值的两倍来指导显著层的融合，无须额外的参数，鲁棒性强；对于基层，选用取大原则，保留可见光图像和红外图像中较大的部分；对于细节层则直接加权平均，既保留了红外中的细节，也凸显了可见光的细节。最后对三层进行加权融合，增强细节层，得到的红外图像既保留了红外的温度信息，也保留了可见光的细节信息，图像整体得到大幅度的提升，细节强，层次感分明，符合人眼的视觉特性。对可见光和红外图像的质量要求不高，又能达到一个令人满意的效果。同时，该算法复杂度较低，耗时低，可以实时处理，利于工程化实现。
[0136]
需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1和图2只是一种示意方式，并不代表只能是这样的执行顺序。
[0137]
本发明实施例还针对图像融合方法提供了相应的装置，进一步使得方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的图像融合装置进行介绍，下文描述的图像融合装置与上文描述的图像融合方法可相互对应参照。
[0138]
基于功能模块的角度，参见图3，图3为本发明实施例提供的图像融合装置在一种具体实施方式下的结构图，该装置可包括：
[0139]
图层提取模块301，用于分别提取已配准的可见光图像和红外图像的显著层、基层和细节层；
[0140]
图层融合模块302，用于将可见光图像的显著层与红外图像的显著层、可见光图像的基层与红外图像的基层、可见光图像的细节层与红外图像的细节层分别进行融合，得到融合显著层、融合基层和融合细节层；
[0141]
图像融合模块303，用于按照预设权重系数将融合显著层、融合基层和融合细节层进行叠加处理，得到双光融合图像。
[0142]
可选的，在本实施例的一些实施方式中，上述装置例如还可以包括截断处理模块，用于在按照预设权重系数将融合显著层、融合基层和融合细节层进行叠加处理之后，得到双光融合图像之前，判断叠加处理所得图像的每个像素点的像素值是否在预设像素值允许范围内；若存在像素值不在预设像素值允许范围的目标像素点，则将目标像素点的像素值调整为预设目标值；目标值为预设像素值允许范围的数值。
[0143]
可选的，在本实施例的另一些实施方式中，上述图层提取模块301可包括：
[0144]
配准单元，用于对可见光图像和红外图像进行图像配准处理；
[0145]
灰度处理单元，用于对可见光图像进行灰度化处理，得到可见光灰度图像；
[0146]
显著层提取单元，用于基于可见光灰度图像和红外图像经滤波处理所得图像，计算可见光图像和红外图像的显著层权重值；根据可见光图像、红外图像和各自归一化后的显著层权重值确定可见光图像和红外图像的显著层。
[0147]
作为本实施例的一种可选的实施方式，上述显著层提取单元可进一步用于：对可见光灰度图像和红外图像进行低通滤波处理，得到可见光低频图像和红外低频图像；对可见光灰度图像和红外图像进行线性滤波处理，得到可见光滤波图像和红外滤波图像；基于可见光低频图像和可见光滤波图像，调用预设显著层权重计算关系式计算得到可见光图像的显著层权重值；基于红外低频图像和红外滤波图像，调用预设显著层权重计算关系式计算得到红外图像的显著层权重值。
[0148]
作为本实施例的另外一种可选的实施方式，上述图层提取模块301可包括细节层提取单元和基层提取单元；
[0149]
基层提取单元用于从可见光图像中分离其显著层，得到可见光目标图像；从红外图像中分离其显著层，得到红外目标图像；分别对可见光目标图像和红外目标图像进行低通滤波分层处理，得到可见光低频基层和红外低频基层，以作为可见光图像和红外图像的基层；
[0150]
细节层提取单元用于根据可见光目标图像和可见光低频基层确定可见光图像的细节层；根据红外目标图像和红外低频基层确定红外图像的细节层。
[0151]
可选的，在本实施例的其他一些实施方式中，上述图层融合模块302可包括显著层融合单元、细节层融合单元和基层融合单元；
[0152]
显著层融合单元用于根据预先设置的可见光图像和红外图像的表的阈值，计算可见光图像和红外图像各自的权重表；表的阈值根据可见光图像和红外图像各自的显著层权重值所确定；基于可见光图像和红外图像的权重表，将可见光图像的显著层与红外图像的显著层进行融合。
[0153]
基层融合单元用于依次判断可见光图像的基层的每个像素点的可见像素值是否大于其对应在红外图像的基层的像素点的红外像素值；若可见像素值大于红外像素值，则将可见像素值作为当前像素点在融合基层的像素值；若可见像素值不大于红外像素值，则将红外像素值作为当前像素点在融合基层的像素值；
[0154]
细节层融合单元用于采用加权平均对可见光图像和红外图像的细节层进行融合。
[0155]
本发明实施例所述图像融合装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
[0156]
由上可知，本发明实施例的图像融合效果好，计算量少，有利于工程化实现。
[0157]
上文中提到的图像融合装置是从功能模块的角度描述，进一步的，本申请还提供一种电子设备，是从硬件角度描述。图4为本申请实施例提供的电子设备在一种实施方式下的结构示意图。如图4所示，该电子设备包括存储器40，用于存储计算机程序；处理器41，用于执行计算机程序时实现如上述任一实施例提到的图像融合方法的步骤。
[0158]
其中，处理器41可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器41可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器41也可以包括主处理器和协处理器，主处
理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器41可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器41还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0159]
存储器40可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器40还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器40至少用于存储以下计算机程序401，其中，该计算机程序被处理器41加载并执行之后，能够实现前述任一实施例公开的图像融合方法的相关步骤。另外，存储器40所存储的资源还可以包括操作系统402和数据403等，存储方式可以是短暂存储或者永久存储。其中，操作系统402可以包括windows、unix、linux等。数据403可以包括但不限于图像融合结果对应的数据等。
[0160]
在一些实施例中，上述电子设备还可包括有显示屏42、输入输出接口43、通信接口44或者称为网络接口、电源45以及通信总线46。其中，显示屏42、输入输出接口43比如键盘(keyboard)属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light
‑
emitting diode，有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口44可选的可以包括有线接口和/或无线接口，如wi
‑
fi接口、蓝牙接口等，通常用于在电子设备与其他电子设备之间建立通信连接。通信总线46可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0161]
本领域技术人员可以理解，图4中示出的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器47。
[0162]
本发明实施例所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
[0163]
由上可知，本发明实施例图像融合效果好，计算量少，有利于工程化实现。
[0164]
可以理解的是，如果上述实施例中的图像融合方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0165]
基于此，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算
机程序被处理器执行时如上任意一实施例所述图像融合方法的步骤。
[0166]
本发明实施例所述可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
[0167]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0168]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0169]
以上对本申请所提供的一种图像融合方法、装置、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。