图像融合方法及装置与流程

【
技术领域：
】本申请涉及图像处理
技术领域：
，具体涉及一种图像融合方法及装置。
背景技术：
：图像融合(imagefusion)是指将来自多个信息源的同一目标图像集，按照相应的融合技术集合成一张具有更多细节和信息的图像，从而达到图像锐化的效果。近年来，随着图像融合技术的不断发展，该技术已经广泛应用于遥感、医学成像、以及计算机视觉等众多领域。图像融合可以分为基于像素级的融合、基于特征级的融合和基于决策级的融合，其中，由于基于像素级的融合获取的图像信息更丰富，且准确性和鲁棒性更优，因此被广泛研究。基于像素级的融合方法中包括非多尺度方法和多尺度方法等，其中，多尺度方法中包括基于小波变换的图像融合方法，该方法是对每一副原图像分别进行小波变换，得到低频层和高频层，之后对低频层和高频层分别采用不同的融合法则进行处理，最后进行逆小波变换，得到融合图像。常用的基于小波变换的图像融合方法通常对低频层和高频层都采用加权法则进行处理、或者对低频层采用加权法则进行处理，而对高频层采用区域平均能量融合法则进行处理，前者得到的融合图像的信息熵和标准差都低于原图像，后者虽然信息熵高于原图像，但标准差低于原图像，导致融合图像的对比度不够高，清晰度不够高。技术实现要素：本申请的目的在于提供一种图像融合方法及装置，旨在解决现有的基于小波变换的图像融合方法得到的融合图像对比度不够高、且不够清晰的技术问题。为了解决上述问题，本申请实施例提供了一种图像融合方法，包括：获取同一场景对应的多张待融合图像；利用二维离散小波变换函数对每张所述待融合图像进行多层小波分解，以得到低频层对应的近似系数矩阵、以及多个高频层中每个高频层对应的细节系数矩阵组，每个所述细节系数矩阵组包括多个细节系数矩阵，且不同的所述细节系数矩阵对应不用分解方向；对所述多张待融合图像对应的近似系数矩阵进行加权计算，以得到目标近似系数矩阵；根据第一预设算法和处于最高层数的所述高频层对应的细节系数矩阵组确定第一目标细节系数矩阵组；根据第二预设算法和剩余层数的所述高频层对应的细节系数矩阵组确定第二目标细节系数矩阵组；根据所述目标近似系数矩阵、第一目标细节系数矩阵组和第二目标细节系数矩阵组生成融合图像，以对所述多张待融合图像进行融合。其中，所述根据第一预设算法和处于最高层数的所述高频层对应的细节系数矩阵组确定第一目标细节系数矩阵组，具体包括：对所有处于最高层数的所述高频层对应的细节系数矩阵组中相同分解方向且相同系数位置处的细节系数进行比较；将每个分解方向上各个系数位置处数值最大的所述细节系数组成对应的第一目标细节系数矩阵；将不同分解方向对应的所述第一目标细节系数矩阵作为第一目标细节系数矩阵组。其中，所述根据第二预设算法和剩余层数的所述高频层对应的细节系数矩阵组确定第二目标细节系数矩阵组，具体包括：对处于剩余层数的所述高频层对应的细节系数矩阵组中的每个细节系数矩阵进行扩充，以得到对应的扩充矩阵；以每个细节系数为中心将所述扩充矩阵分为多个预设大小的子矩阵，所述细节系数与所述子矩阵一一对应；计算每个所述子矩阵的空间频率；比较相同层数中相同分解方向且相同系数位置对应的所有子矩阵的所述空间频率的大小；将相同层数中相同分解方向上，每个系数位置处数值最大的所述空间频率对应的所述细节系数组成第二目标细节系数矩阵；将相同层数中不同分解方向对应的所述第二目标细节系数矩阵作为第二目标细节系数矩阵组，每一层对应一个第二目标细节系数矩阵组其中，当所述多张待融合图像均为彩色图像时，在所述利用二维离散小波变换函数对所述多张待融合图像进行多层小波分解之前，还包括：将所述多张彩色图像转换为灰度图像；所述利用二维离散小波变换函数对所述多张待融合图像进行小波分解，包括：利用二维离散小波变换函数对所述多张灰度图像进行多层小波分解。其中，在所述根据所述目标近似系数矩阵、第一目标细节系数矩阵组和第二目标细节系数矩阵组生成融合图像之后，还包括：将所述融合图像转换为最终彩色图像。为了解决上述问题，本申请实施例还提供了一种图像融合装置，包括：获取模块，用于获取同一场景对应的多张待融合图像；分解模块，用于利用二维离散小波变换函数对每张所述待融合图像进行多层小波分解，以得到低频层对应的近似系数矩阵、以及多个高频层中每个高频层对应的细节系数矩阵组，每个所述细节系数矩阵组包括多个细节系数矩阵，且不同的所述细节系数矩阵对应不用分解方向；计算模块，用于对所述多张待融合图像对应的近似系数矩阵进行加权计算，以得到目标近似系数矩阵；第一确定模块，用于根据第一预设算法和处于最高层数的所述高频层对应的细节系数矩阵组确定第一目标细节系数矩阵组；第二确定模块，用于根据第二预设算法和剩余层数的所述高频层对应的细节系数矩阵组确定第二目标细节系数矩阵组；融合模块，用于根据所述目标近似系数矩阵、第一目标细节系数矩阵组和第二目标细节系数矩阵组生成融合图像，以对所述多张待融合图像进行融合。其中，所述第一确定模块具体用于：对所有处于最高层数的所述高频层对应的细节系数矩阵组中相同分解方向且相同系数位置处的细节系数进行比较；将每个分解方向上各个系数位置处数值最大的所述细节系数组成对应的第一目标细节系数矩阵；将不同分解方向对应的所述第一目标细节系数矩阵作为第一目标细节系数矩阵组。其中，所述第二确定模块具体用于：对剩余层数的所述高频层对应的细节系数矩阵组中的每个细节系数矩阵进行扩充，以得到对应的扩充矩阵；以每个细节系数为中心将所述扩充矩阵分为多个预设大小的子矩阵，所述细节系数与所述子矩阵一一对应；计算每个所述子矩阵的空间频率；比较相同层数中相同分解方向且相同系数位置对应的所有子矩阵的所述空间频率的大小；将相同层数中相同分解方向上，每个系数位置处数值最大的所述空间频率对应的所述细节系数组成第二目标细节系数矩阵；将相同层数中不同分解方向对应的所述第二目标细节系数矩阵作为第二目标细节系数矩阵组，每一层数对应一个第二目标细节系数矩阵组。其中，当所述多张待融合图像均为彩色图像，所述图像融合装置还包括第一转换模块，用于：在所述分解模块利用二维离散小波变换函数对所述多张待融合图像进行多层小波分解之前，将所述多张彩色图像转换为灰度图像；所述分解模块具体用于：利用二维离散小波变换函数对所述多张灰度图像进行多层小波分解。其中，所述图像融合装置还包括第二转换模块，用于：在所述融合模块根据所述目标近似系数矩阵、第一目标细节系数矩阵组和第二目标细节系数矩阵组生成融合图像之后，将所述融合图像转换为最终彩色图像。本申请的有益效果是：区别于现有技术，本申请通过对不同层数高频层中的细节系数矩阵组采用不同的算法进行处理，从而增大了融合图像的信息熵和标准差，最大程度上提高了融合图像的图像信息丰富度和对比度，进而使融合图像更加清晰，融合效果得以提升。【附图说明】为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的图像融合方法的应用场景示意图；图2是本申请实施例提供的图像融合方法的流程示意图；图3是本申请实施例提供的图像融合方法的另一流程示意图；图4是本申请实施例提供的两层小波分解过程的示意图；图5是本申请实施例提供的图像融合装置的结构示意图；图6是本申请实施例提供的图像融合装置的另一结构示意图。【具体实施方式】下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。请参阅图1，图1提供了一种图片融合系统的应用场景示意图，该图像融合系统可以包括本申请实施例提供的任一种图像融合装置。如图1所示，首先对输入图像a1和输入图像a2进行两层二维离散小波分解(2d_dwt)，分别得到两个输入图像对应的低频层、第一层高频层、以及第二层(也即最高层数)高频层，分别通过不同的融合法则对两个输入图像a1、a2的低频层、第一层高频层、以及第二层高频层两两进行融合，以得到目标低频层、目标第一层高频层、以及目标第二层高频层，之后，对目标低频层、目标第一层高频层、以及目标第二层高频层进行逆二维离散小波分解(2d_idwt)，得到最终的融合图像a。请参阅图2，图2是本申请实施例提供的图像融合方法的流程示意图，该图像融合方法可以应用于终端或服务器端，例如智能手机、线上图像处理软件的后台服务器等，具体流程可以如下：s101：获取同一场景对应的多张待融合图像。具体的，上述同一场景对应的多张待融合图象可以理解为是同一目标的不同数据来源的多张图像，例如根据相机镜头变化而得到的不同聚焦的图像、以及医学上拍摄得到的皮肤组织的红外图像和可见光图像等，且多张待融合图像应该具有相同的尺寸。需要注意的是，当多张待融合图像均为彩色图像时，请参阅图2，在步骤s101之后，还应该包括步骤s107：将彩色图像转换为灰度图像。例如，将rgb图像转换到hsv空间，具体地，hsv分为三个分量，h(hue)代表色调、色相，s(saturation)代表饱和度、色彩纯净度，v(value)代表明度，与rgb类似，hsv也是一种颜色编码方法，在转换到hsv空间后，接着对亮度通道(即v通道，也就是灰度图像)进行后续处理。s102：利用二维离散小波变换函数对每张待融合图像进行多层小波分解，以得到低频层对应的近似系数矩阵、以及多个高频层中每个高频层对应的细节系数矩阵组。在本实施例中，每个细节系数矩阵组包括多个细节系数矩阵，且不同的细节系数矩阵对应不同的分解方向。具体地，利用二维离散小波变换函数对图像进行n层分解，会得到1个低频层对应的近似系数矩阵和3n个高频层多个细节系数矩阵，以两层小波分解为例，请参阅图4，图4为本申请实施例提出的两层小波分解的过程图，如图所示，在第一层分解时，得到近似系数矩阵i1_1a以及三个细节系数矩阵i1_1h、i1_1v和i1_1d，其中，i1_1h、i1_1v和i1_1d共同组成一个细节系数矩阵组，“h”、“v”和“d”代表着不同的分解方向，其中，“h”代表了水平细节分量，“v”代表了垂直细节分量，“d”代表了对角线细节分量，之后，在进行第二层小波分解时，得到i1_2h、i1_2v和i1_2d，其中，i1_1h、i1_1v和i1_1d共同组成第一层的高频层对应的细节系数矩阵组，i1_2h、i1_2v和i1_2d共同组成第二层(最高层数)的高频层对应的细节系数矩阵组。s103：对多张待融合图像对应的近似系数矩阵进行加权计算，以得到目标近似系数矩阵。具体地，以两张待融合图像为例，对于图像1第n层细节矩阵中第i行第j列的系数i1_na(i,j)、以及图像2第n层细节系数矩阵中第i行第j列的系数i2_na(i,j)，两者可以通过下述加权公式进行加权计算：i_na(i,j)＝0.5×i1_na(i,j)+0.5×i2_na(i,j)，i_na(i,j)代表着目标近似系数矩阵中第i行第j列的系数，0.5为加权权重值。s104：根据第一预设算法和处于最高层数的高频层对应的细节系数矩阵组确定第一目标细节系数矩阵组。第一预设算法为基于系数最大值的融合法则，对于小波变换得到的第n层的高频层对应的细节系数矩阵，采用基于系数最大值的融合法则，具体流程如下：请继续参阅图3，步骤s104具体可以包括以下子步骤：s1041：对所有处于最高层数的高频层对应的细节系数矩阵组中相同分解方向且相同系数位置处的细节系数进行比较。例如，如图4所示，图i1进行二维离散小波变换后得到的最高层数的高频层对应的细节系数矩阵组包括i1_2h、i1_2v和i1_2d，以两张图像进行融合为例，那么图i2进行二维离散小波变换后得到的最高层数的高频层对应的细节系数矩阵组应该包括i2_2h、i2_2v和i2_2d，其中的“h”、“v”和“d”代表着不同的分解方向，因此，应该将i1_2h和i2_2h相同系数位置处的细节系数进行比较。s1042：将每个分解方向上各个系数位置处数值最大的细节系数组成对应的第一目标细节系数矩阵。s1043：将不同分解方向对应的第一目标细节系数矩阵作为第一目标细节系数矩阵组。具体地，分解后的每一层都具有三个分解方向“h”、“v”和“d”，因此，每一第一目标细节系数矩阵组包括三个第一目标细节系数矩阵。s105：根据第二预设算法和剩余层数的高频层对应的细节系数矩阵组确定第二目标细节系数矩阵组。第二预设算法为基于区域空间频率的融合法则，对于小波变换得到的剩余层数的高频层对应的细节系数矩阵，采用基于区域空间频率的融合法则，具体流程如下：请继续参阅图3，步骤s105具体可以包括以下子步骤：s1051：对剩余层数的高频层对应的细节系数矩阵组中的每个细节系数矩阵进行扩充，以得到对应的扩充矩阵。具体地，后续步骤中的空间频率是细节系数矩阵中局部区域的空间频率，即以细节系数矩阵中每个系数为中心，得到一个m×n的小矩阵，之后计算这个小矩阵的空间频率，但是，为了满足细节系数矩阵边缘的细节系数也能作为中心计算空间频率，在划分小矩阵之前，先将细节系数矩阵进行扩充，具体扩充的行列数根据m和n的大小来决定，譬如，原始细节系数矩阵的大小为1920×1080，小矩阵的大小为3×3，则以0扩充后得到的矩阵大小为1922×1082，其中，用来扩充的数值视具体情况而定。s1052：以每个细节系数为中心将扩充矩阵分为多个预设大小的子矩阵，细节系数与子矩阵一一对应。具体地，可以以每个细节系数为中心将扩充矩阵分为3x3的子矩阵，每个细节系数对应一个3×3的子矩阵。s1053：计算每个子矩阵的空间频率。具体地，以子矩阵的大小为m×n为例，对于计算空间频率的方法如下：首先计算该子矩阵的水平空间频率，对于以图像i1第i行第j列系数为中心的子矩阵的水平空间频率row_freq，计算公式如下：其中，i1(i,j)代表子矩阵中第i行第j列的系数，i1(i,j-1)代表子矩阵中第i行第j-1列的系数；再计算计算该子矩阵的垂直空间频率，对于以图像i1第i行、第j列系数为中心的子矩阵的垂直空间频率col_freq，计算公式如下：其中，i1(i,j)代表子矩阵中第i行第j列的系数，i1(i-1,j)代表子矩阵中第i-1行第j列的系数；对于水平空间频率row_freq、以及垂直空间频率col_freq，根据以下公式计算总空间频率spatial_freq：s1054：比较相同层数中相同分解方向且相同系数位置对应的所有子矩阵的空间频率的大小。s1055：将相同层数中相同分解方向上，每个系数位置处数值最大的空间频率对应的细节系数组成第二目标细节系数矩阵。具体地，空间频率反应的图像的像素灰度在空间中的变化情况，空间频率越大，灰度变化越剧烈，图像细节也就越丰富，因此，我们选择相同层数中相同分解方向上，每个系数位置处数值最大的空间频率对应的细节系数组成第二目标细节系数矩阵，以丰富图像信息，提高融合效果。s1056：将相同层数中不同分解方向对应的第二目标细节系数矩阵作为第二目标细节系数矩阵组，每一层数对应一个第二目标细节系数矩阵组。具体地，每一层数对应一个第二目标细节系数矩阵组，每个第二目标系数矩阵组包括三个不同分解方向的第二目标细节系数矩阵。s106：根据目标近似系数矩阵、第一目标细节系数矩阵组和第二目标细节系数矩阵组生成融合图像。在本实施例中，该步骤可以利用逆二维离散小波变换函数直接对目标近似系数矩阵、第一目标细节系数矩阵组和第二目标细节系数矩阵组进行多层小波融合，具体的融合层数由上述步骤中的分解层数决定，以得到最终的融合图像。在一些实施例中，如图3所示，当多张待融合图像均为彩色图像时，在步骤s106之后，还可以包括步骤s108：将融合图像转换为最终彩色图像。为了便于理解，请参阅表1，表1罗列了实验过程中的输入图像i1、输入图像i2、基于加权融合法则的输出图像i_avg、基于区域平均能量融合法则的输出图像i_energy、以及本申请中基于区域空间频率和系数最大值法则输出图像i_fre+max的信息熵和标准差，如表1所示，i_avg的信息熵和标准差都低于输入图像i1、i2，说明基于加权融合法则输出的融合图像对比度降低，i_fre+max的信息熵和i_energy信息熵近似，且都大于输入图像i1、i2，说明基于区域平均能量融合法则、以及本申请中基于区域空间频率和系数最大值法则最终输出的融合图像比输入图像i1、i2的信息丰富，融合效果较好，另外，i_fre+max的标准差大于i_energy标准差，说明本申请中基于区域空间频率和系数最大值法则最终输出的融合图像生成的图像对比度更高。图像i1i2i_avgi_energyi_fre+max信息熵7.27477.27707.27147.28257.2826标准差45.613645.984045.541145.530546.3839表1区别于现有技术，本申请提供的图像融合方法包括：获取同一场景对应的多张待融合图像，接着利用二维离散小波变换函数对每张待融合图像进行多层小波分解，以得到低频层对应的近似系数矩阵、以及多个高频层中每个高频层对应的细节系数矩阵组，每个细节系数矩阵组包括多个细节系数矩阵，且不同的细节系数矩阵对应不用分解方向，之后对多张待融合图像对应的近似系数矩阵进行加权计算，以得到目标近似系数矩阵，并根据第一预设算法和处于最高层数的高频层对应的细节系数矩阵组确定第一目标细节系数矩阵组，同时根据第二预设算法和剩余层数的高频层对应的细节系数矩阵组确定第二目标细节系数矩阵组，之后根据目标近似系数矩阵、第一目标细节系数矩阵组和第二目标细节系数矩阵组生成融合图像，以多张待融合图像进行融合。本申请通过对不同层数的高频层的细节系数矩阵组采用不同的算法进行处理，从而增大了融合图像的信息熵和标准差，最大程度上提高了融合图像的图像信息丰富度和对比度，进而使融合图像更加清晰，融合效果得以提升。请参阅图5，图5是本申请实施例提供的图像融合装置的结构示意图，该图像融合装置包括：(1)获取模块10获取模块10，用于获取同一场景对应的多张待融合图像。(2)分解模块20分解模块20，用于利用二维离散小波变换函数对每张待融合图像进行多层小波分解，以得到低频层对应的近似系数矩阵、以及多个高频层中每个高频层对应的细节系数矩阵组，每个细节系数矩阵组包括多个细节系数矩阵，且不同的细节系数矩阵对应不用分解方向。(3)计算模块30计算模块30，用于对多张待融合图像对应的近似系数矩阵进行加权计算，以得到目标近似系数矩阵。其中，上述计算模块30具体用于：根据开始时间和预设延时时长确定放电起始时间；用于根据预估耗费时长和预设单次放电时长确定放电频率。(4)第一确定模块40第一确定模块40，用于根据第一预设算法和处于最高层数的高频层对应的细节系数矩阵组确第一目标细节系数矩阵组。其中，上述第一确定模块40具体用于：对所有处于最高层数的高频层对应的细节系数矩阵组中相同分解方向且相同系数位置处的细节系数进行比较；将每个分解方向上各个系数位置处数值最大的细节系数组成对应的第一目标细节系数矩阵；将不同分解方向对应的第一目标细节系数矩阵作为第一目标细节系数矩阵组。(5)第二确定模块50第二确定模块50，用于根据第二预设算法和剩余层数的高频层对应的细节系数矩阵组确定第二目标细节系数矩阵组。其中，第二确定模块50具体可以用于：对剩余层数的高频层对应的细节系数矩阵组中的每个细节系数矩阵进行扩充，以得到对应的扩充矩阵；以每个细节系数为中心将扩充矩阵分为多个预设大小的子矩阵，细节系数与子矩阵一一对应；计算每个子矩阵的空间频率；比较相同层数中相同分解方向且相同系数位置对应的所有子矩阵的空间频率的大小；将相同层数中相同分解方向上，每个系数位置处数值最大的空间频率对应的细节系数组成第二目标细节系数矩阵；将相同层数中不同分解方向对应的第二目标细节系数矩阵作为第二目标细节系数矩阵组，每一层数对应一个第二目标细节系数矩阵组。(6)融合模块60融合模块60，用于根据目标近似系数矩阵、第一目标细节系数矩阵组和第二目标细节系数矩阵组生成融合图像，以对多张待融合图像进行融合。在一些实施例中，请参阅图6，图6为本申请实施例提供的图像融合装置的另一结构示意图，当多张待融合图像均为彩色图像，图像融合装置还包括第一转换模块70，用于：在分解模块20利用二维离散小波变换函数对多张待融合图像进行多层小波分解之前，将多张彩色图像转换为灰度图像。在本实施例中，上述分解模块20具体可以用于：利用二维离散小波变换函数对多张灰度图像进行多层小波分解。在本实施例中，图像融合装置还包括第二转换模块80，用于：在融合模块60根据目标近似系数矩阵、第一目标细节系数矩阵组和第二目标细节系数矩阵组生成融合图像之后，将融合图像转换为最终彩色图像。具体实施时，以上各个模块、单元和/或子单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块和/或单元的具体实施可参见前面的方法实施例，具体可以达到的有益效果也请参看前面的方法实施例中的有益效果，在此不再赘述。区别于现有技术，本实施例中的图像融合装置，通过获取模块10获取同一场景对应的多张待融合图像，接着分解模块20利用二维离散小波变换函数对每张待融合图像进行多层小波分解，以得到低频层对应的近似系数矩阵、以及多个高频层中每个高频层对应的细节系数矩阵组，每个细节系数矩阵组包括多个细节系数矩阵，且不同的细节系数矩阵对应不用分解方向，之后计算模块30对多张待融合图像对应的近似系数矩阵进行加权计算，以得到目标近似系数矩阵，第一确定模块40根据第一预设算法和处于最高层数的高频层对应的细节系数矩阵组确定第一目标细节系数矩阵组，同时第二确定模块50根据第二预设算法和剩余层数的高频层对应的细节系数矩阵组确定第二目标细节系数矩阵组，之后融合模块60根据目标近似系数矩阵、第一目标细节系数矩阵组和第二目标细节系数矩阵组生成融合图像，以多张待融合图像进行融合，从而增大了融合图像的信息熵和标准差，最大程度上提高了融合图像的图像信息丰富度和对比度，进而使融合图像更加清晰，融合效果得以提升。本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的图像融合方法中任一实施例的步骤。其中，该存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)、磁盘或光盘等。由于该存储介质中所存储的指令，可以执行本申请实施例所提供的图像融合方法任一实施例中的步骤，因此，可以实现本申请实施例所提供的任一图像融合方法所能实现的有益效果，详见前面的实施例，在此不再赘述。以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。当前第1页12