一种基于多维协同细化网络的多曝光图像融合方法

1.本发明涉及图像融合技术领域，具体涉及一种基于多维协同细化网络的多曝光图像融合方法。


背景技术：

2.在日常拍摄的场景中，如何通过修改曝光时间和光圈大小来获得一张具有良好曝光效果的照片是一件棘手的事情。这类照片被称作低动态范围(low dynamic range,ldr)图像，通常他们的视觉表现力较差，核心内容显示不完整。具体来说，ldr图像会经常出现不均匀的曝光范围，特别是在过曝光和欠曝光的区域。因此，观察者们无法清晰地看到生动的细节和颜色。
3.研究人员试图开发多种硬件设备来获取hdr图像。然而，由于这些设备的成本过高，不能在日常生活中广泛使用。因此，多曝光图像融合(multi-exposure image fusion,mef)作为一种经济有效的解决方案，已成为生成hdr图像的主流方法。mef的目标是将不同曝光度的ldr图像序列进行融合，提取这些序列的特征，并将其融合成生动的hdr图像。
4.在过去的几十年中，大量的mef方法被提出并得到了很好的应用。这些方法大致分为基于传统框架的方法和基于深度学习框架的方法。在传统的融合方法中，空间域和变换域的特征变换是常用融合策略。然而，这些方法通常依赖于手工设计复杂的架构来完成融合过程，这降低了时间效率，增加了开发成本。为了克服传统方法的缺点，研究人员利用深度学习方法中的卷积神经网络(convolutional neural network,cnn)去实现mef任务。基于cnn的方法具有很好的非线性拟合能力和特征提取能力。然而，这种方法仍然存在一些局限性，如(1)通常采用简单的加法、乘法和加权平均等融合规则，因此融合结果在某些区域容易出现失真的情况。(2)在提取特征的过程中，可能会遗忘已经提取到的特征信息，导致融合图像的纹理细节不完整。(3)很少关注局部细节，融合结果可能会产生一些边缘伪影。


技术实现要素：

5.本发明的目的在于，提供一种基于多维协同学习的端到端多曝光图像融合方法，其设计了三个不同的模块来协同提取特征并指导整个融合过程，融合后的图像显示了生动的纹理细节且有吸引力的视觉感知。
6.为实现上述目的，本技术提出一种基于多维协同细化网络的多曝光图像融合方法，包括：
7.构建协同提取模块cem，以获取图像的浅层特征和深层特征；
8.通过自注意力模块sam得到注意特征图；
9.利用边缘修正模块erm对提取的图像特征边缘纹理进行修正；
10.采用两种损失函数组合训练图像融合网络，所述图像融合网络包括协同提取模块cem、自注意力模块sam和边缘修正模块erm。
11.进一步的，所述协同提取模块cem提取图像特征的过程用以下公式量化表示：
[0012][0013]
其中i表示曝光过度或过低的源图像，表示经过3
×
3卷积层的特征映射；p(
·
)代表多维池化特征提取器，c(
·
)代表协调注意块ca生成的内容。
[0014]
进一步的，在所述协同提取模块中，首先通过两个3
×
3和一个1
×
1的卷积层对输入图像进行浅层特征提取；在特征提取器上增加三个协调注意块ca，并将其连接起来，通过所述协调注意块ca引导特征学习；同时采取maxpooling和avgpooling操作对深度特征图进行压缩，然后将两个池化层生成的不同特征序列串联起来，并放大各特征细节，在重复一次相同的池化操作后，提取的深层特征经过3
×
3和1
×
1卷积层进行上采样；最后通过元素加法和连接操作，将浅层特征与深层特征结合起来。
[0015]
进一步的，所述自注意力模块sam通过前两个3
×
3卷积层得到原始注意特征fo后，使用1
×
1卷积层分别在第一分支、第二分支得到对应的特征空间fa和fb；对所述特征空间fa和fb进行扁平化运算，并对特征空间fa做转置运算得到特征权重图wa和wb；通过引入矩阵乘法和softmax函数归一化运算来获取注意图a1，公式为：
[0016][0017]
其中k表示特征权重图中的像素总数；通过上述类似地方法，在第三分支上得到注意图a2：
[0018]
a2＝softmax(a1×
fc)
[0019]
其中，fc为在第三分支上的特征空间。
[0020]
进一步的，对原始注意特征fo进行上采样操作，对所述注意图a1和注意图a2做矩阵乘法运算，得到最终的注意特征图，其量化为：
[0021][0022]
更进一步的，在每个1
×
1卷积层、3
×
3卷积层后面添加bn层，并使用leakyrelu作为激活函数。
[0023]
更进一步的，所述边缘修正模块erm利用空间梯度滤波器fg对图像边缘纹理细节进行优化，其方式如下：
[0024][0025]
将放入两个3
×
3卷积层中完成边缘的细化；其中m和n分别表示[1，m]和[1，n]的范围；i是特征图的水平像素，j是特征图的垂直像素；表示大小为m
×
n的边缘梯度图e，用公式表示为：
[0026]
[0027]
其中，p
l(t)
、p
b(t)
分别是p
t
左侧和下方的像素。
[0028]
更进一步的，采用两种损失函数组合训练图像融合网络，具体为：先设计出总损失函数，如下：
[0029]
l
total
＝αl
ssim
+βl
mse
[0030]
其中，l
mse
代表mse损失函数，α和β是调整l
total
值的两个超参数，l
ssim
的获取公式为：
[0031][0032]
其中，io和iu表示曝光过度和曝光不足的图像，if表示融合结果；
[0033]
ssim的定义如下：
[0034][0035]
其中，μ和σ是平均值和标准差；参数c1、c2和c3能够保持损失函数数值上的稳定；
[0036]
mse损失函数是用于获取源图像与融合图像结果间的均方误差，其定义为：
[0037][0038]
其中，cf、hf和wf分别是融合图像的通道、高度和宽度；p代表一幅图像中的像素数量。
[0039]
更进一步的，所述图像融合网络生成rgb融合图像的具体过程为：将过曝光和低曝光源图像从rgb三通道转换为ycbcr三通道；分解后的y通道代表源图像的亮度通道，用来融合真实信息；cb和cr通道代表输入图像的色度信息，下面公式能够赋予低饱和度颜色分量有更多的权重，赋予高饱和度色彩分量有更少的权重，其定义为：
[0040][0041]
其中，cf是cb和cr上的加权和结果；cbi和cri分别是源图像中不同通道的色度值；τ作为一个超参数；最后，通过逆变换将融合后的ycbcr结果转换为rgb结果。
[0042]
本发明采用的以上技术方案，与现有技术相比，具有的优点是：本技术为了提高融合图像的质量，避免出现伪影，设计了协同提取模块(collaborative extraction module,cem)对图像特征进行提取和优化。在自注意力模块(self-attention module,sam)的配合下，多曝光融合图像的纹理、亮度和颜色更加突出；边缘修正模块(edge revision module,erm)对cem和sam起到了补充作用，它可以减小不同尺度下噪声对特征的影响，增强特征映射的纹理细节，保证融合结果的边缘效果。通过三个不同的模块来协同提取特征并指导整个融合过程，融合后的图像失真小、效果好，显示了生动的纹理细节且有吸引力的视觉感知。
附图说明
[0043]
图1为本发明多曝光图像融合方法流程图；
[0044]
图2为协同提取模块cem结构示意图；
[0045]
图3为自注意力模块sam结构示意图；
[0046]
图4为边缘修正模块erm结构示意图；
[0047]
图5为图像融合网络生成rgb融合图像的具体过程图；
[0048]
图6为在sice数据集上本发明和其他先进的融合方法间定性比较图；
[0049]
图7为在sice数据集上本发明和其他先进的融合方法间定量比较图。
具体实施方式
[0050]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术，即所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。
[0051]
实施例1
[0052]
如图1所示，本发明提供一种基于多维协同细化网络的多曝光图像融合方法，具体包括：
[0053]
步骤一：构建协同提取模块cem，以获取图像的浅层特征和深层特征；
[0054]
具体的，协同提取模块cem如图2所示。构建了一个多维池化特征提取器，并由协调注意块(coordinate attention，ca)来引导特征学习。在ca块的指导下，cem可以从源图像中获得最显著的特征图。leakyrelu和sigmoid被用作模块中的激活函数。cem提取特征的过程可以用以下公式量化表示：
[0055][0056]
其中i表示曝光过度或过低的源图像，表示经过3
×
3卷积层的特征映射；p(
·
)代表多维池化特征提取器，c(
·
)代表ca块生成的内容。
[0057]
需要说明的是，在协同提取模块cem中，首先通过两个3
×
3和一个1
×
1的卷积层对输入图像进行浅层特征提取。把ca块看作是一个计算单元，在特征提取器上同时增加三个这样的块，并将它们连接起来，以确保网络能够突出融合结果的理想细节。为了从不同曝光图像中准确提取复杂的表示图，同时采取maxpooling和avgpooling对深度特征图进行压缩。然后，将两个池化层生成的不同特征序列串联起来，并放大各种特征细节。在重复一次相同的池化层操作后，提取的特征经过3
×
3和1
×
1卷积层进行上采样操作。为了补偿上采样后提取特征的退化，本发明将浅层卷积与上采样后卷积层直接连接；最后通过元素加法和连接操作，将浅层特征与深层特征结合起来。
[0058]
步骤二：通过自注意力模块sam得到注意特征图；
[0059]
具体的，在mef中，由于拍摄场景的变化，过曝光和低曝光的图像无法显示完整的细节，在这种情况下，设计了自注意力机制进行特征恒提取与融合，通过绘制全局关系将融合结果与源图像中相同位置的小块关联起来，从而有效的解决了普通卷积层中核大小受限
的问题。
[0060]
本发明根据mef的特点重新设计了自注意力模块sam，其结构如图3所示。通过前两个3
×
3卷积层得到原始注意特征fo后，使用1
×
1卷积分别在第一分支和第二分支得到对应的特征空间fa和fb。为了方便计算，对特征空间fa和fb进行了扁平化运算，并对特征空间fa做转置运算得到特征权重图wa和wb。引入矩阵乘法和softmax函数归一化运算来获取注意图a1，其公式为：
[0061][0062]
其中k表示特征权重图中的像素总数。类似地，a2可以在第三分支上通过上面相同的方法得到。最后，对原始注意特征fo进行上采样操作，对a1和a2做矩阵乘法运算，得到最后的注意特征图，可以量化为：
[0063][0064]
此外，为了提高sam的计算效率，引入了最大池化层。在所有卷积层后添加bn层，以防止训练时梯度爆炸或者消失，并使用leakyrelu作为激活函数。
[0065]
步骤三：利用边缘修正模块erm对提取的图像特征边缘纹理进行修正；
[0066]
具体的，在输出融合图像之前，将提取的特征放入边缘修正模块erm中对边缘纹理进行修正，以保证融合结果的质量。如图4所示，在连接cem和sam的特征图后，本发明使用erm来细化这些特征图的边缘细节。具体来说，利用空间梯度滤波器fg对边缘纹理细节进行优化，其方式如下：
[0067][0068]
其中m和n分别表示[1，m]和[1，n]的范围。i是特征图的水平像素，j是特征图的垂直像素。表示大小为m
×
n的边缘梯度图e，可以用公式表示为：
[0069][0070]
其中，p
l(t)
、p
b(t)
是p
t
左侧和下方的像素；fg对图像中的边缘特征非常敏感，并帮助卷积层细化融合结果的边缘细节。最后，将放入两个3
×
3卷积层中完成边缘的细化。
[0071]
步骤四：采用两种损失函数组合训练图像融合网络，所述图像融合网络包括协同提取模块cem、自注意力模块sam和边缘修正模块erm；
[0072]
具体的，本发明设计了两种损失函数来组合训练提出的网络结构。总损失函数如下：
[0073]
l
total
＝αl
ssim
+βl
mse
[0074]
其中，l
mse
代表mse损失函数，α和β是调整l
total
值的两个超参数，可以都被设置为0.5。l
ssim
的获取公式为：
[0075]
[0076]
其中，io和iu表示曝光过度和曝光不足的图像，if表示融合结果。ω1和ω2可以被设置为0.5，ssim的定义如下：
[0077][0078]
其中，μ和σ是平均值和标准差。参数c1、c2和c3可以保持损失函数数值上的稳定。特别的，输入和输出的结构相似性可以通过ssim进行测量，它对亮度、对比度失真和相关性损失非常敏感。
[0079]
mse损失函数是用于获取源图像与融合图像结果间的均方误差，其定义为：
[0080][0081]
其中，cf、hf和wf分别是融合图像的通道、高度和宽度；p代表一幅图像中的像素数量。
[0082]
所述图像融合网络生成rgb融合图像的具体过程为：如图5所示，rdb图像的融合关键是融合不同通道上的特定信息。将过曝光和低曝光源图像从rgb三通道转换为ycbcr三通道。分解后的y通道代表源图像的亮度通道，通常可以反映出图像的内容细节和纹理。因此，在本发明中，y通道被用来融合真实信息。换句话说，在y通道上执行图像融合类似于在单通道上融合灰度图像。
[0083]
cb和cr通道代表输入图像的色度信息。可以通过传统的加权和公式获得图像的色度，该公式可以赋予低饱和度颜色分量有更多的权重，而赋予高饱和度色彩分量有更少的权重，其定义为：
[0084][0085]
其中，cf是cb和cr上的加权和结果。cbi和cri分别是源图像中不同通道的色度值。τ作为一个超参数，可以被设置为128。最后，通过逆变换将融合后的ycbcr结果转换为rgb结果。
[0086]
本发明在sice数据集上选取了测试图像序列与九种最先进的多曝光图像融合方法进行比较，在图6中分别展现了整体效果和局部特征细节。第一组图像序列中，dsift、dem、mespd和mef-net显示的天空有明显的局部暗影。此外，gbm和ifcnn在融合过程中出现过曝光的情况。u2fusion和pmgi在色彩性能上仍有缺陷，虽然mef-gan的整体视觉效果是高质量的，但是细节存在模糊现象。相比之下，本发明提出的方法在细节和颜色上都能产生生动的融合结果。
[0087]
除了主观定性分析外，本发明还用客观定量质变mef-ssim和psnr来评估融合结果的性能。同时，还引入cc和mi来反映定量比较的全面性。本发明在100对数据集中抽取了29对测试图像序列进行计算，所有定量结果如图7所示。显然，本发明得到的结果在四个评价指标中达到了最高的水平。从折线图的分布可以看出，测试结果的大多数指标都高于其他
方法。mef-ssim的值越高，表明本发明能够提供更好的视觉效果并与源图像相似。psnr的数值代表了本发明可以融合出精确的纹理细节。此外，cc和mi的高水平表现代表了本发明可以实现更好的线性相关性和更多的信息传递。因此，本发明生成的融合图像失真更小，效果更好。
[0088]
本发明提出的方法通过构建协同提取模块、自注意力模块和边缘修正模块来实现多曝光图像融合。每个模块都对融合结果的性能做出了突出的贡献，显示了生动的纹理细节和有吸引力的视觉感知。与其他九种最先进的方法在sice数据集中进行比较；结果表明，本发明无论从定性还是定量上都优于其他方法。因此，本发明促进了多曝光图像融合的发展。
[0089]
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。