一种基于空间自适应调制的高动态范围图像重建方法

本发明涉及一种基于空间自适应调制的高动态范围图像重建方法，属于图像处理与识别方法。

背景技术：

1、高动态范围(hdr)成像是图像处理、计算机图形/视觉和摄影的一个重要领域，是一种比传统成像技术允许更大动态范围的技术。hdr图像现在常规地用于许多应用，包括图像合成和一系列后处理操作。基于卷积网络的高动态范围图像重建方法的卷积核感受野是有限的，只能捕捉局部的像素关系，其远距离依赖关系的表征能力不足，在面对具有大范围曝光区域的情况下导致重建图像中饱和区域的结构恢复不完整，局部区域易产生人工伪影，缺失高频细节信息，造成重建图像忠实度不高且纹理细节不够丰富。虽然transformer中的自注意力机制具有远距离依赖性，但是缺少卷积的归纳偏置以及网络所带来的计算量的约束。由于目前hdr显示设备的不断发展，并且原生的高动态范围内容数量还不足以满足高动态范围设备的需求，所以将现有的大量低动态范围内容转换为相应的高动态内容这一问题仍需要解决。

技术实现思路

1、本发明的目的在于解决现有技术中的不足，提供一种基于空间自适应调制的高动态范围图像重建方法就是针对该问题提出的将sdr图像用于hdr图像重建任务上的方法。

2、为了达到上述目的，本发明是通过以下技术方案实现的：一种基于空间自适应调制的高动态范围图像重建方法，所述方法如下：

3、步骤1：获取用于训练的图像数据集；

4、步骤2：对步骤1中的数据集进行预处理，生成输入图像并输入网络；

5、步骤3：网络的整体架构包含上支路的加权网络和下支路的主干u-net网络，加权网络将步骤2中输入图像进行特征提取得到加权图像，使输入图像中非饱和区域的信息得以保留，将加权图像作为输出的其中一个分支；

6、步骤4：下支路的主干u-net网络首先通过一个卷积层将步骤2中输入图像转换成特征图；

7、步骤5：将步骤4中生成的特征图通过特征混合块以及卷积层进行深层提取，使步骤4中生成的特征图来学习多尺度特征表示，同时捕获局部上下文关系来增强特征图的全局信息和局部细节；

8、步骤6：在编码端对步骤5提取到的特征图进行两次下采样，两次下采样之间采用串行的残差块来在不同尺度下提取不同尺度的特征，接着解码端对特征图进行两次上采样，两次上采样之间使用与编码端相同数量的残差块来进行图像重建，同时下采样前的特征图使用跳跃连接与上采样后的特征图进行相加来弥补因下采样和特征提取而导致丢失的信息；

9、步骤7：将步骤6中解码端输出的特征图再次通过特征混合块以及卷积层将特征图变换回输出图像，再与步骤3得到的加权图像相加得到重建图像，接着使用带有双曲正切的像素级损失函数对输入图像的gt和重建图像进行损失值计算，对网络进行反向传播处理，进行网络超参数迭代优化，最终得到训练好的模型；

10、步骤8：基于训练好的模型对真实sdr图像的进行重建，将sdr图像送入步骤7训练好的模型进行修复以得到高质量且忠实度高的重建图像。

11、加权网络通过四个卷积层预测一个加权特征图来使输入图像中非饱和区域的信息得以保留，让网络能够关注重建饱和区域的细节；主干网络将sdr输入图像作为输入，重建出在饱和区域有更多细节的高动态范围图像。下采样操作压缩特征图，减少冗余信息，保留有用信息；上采样操作增加特征图的分辨率。

12、优选的，步骤2中对数据集进行预处理的公式如(1)所示：

13、x＝f(x)，[0，255]→[0，1]                 (1)

14、其中：x为最初的图像数据集，f(x)为归一化函数，x为归一化图像。

15、优选的，步骤3中加权网络首先将步骤2中输入图像通过四个卷积层生成权重特征图，再将权重特征图与步骤2中的输入图像进行逐元素乘积操作，得到加权图像；加权网络如公式(2)所示：

16、

17、其中：⊙为逐元素乘积运算，conv为3×3的卷积层，为加权后的图像。

18、优选的，所述主干u-net网络中的卷积层的大小均为3×3，其中主干u-net网络的最后一个卷积层的输出通道数为3，其余的都是64。

19、优选的，所述步骤5中的特征混合块包含空间自适应调制层和卷积通道混合层；两个层都是残差连接结构；所述空间自适应调制层从多尺度特征表示中学习图像空间结构信息；所述卷积通道混合层利用通道混合增强局部上下文特征关系，增强局部细节信息。残差连接结构是用一条跳跃连接将输入特征图进行处理后得到的增强特征图与输入特征图进行相加的结构。

20、优选的，为了降低模型复杂性并获得金字塔特征表示，所述空间自适应调制层首先对特征图进行层归一化操作，之后对层归一化的输入特征进行通道拆分操作，生成四个部分；

21、3×3深度卷积处理第一个部分，其余部分被馈送到多个尺度的特征生成单元，提取金字塔特征的过程如公式(3),(4),(5)所示：

22、[x0，x1，x2，x3]＝split(x)                (3)

23、

24、

25、其中：xi(i＝0,1,2,3)表示通道分离后不同特征；split(·)表示通道分离操作；x表示输入特征；表示提取的不同尺度的特征；dwconv3×3(·)表示大小为3×3的深度卷积；表示将初始分辨率p的特征图下采样到而↑p为最邻近上采样操作，将特征图分辨率恢复为初始分辨率p；

26、之后将多尺度特征图沿着通道合并，用1×1卷积来聚合局部和全局关系，接着紧跟gelu激活函数来预测出注意力图，并对输入特征图以逐元素乘积的形式来进行自适应调制；这个过程由公式(6),(7)表示：

27、

28、

29、其中：表示通道合并后的特征；concat(·)表示沿着通道维度的合并操作；conv1×1为1×1卷积；ψ(·)为gelu激活函数，⊙为逐元素乘积，表示空间自适应调制后的特征。

30、优选的，所述卷积通道混合层首先对特征图进行层归一化操作，之后对层归一化后的特征图采用3×3卷积、gelu激活函数和1×1卷积的操作来增强局部空间建模能力并实现通道混合。

31、优选的，所述残差块包含特征混合块中空间自适应调制层和卷积通道混合层，采用空间自适应调制层、3×3卷积、卷积通道混合层和3×3卷积，并对输入特征图以逐元素相加的形式来对不同尺度下的特征应用空间自适应调制和通道混合。残差块是将输入特征图通过特征混合块后得到增强特征图与输入特征图进行相加的模块。

32、优选的，所述步骤7中对输入图像的gt和重建图像使用损失函数进行损失计算，步骤7中所述使用带有双曲正切的像素级损失函数对输入图像的gt和重建图像进行损失值计算，该损失函数是带有tanh变换的l1损失函数，平衡高亮度值与低亮度值之间的学习权重，该损失函数定义如下：

33、

34、其中：为重建图像；i∈rh*w*c为参考gt图像；h代表图像的高度；w代表图像的宽度；c代表rgb三通道；tanh为双曲正切函数；||||l1为对结果进行l1范数运算。

35、优选的，公式(8)中i，

36、本发明具有以下有益效果：(1)本发明通过在类似vision transformer块的基础上引入了空间自适应特征调制和卷积通道混合，并将空间自适应特征调制层和卷积通道混合层融入到传统的残差块中，对u-net的不同尺度分支上的特征实现了特征混合操作；空间自适应调制通过应用一个特征金字塔结构来生成用于空间自适应特征调制的注意力图，并对输入特征进行动态调制来从多尺度特征表征中学习远距离依赖关系。卷积通道混合同时提取了局部上下文信息和实现了通道混合，显著地从多尺度特征聚合中增强远距离特征之间的相关性，解决了重建图像饱和区域恢复细节不够丰富这个问题。

37、(2)本发明引入了双曲正切的l1损失函数来增强模型对高亮度和低亮度值的同时关注，让重建图像的饱和区域的纹理和局部细节更加丰富，传统的l1损失函数直接将生成的hdr值与真值的hdr值进行计算会使网络更加关注高亮度值，忽视了低亮度值对网络学习的影响，导致较差的视觉质量。