针对动态场景的无鬼影高动态范围光场成像方法

本发明涉及一种高动态范围光场成像技术，尤其是涉及一种针对动态场景的无鬼影高动态范围光场成像方法。

背景技术：

1、光场成像为完备记录真实三维场景带来了新的可能性。受益于光场同时蕴含了光线的强度和方向信息，许多超越传统二维图像的新应用，如捕获后重新聚焦、遮挡去除、自由视点探索等相继出现。特别地，随着光场相机的商业化，用户可便捷地获取光场数据以用于不同任务。然而，受限于图像传感器的势阱容量，光场相机仅能捕获有限动态范围的信息，因而容易对高或低亮度区域产生过曝光或欠曝光现象，这进一步会影响后续光场应用的性能。

2、高动态范围(high dynamic range，hdr)成像旨在生成反映真实场景动态范围的图像，其可包含更高的亮度对比度和更丰富的细节信息。显而易见地，在光场成像中合理地引入hdr成像技术，可有效提高光场成像质量并促进光场应用的性能提升。近年来，有研究者提出通过改造光场相机的内部硬件结构，如使用光学掩膜、针孔掩膜或多iso传感器等光学器件以在单次曝光中获取真实场景的多曝光信息，而后通过设计重建算法以恢复hdr信息。然而，光场相机的模块化和专业化，导致普通用户很难独立且准确地更改光场相机的内部硬件结构，所以上述方法的实际实现难度较大。此外，上述方法本质上是通过牺牲部分空间或角度信息来在图像传感器中记录不同曝光的亮度信息，因此在后续hdr重建中会引入不同类型和程度的失真。

3、与之相比，使用包围曝光模式和融合算法来进行hdr光场成像是更为实际且有效的方式。具体而言，该方式是利用光场相机(无需更改内部硬件结构)来进行多次曝光以获取完整的辐照信息，而后将所有信息进行合理融合以重现真实世界场景。但是，对于包含运动对象的场景，直接使用基于多曝光的方法会产生视觉扰人的鬼影伪像。传统的hdr去鬼影方法是通过检测运动区域来在融合中排除这些区域，或者通过光流以及块匹配等技术来配准输入的多曝光图像，以在融合的hdr结果中去除鬼影伪像。如：sen等人提出的一种基于块的能量最小化方法来联合处理多曝光图像配准和hdr重建。又如：hu等人利用基于块的优化方法来从动态多曝光序列中生成配准后的静态序列，进而可采用已有的多曝光融合方法来重建无鬼影hdr图像。但是对于大运动前景，或运动区域包含欠或过曝光信息，上述传统的hdr去鬼影方法很难产生满意的效果。

4、随着深度学习的迅猛发展，已有研究者提出了一些基于学习的方法来进一步缓解鬼影问题并恢复饱和区域的细节。例如，kalantari等人首先利用光流来预配准多曝光图像，而后利用卷积神经网络来学习融合权重并修复配准误差，以重建无鬼影的hdr结果。wu等人受图像翻译任务的启发，构建了一个端到端网络来建模hdr成像以避免显式的光流估计。yan等人利用空间注意力机制来在融合过程中抑制来自鬼影区域的无效信息。niu等人将生成对抗网络用于hdr成像任务，并提出了一种深度hdr监督策略来进一步消除伪影。prabhakar等人提出了一种基于小样本学习的hdr去鬼影方法以克服标签样本获取繁琐的缺点。chung等人提出了一种基于亮度调整和多阶段精细的方法来避免显式的运动补偿并恢复饱和区域的信息。尽管以上方法能以逐视图的方式来应对多曝光hdr光场成像任务，即独立地处理光场中的每幅子视图以合成最终的hdr光场图像，但这忽略了光场所蕴含的重要的角度信息。更具体而言，由于光场中的视差因素，某子视图中丢失的曝光信息可能在另一子视图中出现，因此，以上方法在处理挑战性场景时可能会出现鬼影伪像和纹理模糊，并且倾向于破坏所生成的hdr光场图像的视差结构。另外，chen等人设计了一种由相机成像链启发的无监督损失以从输入的多曝光光场图像中重建高质量hdr光场图像，但该方法需要输入的多曝光光场图像是严格配准的，即拍摄场景是静态的，因此无法处理动态场景。

5、综上，虽然目前的相关研究在对动态场景的hdr成像上已经取得了不错的效果，但是当这些研究直接用于动态场景的hdr光场成像任务时仍存在一定的不足，特别地，在去除对象边缘区域的鬼影伪像，恢复饱和区域的细节和颜色信息，以及保留重建的hdr光场图像的角度一致性方面有一定的改进空间。另外，目前特定于光场数据的hdr光场成像研究，主要针对静态场景，还未深入到复杂的动态场景。

技术实现思路

1、本发明所要解决的技术问题是提供一种针对动态场景的无鬼影高动态范围光场成像方法，其能够有效探索多曝光光场图像序列在空间域上的相关性和互补性，并且充分利用多曝光光场图像序列的角度信息，高质量地重建视觉自然的无鬼影高动态范围光场图像，并恢复饱和区域的细节和颜色信息，同时保留准确的角度一致性。

2、本发明解决上述技术问题所采用的技术方案为：一种针对动态场景的无鬼影高动态范围光场成像方法，其特征在于包括以下步骤：

3、步骤1：选取num组多曝光光场图像序列以及每组多曝光光场图像序列对应的真值高动态范围光场图像，每组多曝光光场图像序列包含三幅不同曝光程度的低动态范围光场图像，分别为欠曝光光场图像、中间曝光光场图像和过曝光光场图像，依次对应记为xs、xm和xl，并将xs、xm和xl各自的曝光值依次对应记为evs、evm和evl；然后将num组多曝光光场图像序列和对应的num幅真值高动态范围光场图像构成训练集；其中，欠曝光光场图像、中间曝光光场图像、过曝光光场图像和真值高动态范围光场图像均为彩色三通道图且空间分辨率为w×h、角度分辨率为v×u；

4、步骤2：基于相机响应函数的线性化，并结合曝光值，将训练集中的每组多曝光光场图像序列中的欠曝光光场图像、中间曝光光场图像、过曝光光场图像分别转换到线性域，得到对应的线性域欠曝光光场图像、线性域中间曝光光场图像、线性域过曝光光场图像；再利用对数变换技术，将训练集中的每组多曝光光场图像序列中的线性域欠曝光光场图像、线性域中间曝光光场图像、线性域过曝光光场图像分别转换到对数域，得到对应的对数域欠曝光光场图像、对数域中间曝光光场图像、对数域过曝光光场图像，将xs对应的对数域欠曝光光场图像记为将xm对应的对数域中间曝光光场图像记为将xl对应的对数域过曝光光场图像记为然后针对训练集中的每组多曝光光场图像序列，将欠曝光光场图像与其对应的对数域欠曝光光场图像进行级联，得到对应的欠曝光级联结果，将中间曝光光场图像与其对应的对数域中间曝光光场图像进行级联，得到对应的中间曝光级联结果，将过曝光光场图像与其对应的对数域过曝光光场图像进行级联，得到对应的过曝光级联结果，将每组多曝光光场图像序列对应的欠曝光级联结果、中间曝光级联结果、过曝光级联结果作为一组训练图像；

5、利用对数变换技术，将训练集中的每幅真值高动态范围光场图像转换到对数域，得到对应的对数域真值高动态范围光场图像，作为训练标签；

6、步骤3：构建一个高动态范围光场成像网络，其包括用于将输入图像映射到特征空间的特征嵌入层、用于提取多尺度特征的编码器，以及用于将特征重建为目标图像即对数域高动态范围光场图像的解码器；在编码器中，在每个编码尺度中加入可变形配准模块，以由粗到细的方式来逐步配准多曝光光场特征，并对每个编码尺度下的配准的多曝光光场特征进行有效融合，以准确地将来自欠曝光光场图像和过曝光光场图像的信息聚合到中间曝光中；在每个编码尺度中加入角度嵌入模块，以从配准的多曝光光场特征中挖掘有效的角度信息以更好地恢复饱和区域的细节和颜色信息；

7、步骤4：使用步骤2中得到的num组训练图像和num幅训练标签对步骤3中构建的高动态范围光场成像网络进行训练，在训练过程中计算网络输出与训练标签之间的损失来通过梯度反向传播技术以优化网络中的各个可学习的参数值，在训练结束后得到高动态范围光场成像网络中的各卷积核的最佳权重参数，即得到训练有素的高动态范围光场成像网络模型；

8、步骤5：任意选取一组多曝光光场图像序列作为测试光场图像序列，测试光场图像序列包含三幅不同曝光程度的低动态范围光场图像，分别为欠曝光光场图像、中间曝光光场图像和过曝光光场图像；然后按照步骤2的过程以相同的方式，获得测试光场图像序列对应的欠曝光级联结果、中间曝光级联结果、过曝光级联结果，并作为一组测试图像；再将得到的一组测试图像输入到训练有素的高动态范围光场成像网络模型中，测试得到重建的对数域高动态范围光场图像；最后利用逆对数变换技术，将重建的对数域高动态范围光场图像转换到线性域，生成线性域高动态范围光场图像，即目标无鬼影高动态范围光场图像；其中，欠曝光光场图像、中间曝光光场图像、过曝光光场图像均为彩色三通道图且空间分辨率为w×h、角度分辨率为v×u。

9、所述步骤2中，通过公式k∈{s,m,l}将欠曝光光场图像、中间曝光光场图像、过曝光光场图像分别转换到线性域，将xs对应的线性域欠曝光光场图像记为将xm对应的线性域中间曝光光场图像记为将xl对应的线性域过曝光光场图像记为其中，相机响应函数为gamma函数，γ表示gamma函数中的gamma值。

10、所述步骤2中，通过对数变换公式k∈{s,m,l}将分别转换到对数域；其中，log()表示对数运算，其底数为自然数e，μ是一个控制对数变换强度的常量。

11、所述步骤5中，通过逆对数变换公式将对数域高动态范围光场图像转换到线性域；其中，表示线性域高动态范围光场图像，表示对数域高动态范围光场图像。

12、所述步骤3中，特征嵌入层由并行的第一卷积层、第二卷积层和第三卷积层组成；第一卷积层的输入端接收一幅空间分辨率为w×h且角度分辨率为v×u的彩色三通道的欠曝光光场图像与其对应的对数域欠曝光光场图像进行级联得到的欠曝光级联结果，第一卷积层的输出端输出32幅空间分辨率为w×h且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fs0；第二卷积层的输入端接收一幅空间分辨率为w×h且角度分辨率为v×u的彩色三通道的中间曝光光场图像与其对应的对数域中间曝光光场图像进行级联得到的中间曝光级联结果，第二卷积层的输出端输出32幅空间分辨率为w×h且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fm0；第三卷积层的输入端接收一幅空间分辨率为w×h且角度分辨率为v×u的彩色三通道的过曝光光场图像与其对应的对数域过曝光光场图像进行级联得到的过曝光级联结果，第三卷积层的输出端输出32幅空间分辨率为w×h且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fl0；其中，第一卷积层、第二卷积层和第三卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为6、输出通道数均为32，采用的激活函数均为leaky relu；

13、编码器由结构相同的第一编码块、第二编码块和第三编码块组成，第一编码块、第二编码块和第三编码块均由并行的第四卷积层、第五卷积层、第六卷积层，以及第一可变形配准模块、第二可变形配准模块、第七卷积层和角度嵌入模块组成；

14、对于编码器中的第一编码块，第四卷积层的输入端接收fs0中的所有特征图，第四卷积层的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fs1；第五卷积层的输入端接收fm0中的所有特征图，第五卷积层的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fm1；第六卷积层的输入端接收fl0中的所有特征图，第六卷积层的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fl1；第一可变形配准模块的输入端接收fs1中的所有特征图和fm1中的所有特征图，第一可变形配准模块的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为falign,s1；第二可变形配准模块的输入端接收fl1中的所有特征图和fm1中的所有特征图，第二可变形配准模块的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为falign,l1；第七卷积层的输入端接收fm1中的所有特征图、falign,s1中的所有特征图和falign,l1中的所有特征图在特征通道维度上进行级联后的结果，第七卷积层的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fagg,1；角度嵌入模块的输入端接收fm1中的所有特征图、falign,s1中的所有特征图、falign,l1中的所有特征图和fagg,1中的所有特征图，角度嵌入模块的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fang,e1；

15、对于编码器中的第二编码块，第四卷积层的输入端接收fs1中的所有特征图，第四卷积层的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fs2；第五卷积层的输入端接收fang,e1中的所有特征图，第五卷积层的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fm2；第六卷积层的输入端接收fl1中的所有特征图，第六卷积层的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fl2；第一可变形配准模块的输入端接收fs2中的所有特征图和fm2中的所有特征图，第一可变形配准模块的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为falign,s2；第二可变形配准模块的输入端接收fl2中的所有特征图和fm2中的所有特征图，第二可变形配准模块的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为falign,l2；第七卷积层的输入端接收fm2中的所有特征图、falign,s2中的所有特征图和falign,l2中的所有特征图在特征通道维度上进行级联后的结果，第七卷积层的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fagg,2；角度嵌入模块的输入端接收fm2中的所有特征图、falign,s2中的所有特征图、falign,l2中的所有特征图和fagg,2中的所有特征图，角度嵌入模块的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fang,e2；

16、对于编码器中的第三编码块，第四卷积层的输入端接收fs2中的所有特征图，第四卷积层的输出端输出256幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fs3；第五卷积层的输入端接收fang,e2中的所有特征图，第五卷积层的输出端输出256幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fm3；第六卷积层的输入端接收fl2中的所有特征图，第六卷积层的输出端输出256幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fl3；第一可变形配准模块的输入端接收fs3中的所有特征图和fm3中的所有特征图，第一可变形配准模块的输出端输出256幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为falign,s3；第二可变形配准模块的输入端接收fl3中的所有特征图和fm3中的所有特征图，第二可变形配准模块的输出端输出256幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为falign,l3；第七卷积层的输入端接收fm3中的所有特征图、falign,s3中的所有特征图和falign,l3中的所有特征图在特征通道维度上进行级联后的结果，第七卷积层的输出端输出256幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fagg,3；角度嵌入模块的输入端接收fm3中的所有特征图、falign,s3中的所有特征图、falign,l3中的所有特征图和fagg,3中的所有特征图，角度嵌入模块的输出端输出256幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fang,e3；

17、上述，第一编码块中：第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3、卷积步长均为2、输入通道数均为32、输出通道数均为64、采用的激活函数均为leakyrelu，第七卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为192、输出通道数为64、不采用激活函数；第二编码块中：第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3、卷积步长均为2、输入通道数均为64、输出通道数均为128、采用的激活函数均为leaky relu，第七卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为384、输出通道数为128、不采用激活函数；第三编码块中：第四卷积层、第五卷积层和第六卷积层的卷积核的尺寸均为3×3、卷积步长均为2、输入通道数均为128、输出通道数均为256、采用的激活函数均为leaky relu，第七卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为768、输出通道数为256、不采用激活函数；

18、解码器由结构相同的第一解码块、第二解码块、第三解码块，以及第十一卷积层组成；第一解码块、第二解码块和第三解码块均由反卷积层、第八卷积层和残差块组成，其中，残差块包括依次连接的第九卷积层和第十卷积层；

19、对于解码器中的第一解码块，反卷积层的输入端接收fang,e3中的所有特征图，反卷积层的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,3；第八卷积层的输入端接收fd,3中的所有特征图和fang,e2中的所有特征图在特征通道维度上进行级联后的结果，第八卷积层的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,f3；第九卷积层的输入端接收fd,f3中的所有特征图，第九卷积层的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,res13；第十卷积层的输入端接收fd,res13中的所有特征图，第十卷积层的输出端输出128幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,res23；将fd,res23中的所有特征图与fd,f3中的所有特征图进行逐元素相加，得到128幅空间分辨率为且角度分辨率为v×u的特征图，将得到的所有特征图构成的集合记为fdec,3；

20、对于解码器中的第二解码块，反卷积层的输入端接收fdec,3中的所有特征图，反卷积层的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,2；第八卷积层的输入端接收fd,2中的所有特征图和fang,e1中的所有特征图在特征通道维度上进行级联后的结果，第八卷积层的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,f2；第九卷积层的输入端接收fd,f2中的所有特征图，第九卷积层的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,res12；第十卷积层的输入端接收fd,res12中的所有特征图，第十卷积层的输出端输出64幅空间分辨率为且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,res22；将fd,res22中的所有特征图与fd,f2中的所有特征图进行逐元素相加，得到64幅空间分辨率为且角度分辨率为v×u的特征图，将得到的所有特征图构成的集合记为fdec,2；

21、对于解码器中的第三解码块，反卷积层的输入端接收fdec,2中的所有特征图，反卷积层的输出端输出32幅空间分辨率为w×h且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,1；第八卷积层的输入端接收fd,1中的所有特征图和fm0中的所有特征图在特征通道维度上进行级联后的结果，第八卷积层的输出端输出32幅空间分辨率为w×h且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,f1；第九卷积层的输入端接收fd,f1中的所有特征图，第九卷积层的输出端输出32幅空间分辨率为w×h且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,res11；第十卷积层的输入端接收fd,res11中的所有特征图，第十卷积层的输出端输出32幅空间分辨率为w×h且角度分辨率为v×u的特征图，将输出的所有特征图构成的集合记为fd,res21；将fd,res21中的所有特征图与fd,f1中的所有特征图进行逐元素相加，得到32幅空间分辨率为w×h且角度分辨率为v×u的特征图，将得到的所有特征图构成的集合记为fdec,1；

22、上述，第一解码块中：反卷积层的卷积核的尺寸为4×4、卷积步长为1/2、输入通道数为256、输出通道数为128、采用的激活函数均为leaky relu，第八卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为256、输出通道数为128、不采用激活函数，第九卷积层的卷积核的尺寸为3×3、卷积步长为1、输入通道数为128、输出通道数为128、采用的激活函数均为leaky relu，第十卷积层的卷积核的尺寸为3×3、卷积步长为1、输入通道数为128、输出通道数为128、不采用激活函数；第二解码块中：反卷积层的卷积核的尺寸为4×4、卷积步长为1/2、输入通道数为128、输出通道数为64、采用的激活函数均为leaky relu，第八卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为128、输出通道数为64、不采用激活函数，第九卷积层的卷积核的尺寸为3×3、卷积步长为1、输入通道数为64、输出通道数为64、采用的激活函数均为leaky relu，第十卷积层的卷积核的尺寸为3×3、卷积步长为1、输入通道数为64、输出通道数为64、不采用激活函数；第三解码块中：反卷积层的卷积核的尺寸为4×4、卷积步长为1/2、输入通道数为64、输出通道数为32、采用的激活函数均为leakyrelu，第八卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为64、输出通道数为32、不采用激活函数，第九卷积层的卷积核的尺寸为3×3、卷积步长为1、输入通道数为32、输出通道数为32、采用的激活函数均为leaky relu，第十卷积层的卷积核的尺寸为3×3、卷积步长为1、输入通道数为32、输出通道数为32、不采用激活函数；

23、解码器中的第十一卷积层的输入端接收fdec,1中的所有特征图，第十一卷积层的输出端输出一幅空间分辨率为w×h且角度分辨率为v×u的彩色三通道的重建的对数域高动态范围光场图像；其中，第十一卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3、不采用激活函数。

24、所述第一可变形配准模块和所述第二可变形配准模块的结构相同，均由第十二卷积层，并行的第一扩张卷积层、第二扩张卷积层和第三扩张卷积层，第十三卷积层，第十四卷积层和可变形卷积层组成；第十二卷积层的输入端接收来自欠/过曝光光场图像的所有特征图和来自中间曝光光场图像的所有特征图在特征通道维度上进行级联后的结果，第一扩张卷积层、第二扩张卷积层和第三扩张卷积层各自的输入端均接收第十二卷积层的输出端输出的所有特征图，第十三卷积层的输入端接收第一扩张卷积层的输出端输出的所有特征图、第二扩张卷积层的输出端输出的所有特征图和第三扩张卷积层的输出端输出的所有特征图在特征通道维度上进行级联后的结果，第十四卷积层的输入端接收第十三卷积层的输出端输出的所有特征图与第十二卷积层的输出端输出的所有特征图进行逐元素相加后的结果，可变形卷积层的输入端接收来自欠/过曝光光场图像的所有特征图和第十四卷积层的输出端输出的所有偏移量特征图，其中，前者即来自欠/过曝光光场图像的所有特征图是用于生成配准的特征，后者即偏移量特征图是用作可变形卷积层中的卷积核位置偏移，以使得可变形卷积层中的卷积核的形状可变，可变形卷积层的输出端输出所有配准的欠/过曝光光场特征图；

25、对于第一编码块中的第一可变形配准模块，来自欠/过曝光光场图像的所有特征图为fs1中的所有特征图，来自中间曝光光场图像的所有特征图为fm1中的所有特征图，所有配准的欠/过曝光光场特征图构成的集合为falign,s1；对于第一编码块中的第二可变形配准模块，来自欠/过曝光光场图像的所有特征图为fl1中的所有特征图，来自中间曝光光场图像的所有特征图为fm1中的所有特征图，所有配准的欠/过曝光光场特征图构成的集合为falign,l1；对于第一编码块中的第一可变形配准模块和第二可变形配准模块，第十二卷积层、第一扩张卷积层、第二扩张卷积层、第三扩张卷积层、第十三卷积层、可变形卷积层各自的输出端均输出64幅空间分辨率为且角度分辨率为v×u的特征图，第十四卷积层的输出端输出18幅空间分辨率为且角度分辨率为v×u的偏移量特征图；其中，第十二卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为128、输出通道数为64、采用的激活函数均为leaky relu，第一扩张卷积层、第二扩张卷积层和第三扩张卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为64、输出通道数均为64、采用的激活函数均为leaky relu，第一扩张卷积层、第二扩张卷积层和第三扩张卷积层的扩张系数依次为1、2、4，第十三卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为192、输出通道数为64、不使用激活函数，第十四卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为64、输出通道数为18、不使用激活函数，可变形卷积层的卷积核的尺寸为3×3、卷积步长为1、输入通道数为64、输出通道数为64、不使用激活函数；

26、对于第二编码块中的第一可变形配准模块，来自欠/过曝光光场图像的所有特征图为fs2中的所有特征图，来自中间曝光光场图像的所有特征图为fm2中的所有特征图，所有配准的欠/过曝光光场特征图构成的集合为falign,s2；对于第二编码块中的第二可变形配准模块，来自欠/过曝光光场图像的所有特征图为fl2中的所有特征图，来自中间曝光光场图像的所有特征图为fm2中的所有特征图，所有配准的欠/过曝光光场特征图构成的集合为falign,l2；对于第二编码块中的第一可变形配准模块和第二可变形配准模块，第十二卷积层、第一扩张卷积层、第二扩张卷积层、第三扩张卷积层、第十三卷积层、可变形卷积层各自的输出端均输出128幅空间分辨率为且角度分辨率为v×u的特征图，第十四卷积层的输出端输出18幅空间分辨率为且角度分辨率为v×u的偏移量特征图；其中，第十二卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为256、输出通道数为128、采用的激活函数均为leaky relu，第一扩张卷积层、第二扩张卷积层和第三扩张卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为128、输出通道数均为128、采用的激活函数均为leaky relu，第一扩张卷积层、第二扩张卷积层和第三扩张卷积层的扩张系数依次为1、2、4，第十三卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为384、输出通道数为128、不使用激活函数，第十四卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为128、输出通道数为18、不使用激活函数，可变形卷积层的卷积核的尺寸为3×3、卷积步长为1、输入通道数为128、输出通道数为128、不使用激活函数；

27、对于第三编码块中的第一可变形配准模块，来自欠/过曝光光场图像的所有特征图为fs3中的所有特征图，来自中间曝光光场图像的所有特征图为fm3中的所有特征图，所有配准的欠/过曝光光场特征图构成的集合为falign,s3；对于第三编码块中的第二可变形配准模块，来自欠/过曝光光场图像的所有特征图为fl3中的所有特征图，来自中间曝光光场图像的所有特征图为fm3中的所有特征图，所有配准的欠/过曝光光场特征图构成的集合为falign,l3；对于第三编码块中的第一可变形配准模块和第二可变形配准模块，第十二卷积层、第一扩张卷积层、第二扩张卷积层、第三扩张卷积层、第十三卷积层、可变形卷积层各自的输出端均输出256幅空间分辨率为且角度分辨率为v×u的特征图，第十四卷积层的输出端输出18幅空间分辨率为且角度分辨率为v×u的偏移量特征图；其中，第十二卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为512、输出通道数为256、采用的激活函数均为leaky relu，第一扩张卷积层、第二扩张卷积层和第三扩张卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为256、输出通道数均为256、采用的激活函数均为leaky relu，第一扩张卷积层、第二扩张卷积层和第三扩张卷积层的扩张系数依次为1、2、4，第十三卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为768、输出通道数为256、不使用激活函数，第十四卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为256、输出通道数为18、不使用激活函数，可变形卷积层的卷积核的尺寸为3×3、卷积步长为1、输入通道数为256、输出通道数为256、不使用激活函数。

28、所述角度嵌入模块由并行的第十五卷积层、第十六卷积层、第十七卷积层，以及第十八卷积层、第十九卷积层和第二十卷积层组成；第十五卷积层的输入端接收所有配准的欠曝光光场特征图经过空间到角度重组操作后的结果，第十六卷积层的输入端接收来自中间曝光光场图像的所有特征图经过空间到角度重组操作后的结果，第十七卷积层的输入端接收所有配准的过曝光光场特征图经过空间到角度重组操作后的结果，第十八卷积层的输入端接收第十五卷积层的输出端输出的所有特征图、第十六卷积层的输出端输出的所有特征图、第十七卷积层的输出端输出的所有特征图在特征通道维度上进行级联后的结果，将第十八卷积层的输出端输出的所有特征图在角度维复制v×u倍，第十九卷积层和第二十卷积层各自的输入端均接收复制后得到的所有特征图经过角度到空间重组操作后的结果，将第十九卷积层的输出端输出的所有特征图与所有融合的光场特征图进行逐元素相乘，再将相乘结果与第二十卷积层的输出端输出的所有特征图进行逐元素相加，相加结果为所有增强的光场特征图，其作为角度嵌入模块的输出；

29、对于第一编码块中的角度嵌入模块，所有配准的欠曝光光场特征图为falign,s1中的所有特征图，来自中间曝光光场图像的所有特征图为fm1中的所有特征图，所有配准的过曝光光场特征图为falign,l1中的所有特征图，所有融合的光场特征图为fagg,1中的所有特征图，所有增强的光场特征图构成的集合为fang,e1；第十五卷积层、第十六卷积层、第十七卷积层、第十八卷积层各自的输出端均输出64幅空间分辨率为且角度分辨率为1×1的特征图，在角度维复制v×u倍后得到64幅空间分辨率为且角度分辨率为v×u的特征图，第十九卷积层和第二十卷积层各自的输出端均输出64幅空间分辨率为且角度分辨率为v×u的特征图；其中，第十五卷积层、第十六卷积层和第十七卷积层的卷积核的尺寸均为v×u、卷积步长均为v×u、输入通道数均为64、输出通道数均为64、采用的激活函数均为leaky relu，第十八卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为192、输出通道数为64、不使用激活函数，第十九卷积层和第二十卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为64、输出通道数均为64、不使用激活函数；

30、对于第二编码块中的角度嵌入模块，所有配准的欠曝光光场特征图为falign,s2中的所有特征图，来自中间曝光光场图像的所有特征图为fm2中的所有特征图，所有配准的过曝光光场特征图为falign,l2中的所有特征图，所有融合的光场特征图为fagg,2中的所有特征图，所有增强的光场特征图构成的集合为fang,e2；第十五卷积层、第十六卷积层、第十七卷积层、第十八卷积层各自的输出端均输出128幅空间分辨率为且角度分辨率为1×1的特征图，在角度维复制v×u倍后得到128幅空间分辨率为且角度分辨率为v×u的特征图，第十九卷积层和第二十卷积层各自的输出端均输出128幅空间分辨率为且角度分辨率为v×u的特征图；其中，第十五卷积层、第十六卷积层和第十七卷积层的卷积核的尺寸均为v×u、卷积步长均为v×u、输入通道数均为128、输出通道数均为128、采用的激活函数均为leaky relu，第十八卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为384、输出通道数为128、不使用激活函数，第十九卷积层和第二十卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为128、输出通道数均为128、不使用激活函数；

31、对于第三编码块中的角度嵌入模块，所有配准的欠曝光光场特征图为falign,s3中的所有特征图，来自中间曝光光场图像的所有特征图为fm3中的所有特征图，所有配准的过曝光光场特征图为falign,l3中的所有特征图，所有融合的光场特征图为fagg,3中的所有特征图，所有增强的光场特征图构成的集合为fang,e3；第十五卷积层、第十六卷积层、第十七卷积层、第十八卷积层各自的输出端均输出256幅空间分辨率为且角度分辨率为1×1的特征图，在角度维复制v×u倍后得到256幅空间分辨率为且角度分辨率为v×u的特征图，第十九卷积层和第二十卷积层各自的输出端均输出256幅空间分辨率为且角度分辨率为v×u的特征图；其中，第十五卷积层、第十六卷积层和第十七卷积层的卷积核的尺寸均为v×u、卷积步长均为v×u、输入通道数均为256、输出通道数均为256、采用的激活函数均为leaky relu，第十八卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为768、输出通道数为256、不使用激活函数，第十九卷积层和第二十卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为256、输出通道数均为256、不使用激活函数。

32、与现有技术相比，本发明的优点在于：

33、1)本发明方法考虑到传统二维高动态范围成像方法难以利用光场图像的高维信息，且倾向于破坏角度一致性，而现有高动态范围光场成像方法主要针对静态场景，因此本发明方法构建了一个面向动态场景的高动态范围光场成像网络，其通过有效探索多曝光光场图像之间的相关性和互补性，以及多曝光光场图像内部的高维几何信息，可重建高质量的无鬼影高动态范围光场图像，并保留准确的角度一致性。

34、2)为应对多曝光光场图像中的运动区域和全局未配准问题，本发明方法构建了可变形配准模块，其被加入到所构建的高动态范围光场成像网络中的每个编码尺度中，能以由粗到细的方式来逐步配准多曝光光场特征；另外，引入聚合操作来对每个编码尺度下的配准特征进行有效融合，这可充分准确地将来自欠和过曝光光场图像的信息聚合到中间曝光中，进而实现高质量的高动态范围光场信息的重建。

35、3)考虑到光场图像包含了丰富的角度信息，其为高动态范围光场成像提供了有效的补偿信息，即某子视图中丢失的曝光信息可能在其他子视图中出现，因此本发明方法在每个编码尺度中构建了角度嵌入模块，其可从配准的多曝光光场特征中挖掘有效的角度信息以更好地恢复饱和区域的细节和颜色信息。