深度卷积神经网络的训练方法、逆色调映射方法和装置与流程

本技术涉及计算机视觉，特别涉及一种深度卷积神经网络的训练方法、逆色调映射方法、装置、计算机设备及存储介质。

背景技术：

1、随着视频应用的流行，人们对于视频质量的要求也越来越高，对高动态范围视频的需求更加强烈，动态范围是有关视频质量一个评价指标，动态范围越高，视频质量越好。但由于设备性能的限制，大量视频都只是标准动态范围视频，因此能够将标准动态范围视频转换为高动态范围视频的技术拥有广阔的前景。

2、目前，将标准动态范围视频转换为高动态范围视频，主要是通过卷积神经网络提取标准动态范围视频的颜色特征信息和动态范围信息，对标准动态范围视频进行颜色转换和动态范围扩展，最终获得转换后的高动态范围视频。

3、但是，上述方法只对视频的单帧进行处理，利用基于单帧提取到的标准动态范围视频的颜色特征信息和动态范围信息，对标准动态范围视频进行颜色转换和动态范围扩展，可能会出现偏差，导致获得的高动态范围视频质量差。

技术实现思路

1、本技术实施例提供了一种深度卷积神经网络的训练方法、逆色调映射方法、装置、计算机设备及存储介质，能够有效的提升视频质量。所述技术方案如下：

2、一方面，提供了一种深度卷积神经网络的训练方法，所述方法包括：

3、获取样本视频的多个样本图像帧，所述多个样本图像帧包括第一样本图像帧以及与所述第一样本图像帧相邻的多个第二样本图像帧；

4、将所述多个样本图像帧输入深度卷积神经网络中，由所述深度卷积神经网络对所述第一样本图像帧的颜色特征进行处理，得到所述第一样本图像帧的空间局部逆色调映射参数以及单帧全局逆色调映射参数，对所述多个样本图像帧的颜色特征进行处理，得到所述多个样本图像帧的时间逆色调映射参数，基于所述第一样本图像帧的空间局部逆色调映射参数、单帧全局逆色调映射参数以及所述多个样本图像帧的时间逆色调映射参数，对所述第一样本图像帧进行处理，输出所述第一样本图像帧的生成图像帧；

5、基于所述第一样本图像帧的参考样本图像帧和所述生成图像帧，确定图像损失，基于所述图像损失对所述深度卷积神经网络的模型参数进行调整；

6、其中，所述第一样本图像帧的参考样本图像帧与所述第一样本图像帧的图像帧内容相同，且所述参考样本图像帧的动态范围大于所述第一样本图像帧。

7、又一方面，提供了一种逆色调映射方法，所述方法包括：

8、获取待处理的视频的多个图像帧，所述多个图像帧包括第一图像帧以及与所述第一图像帧相邻的多个第二图像帧；

9、将所述多个图像帧输入深度卷积神经网络中，由所述深度卷积神经网络对所述第一图像帧的颜色特征进行处理，得到所述第一图像帧的空间局部逆色调映射参数以及单帧全局逆色调映射参数，对所述多个图像帧的颜色特征进行处理，得到所述多个图像帧的时间逆色调映射参数，基于所述第一图像帧的空间局部逆色调映射参数、单帧全局逆色调映射参数以及所述多个图像帧的时间逆色调映射参数，对所述第一图像帧进行处理，输出所述第一图像帧的生成图像帧。

10、又一方面，提供了一种深度卷积神经网络的训练装置，所述装置包括：

11、样本获取单元，被配置为获取样本视频的多个样本图像帧，所述多个样本图像帧包括第一样本图像帧以及与所述第一样本图像帧相邻的多个第二样本图像帧；

12、映射参数获取单元，被配置为将所述多个样本图像帧输入深度卷积神经网络中，由所述深度卷积神经网络对所述第一样本图像帧的颜色特征进行处理，得到所述第一样本图像帧的空间局部逆色调映射参数以及单帧全局逆色调映射参数，对所述多个样本图像帧的颜色特征进行处理，得到所述多个样本图像帧的时间逆色调映射参数；

13、图像帧处理单元，被配置为基于所述第一样本图像帧的空间局部逆色调映射参数、单帧全局逆色调映射参数以及所述多个样本图像帧的时间逆色调映射参数，对所述第一样本图像帧进行处理，输出所述第一样本图像帧的生成图像帧；

14、调整单元，被配置为基于所述第一样本图像帧的参考样本图像帧和所述生成图像帧，确定图像损失，基于所述图像损失对所述深度卷积神经网络的模型参数进行调整；

15、其中，所述第一样本图像帧的参考样本图像帧与所述第一样本图像帧的图像帧内容相同，且所述参考样本图像帧的动态范围大于所述第一样本图像帧。

16、在一些实施例中，该网络处理单元包括：

17、颜色特征提取子单元，被配置为由所述深度卷积神经网络中的多个颜色提取模块对所述多个样本图像帧进行特征提取，得到每个所述样本图像帧的颜色特征；

18、单帧处理子单元，被配置为由所述深度卷积神经网络中的空间局部逆色调映射模块、单帧全局逆色调映射模块分别对所述第一样本图像帧的颜色特征进行处理，以得到所述第一样本图像帧的空间局部逆色调映射参数以及单帧全局逆色调映射参数；

19、多帧处理子单元，被配置为由所述深度卷积神经网络中的时间逆色调映射模块对所述多个样本图像帧的颜色特征进行处理，得到所述多个样本图像帧的时间逆色调映射参数。

20、在一些实施例中，该图像帧处理单元包括：

21、映射特征获取子单元，被配置为由所述深度卷积神经网络中的特征逆色调映射模块基于所述第一样本图像帧的空间局部逆色调映射参数、单帧全局逆色调映射参数和所述多个样本图像帧的时间逆色调映射参数，对所述第一样本图像帧进行处理，得到所述第一样本图像帧的映射特征；

22、生成子单元，被配置为基于所述第一样本图像帧的映射特征，输出所述第一样本图像帧的生成图像帧。

23、在一些实施例中，该映射特征获取子单元，被配置为由所述深度卷积神经网络中的映射模块，基于所述多个样本图像帧的时间逆色调映射参数，对所述映射模块的输入特征进行映射，得到第一特征，基于所述第一样本图像帧的空间局部逆色调映射参数、单帧全局逆色调映射参数，对所述第一特征进行至少一次处理，得到所述第一样本图像帧的映射特征。

24、在一些实施例中，所述装置还包括：

25、融合单元，被配置为由所述深度卷积神经网络中的融合模块，对所述多个样本图像帧进行融合，得到所述多个样本图像帧的融合特征；

26、该映射特征获取子单元，被配置为由所述深度卷积神经网络中的特征逆色调映射模块基于所述第一样本图像帧的空间局部逆色调映射参数、单帧全局逆色调映射参数和所述多个样本图像帧的时间逆色调映射参数，对所述多个样本图像帧的融合特征进行处理，得到所述第一样本图像帧的映射特征。

27、在一些实施例中，融合单元，被配置为由所述深度卷积神经网络中的融合模块基于所述多个样本图像帧，获取所述多个样本图像帧的平移参数，通过所述平移参数对所述多个样本图像帧进行融合，得到所述多个样本图像帧的融合特征，其中，所述平移参数用于对所述多个样本图像帧进行对齐。

28、在一些实施例中，所述装置还包括：

29、残差获取单元，被配置为由所述深度卷积神经网络中的残差模块对所述多个样本图像帧的融合特征进行处理，得到所述多个样本图像帧的残差；

30、该生成子单元，被配置为基于所述多个样本图像帧的融合特征和所述第一样本图像帧的映射特征，生成所述第一样本图像帧的生成图像帧。

31、再一方面，提供了一种逆色调映射装置，所述装置包括：

32、获取单元，被配置为获取待处理的视频的多个图像帧，所述多个图像帧包括第一图像帧以及与所述第一图像帧相邻的多个第二图像帧；

33、图像帧处理单元，被配置为将所述多个图像帧输入深度卷积神经网络中，由所述深度卷积神经网络对所述第一图像帧的颜色特征进行处理，得到所述第一图像帧的空间局部逆色调映射参数以及单帧全局逆色调映射参数，对所述多个图像帧的颜色特征进行处理，得到所述多个图像帧的时间逆色调映射参数，基于所述第一图像帧的空间局部逆色调映射参数、单帧全局逆色调映射参数以及所述多个图像帧的时间逆色调映射参数，对所述第一图像帧进行处理，输出所述第一图像帧的生成图像帧。

34、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现本技术实施例中的深度卷积神经网络的训练方法或逆色调映射方法所执行的操作。

35、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如本技术实施例中深度卷积神经网络的训练方法或逆色调映射方法所执行的操作。

36、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述的各种可选实现方式中提供的深度卷积神经网络的训练方法或逆色调映射方法。