图像处理模型训练方法、图像处理方法及电子设备与流程

1.本技术涉及图像处理领域，尤其涉及一种图像处理模型训练方法、图像处理方法及电子设备。


背景技术：

2.相关技术提供了一种图像处理方法：采用图像处理模型对raw图像进行处理，并对处理后的raw图像进行图像信号处理(isp，image signal processing)，得到三基色rgb图像。在上述图像处理过程中，可能存在rgb图像的图像质量变差的问题。其中，raw图像数据是图像传感器将捕捉到的光源信号转化为数字信号后的原始数据。


技术实现要素：

3.有鉴于此，本技术实施例期望提供一种图像处理模型训练方法、图像处理方法、装置及电子设备，以解决相关技术中rgb图像的图像质量可能变差的技术问题。
4.为达到上述目的，本技术的技术方案是这样实现的：
5.本技术实施例提供一种图像处理模型训练方法，包括：
6.将至少一个第一图像输入至图像处理模型，得到所述图像处理模型输出的至少一个第一图像中每个第一图像对应的第二图像；所述图像处理模型用于对raw图像进行设定的图像处理；所述第一图像和所述第二图像均为raw图像；
7.采用配置有至少一个设定的影响因子的损失函数，计算所述至少一个第一图像中的每个第一图像对应的损失值；其中，所述设定的影响因子表征图像信号处理isp对图像的质量的影响；所述isp用于将raw图像转换为三基色rgb图像；所述损失值基于对应的第二图像与对应的第三图像计算得到；所述第三图像为对应的第一图像的标定图像；
8.根据所述至少一个第一图像中的每个第一图像对应的损失值，更新所述图像处理模型的权重参数。
9.上述方案中，所述设定的影响因子包括以下至少一个：
10.至少一个设定的增益函数；所述至少一个设定的增益函数中的每个增益函数对应所述isp中的一类图像增益行为；
11.至少一个设定的映射函数；所述至少一个设定的映射函数中的每个映射函数对应所述isp中的一类图像映射行为。
12.上述方案中，所述损失函数配置有至少两个设定的影响因子；所述方法还包括：
13.确定所述至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序；
14.基于确定出的执行顺序，生成配置有所述至少两个设定的影响因子的损失函数。
15.上述方案中，所述确定所述至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序，包括：
16.基于所述至少两个设定的影响因子中每个影响因子在所述isp中的执行顺序，确定所述至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序。
17.上述方案中，在计算所述至少一个第一图像中的每个第一图像对应的损失值时，所述方法包括：
18.采用所述损失函数对对应的第二图像进行处理，得到第四图像；
19.采用所述损失函数对对应的第三图像进行处理，得到第五图像；
20.基于所述第四图像和所述第五图像，计算第一图像对应的损失值。
21.上述方案中，所述基于所述第四图像和所述第五图像，计算第一图像对应的损失值，包括：
22.基于所述第四图像中每个像素的第一灰度值和所述第五图像中每个像素的第二灰度值，计算第一图像中每个像素对应的灰度差值；
23.基于第一图像中每个像素对应的灰度差值，计算第一图像对应的灰度值的损失值。
24.本技术实施例还提供了一种图像处理方法，包括：
25.采用第一模型对第一raw图像进行处理，得到第二raw图像；其中，
26.所述第一模型为采用上述任一种图像处理模型训练方法训练得到的图像处理模型。
27.本技术实施例还提供了一种图像处理方法，包括：
28.采用第一模型对第一raw图像进行处理，得到第二raw图像；
29.对所述第二raw图像进行图像信号处理，得到所述第二raw图像对应的三基色rgb图像；其中，
30.所述第一模型为采用上述任一种所述的图像处理模型训练方法训练得到的图像处理模型。
31.本技术实施例还提供了一种电子设备，包括：
32.图像处理单元，用于将至少一个第一图像输入至图像处理模型，得到所述图像处理模型输出的至少一个第一图像中每个第一图像对应的第二图像；所述图像处理模型用于对raw图像进行图像处理；所述第一图像和所述第二图像均为raw图像；
33.计算单元，用于采用配置有至少一个设定的影响因子的损失函数，计算所述至少一个第一图像中的每个第一图像对应的损失值；其中，所述设定的影响因子表征图像信号处理isp对图像的质量的影响；所述isp用于将raw图像转换为三基色rgb图像；所述损失值基于对应的第二图像与对应的第三图像计算得到；所述第三图像为对应的第一图像的标定图像；
34.更新单元，用于根据所述损失值更新所述图像处理模型的权重参数。
35.本技术实施例还提供了一种电子设备，包括：
36.处理单元，用于采用第一模型对第一raw图像进行处理，得到第二raw图像；其中，所述第一模型为采用上述任一实施例中的图像处理模型训练方法训练得到的图像处理模型。
37.本技术实施例还提供了一种电子设备，包括：
38.第一图像处理单元，用于采用第一模型对第一raw图像进行处理，得到第二raw图像；
39.第二图像处理单元，用于对所述第二raw图像进行图像信号处理，得到所述第二
raw图像对应的三基色rgb图像；其中，所述第一模型为采用上述任一实施例中的图像处理模型训练方法训练得到的图像处理模型。
40.本技术实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
41.其中，所述处理器用于运行所述计算机程序时，以下任意一项：
42.执行上述任一种图像处理模型训练方法的步骤；
43.执行上述任一种图像处理方法的步骤。
44.本技术实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下任意一项：
45.上述任一种图像处理模型训练方法的步骤；
46.上述任一种图像处理方法的步骤。
47.本技术实施例提供的方案中，将至少一个第一图像输入至图像处理模型，得到图像处理模型输出的至少一个第一图像中每个第一图像对应的第二图像，采用配置有至少一个设定的影响因子的损失函数，计算至少一个第一图像中的每个第一图像对应的损失值，根据计算出的损失值更新图像处理模型的权重参数。由于损失函数中配置有至少一个设定的影响因子，而设定的影响因子表征isp对图像的质量影响，在训练图像处理模型时，已经考虑了isp对图像的质量的影响，因此，可以提高基于该损失函数训练得到的图像处理模型的图像处理性能，基于isp处理流程对该图像处理模型输出的raw图像进行处理，得到的rgb图像的质量得到提升。
附图说明
48.图1为相关技术提供的一种图像处理流程的示意图；
49.图2为相关技术提供的一种isp处理流程的示意图；
50.图3为本技术实施例提供的图像处理模型训练方法的实现流程示意图；
51.图4为本技术实施例提供的图像处理模型训练方法中计算损失值的实现流程示意图；
52.图5为本技术实施例提供的一种伽玛曲线的示意图；
53.图6为本技术另一实施例提供的图像处理模型训练方法中计算损失值的实现流程示意图；
54.图7为本技术实施例提供的图像处理方法的实现流程示意图；
55.图8为本技术实施例提供的电子设备的结构示意图；
56.图9为本技术另一实施例提供的电子设备的结构示意图；
57.图10为本技术实施例电子设备的硬件组成结构示意图。
具体实施方式
58.图1示出了相关技术提供的一种图像处理流程的示意图。如图1所示，相关技术中，通常采用训练完成的图像处理模型对拍摄设备采集到的raw图像进行处理，以减少raw图像中的图像噪声，提高raw图像的分辨率等，得到处理后的raw图像，并按照isp处理流程对处理后的raw图像进行图像处理，将raw图像转换为便于传输、存储及查看的rgb图像。
59.由于基于raw图像训练图像处理模型与基于isp处理流程处理相应的raw图像是相互独立的步骤，在基于raw图像训练图像处理模型的过程中并不会考虑后续isp对图像质量的影响，导致采用isp处理流程对图像处理模型输出的raw图像处理之后得到的rgb图像的质量较差。
60.请一并参照图2，图2示出了相关技术提供的一种isp处理流程的示意图。如图2所示，isp处理流程可以包括：镜头阴影矫正(lens shading correction)、坏点矫正(bad pixel correction)、去噪点、自动白平衡矫正、色彩矫正(color correction)、伽玛(gamma)矫正等。在实际应用中，isp处理流程可能更复杂(即包含更多的功能项)，isp处理流程中的各功能项的执行顺序也可能不同。这里，功能项包括上述镜头阴影矫正、坏点矫正、去噪点、自动白平衡矫正、色彩矫正、伽玛矫正等，还可以包括反马赛克(demosaic)。其中，
61.镜头阴影矫正用于消除raw图像数据中存在的渐晕现象给图像带来的影响。渐晕现象是指图像中间比较亮，边缘比较暗，且离图像中心越远亮度越暗的现象。
62.坏点是指由于像素点在图像传感器上对应的阵列存在工艺上的缺陷，或由于光信号转化为电信号的过程中出现错误，导致图像上出现的信息错误的像素点。
63.白平衡是描述显示器中红(r)、绿(g)、蓝(b)三基色混合生成后白色精确度的一项指标。白平衡矫正用于恢复图像的正常颜色，基本原理是在任意环境下，把白色物体还原成白色物体。白平衡矫正可以通过白平衡增益来实现。
64.反马赛克用于从raw图像数据中还原出符合显示设备显示的真实色彩。
65.色彩矫正用于矫正图像的颜色，可以通过色调函数来实现。
66.伽玛矫正用于调整图像的灰度，使得处理后的图像人眼看起来更加舒适。伽玛矫正通过伽玛映射函数来实现。
67.为了解决上述问题，本技术实施例提供了一种图像处理模型训练方法，通过在损失函数中配置至少一个设定的影响因子，设定的影响因子表征isp对图像的质量影响。在训练图像处理模型的过程中，采用配置有至少一个设定的影响因子计算相应的损失值，从而基于计算出的损失值更新图像处理模型的权重参数。由于在训练图像处理模型时，已经考虑了isp对图像的质量的影响，因此，可以提高基于该损失函数训练得到的图像处理模型的图像处理性能。相对于图像处理模型输出的raw图像而言，基于isp处理流程对该图像处理模型输出的raw图像进行处理，得到的rgb图像的质量得到提升。
68.以下结合说明书附图及具体实施例对本技术的技术方案做进一步的详细阐述。
69.图3示出了本技术实施例提供的图像处理模型训练方法的实现流程示意图。在本技术实施例中，图像处理模型训练方法的执行主体可以为终端、服务器等电子设备。
70.参照图3，本技术实施例提供的图像处理模型训练方法包括：
71.s101：将至少一个第一图像输入至图像处理模型，得到所述图像处理模型输出的至少一个第一图像中每个第一图像对应的第二图像；所述图像处理模型用于对raw图像进行设定的图像处理；所述第一图像和所述第二图像均为raw图像。
72.这里，图像处理模型包括但不限于基于u-net网络模型或卷积神经网络(cnn，convolutional neural network)模型构建的模型。
73.至少一个第一图像中的每个第一图像均对应有相应的第三图像。第三图像为对应
的第一图像的标定图像。其中，第一图像的图像质量比对应的第三图像的图像质量差，并且，第一图像和对应的第三图像均是基于相同的拍摄场景得到。也就是说，第一图像和对应的第三图像的差别在于图像质量。这里，图像质量的评价指标包括但不限于：分辨率、图像噪声、色差等。
74.在一实施例中，电子设备可以获取至少一个第一图像，将获取到的至少一个第一图像输入至图像处理模型，采用图像处理模型对至少一个第一图像中的每个第一图像进行图像处理，获取图像处理模型输出的至少一个第一图像中每个第一图像对应的第二图像。
75.在一实施例中，电子设备可以获取至少一个批次(batch)的图像样本。其中，至少一个批次中的每个批次包括至少一个图像样本对，每个图像样本对中包括一个第一图像和对应的第三图像。
76.在每次进行训练时，电子设备以批次为单位，将一个批次中所有的图像样本对中的第一图像输入至图像处理模型，采用图像处理模型对输入的第一图像进行图像处理，获取图像处理模型输出的该批次中每个第一图像对应的第二图像。
77.在本实施例中，可以采用图像处理模型对输入的第一图像进行去噪处理、超分辨率处理等。其中，超分辨率处理是指基于第一分辨率的图像或图像序列恢复出第二分辨率的图像的过程，这里，第一分辨率小于第二分辨率。
78.s102：采用配置有至少一个设定的影响因子的损失函数，计算所述至少一个第一图像中的每个第一图像对应的损失值；其中，所述设定的影响因子表征isp对图像的质量的影响；所述isp用于将raw图像转换为三基色rgb图像；所述损失值基于对应的第二图像与对应的第三图像计算得到；所述第三图像为对应的第一图像的标定图像。
79.在图像处理模型输出至少一个第一图像中的每个第一图像对应的第二图像的情况下，电子设备基于图像处理模型输出的每个第二图像，以及基于对应的每个第一图像对应的第三图像，采用配置有至少一个设定的影响因子的损失函数，计算至少一个第一图像中的每个第一图像对应的损失值。
80.需要说明的是，损失函数(loss function)用于度量模型输出的图像与对应的标定图像之间的不一致程度。在实际应用中，通过最小化损失函数来实现模型训练。
81.在实际应用中，可以优先选择在isp处理流程中对图像的质量影响较大的因子，配置于损失函数中。
82.s103：根据所述至少一个第一图像中的每个第一图像对应的损失值更新所述图像处理模型的权重参数。
83.电子设备根据至少一个第一图像中的每个第一图像对应的损失值，对图像处理模型进行权重参数的更新，以提升图像处理模型输出的图像的质量。其中，电子设备将至少一个第一图像中的每个第一图像对应的损失值在图像处理模型中进行反向传播，在将至少一个第一图像中的每个第一图像对应的损失值反向传播至图像处理模型的各个层的过程中，根据至少一个第一图像中的每个第一图像对应的损失值计算出损失函数的梯度，并沿梯度的下降方向更新反向传播到当前层的权重参数。
84.电子设备将更新后得到的权重参数，作为下一次训练图像处理模型时在图像处理模型中使用的权重参数。
85.这里，可设定更新停止条件，在满足更新停止条件时，将最后一次更新得到的权重
参数，确定为训练完毕的图像处理模型所使用的权重参数。更新停止条件如设定的训练轮次(epoch)，一个训练轮次即为根据至少一个第一图像和对应的第三图像对图像处理模型训练一次的过程。当然，更新停止条件并不限于此，例如还可为至少一个第一图像中的每个第一图像对应的损失值小于或等于设定的损失阈值等。
86.反向传播是相对于前向传播而言的，前向传播是指模型的前馈处理过程，而反向传播的方向与前向传播的方向相反。反向传播指根据模型输出的结果对模型各个层的权重参数进行更新。例如，模型包括第一卷积层、第二卷积层和第三卷积层，则前向传播是指按照第一卷积层-第二卷积层-第三卷积层的顺序进行处理，反向传播是指按照第三卷积层-第二卷积层-第一卷积层的顺序，依次更新各个层的权重参数。
87.本实施例提供的方案中，将至少一个第一图像输入至图像处理模型，得到图像处理模型输出的至少一个第一图像中每个第一图像对应的第二图像，采用配置有至少一个设定的影响因子的损失函数，计算至少一个第一图像中的每个第一图像对应的损失值，根据计算出的损失值更新图像处理模型的权重参数。由于损失函数中配置有至少一个设定的影响因子，而设定的影响因子表征isp对图像的质量影响，在训练图像处理模型时，已经考虑了isp对图像的质量的影响，因此，可以提高基于该损失函数训练得到的图像处理模型的图像处理性能，基于isp处理流程对该图像处理模型输出的raw图像进行处理，得到的rgb图像的质量得到提升。
88.作为本技术的另一实施例，所述设定的影响因子包括以下至少一个：
89.至少一个设定的增益函数；所述至少一个设定的增益函数中的每个增益函数对应所述isp中的一类图像增益行为；
90.至少一个设定的映射函数；所述至少一个设定的映射函数中的每个映射函数对应所述isp中的一类图像映射行为。
91.这里，至少一个设定的增益函数包括但不限于白平衡增益函数、自动增益函数。白平衡增益函数对应isp中的自动白平衡矫正，自动增益函数对应isp中的自动增益控制。至少一个设定的映射函数包括但不限于：伽玛映射函数、色调映射函数。伽玛映射函数对应isp中的伽玛矫正，色调映射函数对应isp中的色彩矫正。
92.其中，增益函数用于对raw图像中每个像素对应的颜色值进行增益处理。raw图像中的每个像素对应一种颜色。raw图像中的数据按照rgrg/bgbg的格式排列。增益函数的表达式可以为：f(x)＝x
×
gain
x
，其中，x表征raw图像中一个像素对应的x通道的颜色值，x为r通道、g通道或b通道。gain
x
表征raw图像中x通道对应的增益值。
93.需要说明的是，在一些增益函数中，r、g、b各自对应的增益值均为设定的增益值。在白平衡增益函数中，g通道的增益值gaing为1，r通道的增益值gainr可以为g通道的颜色均值与r通道的颜色均值之间的比值，b通道的增益值gainb可以为g通道的颜色均值与b通道的颜色均值之间的比值。
94.伽玛映射函数用于对输入图像的灰度值进行非线性操作，使输出图像的灰度值与输入图像的灰度值呈指数关系。在实际应用中，在raw图像中每个像素对应的数据位宽为8比特(bit)，每个像素对应的数据范围为[0，255]的情况下，伽玛映射函数的表达式可以为：其中，i表征raw图像中第i个像素的输入灰度值，i为正整数；
gamma(i)表示raw图像中第i个像素的输出灰度值，γ表征设定的伽玛值。γ可以为1/10、1/5、1/2、1、2、5或10等数值。
[0095]
需要说明的是，在其他实施例中，数据位宽也可以为其他值，例如16bit。
[0096]
作为本技术的另一实施例，所述损失函数配置有至少两个设定的影响因子；图像处理模型训练方法还包括：
[0097]
确定所述至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序；
[0098]
基于确定出的执行顺序，生成配置有所述至少两个设定的影响因子的损失函数。
[0099]
这里，损失函数中配置的至少两个设定的影响因子，可以按照在isp处理流程中，每个设定的影响因子对rgb图像的质量的影响程度来确定。例如，基于所有设定的影响因子对rgb图像的质量的影响程度，按照从高到低的顺序从多个设定的影响因子中确定出至少两个设定的影响因子。
[0100]
在实际应用中，至少两个设定的影响因子中的每个影响因子在计算损失值时的执行顺序可以随机的。电子设备也可以基于设定的条件确定至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序。
[0101]
这里，设定的条件可以是至少两个设定的影响因子中每个设定的影响因子对rgb图像的质量的影响程度。例如，基于至少两个设定的影响因子中的每个设定的影响因子对rgb图像的质量的影响程度，按照从高到低的顺序确定出至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序。设定的影响因子的影响程度越高，表征该设定的影响因子在计算损失值时的执行顺序越靠前。
[0102]
设定的条件还可以是至少两个设定的影响因子中每个设定的影响因子对应的功能项在计算损失值时的执行顺序。白平衡增益函数对应的功能项为自动白平衡矫正。伽玛映射函数对应的功能项为伽玛矫正。色调函数对应的功能项为色彩矫正。
[0103]
在实际应用中，至少两个设定的影响因子包括白平衡增益函数和伽玛映射函数时，生成的损失函数的表达式如下：
[0104]
loss＝gamma(y)-gamma(f(x))
[0105]
其中，y表征采用增益函数对第一图像对应的第三图像进行增益处理之后得到的增益图像。gamma(y)表征采用伽玛映射函数对第三图像对应的增益图像进行伽玛映射之后得到的映射图像。f(x)表征采用增益函数对第一图像对应的第二图像进行增益处理之后得到的增益图像。gamma(f(x))表征采用伽玛映射函数对第二图像对应的增益图像进行伽玛映射之后得到的映射图像。
[0106]
或者，生成的损失函数的表达式如下：
[0107]
loss＝gain(yi)-gain(gamma(i))
[0108]
其中，yi表征采用伽玛映射函数对第一图像对应的第三图像进行伽玛映射之后得到的映射图像。gain(yi)表征采用增益函数对第三图像对应的映射图像进行增益处理得到的增益图像。gamma(i)表征采用伽玛映射函数对第一图像对应的第二图像进行伽玛映射之后得到的映射图像。gain(gamma(i))表征采用增益函数对第二图像对应的映射图像进行增益处理得到的增益图像。
[0109]
需要说明的是，在一些实施例中，至少两个设定的影响因子包括白平衡增益函数和伽玛映射函数时，生成的损失函数的表达式也可以为：
[0110]
loss＝{gamma(y)-gamma(f(x))}2，或者loss＝{gain(yi)-gain(gamma(i))}2[0111]
这里，本实施例中的损失函数的表达式与上述实施例中的损失函数的表达式的区别在于，本实施例中的损失函数用于表征将基于第三图像和第一图像计算得到的方差值作为损失值，上述实施例中的损失函数用于表征将基于第三图像和第一图像计算得到的差值作为损失值。本实施例中的损失函数的表达式中的参数的含义与上述实施例中的损失函数的表达式中的参数的含义相同。
[0112]
作为本技术的另一实施例，所述确定所述至少两个设定的影响因子中每个影响因在计算损失值时的执行顺序，包括：
[0113]
基于所述至少两个设定的影响因子中每个影响因子在所述isp中的执行顺序，确定所述至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序。
[0114]
这里，假设isp处理流程依次为：镜头阴影矫正、坏点矫正、自动白平衡矫正、去噪点、反马赛克(demosaic)、伽玛矫正，在自动白平衡矫正和伽玛矫正均影响rgb图像的质量的情况下，确定出的至少两个设定的影响因子包括：白平衡增益函数、伽玛映射函数；此时，基于isp处理流程，确定出的至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序中，首先执行自动白平衡矫正对应的影响因子，再执行伽玛矫正对应的影响因子。此时，生成的损失函数的表达式可以为：
[0115]
loss＝gamma(y)-gamma(f(x))，或者，loss＝{gamma(y)-gamma(f(x))}2。
[0116]
在一些实施例中，在自动白平衡矫正、去噪点和伽玛矫正均影响rgb图像的质量的情况下，确定出的至少两个设定的影响因子包括：白平衡增益函数、去噪函数、伽玛映射函数；此时，基于isp处理流程，确定出的至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序中，首先执行自动白平衡矫正对应的影响因子，在执行去噪点对应的影响因子，最后执行伽玛矫正对应的影响因子。生成的损失函数的表达式可以为：
[0117]
loss＝gamma(deniose(y))-gamma(deniose(f(x)))。
[0118]
其中，deniose(y)表示采用去噪函数对第一图像对应的第三图像对应的增益图像进行去噪之后得到的去噪图像。gamma(deniose(y))表示采用伽玛映射函数对第一图像对应的第三图像对应的去噪图像进行伽玛映射之后得到的映射图像。deniose(f(x))表示采用去噪函数对第一图像对应的第二图像对应的增益图像进行去噪之后得到的去噪图像。gamma(deniose(f(x)))表示采用伽玛映射函数对第一图像对应的第二图像对应的去噪图像进行伽玛映射之后得到的映射图像。
[0119]
或者，在确定出的至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序中，首先执行自动白平衡矫正对应的影响因子，再执行去噪点对应的影响因子，最后执行伽玛矫正对应的影响因子的情况下，生成的损失函数的表达式还可以为：
[0120]
loss＝{gamma(deniose(y))-gamma(deniose(f(x)))}2。
[0121]
作为本技术的另一实施例，图4示出了本技术实施例提供的图像处理模型训练方法中计算损失值的实现流程示意图。如图4所示，在计算所述至少一个第一图像中的每个第一图像对应的损失值时，所述方法包括：
[0122]
s201：采用所述损失函数对对应的第二图像进行处理，得到第四图像。
[0123]
s202：采用所述损失函数对对应的第三图像进行处理，得到第五图像。
[0124]
s203：基于所述第四图像和所述第五图像，计算第一图像对应的损失值。
[0125]
在实际应用中，在损失函数中配置的至少一个设定的影响因子包括白平衡映射函数和伽玛映射函数，且损失函数为loss＝gamma(y)-gamma(f(x))的情况下，电子设备采用损失函数中的增益函数对图像处理模型输出的至少一个第一图像中的每个第一图像对应的第二图像进行增益处理，得到至少一个第一图像中的每个第一图像对应的第二图像对应的增益图像，采用损失函数中的伽玛映射函数对对应的第二图像对应的增益图像进行伽玛映射，得到对应的第二图像的对应的第四图像。
[0126]
电子设备采用损失函数中的增益函数对至少一个第一图像中的每个第一图像对应的第三图像进行增益处理，得到至少一个第一图像中的每个第一图像对应的第三图像对应的增益图像，采用损失函数中的伽玛映射函数对对应的第三图像对应的增益图像进行伽玛映射，得到对应的第三图像的对应的第五图像。
[0127]
电子设备基于至少一个第一图像中的每个第一图像对应的第二图像对应的第四图像，以及至少一个第一图像中的每个第一图像对应的第三图像对应的第五图像，计算至少一个第一图像中每个第一图像对应的损失值，基于至少一个第一图像中每个第一图像对应的损失值，计算出至少一个第一图像对应的平均损失值。
[0128]
在实际应用中，在损失函数为loss＝{gamma(y)-gamma(f(x))}2的情况下，在计算出至少一个第一图像中每个第一图像对应的损失值之后，电子设备基于至少一个第一图像中的每个第一图像对应的损失值进行方差运算，计算出至少一个第一图像对应的损失值的方差值。
[0129]
需要说明的是，在采用损失函数中的增益函数对至少一个第一图像中的每个第一图像对应的第三图像进行增益处理的过程中，第三图像中的g通道的增益值gaing为1，第三图像中的r通道的增益值gainr可以为第三图像中的所有g通道的颜色均值与第三图像中的所有r通道的颜色均值之间的比值，第三图像中的b通道的增益值gainb可以为第三图像中的所有g通道的颜色均值与第三图像中的所有b通道的颜色均值之间的比值。
[0130]
在采用损失函数中的增益函数对至少一个第一图像中的每个第一图像对应的第二图像进行增益处理的过程中，对应的第二图像中的g通道的增益的gain'g＝1。对应的第二图像中的r通道的增益的gain'r可以与第三图像中的r通道的增益值gainr相同，也可以为对应的第二图像中所有g通道的颜色均值与该第二图像中的所有r通道的颜色均值之间的比值。对应的第二图像中的b通道的增益的gain'b可以与第三图像中的b通道的增益值gainb相同，也可以为对应的第二图像中的所有g通道的颜色均值与该第二图像中的所有b通道的颜色均值之间的比值。
[0131]
需要说明的是，为了方便计算，在采用损失函数中的伽玛映射函数对相应的图像进行映射处理时，可以对应的图像中每个像素的灰度值进行归一化处理，从而将对应的图像中每个像素的灰度值转换成0到1之间的数值。请一并参照图5，图5示出了本技术实施例提供的一种伽玛曲线的示意图。图5中，x表征对应的图像中每个像素的输入灰度值，y表征对应的图像中每个像素的输出灰度值。输入灰度值是指采用伽玛映射曲线对图像进行映射处理前的灰度值，输出灰度值是指采用伽玛映射曲线对图像进行映射处理后得到的灰度值。
[0132]
作为本技术的另一实施例，图6示出了本技术另一实施例提供的图像处理模型训练方法中计算损失值的实现流程示意图。如图6所示，所述基于所述第四图像和所述第五图
像，计算第一图像对应的损失值，包括：
[0133]
s301：基于所述第四图像中每个像素的第一灰度值和所述第五图像中每个像素的第二灰度值，计算第一图像中每个像素对应的灰度差值。
[0134]
s302：基于第一图像中每个像素对应的灰度差值，计算第一图像对应的灰度值的损失值。
[0135]
这里，在损失函数为loss＝gamma(y)-gamma(f(x))的情况下，电子设备基于对应的第一图像对应的第四图像中每个像素的第一灰度值和该第一图像对应的第五图像中每个像素的第二灰度值，计算出该第一图像中每个像素对应的灰度差值；基于至少一个第一图像中每个第一图像中每个像素对应的灰度差值，计算灰度差值的均值，得到第一图像对应的灰度值的损失值。
[0136]
在损失函数为loss＝{gamma(y)-gamma(f(x))}2的情况下，在计算出至少一个第一图像中每个第一图像对应的灰度差值之后，基于至少一个第一图像中每个第一图像中每个像素对应的灰度差值，计算灰度差值的方差值，得到第一图像对应的灰度值的损失值。
[0137]
作为本技术的另一实施例，在图像处理模型训练完毕后，即可将图像处理模型投入使用。需要说明的是，训练图像处理模型对应的实施例中的电子设备，与本实施例中采用训练完毕后的图像处理模型对raw图像进行处理的电子设备可以不同。例如，第一电子设备训练图像处理模型，第二电子设备将训练完毕后的图像处理模型移植到第二电子设备中，并采用训练完毕后的图像处理模型对第一raw图像进行处理得到第二raw图像，这里，第一电子设备的处理能力比第二电子设备的处理能力更强大。在实际应用中，第一电子设备可以为服务器，第二电子设备可以为手机、平板电脑、可穿戴设备等终端设备。
[0138]
电子设备采用训练完毕后的图像处理模型对raw图像进行处理的实现过程如下：
[0139]
电子设备采用训练完毕后的图像处理模型对第一raw图像进行处理，得到第二raw图像。其中，第二raw图像的分辨率大于第一raw图像的分辨率。
[0140]
这里，第一raw图像可以由电子设备采集，也可以由其他设备采集并发送给电子设备。
[0141]
需要说明的是，在对raw图像进行超分辨率重建的场景中，电子设备可以采用通过上述实施例训练得到的图像处理模型对raw图像进行超分辨率处理，得到第二raw图像。此时，第二raw图像的分辨率大于第一raw图像的分辨率。
[0142]
在对raw图像去噪的场景中，电子设备可以采用训练完毕后的图像处理模型对第一raw图像进行去噪处理，得到第二raw图像。此时，第二raw图像中的噪声信号小于第一raw图像中的噪声信号。
[0143]
在实际应用中，在电子设备无法执行isp处理流程，或者isp处理性能较差的情况下，电子设备在将采集到的第一raw图像输入至训练完毕后的图像处理模型，获得训练完毕后的图像处理模型输出的第二raw图像时，可以向用于执行isp处理流程的设备发送第二raw图像，以便用于执行isp处理流程的设备对第二raw图像进行处理，得到第二raw图像对应的rgb图像。
[0144]
在本实施例提供的方案中，采用配置有至少一个设定的影响因子的损失函数训练得到的图像处理模型对raw图像进行处理，由于图像处理模型在训练的过程中，已经考虑了isp对图像的质量的影响，因此，采用训练完毕后的图像处理模型处理后的raw图像的图像
效果较好。
[0145]
作为本技术的另一实施例，图7示出了本技术实施例提供的图像处理方法的实现流程示意图。需要说明的是，训练图像处理模型对应的实施例中的电子设备，与本实施例中采用训练完毕后的图像处理模型对raw图像进行处理的电子设备可以不同。例如，第一电子设备训练图像处理模型，第三电子设备将训练完毕后的图像处理模型移植到第三电子设备中，并采用训练完毕后的图像处理模型对raw图像进行处理得到rgb图像，这里，第一电子设备的处理能力比第三电子设备的处理能力更强大。在实际应用中，第一电子设备可以为服务器，第三电子设备可以为手机、平板电脑、可穿戴设备等终端设备。
[0146]
参照图7，本技术实施例提供的图像处理方法包括：
[0147]
s401：采用第一模型对第一raw图像进行处理，得到第二raw图像。
[0148]
s402：对所述第二raw图像进行图像信号处理，得到所述第二raw图像对应的三基色rgb图像；其中，所述第一模型为采用上述任一实施例所述的图像处理模型训练方法训练得到的图像处理模型。
[0149]
在本实施例提供的方案中，采用配置有至少一个设定的影响因子的损失函数训练得到的图像处理模型对raw图像进行处理，由于图像处理模型在训练的过程中，已经考虑了isp对图像的质量的影响，因此，基于isp处理流程对训练完毕后的图像处理模型输出的raw图像进行处理，得到的rgb图像的质量较好，可以提高rgb图像的质量。
[0150]
为实现本技术实施例的方法，本技术实施例还提供了一种电子设备，电子设备包括终端、服务器等，如图8所示，该电子设备包括：
[0151]
图像处理单元81，用于将至少一个第一图像输入至图像处理模型，得到所述图像处理模型输出的至少一个第一图像中每个第一图像对应的第二图像；所述图像处理模型用于对raw图像进行设定的图像处理；所述第一图像和所述第二图像均为raw图像；
[0152]
计算单元82，用于采用配置有至少一个设定的影响因子的损失函数，计算所述至少一个第一图像中的每个第一图像对应的损失值；其中，所述设定的影响因子表征图像信号处理isp对图像的质量的影响；所述isp用于将raw图像转换为三基色rgb图像；所述损失值基于对应的第二图像与对应的第三图像计算得到；所述第三图像为对应的第一图像的标定图像；
[0153]
更新单元83，用于根据所述至少一个第一图像中的每个第一图像对应的损失值，更新所述图像处理模型的权重参数。
[0154]
在一实施例中，所述设定的影响因子包括以下至少一个：
[0155]
至少一个设定的增益函数；所述至少一个设定的增益函数中的每个增益函数对应所述isp中的一类图像增益行为；
[0156]
至少一个设定的映射函数；所述至少一个设定的映射函数中的每个映射函数对应所述isp中的一类图像映射行为。
[0157]
在一实施例中，所述损失函数配置有至少两个设定的影响因子；该图像处理模型训练装置还包括：
[0158]
确定单元，用于确定所述至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序；
[0159]
生成单元，用于基于确定出的执行顺序，生成配置有所述至少两个设定的影响因
子的损失函数。
[0160]
在一实施例中，所述确定单元具体用于：基于所述至少两个设定的影响因子中每个影响因子在所述isp中的执行顺序，确定所述至少两个设定的影响因子中每个影响因子在计算损失值时的执行顺序。
[0161]
在一实施例中，计算单元82在计算所述至少一个第一图像中的每个第一图像在计算损失值时的损失值时，具体用于：
[0162]
采用所述损失函数对对应的第二图像进行处理，得到第四图像；
[0163]
采用所述损失函数对对应的第三图像进行处理，得到第五图像；
[0164]
基于所述第四图像和所述第五图像，计算第一图像对应的损失值。
[0165]
在一实施例中，计算单元82具体用于：
[0166]
基于所述第四图像中每个像素的第一灰度值和所述第五图像中每个像素的第二灰度值，计算第一图像中每个像素对应的灰度差值；
[0167]
基于第一图像中每个像素对应的灰度差值，计算第一图像对应的灰度值的损失值。
[0168]
实际应用时，电子设备包括的各单元，可由电子设备中的处理器来实现。当然，处理器需要运行存储器中存储的程序来实现上述各程序模块的功能。
[0169]
需要说明的是：上述实施例提供的电子设备在训练图像处理模型时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将电子设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的电子设备与图像处理模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0170]
为实现本技术实施例的方法，本技术实施例还提供了另一种电子设备，电子设备包括终端、服务器等，该电子设备包括：
[0171]
处理单元，用于采用第一模型对第一raw图像进行处理，得到第二raw图像；其中，所述第一模型为采用上述任一实施例中的图像处理模型训练方法训练得到的图像处理模型。
[0172]
实际应用时，电子设备包括的处理单元，可由电子设备中的处理器来实现。当然，处理器需要运行存储器中存储的程序来实现上述各程序模块的功能。
[0173]
为实现本技术实施例的方法，本技术另一实施例还提供了一种电子设备，电子设备包括终端、服务器等，如图9所示，该电子设备包括：
[0174]
第一图像处理单元91，用于采用第一模型对第一raw图像进行处理，得到第二raw图像；
[0175]
第二图像处理单元92，用于对所述第二raw图像进行图像信号处理，得到所述第二raw图像对应的三基色rgb图像；其中，所述第一模型为采用上述任一实施例中的图像处理模型训练方法训练得到的图像处理模型。
[0176]
实际应用时，电子设备包括的各单元，可由电子设备中的处理器来实现。当然，处理器需要运行存储器中存储的程序来实现上述各程序模块的功能。
[0177]
需要说明的是：上述实施例提供的电子设备在处理raw图像时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块
完成，即将电子设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的电子设备与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0178]
基于上述程序模块的硬件实现，且为了实现本技术实施例的方法，本技术实施例还提供了一种电子设备。图10为本技术实施例电子设备的硬件组成结构示意图，如图10所示，电子设备包括：
[0179]
通信接口1，能够与其它设备比如电子设备等进行信息交互；
[0180]
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行以下任意一项：
[0181]
上述一个或多个技术方案提供的图像处理模型训练方法；
[0182]
上述一个或多个技术方案提供的图像处理方法。
[0183]
而所述计算机程序存储在存储器3上。
[0184]
当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统4。
[0185]
本技术实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
[0186]
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，sync link dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本技术实施例描述的存储器3旨在包括但不限于这些和任意其它适合类型的存储器。
[0187]
上述本技术实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是
通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
[0188]
处理器2执行所述程序时实现本技术实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
[0189]
在示例性实施例中，本技术实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flash memory、磁表面存储器、光盘、或cd-rom等存储器。
[0190]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0191]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0192]
另外，在本技术各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0193]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0194]
需要说明的是，本技术实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
[0195]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。