ISP调试方法和装置、图像处理系统、终端及存储介质与流程

isp调试方法和装置、图像处理系统、终端及存储介质
技术领域
1.本技术涉及图像处理技术领域，特别涉及一种isp调试方法、isp调试装置、图像处理系统、终端及计算机可读存储介质。


背景技术：

2.图像信号处理(image signal processing，isp)的功能为对图像传感器输出的原始图像进行一系列的算法处理，最终得到目标图像。完整的isp流程中一般具有多个算法模块，通过调试算法模块中的图像处理参数，可以提高图像质量(例如提升图像的画质、亮度和色彩等)，满足各种场景对isp效果的需求。然而，目前的isp调试方案主要是依靠人工手动调试算法模块中的图像处理参数，不仅效率较低，而且很难保证最终调试的参数效果最优。


技术实现要素：

3.本技术实施方式提供了一种isp调试方法、isp调试装置、图像处理系统、终端及计算机可读存储介质。
4.本技术实施方式的isp调试方法，包括：
5.将待处理原始图像输入至参数学习预测网络；
6.利用所述参数学习预测网络根据所述待处理原始图像确定与图像处理器对应的图像处理预测参数；
7.将所述图像处理预测参数输出至所述图像处理器，以使所述图像处理器根据所述图像处理预测参数对所述待处理原始图像进行图像处理得到目标输出图像。
8.本技术实施方式的isp调试装置，包括：
9.输入模块，用于将待处理原始图像输入至参数学习预测网络；
10.确定模块，用于利用所述参数学习预测网络根据所述待处理原始图像确定与图像处理器对应的图像处理预测参数；
11.输出模块，用于将所述图像处理预测参数输出至所述图像处理器，以使所述图像处理器根据所述图像处理预测参数对所述待处理原始图像进行图像处理得到目标输出图像。
12.本技术实施方式的图像处理系统，包括：
13.图像传感器，用于采集待处理原始图像；
14.isp调试装置，用于：
15.将所述待处理原始图像输入至参数学习预测网络；
16.利用所述参数学习预测网络根据所述待处理原始图像确定与图像处理器对应的图像处理预测参数；
17.将所述图像处理预测参数输出至所述图像处理器；
18.图像处理器，用于根据所述图像处理预测参数对所述待处理原始图像进行图像处
理得到目标输出图像。
19.本技术实施方式的终端，包括一个或多个处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行的情况下，实现本技术实施方式的isp调试方法。
20.本技术实施方式的计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行的情况下，实现本技术实施方式的isp调试方法。
21.本技术实施方式的isp调试方法、isp调试装置、图像处理系统、终端及计算机可读存储介质中，由参数学习预测网络根据待处理原始图像确定与图像处理器对应的图像处理预测参数，可以充分利用参数学习预测网络庞大的计算性能，在应用时不需要过多的人工参与，即可找到待处理原始图像最优的图像处理预测参数。
22.本技术实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术实施方式的实践了解到。
附图说明
23.本技术的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
24.图1是本技术某些实施方式的isp调试方法的流程示意图；
25.图2是本技术某些实施方式的isp调试装置的模块示意图；
26.图3是本技术某些实施方式的图像处理系统的结构示意图；
27.图4是本技术某些实施方式的isp调试方法的流程示意图；
28.图5是本技术某些实施方式的isp调试方法的流程示意图；
29.图6是本技术某些实施方式的参数学习预测网络的结构示意图；
30.图7是本技术某些实施方式的isp调试方法的流程示意图；
31.图8是本技术某些实施方式的isp调试装置的模块示意图；
32.图9是本技术某些实施方式的isp调试方法的流程示意图；
33.图10是本技术某些实施方式的参数学习预测网络的训练过程示意图；
34.图11是本技术某些实施方式的isp调试方法的流程示意图；
35.图12是本技术某些实施方式的isp调试方法的流程示意图；
36.图13是本技术某些实施方式的人工智能图像处理网络的结构示意图；
37.图14是本技术某些实施方式的isp调试方法的流程示意图；
38.图15是本技术某些实施方式的isp调试方法的流程示意图；
39.图16是本技术某些实施方式的isp调试装置的模块示意图；
40.图17是本技术某些实施方式的终端的结构示意图；
41.图18是本技术某些实施方式的计算机可读存储介质与处理器的连接状态示意图。
具体实施方式
42.以下结合附图对本技术的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本技术的实施方式是示例性的，仅用于解释本技术的实施方式，而不能理解为对本技术的限
制。
43.在相关技术中，图像信号处理(image signal processing，isp)的功能为对图像传感器输出的原始图像进行一系列的算法处理，最终得到目标图像。完整的isp流程中一般具有多个算法模块，通过调试算法模块中的图像处理参数，可以提高图像质量(例如提升图像的画质、亮度和色彩等)，满足各种场景对isp效果的需求。然而，目前的isp调试方案主要是依靠人工手动调试算法模块中的图像处理参数，不仅效率较低，而且很难保证最终调试的参数效果最优。
44.请参阅图1和图3，本技术实施方式提供一种isp调试方法。isp调试方法包括：
45.01：将待处理原始图像输入至参数学习预测网络101；
46.02：利用参数学习预测网络101根据待处理原始图像确定与图像处理器300对应的图像处理预测参数；
47.03：将图像处理预测参数输出至图像处理器300，以使图像处理器300根据图像处理预测参数对待处理原始图像进行图像处理得到目标输出图像。
48.请参阅图2和图3，本技术实施方式还提供一种isp调试装置100。isp调试装置100包括输入模块10、确定模块20和输出模块30。本技术实施方式的isp调试方法可由本技术实施方式的isp调试装置100实现。具体地，输入模块10可用于实现01中的方法，确定模块20可用于实现02中的方法，输出模块30可用于实现03中的方法。也即是说，输入模块10可以用于将待处理原始图像输入至参数学习预测网络101。确定模块20可以用于利用参数学习预测网络101根据待处理原始图像确定与图像处理器300对应的图像处理预测参数。输出模块30可以用于将图像处理预测参数输出至图像处理器300，以使图像处理器300根据图像处理预测参数对待处理原始图像进行图像处理得到目标输出图像。
49.本技术实施方式的isp调试方法和isp调试装置100中，由参数学习预测网络101根据待处理原始图像确定与图像处理器300对应的图像处理预测参数，可以充分利用参数学习预测网络101庞大的计算性能，在应用时不需要过多的人工参与，即可找到待处理原始图像最优的图像处理预测参数。
50.具体地，请参阅图3，输入至参数学习预测网络101的待处理原始图像，可以为图像传感器200采集的待处理原始图像，即raw图像。除了参数学习预测网络101外，待处理原始图像还被输入至图像处理器300，以便进行图像处理。本技术实施方式中，参数学习预测网络(parameters learningnetwork)101是一种卷积神经网络(convolutional neural networks，cnn)，将待处理原始图像输入至参数学习预测网络101，参数学习预测网络101即可根据待处理原始图像输出与图像处理器300对应的图像处理预测参数，以使图像处理器300根据图像处理预测参数对待处理原始图像进行图像处理得到目标输出图像。
51.可以理解，针对isp的调试，一方面，现实世界的场景往往是复杂多变的，isp需要能够灵活地处理任意的场景；另一方面，调试人员可以根据调试算法的参数，得到偏团队喜好的结果，属于客制化参数需求。为了满足上述调试需求，每个算法模块都需要开放足够多的调试参数，通过设置不同的参数，实现算法效果的调整。而依靠人工手动调试算法模块中的参数，不仅工作量非常高、效率较低，而且调试结果往往只能通过主观评测，很难大面积覆盖所有的场景，同时不同人员的主观评测标准会有一定的差异，很难保证最终调试的参数效果最优。
correction，lsc)模块、坏点校正(defect pixel correction，dpc)模块、宽动态范围(wide dynamic range，wdr)模块、局部色调映射和全局树映射(gtm and ltm)模块、空间去噪(spatial denoise)模块、时间去噪(temporal denoise)模块、锐化(sharpen)模块等，在此不作限制。针对每个图像处理模块310，均可以获得对应的图像处理预测子参数，以进行相应的图像处理。此外，多个图像处理模块310对待处理原始图像进行图像处理的方式也不局限于依次处理，还可以为并行处理等。
60.可以理解，在进行isp调试时，由于各个算法模块之间不是完全相互独立的，往往都具有很强的关联性和偶然性。在进行isp调试时，需要考虑到多个算法模块相互之间的影响，需要同时调试多个算法模块中的多个参数，这会指数级地增加需要尝试的参数组合数量。目前的人工调试方案依靠人工手动调试算法模块中的参数，工作量非常高、效率较低，同时由于无法穷尽每一种可能的参数组合，因此很难保证最终调试的参数效果最优。
61.而本技术实施方式利用参数学习预测网络101可得到各个图像处理模块310针对待处理原始图像的全局最优参数组合，然后将各个图像处理预测子参数输出至各个图像处理模块310进行图像处理，可以考虑到多个图像处理预测子参数之间相互的匹配性和关联性，能够在海量的参数组合中找到待处理原始图像最优的图像处理预测子参数组合，从而得到图像质量最优的目标输出图像。
62.请参阅图5，在某些实施方式中，利用参数学习预测网络101根据待处理原始图像确定与图像处理器300对应的图像处理预测参数(即02)，包括：
63.022：对待处理原始图像进行卷积操作以提取待处理原始图像中的低维特征和高维特征；
64.023：对低维特征和高维特征进行融合处理得到融合特征；
65.024：基于融合特征输出图像处理预测参数。
66.请参阅图2，在某些实施方式中，确定模块20可用于实现022、023、024中的方法。也即是说，确定模块20可以用于：对待处理原始图像进行卷积操作以提取待处理原始图像中的低维特征和高维特征；对低维特征和高维特征进行融合处理得到融合特征；基于融合特征输出图像处理预测参数。
67.以图6为例，利用参数学习预测网络101根据待处理原始图像确定图像处理预测参数的过程可以如下：(1)首先对待处理原始图像进行卷积操作以提取待处理原始图像中的低维特征和高维特征。例如，可利用双注意力机制(channelattention、spatialattention)的卷积块(conv block)进行多次卷积操作(atb)以分别提取待处理原始图像中的低维特征和高维特征。其中，低维特征例如为待处理原始图像的边缘、颜色、梯度等。利用双注意力机制的卷积块进行一次卷积操作(atb)可以得到低维特征，利用双注意力机制的卷积块进行多次卷积操作(atb)可以得到高维特征。(2)其次对低维特征和高维特征进行融合处理得到融合特征。例如，可在卷积网络中引入跳连接以实现低维特征和高维特征的融合。如图6的例子中，对待处理原始图像进行第一次卷积操作(atb)后，将第一次卷积操作后的结果与未进行卷积操作的待处理原始图像进行第一次融合；然后对第一次融合后的结果进行第二次卷积操作(atb)，再将第二次卷积操作后的结果与第一次卷积操作后的结果进行第二次融合；再然后对第二次融合后的结果进行第三次卷积操作(atb)，再将第三次卷积操作后的结果与未进行卷积操作的待处理原始图像进行拼接(cat)，从而得到融合特征。(3)最后基于
融合特征输出图像处理预测参数。例如，可基于融合特征通过归一化指数函数(softmax)输出图像处理预测参数(ispparameters)。
68.其中，在利用双注意力机制的卷积块进行多次卷积操作(atb)前，还可以先对待处理原始图像进行两次或更多次前端卷积(conv)，以便于特征提取。在对低维特征和高维特征进行融合处理得到融合特征后，还可以对融合特征进行两次或更多次后端卷积(conv)，以进行特征修正，从而基于融合特征得到更准确的图像处理预测参数。各卷积过程中可采用3*3的卷积核进行卷积处理，以具有广泛的适用性。
69.需要指出的是，如图6的例子仅为本技术实施方式的参数学习预测网络101的一种可能结构，在其他的例子中，参数学习预测网络101还可以采用其他优秀的网络结构，在此不作限制。
70.本技术实施方式可通过参数学习预测网络101学习待处理原始图像的特性，再根据学习到的特性预测出最优的图像处理预测参数。
71.请参阅图7，在某些实施方式中，isp调试方法还包括：
72.04：获取训练参数学习预测网络101所需的数据集；其中，数据集包括标准原始图像、与标准原始图像对应的图像处理标准参数、与标准原始图像对应的标准输出图像；
73.05：通过数据集训练参数学习预测网络101。
74.请参阅图8，在某些实施方式中，isp调试装置100还包括获取模块40和训练模块50。获取模块40可用于实现04中的方法，训练模块50可用于实现05中的方法。也即是说，获取模块40可以用于获取训练参数学习预测网络101所需的数据集；其中，数据集包括标准原始图像、与标准原始图像对应的图像处理标准参数、与标准原始图像对应的标准输出图像。训练模块50可以用于通过数据集训练参数学习预测网络101。
75.具体地，在利用参数学习预测网络101确定图像处理预测参数之前，可先获取训练参数学习预测网络101所需的数据集，并通过数据集训练参数学习预测网络101。通过训练好的参数学习预测网络101可以准确地输出图像处理预测参数，从而得到最优的图像处理效果。
76.训练参数学习预测网络101所需的数据集包括标准原始图像、与标准原始图像对应的图像处理标准参数、与标准原始图像对应的标准输出图像。其中，标准原始图像可由图像传感器200在各种拍摄场景下采集得到(例如可覆盖夜晚暗光场景、白天亮光场景、室外场景、室内场景、图像拍摄场景、视频拍摄场景等)。与标准原始图像对应的图像处理标准参数可采用经验丰富的工程师调试出的较优的参数(虽然此处也利用了人工调试参数，但是仅需要在参数学习预测网络101的模型训练环节进行人工调试最优参数，在模型训练好之后就可直接利用参数学习预测网络101获取图像处理预测参数，节省了大量的工作量)。与标准原始图像对应的标准输出图像可由人工智能图像处理网络102(如图10所示)对标准原始图像进行图像处理得到(后文将详细介绍)。
77.本技术实施方式中，数据集可具有多组，每组数据集均包括标准原始图像、与标准原始图像对应的图像处理标准参数、与标准原始图像对应的标准输出图像。例如，第一组数据集为：标准原始图像1、图像处理标准参数1、标准输出图像1；第二组数据集为：标准原始图像2、图像处理标准参数2、标准输出图像2；第三组数据集为：标准原始图像3、图像处理标准参数3、标准输出图像3
……
依此类推，可依次通过多组数据集训练参数学习预测网络
101，以优化参数学习预测网络101的模型，从而能够学习预测出最佳的参数组合。
78.此外，在通过数据集训练参数学习预测网络101时可以设定为仅学习预测图像处理预测参数中的部分图像处理预测子参数，例如仅学习关键的图像处理模块310对应的图像处理预测子参数(即对最终目标输出图像的效果有显著影响的图像处理模块310对应的图像处理预测子参数，例如图3中与rgb处理模块对应的图像处理预测子参数algo parameter3、与yuv处理模块对应的图像处理预测子参数algo parameter5等)，以降低训练参数的数量，进而降低参数学习预测网络101的训练难度，同时又能得到较优的参数组合。
79.请参阅图9和图10，在某些实施方式中，通过数据集训练参数学习预测网络101(即05)，包括：
80.051：将标准原始图像输入至参数学习预测网络101；
81.052：利用参数学习预测网络101根据标准原始图像确定与图像处理器300对应的图像处理实际参数；
82.053：将图像处理实际参数输出至图像处理器300，以使图像处理器300根据图像处理实际参数对标准原始图像进行图像处理得到实际输出图像；
83.054：根据图像处理实际参数与图像处理标准参数之间的差异、以及实际输出图像与标准输出图像之间的差异判断参数学习预测网络101是否训练完成。
84.请参阅图8和图10，在某些实施方式中，训练模块50可用于实现051、052、053、054中的方法。也即是说，训练模块50可以用于：将标准原始图像输入至参数学习预测网络101；利用参数学习预测网络101根据标准原始图像确定与图像处理器300对应的图像处理实际参数；将图像处理实际参数输出至图像处理器300，以使图像处理器300根据图像处理实际参数对标准原始图像进行图像处理得到实际输出图像；根据图像处理实际参数与图像处理标准参数之间的差异、以及实际输出图像与标准输出图像之间的差异判断参数学习预测网络101是否训练完成。
85.具体地，请结合图10，标准原始图像输入至参数学习预测网络101得到图像处理实际参数，图像处理器300根据图像处理实际参数对标准原始图像进行图像处理得到实际输出图像，根据图像处理实际参数与图像处理标准参数之间的差异、以及实际输出图像与标准输出图像之间的差异可判断参数学习预测网络101是否训练完成。通常情况下，当图像处理实际参数与图像处理标准参数之间的差异越小、实际输出图像与标准输出图像之间的差异也越小时，表明参数学习预测网络101确定的图像处理实际参数越接近于经验丰富的工程师调试出的图像处理标准参数，根据图像处理实际参数进行图像处理得到的实际输出图像越接近于人工智能图像处理网络102进行图像处理得到的标准输出图像，那么参数学习预测网络101确定的图像处理实际参数越理想，即参数学习预测网络101训练完成(或训练合格)。
86.需要指出的是，051～054仅为通过其中一组数据集训练参数学习预测网络101的过程，若是针对多组数据集，可采用相同或类似的方式训练参数学习预测网络101，在此不再展开说明。当采用其中一组数据集训练参数学习预测网络101未训练完成，则可以继续采用下一组数据集训练参数学习预测网络101，直至参数学习预测网络101训练完成。
87.本技术实施方式结合参数本身差异和图像效果差异两个方面来判断参数学习预测网络101是否训练完成，判断标准较为全面、合理，若是参数学习预测网络101未训练完
成，则可以通过数据集继续训练参数学习预测网络101，以使得参数学习预测网络101的模型较优。
88.请参阅图11，在某些实施方式中，根据图像处理实际参数与图像处理标准参数之间的差异、以及实际输出图像与标准输出图像之间的差异判断参数学习预测网络101是否训练完成(即054)，包括：
89.0541：根据图像处理实际参数与图像处理标准参数之间的差异采用第一损失函数计算第一损失值；
90.0542：根据实际输出图像与标准输出图像之间的差异采用第二损失函数计算第二损失值；
91.0543：对第一损失值和第二损失值进行加权处理得到综合损失值；
92.0544：当综合损失值满足预定条件时，确定参数学习预测网络101训练完成。
93.请参阅图8，在某些实施方式中，训练模块50可用于实现0541、0542、0543、0544中的方法。也即是说，训练模块50可以用于：根据图像处理实际参数与图像处理标准参数之间的差异采用第一损失函数计算第一损失值；根据实际输出图像与标准输出图像之间的差异采用第二损失函数计算第二损失值；对第一损失值和第二损失值进行加权处理得到综合损失值；当综合损失值满足预定条件时，确定参数学习预测网络101训练完成。
94.具体地，请结合图10，可采用第一损失函数计算图像处理实际参数与图像处理标准参数之间的差异得到第一损失值，采用第二损失函数计算实际输出图像与标准输出图像之间的差异得到第二损失值。其中，第一损失函数可使用交叉熵损失函数(cross entropy loss)或者归一化后的回归损失函数(l1 loss)等。第二损失函数可使用低层次(low-level)图像处理领域中的损失函数，例如均方损失函数(mse loss)、边缘损失函数(edge loss)、结构相似性损失函数(ssim loss)等。
95.在一个例子中，第一损失值parameters loss和第二损失值image loss的具体计算公式可以如下所示：
[0096][0097][0098]
进一步地，对第一损失值parameters loss和第二损失值image loss进行加权处理可得到综合损失值loss，具体计算公式可以如下所示：
[0099][0100]
其中，w
p
和wi分别为第一损失值parameters loss和第二损失值image loss在加权处理时所占的权重。n和n分别为参与损失函数计算的参数量和图像像素数目。yj为图像处理标准参数，aj为图像处理实际参数，yk为实际输出图像的图像像素值，为标准输出图像的图像像素值。
[0101]
计算得到综合损失值之后，当综合损失值满足预定条件时，则确定参数学习预测网络101训练完成。综合损失值满足预定条件例如为：
①
综合损失值小于损失值阈值，或者
②
综合损失值变化量小于变化量阈值；或者
③
综合损失值小于损失值阈值且综合损失值变化量小于变化量阈值。对于第
①
种情况，以损失值阈值为0.1为例，若采用数据集训练参数学习预测网络101得到的综合损失值为0.2，则参数学习预测网络101未训练完成，继续采用数据集训练参数学习预测网络101，直至得到的综合损失值小于0.1，则表明参数差异和图像差异均较小，参数学习预测网络101训练完成。对于第
②
种情况，以变化量阈值为0.02为例，若连续预定次采用不同的数据集训练参数学习预测网络101得到的综合损失值之间的变化量为0.03，则参数学习预测网络101未训练完成，继续采用数据集训练参数学习预测网络101，直至得到的综合损失值变化量小于0.02，则表明参数学习预测网络101的模型已达到最优，无法进一步优化，参数学习预测网络101训练完成。对于第
③
种情况，则是将第
①
种情况和第
②
种情况进行结合，在此不再展开说明。
[0102]
请参阅图10和图12，在某些实施方式中，获取训练参数学习预测网络101所需的数据集(即04)，包括：
[0103]
041：将标准原始图像输入至人工智能图像处理网络102；
[0104]
042：利用人工智能图像处理网络102对标准原始图像进行图像处理得到标准输出图像。
[0105]
请参阅图8和图10，在某些实施方式中，获取模块40可用于实现041、042中的方法。也即是说，获取模块40可以用于：将标准原始图像输入至人工智能图像处理网络102；利用人工智能图像处理网络102对标准原始图像进行图像处理得到标准输出图像。
[0106]
具体地，本技术实施方式引入人工智能图像处理网络(ai ispnetwork)102对标准原始图像进行图像处理得到对应的标准输出图像，而不是将图像处理标准参数输出至图像处理器300，以使图像处理器300根据图像处理标准参数对标准原始图像进行图像处理得到标准输出图像，可以有效利用人工智能图像处理网络102的大数据处理功能，提高标准输出图像的质量，得到较佳的标准输出图像，以作为实际输出图像比较的参考，同时也减小了图像处理器300本身图像处理的误差，从另外一个方面来评估图像效果差异(第一损失值由图像处理实际参数与图像处理标准参数之间的差异得到，若是第二损失值也由图像处理器300根据图像处理实际参数进行图像处理得到的实际输出图像与图像处理器300根据图像处理标准参数进行图像处理得到的标准输出图像之间的差异得到，则两者本质是由同一因素导致的差异)，有利于使得参数学习预测网络101尽可能地学习到特性最优的图像处理预测参数，保证参数学习预测网络101的模型最优。
[0107]
可以理解，在利用人工智能图像处理网络102进行图像处理前，人工智能图像处理网络102已经收敛(即模型已经提前训练完成)，以便能够对标准原始图像进行图像处理得到标准输出图像。请结合图13，人工智能图像处理网络102对标准原始图像进行图像处理得到标准输出图像的过程可分为两部分，第一部分是bayer域的处理，用于处理rggb格式的标准原始图像；第二部分是rgb域和yuv域的处理，输入是第一部分输出的rgb结果，然后在rgb域和yuv域对图像进行一定的运算处理，最终两部分处理结束后，即可得到yuv格式的标准输出图像。其中，在第一部分和第二部分均涉及到多次卷积(conv)和优化卷积(rsg)，优化卷积(rsg)与前述卷积操作(atb)一样，均采用双注意力机制(channel attention、spatial attention)的卷积块(conv block)，区别在于优化卷积(rsg)还将输入数据和输出数据进行叠加。
[0108]
需要指出的是，如图13的例子仅为本技术实施方式的人工智能图像处理网络102的一种可能结构，在其他的例子中，人工智能图像处理网络102还可以采用其他优秀的网络结构或软件算法方案，在此不作限制。
[0109]
请参阅图14，在某些实施方式中，将标准原始图像输入至参数学习预测网络101(即051)，包括：
[0110]
0511：将一组标准原始图像输入至参数学习预测网络101；其中，一组标准原始图像包括多个不同的标准原始图像，多个不同的标准原始图像对应的图像处理标准参数相同；
[0111]
利用参数学习预测网络101根据标准原始图像确定与图像处理器300对应的图像处理实际参数(即052)，包括：
[0112]
0521：利用参数学习预测网络101根据一组标准原始图像确定与图像处理器300对应的一组图像处理实际参数；
[0113]
将图像处理实际参数输出至图像处理器300，以使图像处理器300根据图像处理实际参数对标准原始图像进行图像处理得到实际输出图像(即053)，包括：
[0114]
0531：将一组图像处理实际参数输出至图像处理器300，以使图像处理器300根据一组图像处理实际参数分别对对应的一组标准原始图像进行图像处理得到一组实际输出图像；
[0115]
根据图像处理实际参数与图像处理标准参数之间的差异、以及实际输出图像与标准输出图像之间的差异判断参数学习预测网络101是否训练完成(即054)，包括：
[0116]
0545：根据一组图像处理实际参数与图像处理标准参数之间的差异、以及一组实际输出图像与一组标准输出图像之间的差异判断参数学习预测网络101是否训练完成。
[0117]
请参阅图8，在某些实施方式中，训练模块50可用于实现0511、0521、0531、0545中的方法。也即是说，训练模块50可以用于：将一组标准原始图像输入至参数学习预测网络101；其中，一组标准原始图像包括多个不同的标准原始图像，多个不同的标准原始图像对应的图像处理标准参数相同；利用参数学习预测网络101根据一组标准原始图像确定与图像处理器300对应的一组图像处理实际参数；将一组图像处理实际参数输出至图像处理器300，以使图像处理器300根据一组图像处理实际参数分别对对应的一组标准原始图像进行图像处理得到一组实际输出图像；根据一组图像处理实际参数与图像处理标准参数之间的差异、以及一组实际输出图像与一组标准输出图像之间的差异判断参数学习预测网络101是否训练完成。
[0118]
可以理解，在视频显示或者视频预览的使用场景下，由于待处理原始图像逐帧变化，而待处理原始图像的微小变化，都可能会引起图像处理预测参数的结果发生较大变化，从而目标输出图像也会发生较大变化，最终可能会导致视频出现明显的闪烁问题。因此，需要针对性的设计平滑过渡算法，以防止视频闪烁问题的发生。
[0119]
本技术实施方式的平滑过渡算法的主要思想为在通过数据集训练参数学习预测网络101时，不使用单帧标准原始图像送入参数学习预测网络101进行图像处理实际参数的预测，而是将一组标准原始图像输入至参数学习预测网络101，得到对应的一组图像处理实际参数。其中，一组标准原始图像包括具有不同图像内容的多个标准原始图像(例如从当前的标准原始图像往前推，添加预定个标准原始图像进来)，但是多个标准原始图像对应的图
像处理标准参数设置为相同的。在判断参数学习预测网络101是否训练完成时，则是依据一组图像处理实际参数与该图像处理标准参数之间的差异、以及一组实际输出图像与一组标准输出图像之间的差异。可以理解，如果一组图像处理实际参数与该图像处理标准参数之间的差异较大，则参数学习预测网络101可能无法完成收敛，从而需要继续对参数学习预测网络101进行训练，直到一组图像处理实际参数均接近于该图像处理标准参数，如此在实际应用时得到的图像处理预测参数以及目标输出图像不会发生较大变化，可以得到无闪烁问题的视频。
[0120]
对于一组标准原始图像中的多个标准原始图像若是存在图像差异较大的问题，如果仍采用相同的图像处理标准参数可能不够合理，但是在这种情况下，根据一组标准原始图像进行图像处理得到的一组标准输出图像也会差异较大，从而一组实际输出图像与一组标准输出图像之间的差异较大，则参数学习预测网络101也无法完成收敛，会继续对参数学习预测网络101进行训练，以优化参数学习预测网络101的模型。因此，在参数学习预测网络101训练阶段，无需考虑一组标准原始图像中的多个标准原始图像之间是否存在图像差异较大的问题，均可以确保参数学习预测网络101的模型最优。
[0121]
请参阅图15，在某些实施方式中，isp调试方法还包括：
[0122]
06：计算当前帧的待处理原始图像与上一帧的待处理原始图像之间的图像差异；
[0123]
07：根据图像差异设置上一帧的待处理原始图像对应的图像处理预测参数与当前帧的待处理原始图像对应的图像处理预测参数之间的权重占比；其中，权重占比与图像差异为正相关；
[0124]
08：根据权重占比对上一帧的待处理原始图像对应的图像处理预测参数与当前帧的待处理原始图像对应的图像处理预测参数进行加权处理得到图像处理修正参数，并将当前帧的待处理原始图像对应的图像处理预测参数更新为图像处理修正参数。
[0125]
请参阅图16，在某些实施方式中，isp调试装置100还包括计算模块60、设置模块70、处理模块80。计算模块60可用于实现06中的方法，设置模块70可用于实现07中的方法，处理模块80可用于实现08中的方法。
[0126]
也即是说，计算模块60可以用于计算当前帧的待处理原始图像与上一帧的待处理原始图像之间的图像差异。设置模块70可以用于根据图像差异设置上一帧的待处理原始图像对应的图像处理预测参数与当前帧的待处理原始图像对应的图像处理预测参数之间的权重占比；其中，权重占比与图像差异为正相关。处理模块80可以用于根据权重占比对上一帧的待处理原始图像对应的图像处理预测参数与当前帧的待处理原始图像对应的图像处理预测参数进行加权处理得到图像处理修正参数，并将当前帧的待处理原始图像对应的图像处理预测参数更新为图像处理修正参数。
[0127]
具体地，针对前述视频出现闪烁的问题，本技术实施方式的平滑过渡算法在实际应用时(即利用参数学习预测网络101确定图像处理预测参数时)，采用数字滤波的思想，将每次得到的图像处理预测参数与上一帧的图像处理预测参数进行线性融合，以防止由于图像处理预测参数不连续导致的视频闪烁问题。在进行线性融合时，权重占比主要根据上一帧与当前帧的图像差异，例如图像元信息的差异。其中，权重占比指的是上一帧的图像处理预测参数的权重与当前帧的图像处理预测参数之间的权重的比值。权重占比与图像差异为正相关。如果图像差异较大，则上一帧的图像处理预测参数的权重相对更大(可以是相对当
前帧的图像处理预测参数的权重更大，也可以是相对图像差异较小时上一帧的图像处理预测参数的权重更大)；如果图像差异较小，则当前帧的图像处理预测参数的权重相对更大(可以是相对上一帧的图像处理预测参数的权重更大，也可以是相对图像差异较大时当前帧的图像处理预测参数的权重更大)。当前帧与上一帧经过线性融合后的图像处理修正参数可以继续保存给下一帧使用，以在确定下一帧的图像处理修正参数时，将当前帧的图像处理预测参数(已更新为线性融合后的图像处理修正参数)与下一帧的图像处理预测参数线性融合。
[0128]
在某些实施方式中，图像差异包括曝光参数差异和/或色温参数差异。
[0129]
其中，曝光参数包括曝光时间(exposure time)和/或曝光增益值(exposure gain)，色温参数包括色温值(correlated color temperature)。
[0130]
以曝光参数包括曝光时间和曝光增益值为例，如果当前帧与上一帧的曝光时间和曝光增益值差异均较大(例如，曝光时间大于时间阈值且曝光增益值大于增益阈值)，则上一帧的图像处理预测参数的权重相对更大；如果当前帧与上一帧的曝光时间和曝光增益值差异较小(例如，曝光时间小于等于时间阈值或曝光增益值小于等于增益阈值)，则当前帧的图像处理预测参数的权重相对更大。
[0131]
以色温参数包括色温值为例，如果当前帧与上一帧的色温值差异较大(例如，色温值大于色温阈值)，则上一帧的图像处理预测参数的权重相对更大；如果当前帧与上一帧的色温值差异较小(例如，色温值小于等于色温阈值)，则当前帧的图像处理预测参数的权重相对更大。
[0132]
综上，本技术实施方式的isp调试方法和isp调试装置100至少具有如下效果：
[0133]
第一、由参数学习预测网络101根据待处理原始图像确定与图像处理器300对应的图像处理预测参数，可以充分利用参数学习预测网络101庞大的计算性能，在应用时不需要过多的人工参与，即可找到待处理原始图像最优的图像处理预测参数。
[0134]
第二、提供了一套完整的基于神经网络的isp调试方案，方案从前期的网络的设计、数据集的生成和制作、损失函数的设计，到最终使用时的平滑策略都给出了对应的解决策略。
[0135]
第三、相比于通过手工调试isp生成标准输出图像的方式，使用人工智能图像处理网络102生成标准输出图像，能够进一步提升标准输出图像的质量，进而使得参数学习预测网络101尽可能地学习到特性最优的图像处理预测参数。
[0136]
第四、设计了一种平滑过渡算法训练策略，同时结合设计的数字滤波方案，能够保证参数学习预测网络101得到无闪烁问题的视频。此外，本技术实施方式的参数学习预测网络101和人工智能图像处理网络102不限制具体的网络结构，能够适配任何优秀的网络结构。
[0137]
请参阅图2和图3，本技术实施方式还提供一种图像处理系统400。图像处理系统400包括图像传感器200、isp调试装置100和图像处理器300。图像传感器200用于采集待处理原始图像。isp调试装置100用于：将待处理原始图像输入至参数学习预测网络101；利用参数学习预测网络101根据待处理原始图像确定与图像处理器300对应的图像处理预测参数；将图像处理预测参数输出至图像处理器300。图像处理器300用于根据图像处理预测参数对待处理原始图像进行图像处理得到目标输出图像。
[0138]
在某些实施方式中，图像处理器300包括多个图像处理模块310。图像处理预测参数包括多个图像处理预测子参数。isp调试装置100用于：利用参数学习预测网络101根据待处理原始图像确定与多个图像处理模块310分别对应的多个图像处理预测子参数；将多个图像处理预测子参数输出至图像处理器300，以使多个图像处理模块310分别根据对应的多个图像处理预测子参数对待处理原始图像进行图像处理得到目标输出图像。
[0139]
在某些实施方式中，isp调试装置100用于：对待处理原始图像进行卷积操作以提取待处理原始图像中的低维特征和高维特征；对低维特征和高维特征进行融合处理得到融合特征；基于融合特征输出图像处理预测参数。
[0140]
在某些实施方式中，isp调试装置100用于：获取训练参数学习预测网络101所需的数据集；其中，数据集包括标准原始图像、与标准原始图像对应的图像处理标准参数、与标准原始图像对应的标准输出图像；通过数据集训练参数学习预测网络101。
[0141]
在某些实施方式中，isp调试装置100用于：将标准原始图像输入至参数学习预测网络101；利用参数学习预测网络101根据标准原始图像确定与图像处理器300对应的图像处理实际参数；将图像处理实际参数输出至图像处理器300，以使图像处理器300根据图像处理实际参数对标准原始图像进行图像处理得到实际输出图像；根据图像处理实际参数与图像处理标准参数之间的差异、以及实际输出图像与标准输出图像之间的差异判断参数学习预测网络101是否训练完成。
[0142]
在某些实施方式中，isp调试装置100用于：根据图像处理实际参数与图像处理标准参数之间的差异采用第一损失函数计算第一损失值；根据实际输出图像与标准输出图像之间的差异采用第二损失函数计算第二损失值；对第一损失值和第二损失值进行加权处理得到综合损失值；当综合损失值满足预定条件时，确定参数学习预测网络101训练完成。
[0143]
在某些实施方式中，isp调试装置100用于：将标准原始图像输入至人工智能图像处理网络102；利用人工智能图像处理网络102对标准原始图像进行图像处理得到标准输出图像。
[0144]
在某些实施方式中，isp调试装置100用于：将一组标准原始图像输入至参数学习预测网络101；其中，一组标准原始图像包括多个不同的标准原始图像，多个不同的标准原始图像对应的图像处理标准参数相同；利用参数学习预测网络101根据一组标准原始图像确定与图像处理器300对应的一组图像处理实际参数；将一组图像处理实际参数输出至图像处理器300，以使图像处理器300根据一组图像处理实际参数分别对对应的一组标准原始图像进行图像处理得到一组实际输出图像；根据一组图像处理实际参数与图像处理标准参数之间的差异、以及一组实际输出图像与一组标准输出图像之间的差异判断参数学习预测网络101是否训练完成。
[0145]
在某些实施方式中，isp调试装置100用于：计算当前帧的待处理原始图像与上一帧的待处理原始图像之间的图像差异；根据图像差异设置上一帧的待处理原始图像对应的图像处理预测参数与当前帧的待处理原始图像对应的图像处理预测参数之间的权重占比；其中，权重占比与图像差异为正相关；根据权重占比对上一帧的待处理原始图像对应的图像处理预测参数与当前帧的待处理原始图像对应的图像处理预测参数进行加权处理得到图像处理修正参数，并将当前帧的待处理原始图像对应的图像处理预测参数更新为图像处理修正参数。
[0146]
在某些实施方式中，图像差异包括曝光参数差异和/或色温参数差异。
[0147]
需要指出的是，前述实施方式中对isp调试方法和isp调试装置100的解释说明同样适用于本技术实施方式的图像处理系统400，在此不再展开说明。
[0148]
请参阅图17，本技术实施方式还提供一种终端500。终端500包括一个或多个处理器510和存储器520。存储器520存储有计算机程序，计算机程序被处理器510执行的情况下，实现上述任一实施方式的isp调试方法。
[0149]
例如，计算机程序被处理器510执行的情况下，实现如下的isp调试方法：
[0150]
01：将待处理原始图像输入至参数学习预测网络101；
[0151]
02：利用参数学习预测网络101根据待处理原始图像确定与图像处理器300对应的图像处理预测参数；
[0152]
03：将图像处理预测参数输出至图像处理器300，以使图像处理器300根据图像处理预测参数对待处理原始图像进行图像处理得到目标输出图像。
[0153]
又例如，计算机程序被处理器510执行的情况下，实现如下的isp调试方法：
[0154]
021：利用参数学习预测网络101根据待处理原始图像确定与多个图像处理模块310分别对应的多个图像处理预测子参数；
[0155]
031：将多个图像处理预测子参数输出至图像处理器300，以使多个图像处理模块310分别根据对应的多个图像处理预测子参数对待处理原始图像进行图像处理得到目标输出图像。
[0156]
本技术实施方式的终端500包括但不限于为手机、平板电脑、相机、摄像机、个人数字助理、穿戴式设备、智能机器人、智能车辆等。其中，穿戴式设备包括智能手环、智能手表、智能眼镜等。
[0157]
需要指出的是，前述实施方式中对isp调试方法和isp调试装置100的解释说明同样适用于本技术实施方式的终端500，在此不再展开说明。
[0158]
请参阅图18，本技术实施方式还提供一种计算机可读存储介质600，其上存储有计算机程序610。程序610被处理器620执行的情况下，实现上述任一实施方式的isp调试方法。
[0159]
例如，程序610被处理器620执行的情况下，实现如下的isp调试方法：
[0160]
01：将待处理原始图像输入至参数学习预测网络101；
[0161]
02：利用参数学习预测网络101根据待处理原始图像确定与图像处理器300对应的图像处理预测参数；
[0162]
03：将图像处理预测参数输出至图像处理器300，以使图像处理器300根据图像处理预测参数对待处理原始图像进行图像处理得到目标输出图像。
[0163]
又例如，程序610被处理器620执行的情况下，实现如下的isp调试方法：
[0164]
021：利用参数学习预测网络101根据待处理原始图像确定与多个图像处理模块310分别对应的多个图像处理预测子参数；
[0165]
031：将多个图像处理预测子参数输出至图像处理器300，以使多个图像处理模块310分别根据对应的多个图像处理预测子参数对待处理原始图像进行图像处理得到目标输出图像。
[0166]
需要指出的是，前述实施方式中对isp调试方法和isp调试装置100的解释说明同样适用于本技术实施方式的计算机可读存储介质600，在此不再展开说明。
[0167]
综上，本技术实施方式的isp调试方法、isp调试装置100、图像处理系统400、终端500及计算机可读存储介质600中，由参数学习预测网络101根据待处理原始图像确定与图像处理器300对应的图像处理预测参数，可以充分利用参数学习预测网络101庞大的计算性能，在应用时不需要过多的人工参与，即可找到待处理原始图像最优的图像处理预测参数。
[0168]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0169]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0170]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，计算机可读存储介质可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(ram)、只读存储器(rom)、可擦除可编辑只读存储器(eprom或闪速存储器)、光纤装置、以及便携式光盘只读存储器(cdrom)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0171]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0172]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两
个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0173]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型，本技术的范围由权利要求及其等同物限定。