基于持续学习的图像恢复模型生成方法及图像恢复方法

本发明涉及图像处理，尤其涉及一种基于持续学习的图像恢复模型生成方法及图像恢复方法。

背景技术：

1、图像恢复指从退化后的图像中恢复出清晰的图像，这是高级视觉任务(如图像识别、目标检测等)的基础，随着深度学习理论的不断发展，深度卷积网络被应用于计算机视觉的各项任务中，在各种图像恢复任务中也有广泛的应用。

2、但是，现有的图像恢复方法分别倾向于分别处理不同的退化因素，对并为每个任务(每个退化任务对应不同的退化因素，例如噪声、模糊、雨痕等)单独设计训练一个全新的特定网络模型，效率低。

技术实现思路

1、本发明提供一种基于持续学习的图像恢复模型生成方法及图像恢复方法，用以解决现有技术中需要为每个退化任务单独设计训练一个特定的网络模型，效率低的缺陷。

2、本发明提供一种基于持续学习的图像恢复模型生成方法，包括：

3、获取目标退化类型对应的基线模型和训练集，所述训练集包括第一训练集和第二训练集，所述第一训练集中的训练数据组少于所述第二训练集中的训练数据组，每个所述训练数据组中包括样本待恢复图像以及所述样本待恢复图像对应的恢复图像；

4、基于所述第一训练集对所述目标退化类型对应的基线模型进行训练，得到所述目标退化类型对应的目标模型；

5、基于所述目标退化类型对应的所述目标模型和所述基线模型确定关键卷积核；

6、基于所述第二训练集对所述基线模型进行训练，更新所述关键卷积核的参数，得到所述目标退化类型对应的图像恢复模型。

7、根据本发明提供的一种基于持续学习的图像恢复模型生成方法，所述基于所述目标退化类型对应的所述目标模型和所述基线模型确定关键卷积核，包括：

8、基于卷积核的集成梯度确定所述关键卷积核；

9、其中，卷积核的集成梯度基于所述目标退化类型对应的所述目标模型和所述基线模型的损失函数得到。

10、根据本发明提供的一种基于持续学习的图像恢复模型生成方法，所述基于卷积核的集成梯度确定所述关键卷积核，包括：

11、获取各个卷积级的集成梯度，基于所述卷积级的集成梯度确定多个目标卷积级，其中，所述卷积级包括至少一个卷积核，所述卷积级的集成梯度基于所述卷积级中包括的所有卷积核的集成梯度确定；

12、基于所述目标卷积级确定所述关键卷积核。

13、根据本发明提供的一种基于持续学习的图像恢复模型生成方法，卷积核的所述集成梯度基于第一公式或第二公式确定；

14、所述第一公式为：

15、

16、所述第二公式为：

17、

18、其中，igi(θ，x)表示模型中第i个卷积核的集成梯度，α∈[0，1]，γ(0)＝θ，是所述基线模型的参数，θ是所述目标模型的参数，是用于度量参数为θ的模型对于输入的所述样本待恢复图像x的输出与x对应的所述恢复图像之间距离的损失函数，n为常数。

19、根据本发明提供的一种基于持续学习的图像恢复模型生成方法，所述基于所述目标卷积级确定所述关键卷积核，包括：

20、基于所述目标卷积级中各个卷积核对应的所述集成梯度确定目标卷积核；

21、基于候选卷积核的交叉相似度，所述候选卷积核的交叉相似度反映所述候选卷积核之间的相似度以及所述候选卷积核与所述目标卷积核的相似度；

22、基于所述交叉相似度确定补充集，在所述补充集中确定补充卷积核，其中，所述补充集中的卷积核的所述交叉相似度低于其他所述候选卷积核的所述交叉相似度；

23、将所述目标卷积核和所述补充卷积核作为所述关键卷积核。

24、根据本发明提供的一种基于持续学习的图像恢复模型生成方法，所述得到所述目标退化类型对应的图像恢复模型之后，还包括：

25、将所述目标退化类型对应的图像恢复模型存储，以作为下一个退化类型对应的所述基线模型。

26、本发明还提供一种图像恢复方法，包括：

27、获取待恢复图像，将所述待恢复图像输入至所述待恢复图像对应的图像恢复模型中，获取所述图像恢复模型输出的恢复图像；

28、其中，所述图像恢复模型是基于如上任一项所述的基于持续学习的图像恢复模型生成方法生成的。

29、本发明还提供一种基于持续学习的图像恢复模型生成装置，包括：

30、数据获取模块，用于获取目标退化类型对应的基线模型和训练集，所述训练集包括第一训练集和第二训练集，所述第一训练集中的训练数据组少于所述第二训练集中的训练数据组，每个所述训练数据组中包括样本待恢复图像以及所述样本待恢复图像对应的恢复图像；

31、预训练模块，用于基于所述第一训练集对所述目标退化类型对应的基线模型进行训练，得到所述目标退化类型对应的目标模型；

32、关键卷积核定位模块，用于基于所述目标退化类型对应的所述目标模型和所述基线模型确定关键卷积核；

33、训练模块，用于基于所述第二训练集对所述基线模型进行训练，更新所述关键卷积核的参数，得到所述目标退化类型对应的图像恢复模型。

34、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于持续学习的图像恢复模型生成方法。

35、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于持续学习的图像恢复模型生成方法。

36、本发明提供的基于持续学习的图像恢复模型生成方法及图像恢复方法，通过先采用目标退化类型的少部分训练数据训练基线模型，得到目标模型，通过目标模型和基线模型确定模型中对目标退化类型的处理起关键作用的关键卷积核，再将模型回退至基线模型，在基线模型的基础上采用目标退化类型的大量训练数据进行训练，此时只更新关键卷积核的参数，对于目标退化类型的恢复任务作用不大的卷积核的参数不进行更新，而是冻结，这样对于每种退化类型，不需要单独设计训练一个全新的模型，只需要在基线模型的基础上进行部分卷积核参数的学习即可，提高了图像恢复模型的生成效率。

技术特征：

1.一种基于持续学习的图像恢复模型生成方法，其特征在于，包括：

2.根据权利要求1所述的基于持续学习的图像恢复模型生成方法，其特征在于，所述基于所述目标退化类型对应的所述目标模型和所述基线模型确定关键卷积核，包括：

3.根据权利要求2所述的基于持续学习的图像恢复模型生成方法，其特征在于，所述基于卷积核的集成梯度确定所述关键卷积核，包括：

4.根据权利要求2所述的基于持续学习的图像恢复模型生成方法，其特征在于，卷积核的所述集成梯度基于第一公式或第二公式确定；

5.根据权利要求3所述的基于持续学习的图像恢复模型生成方法，其特征在于，所述基于所述目标卷积级确定所述关键卷积核，包括：

6.根据权利要求1所述的基于持续学习的图像恢复模型生成方法，其特征在于，所述得到所述目标退化类型对应的图像恢复模型之后，还包括：

7.一种图像恢复方法，其特征在于，包括：

8.一种基于持续学习的图像恢复模型生成装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于持续学习的图像恢复模型生成方法或实现如权利要求7所述的图像恢复方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于持续学习的图像恢复模型生成方法或实现如权利要求7所述的图像恢复方法。

技术总结
本发明提供基于持续学习的图像恢复模型生成方法及图像恢复方法，涉及图像处理技术领域，方法包括：获取目标退化类型对应的基线模型和训练集，训练集包括第一训练集和第二训练集，第一训练集中的训练数据组少于第二训练集中的训练数据组，每个训练数据组中包括样本待恢复图像以及样本待恢复图像对应的恢复图像；基于第一训练集对目标退化类型对应的基线模型进行训练，得到目标退化类型对应的目标模型；基于目标退化类型对应的目标模型和基线模型确定关键卷积核；基于第二训练集对基线模型进行训练，更新关键卷积核的参数，得到目标退化类型对应的图像恢复模型。本发明可以提高多种图像恢复任务的图像恢复模型的生成效率。

技术研发人员：陈芳林,赵津,裴文杰,卢光明
受保护的技术使用者：哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）
技术研发日：
技术公布日：2024/2/19