下采样模型的训练方法、图像处理方法及装置与流程

本技术涉及图像处理领域，具体地，涉及一种下采样模型的训练方法、图像处理方法及装置。

背景技术：

1、在暗光环境下拍照(或者视频)时，比如，在夜景环境下拍照，由于电子设备的进光量较少导致图像的噪声较大；为了减小图像中的噪声，提升图像质量，通常对图像进行raw域降噪；但是，由于受限于电子设备的运算性能与功耗，在进行raw域降噪时需要减小raw域图像的尺寸；目前减小raw域图像的尺寸方法会使得图像的清晰度明显降低。

2、因此，在对raw域图像进行下采样处理时，如何提高图像的清晰度成为一个亟需解决的问题。

技术实现思路

1、本技术提供了一种下采样模型的训练方法、图像处理方法及装置，对raw域图像进行下采样处理时，能够避免清晰度的损失，提高图像的清晰度。

2、第一方面，提供了一种下采样模型的训练方法，包括：

3、获取训练数据，其中，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像是指第一颜色空间的图像，所述第二样本图像是指对所述第一样本图像进行去马赛克处理得到的第二颜色空间的图像；

4、将所述第一样本图像输入下采样模型，得到第一预测图像，所述第一预测图像为所述第一颜色空间的图像，所述下采样模型用于对所述第一颜色空间的图像进行下采样处理；

5、基于第三样本图像与第二预测图像训练所述下采样模型，得到训练后的下采样模型，其中，所述第三样本图像是指对所述第二样本图像进行所述下采样处理后得到的图像，所述第二预测是指对所述第一预测图像进行去马赛克处理得到的所述第二颜色空间的图像。

6、在本技术的实施例中，在训练下采样模型时是以低分辨率的rgb域图像作为目标值，而低分辨率的rgb域图像是通过对高分辨率的rgb域图像进行下采样得到的；因此，低分辨率的rgb域图像高分辨率的rgb域图像的清晰度是相同的；因此，通过下采样模型得到的下采样处理后的raw域图像不会存在清晰度损失的问题；换而言之，在训练下采样模型时，是以与高分辨率的rgb域图像相同清晰度的低分辨率的rgb域图像作为目标值；因此，通过本技术实施例中的下采样模型对raw域图像进行下采样处理时，能够避免清晰度的损失，提高图像的清晰度。

7、应理解，raw域图像可以是指raw颜色空间的图像；raw域图像是指图像在raw颜色空间；同理，rgb域图像是指rgb颜色空间的图像，即图像在rgb颜色空间。

8、在一种可能的实现方式中，第一颜色空间是指raw颜色空间；第二颜色空间是指rgb颜色空间，或者其他颜色空间。

9、在一种可能的实现方式中，下采样模型可以是深度神经网络、卷积神经网络或者其他神经网络结构，本技术对此不作任何限定。

10、结合第一方面，在第一方面的某些实现方式中，还包括：

11、获取去马赛克算法，所述去马赛克算法用于进行所述去马赛克处理。

12、在本技术的实施例中，在去马赛克算法已知的情况下，可以获取去马赛克算法；根据训练数据与去马赛克算法得到下采样模型，因此，下采样模型可以是适配该已知去马赛克算法的神经网络；对于不同的去马赛克算法可以得到不同的预先训练的下采样神经网络。

13、结合第一方面，在第一方面的某些实现方式中，还包括：

14、将所述第一样本图像输入去马赛克模型，得到第三预测图像，所述第三预测图像为所述第二颜色空间的图像；

15、基于所述第三预测图像与所述第二样本图像训练所述去马赛克模型，得到训练后的去马赛克模型。

16、在本技术的实施例中，在去马赛克算法未知的情况下，可以通过获取大量的样本数据进行训练，得到学习样本数据对应的去马赛克模型，即得到预先训练的去马赛克神经网络；在本技术的实施例中，下采样模型可以是适配该去马赛克模型；对于不同的去马赛克模型可以得到不同的预先训练的下采样模型。

17、在一种可能的实现方式中，去马赛克模型可以是深度神经网络、卷积神经网络或者其他神经网络结构，本技术对此不作任何限定。

18、结合第一方面，在第一方面的某些实现方式中，所述下采样模型的参数是根据所述第三样本图像与所述第二预测图像之间的差异通过反向传播算进行迭代得到的。

19、结合第一方面，在第一方面的某些实现方式中，所述去马赛克模型的参数是根据所述第三预测图像与所述第一样本图像之间的差异通过反向传播算进行迭代得到的。

20、第二方面，提供了一种图像处理方法，其特征在于，应用于电子设备，包括：

21、显示第一界面，所述第一界面包括第一控件；

22、检测到对所述第一控件的第一操作；

23、响应于所述第一操作，获取第一图像，所述第一图像为第一颜色空间的图像；

24、根据下采样模型对所述第一图像进行处理，得到第二图像，其中，所述下采样模型用于对所述第一颜色空间的图像进行下采样处理，所述下采样模型是根据训练数据与目标数据训练得到的，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像是指所述第一颜色空间的图像，所述第二样本图像是指对所述第一样本图像进行去马赛克处理得到的第二颜色空间的图像，所述目标数据是指对所述第二样本图像进行所述下采样处理后的图像；

25、对所述第二图像进行图像处理，得到第三图像。

26、在本技术的实施例中，在训练下采样模型时是以低分辨率的rgb域图像作为目标值，而低分辨率的rgb域图像是通过对高分辨率的rgb域图像进行下采样得到的；因此，低分辨率的rgb域图像高分辨率的rgb域图像的清晰度是相同的；因此，通过下采样模型得到的下采样处理后的raw域图像不会存在清晰度损失的问题；换而言之，在训练下采样模型时，是以与高分辨率的rgb域图像相同清晰度的低分辨率的rgb域图像作为目标值；因此，通过本技术实施例中的下采样模型对raw域图像进行下采样处理时，能够避免清晰度的损失，提高图像的清晰度。

27、应理解，raw域图像可以是指raw颜色空间的图像；raw域图像是指图像在raw颜色空间；同理，rgb域图像是指rgb颜色空间的图像，即图像在rgb颜色空间。

28、在一种可能的实现方式中，第一颜色空间是指raw颜色空间；第二颜色空间是指rgb颜色空间，或者其他颜色空间。

29、在一种可能的实现方式中，下采样模型可以是深度神经网络、卷积神经网络或者其他神经网络结构，本技术对此不作任何限定。

30、结合第二方面，在第二方面的某些实现方式中，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。

31、在一种可能的实现方式中，所述第一操作是指点击所述相机应用程序的操作。

32、结合第二方面，在第二方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

33、在一种可能的实现方式中，所述第一操作是指点击所述用于指示录制视频的控件的操作。

34、结合第二方面，在第二方面的某些实现方式中，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

35、在一种可能的实现方式中，所述第一操作是指点击所述用于指示视频通话的控件的操作。

36、上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者视频通话的操作；上述为举例说明，并不对本技术作任何限定。

37、在一种可能的实现方式中，所述图像处理包括以下至少一项处理：

38、降噪处理、超分辨率处理或者去模糊处理。

39、可选地，上述图像处理可以包括第一颜色空间的算法处理；或者图像处理可以包括第一颜色空间与第二颜色空间的算法处理。

40、结合第二方面，在第二方面的某些实现方式中，所述下采样模型的参数是根据第二预测图像与所述目标数据之间的差异通过反向传播算进行迭代得到的，所述第二预测是指对第一预测图像进行所述去马赛克处理得到的所述第二颜色空间的图像，所述第一预测图像是对指将所述第一样本图像输入所述下采样模型得到的图像。

41、结合第二方面，在第二方面的某些实现方式中，通过去马赛克算法执行所述去马赛克处理。

42、在本技术的实施例中，在去马赛克算法已知的情况下，可以获取去马赛克算法；根据训练数据与去马赛克算法得到下采样模型，因此，下采样模型可以是适配该已知去马赛克算法的神经网络；对于不同的去马赛克算法可以得到不同的预先训练的下采样神经网络。

43、结合第二方面，在第二方面的某些实现方式中，通过去马赛克模型执行所述去马赛克处理，所述去马赛克模型是通过以所述第一样本图像为输入数据，以所述第二样本图像为目标值训练得到的。

44、在本技术的实施例中，在去马赛克算法未知的情况下，可以通过获取大量的样本数据进行训练，得到学习样本数据对应的去马赛克模型，即得到预先训练的去马赛克神经网络；在本技术的实施例中，下采样模型可以是适配该去马赛克模型；对于不同的去马赛克模型可以得到不同的预先训练的下采样模型。

45、结合第二方面，在第二方面的某些实现方式中，所述去马赛克模型的参数是根据第三预测图像与所述第一样本图像之间的差异通过反向传播算进行迭代得到的，所述第三预测图像是指将所述第一样本图像输入去马赛克模型得到的图像。

46、结合第二方面，在第二方面的某些实现方式中，还包括：

47、检测到第二操作，所述第二操作用于指示开启所述电子设备的夜景模式，所述夜景模式是指所述电子设备的进光量小于预设阈值的拍摄模式。

48、在本技术的实施例中，当电子设备在暗光场景下录制视频时，用户可以开启电子设备的夜景模式，从而运行本技术实施例提供的图像处理方法，提升图像的清晰度，提高图像质量。

49、第三方面，提供一种下采样模型的训练装置，所述训练装置包括一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述训练装置执行：获取训练数据，其中，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像是指第一颜色空间的图像，所述第二样本图像是指对所述第一样本图像进行去马赛克处理得到的第二颜色空间的图像；

50、将所述第一样本图像输入下采样模型，得到第一预测图像，所述第一预测图像为所述第一颜色空间的图像，所述下采样模型用于对所述第一颜色空间的图像进行下采样处理；

51、基于第三样本图像与第二预测图像训练所述下采样模型，得到训练后的下采样模型，其中，所述第三样本图像是指对所述第二样本图像进行所述下采样处理后得到的图像，所述第二预测是指对所述第一预测图像进行去马赛克处理得到的所述第二颜色空间的图像。

52、结合第三方面，在第三方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述训练装置执行：

53、获取去马赛克算法，所述去马赛克算法用于进行所述去马赛克处理。

54、结合第三方面，在第三方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述训练装置执行：

55、将所述第一样本图像输入去马赛克模型，得到第三预测图像，所述第三预测图像为所述第二颜色空间的图像；

56、基于所述第三预测图像与所述第二样本图像训练所述去马赛克模型，得到训练后的去马赛克模型。

57、结合第三方面，在第三方面的某些实现方式中，所述下采样模型的参数是根据所述第三样本图像与所述第二预测图像之间的差异通过反向传播算进行迭代得到的。

58、结合第三方面，在第三方面的某些实现方式中，所述去马赛克模型的参数是根据所述第三预测图像与所述第一样本图像之间的差异通过反向传播算进行迭代得到的。

59、第四方面，提供一种图像处理装置，所述图像处理装置包括一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述图像处理装置执行：显示第一界面，所述第一界面包括第一控件；

60、检测到对所述第一控件的第一操作；

61、响应于所述第一操作，获取第一图像，所述第一图像为第一颜色空间的图像；

62、根据下采样模型对所述第一图像进行处理，得到第二图像，其中，所述下采样模型用于对所述第一颜色空间的图像进行下采样处理，所述下采样模型是根据训练数据与目标数据训练得到的，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像是指所述第一颜色空间的图像，所述第二样本图像是指对所述第一样本图像进行去马赛克处理得到的第二颜色空间的图像，所述目标数据是指对所述第二样本图像进行所述下采样处理后的图像；

63、对所述第二图像进行图像处理，得到第三图像。

64、结合第四方面，在第四方面的某些实现方式中，所述下采样模型的参数是根据第二预测图像与所述目标数据之间的差异通过反向传播算进行迭代得到的，所述第二预测是指对第一预测图像进行所述去马赛克处理得到的所述第二颜色空间的图像，所述第一预测图像是对指将所述第一样本图像输入所述下采样模型得到的图像。

65、结合第四方面，在第四方面的某些实现方式中，通过去马赛克算法执行所述去马赛克处理。

66、结合第四方面，在第四方面的某些实现方式中，通过去马赛克模型执行所述去马赛克处理，所述去马赛克模型是通过以所述第一样本图像为输入数据，以所述第二样本图像为目标值训练得到的。

67、结合第四方面，在第四方面的某些实现方式中，所述去马赛克模型的参数是根据第三预测图像与所述第一样本图像之间的差异通过反向传播算进行迭代得到的，所述第三预测图像是指将所述第一样本图像输入去马赛克模型得到的图像。

68、结合第四方面，在第四方面的某些实现方式中，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述图像处理装置执行：

69、检测到第二操作，所述第二操作用于指示开启所述电子设备的夜景模式，所述夜景模式是指所述电子设备的进光量小于预设阈值的拍摄模式。

70、结合第四方面，在第四方面的某些实现方式中，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。

71、结合第四方面，在第四方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

72、结合第四方面，在第四方面的某些实现方式中，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

73、第五方面，提供了一种下采样模型的训练装置，包括用于执行第一方面或第一方面中任一种方法的模块/单元。

74、第六方面，提供了一种图像处理装置，包括用于执行第二方面或第二方面中任一种方法的模块/单元。

75、第七方面，提供了一种下采样模型的训练装置，所述训练装置包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述训练装置执行第一方面中的任一种训练方法。

76、第八方面，提供了一种图像处理装置，所述图像处理装置包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述图像处理装置执行第二方面中的任一种图像处理方法。

77、第九方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第二方面中的任一种方法。

78、第十方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第二方面中的任一种方法。

79、第十一方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第二方面中的任一种方法。

80、在本技术的实施例中，在训练下采样模型时是以低分辨率的rgb域图像作为目标值，而低分辨率的rgb域图像是通过对高分辨率的rgb域图像进行下采样得到的；因此，低分辨率的rgb域图像高分辨率的rgb域图像的清晰度是相同的；因此，通过下采样模型得到的下采样处理后的raw域图像不会存在清晰度损失的问题；换而言之，在训练下采样模型时，是以与高分辨率的rgb域图像相同清晰度的低分辨率的rgb域图像作为目标值；因此，通过本技术实施例中的下采样模型对raw域图像进行下采样处理时，能够避免清晰度的损失，提高图像的清晰度。