图像的超分辨率方法、设备和计算机存储介质与流程

本技术涉及图像处理领域，特别涉及一种图像的超分辨率方法、设备和计算机存储介质。

背景技术：

1、图像的超分辨率技术是一种将低分辨率的图像处理为高分辨率的图像的技术。

2、一种图像的超分辨率方法中，将待处理图像输入超分模型，该超分模型包括特征提取模块、特征重建模块以及上采样模块，其中的特征重建模块可以包括依次排列的多个卷积层，可以对特征提取模块输出的多个通道特征图进行处理，并将处理后的通道特征图输入上采样模块。

3、但是上述超分模型中，特征重建模块中的多个卷积层的计算量较大，导致上述图像的超分辨率方法的计算量较大，耗时较长。

技术实现思路

1、本技术实施例提供了一种图像的超分辨率方法、设备和计算机存储介质。所述技术方案如下：

2、根据本技术的第一方面，提供了一种图像的超分辨率方法，所述方法包括：

3、获取待处理图像；

4、将所述待处理图像输入超分模型，所述超分模型包括依次连接的特征提取模块、通道拆分模块、多个显示查找表以及上采样模块，所述特征提取模块用于对所述待处理图像进行特征提取处理，以得到多个通道特征图，所述通道拆分模块用于将所述多个通道特征图拆分后分别输入所述多个显示查找表，所述多个显示查找表用于分别对所述多个通道特征图进行处理，并输出处理过的多个通道特征图，所述上采样模块用于对所述处理过的多个通道特征图进行上采样，并输出所述超分模型，所述多个显示查找表是由所述超分模型经过有监督的训练得到的；

5、获取所述超分模型输出的处理图像，所述处理图像的分辨率大于所述待处理图像的分辨率。

6、可选地，所述分别对所述多个通道特征图进行处理，并输出处理过的多个通道特征图，包括：

7、分别对所述多个通道特征图进行并行处理；

8、并行输出所述处理过的多个通道特征图。

9、可选地，所述将所述待处理图像输入超分模型之前，所述方法还包括：

10、获取待训练超分模型，所述待训练超分模型包括依次连接的待训练特征提取模块、所述通道拆分模块、多个待训练的显示查找表以及所述上采样模块；

11、对所述待训练超分模型进行多次循环训练；

12、响应于所述循环训练中的第n次循环训练后达到训练截止条件，停止所述循环训练；

13、基于n次所述循环训练确定出所述超分模型；

14、其中，一次循环训练包括：

15、将训练集合中的训练样本中的第一图像输入所述待训练超分模型，所述训练集合中包括多个训练样本，所述训练样本包括第一图像以及第二图像，所述第二图像为分辨率大于所述第一图像的真值图像；

16、获取所述待训练超分模型输出的训练处理图像；

17、获取所述训练处理图像与所述第二图像之间的损失值；

18、基于所述损失值对所述待训练特征提取模块以及所述多个待训练的显示查找表进行调整。

19、可选地，所述获取所述训练处理图像与所述第二图像之间的损失值，包括：

20、获取所述训练处理图像与所述第二图像之间的损失值，所述损失值第一损失值和第二损失值中的至少一个，所述第一损失值和所述第二损失值包括：

21、

22、

23、其中，loss1为所述第一损失值，loss2为所述第二损失值，c为所述第一图像的通道数，h为所述第二图像的高度，w为所述第二图像的宽度，i和j为像素坐标，yi，j，n为所述第二图像中第n通道，坐标为(i，j)的像素的值，f(xi，j，n)为所述训练处理图像中第n通道，坐标为(i，j)的像素的值。

24、可选地，所述基于n次所述循环训练确定出所述超分模型，包括：

25、获取n次所述循环训练中每次循环训练的待训练超分模型对应的图像相似度，所述图像相似度为所述训练处理图像与所述第二图像之间的相似度；

26、将第x次循环训练时的待训练超分模型确定为所述超分模型，所述第x次循环训练时的待训练超分模型为所述n次所述循环训练中，对应的图像相似度最大的待训练超分模型。

27、可选地，所述训练截止条件包括循环训练的次数达到指定值，以及，所述训练处理图像与所述第二图像之间的相似度达到指定值中的至少一种。

28、可选地，所述多个通道特征图包括多个特征图组，每个所述特征图组包括至少一个所述通道特征图；

29、所述多个显示查找表分别与所述多个特征图组对应，所述通道拆分模块用于将所述特征图组输入对应的显示查找表。

30、可选地，所述上采样模块包括基于重组的上采样算子。

31、可选地，所述上采样模块还包括截断层，所述截断层位于所述基于重组的上采样算子的输入端，用于将所述处理过的多个通道特征图的数值限制在预设范围内，并输出至所述基于重组的上采样算子。

32、可选地，所述方法用于终端，所述终端包括第一处理器以及神经网络处理器，所述超分模型位于所述神经网络处理器中；

33、所述将所述待处理图像输入超分模型，包括：

34、通过所述第一处理器获取所述待处理图像；

35、将所述待处理图像由所述第一处理器中导入所述神经网络处理器中，由所述神经网络处理器将所述待处理图像输入所述超分模型。

36、可选地，所述终端还包括显示器，所述获取所述超分模型输出的处理图像之后，所述方法还包括：

37、将所述处理图像由所述神经网络处理器中导入所述第一处理器中，所述第一处理器用于控制所述显示器显示所述处理图像。

38、可选地，所述方法用于终端，所述终端包括第一处理器以及图形处理器，所述超分模型位于所述图形处理器中；

39、所述将所述待处理图像输入超分模型，包括：

40、通过所述第一处理器获取所述待处理图像；

41、将所述待处理图像由所述第一处理器中导入所述图形处理器中，由所述图形处理器将所述待处理图像输入所述超分模型。

42、根据本技术实施例的另一方面，提供一种图像的超分辨率设备，所述图像的超分辨率设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的图像的超分辨率方法。

43、根据本技术实施例的另一方面，提供一种计算机存储介质，所述计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的图像的超分辨率方法。

44、根据本技术实施例的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的方法。

45、根据本技术实施例的另一方面，提供了一种图像的超分辨率装置，所述图像的超分辨率装置包括：

46、图像获取模块，用于获取待处理图像；

47、图像输入模块，用于将所述待处理图像输入超分模型，所述超分模型包括依次连接的特征提取模块、通道拆分模块、多个显示查找表以及上采样模块，所述特征提取模块用于对所述待处理图像进行特征提取处理，以得到多个通道特征图，所述通道拆分模块用于将所述多个通道特征图拆分后分别输入所述多个显示查找表，所述多个显示查找表用于分别对所述多个通道特征图进行处理，并输出处理过的多个通道特征图，所述上采样模块用于对所述处理过的多个通道特征图进行上采样，并输出所述超分模型，所述多个显示查找表是由所述超分模型经过有监督的训练得到的；

48、输出模块，用于获取所述超分模型输出的处理图像，所述处理图像的分辨率大于所述待处理图像的分辨率。

49、可选地，所述图像输入模块，包括：

50、并行处理单元，用于分别对所述多个通道特征图进行并行处理；

51、并行输出单元，用于并行输出所述处理过的多个通道特征图。

52、可选地，所述图像的超分辨率装置还包括：

53、模型获取模块，用于获取待训练超分模型，所述待训练超分模型包括依次连接的待训练特征提取模块、所述通道拆分模块、多个待训练的显示查找表以及所述上采样模块；

54、训练模块，用于对所述待训练超分模型进行多次循环训练；

55、停止模块，用于响应于所述循环训练中的第n次循环训练后达到训练截止条件，停止所述循环训练；

56、确定模块，用于基于n次所述循环训练确定出所述超分模型；

57、其中，训练模块包括：

58、输入单元，用于将训练集合中的训练样本中的第一图像输入所述待训练超分模型，所述训练集合中包括多个训练样本，所述训练样本包括第一图像以及第二图像，所述第二图像为分辨率大于所述第一图像的真值图像；

59、图像获取单元，用于获取所述待训练超分模型输出的训练处理图像；

60、损失获取单元，用于获取所述训练处理图像与所述第二图像之间的损失值；

61、调整单元，用于基于所述损失值对所述待训练特征提取模块以及所述多个待训练的显示查找表进行调整。

62、可选地，所述损失获取单元，用于：

63、获取所述训练处理图像与所述第二图像之间的损失值，所述损失值第一损失值和第二损失值中的至少一个，所述第一损失值和所述第二损失值包括：

64、

65、

66、其中，loss1为所述第一损失值，loss2为所述第二损失值，c为所述第一图像的通道数，h为所述第二图像的高度，w为所述第二图像的宽度，i和j为像素坐标，yi，j，n为所述第二图像中第n通道，坐标为(i，j)的像素的值，f(xi，j，n)为所述训练处理图像中第n通道，坐标为(i，j)的像素的值。

67、可选地，所述确定模块，用于：

68、获取n次所述循环训练中每次循环训练的待训练超分模型对应的图像相似度，所述图像相似度为所述训练处理图像与所述第二图像之间的相似度；

69、将第x次循环训练时的待训练超分模型确定为所述超分模型，所述第x次循环训练时的待训练超分模型为所述n次所述循环训练中，对应的图像相似度最大的待训练超分模型。

70、可选地，所述训练截止条件包括循环训练的次数达到指定值，以及，所述训练处理图像与所述第二图像之间的相似度达到指定值中的至少一种。

71、可选地，所述多个通道特征图包括多个特征图组，每个所述特征图组包括至少一个所述通道特征图；

72、所述多个显示查找表分别与所述多个特征图组对应，所述通道拆分模块用于将所述特征图组输入对应的显示查找表。

73、可选地，所述上采样模块包括基于重组的上采样算子。

74、可选地，所述上采样模块还包括截断层，所述截断层位于所述基于重组的上采样算子的输入端，用于将所述处理过的多个通道特征图的数值限制在预设范围内，并输出至所述基于重组的上采样算子。

75、可选地，所述方法用于终端，所述终端包括第一处理器以及神经网络处理器，所述超分模型位于所述神经网络处理器中；

76、所述图像输入模块，用于：

77、通过所述第一处理器获取所述待处理图像；

78、将所述待处理图像由所述第一处理器中导入所述神经网络处理器中，由所述神经网络处理器将所述待处理图像输入所述超分模型。

79、可选地，所述终端还包括显示器，所述获取所述超分模型输出的处理图像之后，所述图像的超分辨率装置还包括：

80、导入模块，用于将所述处理图像由所述神经网络处理器中导入所述第一处理器中，所述第一处理器用于控制所述显示器显示所述处理图像。

81、可选地，所述方法用于终端，所述终端包括第一处理器以及图形处理器，所述超分模型位于所述图形处理器中；

82、所述图像输入模块，用于：

83、通过所述第一处理器获取所述待处理图像；

84、将所述待处理图像由所述第一处理器中导入所述图形处理器中，由所述图形处理器将所述待处理图像输入所述超分模型。

85、本技术实施例提供的技术方案带来的有益效果至少包括：

86、通过将待处理图像输入超分模型，该超分模型包括依次连接的特征提取模块、通道拆分模块、多个显示查找表以及上采样模块，通道拆分模块可以将特征提取模块输出的多个通道特征图拆分后分别输入多个显示查找表，多个显示查找表分别对多个通道特征图进行处理，并输出处理过的多个通道特征图，以由上采样模块处理后输出超分模型，由此可以无需再设置包括卷积层的特征重建模块，且由于显示查找表是映射的处理，相较于卷积层的计算量较小，解决了相关技术中图像的超分辨率方法的计算量较大，耗时较长的问题，实现了降低图像的超分辨率方法的计算量，以缩短耗时的效果。