图像超分辨率模型训练方法、装置和计算机可读存储介质与流程

1.本发明实施例涉及但不限于计算机视觉技术领域，特别是涉及一种图像超分辨率模型训练方法、装置和计算机可读存储介质。


背景技术：

2.目前提升图像超分辨率还有许多可以优化的空间，比如初始化方法，现有的算法初始化网络参数时大部分使用的是均匀分布、正交初始化等，然而，这些初始化方法大部分考虑的是激活函数的性质或者特殊的网络结构，对于比如循环神经网络的收敛问题，与训练数据没有关联，因此，无法为图像超分辨率模型提供好的模型参数作为初始起点，导致训练效果不佳。同时，损失函数的设计也直接决定了图像超分辨率模型的性能，但是，现有的损失函数是多个损失函数的线性叠加，线性参数一般使用的是“暴力试值”的方法，该方法不能达到一个最优组合，从而导致图像超分辨率模型效果不好。


技术实现要素：

3.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
4.本发明实施例提供了一种图像超分辨率模型训练方法、装置和计算机可读存储介质，能够提高图像超分辨率模型的训练效果。
5.第一方面，本发明实施例提供了一种图像超分辨率模型训练方法，包括：
6.获取低分辨率图像及其对应的真实高分辨率图像构成训练集；
7.输入所述训练集中的所述低分辨率图像及其对应的所述真实高分辨率图像至预设的编码-解码模型，以确定模型参数；
8.根据所述模型参数初始化图像超分辨率模型；
9.将所述训练集中的所述低分辨率图像输入至所述图像超分辨率模型，得到超分辨率图像；
10.确定所述真实高分辨率图像和所述超分辨率图像之间的信息熵损失；
11.根据所述信息熵损失和预设损失函数结合损失系数构造总损失函数，所述损失系数用于表征占比所述总损失函数的权重值；
12.基于所述总损失函数，对所述图像超分辨率模型进行模型训练，得到训练完成的所述图像超分辨率模型。
13.第二方面，本发明实施例提供了一种图像超分辨率模型训练装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的图像超分辨率模型训练方法。
14.第三方面，本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的图像超分辨率模型训练方法。
15.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行如上第一方面所述的图像超分辨率模型训练方法。
16.本发明实施例包括：获取低分辨率图像及其对应的真实高分辨率图像构成训练集，输入训练集中的低分辨率图像及其对应的真实高分辨率图像至预设的编码-解码模型，以确定模型参数，根据模型参数初始化图像超分辨率模型，将训练集中的低分辨率图像输入至图像超分辨率模型，得到超分辨率图像，确定真实高分辨率图像和超分辨率图像之间的信息熵损失，根据信息熵损失和预设损失函数结合损失系数构造总损失函数，损失系数用于表征占比总损失函数的权重值，基于总损失函数，对图像超分辨率模型进行模型训练，得到训练完成的图像超分辨率模型。基于此，通过将训练集中的低分辨率图像及其对应的真实高分辨率图像输入到预设的编码-解码模型，以确定与训练集数据有关联的模型参数，利用模型参数初始化图像超分辨率模型，以此为图像超分辨率模型提供好的初始起点。同时，引入真实高分辨率图像和超分辨率图像之间的信息熵损失，采用信息熵损失叠加到预设损失函数并结合损失系数的方式构造总损失函数，以增加图像超分辨率模型训练时对损失系数的调整能力，以达到最优组合，从而能够提高图像超分辨率模型的训练效果。
17.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
18.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
19.图1是本发明一个实施例提供的一种图像超分辨率模型训练方法的主流程图；
20.图2是本发明一个实施例提供的利用编码-解码模型初始化图像超分辨率模型结构示意图；
21.图3是本发明一个实施例提供的一种图像超分辨率模型训练方法的子流程图；
22.图4是本发明一个实施例提供的一种图像超分辨率模型训练方法的子流程图；
23.图5是本发明一个实施例提供的图像超分辨率模型训练装置结构示意图；
24.图6是本发明一个实施例提供的电子设备结构示意图。
具体实施方式
25.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
26.应了解，在本发明实施例的描述中，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
27.目前提升图像超分辨率还有许多可以优化的空间，比如初始化方法，现有的算法
初始化网络参数时大部分使用的是均匀分布、正交初始化等，然而，这些初始化方法大部分考虑的是激活函数的性质或者特殊的网络结构，对于比如循环神经网络的收敛问题，与训练数据没有关联，因此，无法为图像超分辨率模型提供好的模型参数作为初始起点，导致训练效果不佳。同时，损失函数的设计也直接决定了图像超分辨率模型的性能，但是，现有的损失函数是多个损失函数的线性叠加，线性参数一般使用的是“暴力试值”的方法，该方法不能达到一个最优组合，从而导致图像超分辨率模型效果不好。
28.本发明实施例提供了一种图像超分辨率模型训练方法、装置和计算机可读存储介质,通过获取低分辨率图像及其对应的真实高分辨率图像构成训练集，输入训练集中的低分辨率图像及其对应的真实高分辨率图像至预设的编码-解码模型，以确定模型参数，根据模型参数初始化图像超分辨率模型，将训练集中的低分辨率图像输入至图像超分辨率模型，得到超分辨率图像，确定真实高分辨率图像和超分辨率图像之间的信息熵损失，根据信息熵损失和预设损失函数结合损失系数构造总损失函数，损失系数用于表征占比总损失函数的权重值，基于总损失函数，对图像超分辨率模型进行模型训练，得到训练完成的图像超分辨率模型。基于此，通过将训练集中的低分辨率图像及其对应的真实高分辨率图像输入到预设的编码-解码模型，以确定与训练集数据有关联的模型参数，利用模型参数初始化图像超分辨率模型，以此为图像超分辨率模型提供好的初始起点。同时，引入真实高分辨率图像和超分辨率图像之间的信息熵损失，采用信息熵损失叠加到预设损失函数并结合损失系数的方式构造总损失函数，以增加图像超分辨率模型训练时对损失系数的调整能力，以达到最优组合，从而能够提高图像超分辨率模型的训练效果。
29.如图1所示，图1是本发明一个实施例提供的一种图像超分辨率模型训练方法的流程图。图像超分辨率模型训练方法包括但不限于如下步骤：
30.步骤101，获取低分辨率图像及其对应的真实高分辨率图像构成训练集；
31.步骤102，输入训练集中的低分辨率图像及其对应的真实高分辨率图像至预设的编码-解码模型，以确定模型参数；
32.步骤103，根据模型参数初始化图像超分辨率模型；
33.步骤104，将训练集中的低分辨率图像输入至图像超分辨率模型，得到超分辨率图像；
34.步骤105，确定真实高分辨率图像和超分辨率图像之间的信息熵损失；
35.步骤106，根据信息熵损失和预设损失函数结合损失系数构造总损失函数，损失系数用于表征占比总损失函数的权重值；
36.步骤107，基于总损失函数，对图像超分辨率模型进行模型训练，得到训练完成的图像超分辨率模型。
37.可以理解的是，如图2所示的编码-解码模型，将低分辨率图像lr及其对应的真实高分辨率图像ground truth hr输入到编码-解码模型中的编码器encoder，通过一个编码器encoder得到一个中间低分辨率图片lri,其中，为防止lri和lr的分布不一致，需要对lri数值进行约束，比如简单的做差或者l1范数约束等相关的约束方式，再通过一个解码器decoder得到一个超分辨率图片sri。当对编码-解码模型进行训练后得到稳定的模型参数，然后将解码器decoder的模型参数初始化给当前网络(即图像超分辨率模型)，从而为图像超分辨率模型的训练提供好的初始起点，从而使得将低分辨率图像lr输入到图像超分辨率
模型中可以得到超分辨率图像sr。
38.可以理解的是，通过获取低分辨率图像及其对应的真实高分辨率图像构成训练集，输入训练集中的低分辨率图像及其对应的真实高分辨率图像至预设的编码-解码模型，以确定模型参数，根据模型参数初始化图像超分辨率模型，将训练集中的低分辨率图像输入至图像超分辨率模型，得到超分辨率图像，确定真实高分辨率图像和超分辨率图像之间的信息熵损失，根据信息熵损失和预设损失函数结合损失系数构造总损失函数，损失系数用于表征占比总损失函数的权重值，基于总损失函数，对图像超分辨率模型进行模型训练，得到训练完成的图像超分辨率模型。基于此，通过将训练集中的低分辨率图像及其对应的真实高分辨率图像输入到预设的编码-解码模型，以确定与训练集数据有关联的模型参数，利用模型参数初始化图像超分辨率模型，以此为图像超分辨率模型提供好的初始起点。同时，引入真实高分辨率图像和超分辨率图像之间的信息熵损失，采用信息熵损失叠加到预设损失函数并结合损失系数的方式构造总损失函数，以增加图像超分辨率模型训练时对损失系数的调整能力，以达到最优组合，从而能够提高图像超分辨率模型的训练效果。
39.需要说明的是，信息熵代表了图片包含信息的多少，通过引入信息熵损失，例如采用信息熵差作为损失函数描述了输出图片和真实ground truth图片之间信息含量的区别，对图像超分辨率模型进行模型训练具有积极作用。
40.需要说明的是，在进行超分辨率的模型训练时，可以使用gpu服务器或者工作站进行模型训练，训练过程中可以使用多张显卡进行并行操作。gpu服务器的系统环境可以为ubuntu或者windows。在模型推理是可以在gpu服务器中进行或者在ai芯片中进行。
41.如图3所示，步骤105可以包括但不限于如下子步骤：
42.步骤1051，根据真实高分辨率图像计算得到第一信息熵；
43.步骤1052，根据超分辨率图像计算得到第二信息熵；
44.步骤1053，对第一信息熵和第二信息熵之差取绝对值得到信息熵差。
45.可以理解的是，根据真实高分辨率图像计算得到第一信息熵，根据超分辨率图像计算得到第二信息熵，对第一信息熵和第二信息熵之差取绝对值得到信息熵差loss
info
＝|hr-sr|。
46.可以理解的是，将训练集中的低分辨率lr图像输入至图像超分辨率模型，得到超分辨率图像sr，统计sr和hr的直方图得到像素值为0-255的概率pxi，其中xi取值范围为0...255，计算sr和hr图片的信息熵，然后相减取绝对值得到信息熵差h(x)，信息熵差h(x)的计算公式如下：
[0047][0048]
如图4所示，步骤106可以包括但不限于如下子步骤：
[0049]
步骤1061，基于多任务学习确定预设损失函数对应的第一权重系数和信息熵差对应的第二权重系数；
[0050]
步骤1062，根据预设损失函数、第一权重系数、信息熵差和第二权重系数构造总损失函数。
[0051]
可以理解的是，总损失函数loss根据预设损失函数、第一权重系数、信息熵差和第二权重系数构造，具体地，可以根据预设损失函数与第一权重系数之乘积，得到第一乘积；
根据信息熵差与第二权重系数之乘积，得到第二乘积；根据第一乘积和第二乘积之和得到总损失函数，基于此，总损失函数loss的计算公式如下：
[0052]
loss＝λ1·
loss
pre
+λ2·
loss
info
[0053]
其中，loss
pre
表示图像超分辨率模型中先前设计的预设损失函数，后项为信息熵差loss
info
＝|hr-sr|，λ1为第一权重系数，λ2为第二权重系数。
[0054]
可以理解的是，可以基于多任务学习来确定预设损失函数对应的第一权重系数λ1和信息熵差对应的第二权重系数λ2。具体地，多任务公式的优化任务如下：
[0055][0056]
其中，c为任务参数，为损失经验θ
sh
为共享的任务参数，θ
info
以及θ
pre
为自身任务的独占参数。通过求上述公式的最小值，可以确定θ
sh
、θ
info
以及θ
pre
的取值。由于θ
sh
+θ
pre
＝λ1，θ
sh
+θ
info
＝λ2，从而可以确定第一权重系数λ1和第二权重系数λ2。由此可知，相较于现有技术对损失系数都是通过“暴力试值”的方法确定，本方法通过使用多任务中来确定损失系数，使得损失系数有据可循，从而得到最优值。采用优化的损失系数构建的总损失函数，可以训练图像超分辨率模型取得较佳的效果，从而使得将低分辨率图像输入到图像超分辨率模型中可以得到超分辨率图像。
[0057]
可以理解的是，可以通过对多任务学习求帕累托平稳点来确定任务参数，并根据任务参数确定第一权重系数和第二权重系数。因此，对于上述多任务公式的优化任务求最小值，可以通过对其求导来实现，即可以通过求帕累托平稳点来实现，达到帕累托平稳点需满足如下公式：
[0058][0059]
这里可以使用frank-wolfe算法求出帕累托平稳点。
[0060]
可以理解的是，还可以采用多任务梯度动态更新第一权重系数和第二权重系数。
[0061]
总损失函数的系数也可以使用其他多任务系数确定方法确定，例如，可以利用梯度grad动态的更新参数，因为在多任务学习中，解决的就是多任务梯度不平衡的问题，如果能知道权重系数w的更新梯度，就可以利用梯度更新公式来动态更新w，就像更新神经网络的参数一样，采用如下公式来更新第一权重系数w
pre
和第二权重系数w
info
:
[0062]
w(t+1)＝w(t)+λβ(t)
[0063]
其中，λ沿用全局的神经网络学习率，t代表第t次训练。
[0064]
具体地，在一个batch中具体更新的步骤如下：
[0065]
1.初始化权重w；
[0066]
2.前向传播计算总损失：loss＝w
pre
l
pre
+w
info
l
info
；
[0067]
3.计算本次训练的每一个权重的grad gw(t)，以及该grad的平均值和反向传播速度ri(t)；
[0068]
4.计算grad loss对w的导数；
[0069]
5.利用第2步计算的loss反向传播更新神经网络参数；
[0070]
6.利用第5步的导数更新w；
[0071]
7.对w进行重整化renormalize。
[0072]
在步骤101之前可以包括但不限于如下子步骤：
[0073]
对训练集的图像进行预处理，预处理包括对训练集的图像进行缩小、旋转以及翻转。
[0074]
可以理解的是，通过对训练集的图像进行预处理，以扩充训练集。其中，预处理包括但不限于对训练集的图像进行缩小、旋转以及翻转。
[0075]
以下结合具体实施例进一步介绍本发明提供的图像超分辨率模型训练方法。
[0076]
1.训练集准备：训练集可通过下载网络上公开的数据集如div2k,urban100,bsd100,set14等，也可以使用例如相机、手机等拍摄工具或者电脑对图像进行制作。
[0077]
2.训练集图像的预处理：将训练集中的图像进行不同倍数的缩小为扩充训练集，把训练集中的图片分别逆时针旋转、翻转等操作。
[0078]
3、相关训练参数的确定：确定的参数包括网络优化器，学习率损失函数等。其中，损失函数的设置通过公式(1)得到。
[0079][0080]
其中，h和w为高分辨率的高和宽，h’和w’为低分辨率的高和宽，和为加权系数。
[0081]
其次，训练当前网络：
[0082]
其中1、2步与训练初始化网络相同。
[0083]
3、使用编码-解码模型中解码器decoder的参数用来初始化图像超分辨率模型。将训练集中的低分辨率lr图像输入至图像超分辨率模型，得到超分辨率图像sr，统计sr和hr的直方图得到像素值为0-255的概率pxi，其中xi取值范围为0...255，计算sr和hr图片的信息熵，然后相减取绝对值得到信息熵差h(x)，信息熵差h(x)的计算公式如(2)所示，根据式(3)中的loss函数对当前网络训练得到训练好的网络。
[0084][0085]
loss＝λ1·
loss
pre
+λ2·
loss
info
ꢀꢀꢀ
(3)
[0086]
其中，loss
pre
表示图像超分辨率模型中先前设计的预设损失函数，后项为信息熵差loss
info
＝|hr-sr|，λ1为第一权重系数，λ2为第二权重系数。
[0087]
可以基于多任务学习来确定预设损失函数对应的第一权重系数λ1和信息熵差对应的第二权重系数λ2。具体地，多任务公式的优化任务如下：
[0088][0089]
其中，c为任务参数，为损失经验θ
sh
为共享的任务参数，θ
info
以及θ
pre
为自身任务的独占参数。通过求上述公式的最小值，可以确定θ
sh
、θ
info
以及θ
pre
的取值。由于θ
sh
+θ
pre
＝λ1，θ
sh
+θ
info
＝λ2，从而可以确定第一权重系数λ1和第二权重系数λ2。由此可知，相较于现有技术对损失系数都是通过“暴力试值”的方法确定，本方法通过使用多任务中来确定损失系数，使得损失系数有据可循，从而得到最优值。采用优化的损失系数构建的总损失函数，可以训练图像超分辨率模型取得较佳的效果，从而使得将低分辨率输入到图像超分辨率模型
中可以得到超分辨率图像。
[0090]
4.通过对多任务学习求帕累托平稳点来确定任务参数，并根据任务参数确定第一权重系数和第二权重系数。因此，对于上述多任务公式的优化任务求最小值，可以通过对其求导来实现，即可以通过求帕累托平稳点来实现，达到帕累托平稳点需满足如下公式：
[0091][0092]
这里可以使用frank-wolfe算法求出帕累托平稳点。
[0093]
需要说明的是，还可以采用多任务梯度动态更新第一权重系数和第二权重系数。
[0094]
总损失函数的系数也可以使用其他多任务系数确定方法确定，例如，可以利用梯度grad动态的更新参数，因为在多任务学习中，解决的就是多任务梯度不平衡的问题，如果能知道权重系数w的更新梯度，就可以利用梯度更新公式来动态更新w，就像更新神经网络的参数一样，采用如下公式来更新第一权重系数w
pre
和第二权重系数w
info
:
[0095]
w(t+1)＝w(t)+λβ(t)
[0096]
其中，λ沿用全局的神经网络学习率，t代表第t次训练。
[0097]
具体地，在一个batch中具体更新的步骤如下：
[0098]
1.初始化权重w；
[0099]
2.前向传播计算总损失：loss＝w
pre
l
pre
+w
info
l
info
；
[0100]
3.计算本次训练的每一个权重的grad gw(t)，以及该grad的平均值和反向传播速度ri(t)；
[0101]
4.计算grad loss对w的导数；
[0102]
5.利用第2步计算的loss反向传播更新神经网络参数；
[0103]
6.利用第5步的导数更新w；
[0104]
7.对w进行重整化renormalize。
[0105]
如图5所示，本发明实施例还提供了一种图像超分辨率模型训练装置。
[0106]
具体地，该图像超分辨率模型训练装置包括：一个或多个处理器和存储器，图5中以一个处理器及存储器为例。处理器和存储器可以通过总线或者其他方式连接，图5中以通过总线连接为例。
[0107]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的图像超分辨率模型训练方法。处理器通过运行存储在存储器中的非暂态软件程序以及程序，从而实现上述本发明实施例中的图像超分辨率模型训练方法。
[0108]
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的图像超分辨率模型训练方法所需的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该图像超分辨率模型训练装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0109]
实现上述本发明实施例中的图像超分辨率模型训练方法所需的非暂态软件程序
以及程序存储在存储器中，当被一个或者多个处理器执行时，执行上述本发明实施例中的图像超分辨率模型训练方法，例如，执行以上描述的图1中的方法步骤101至步骤107，图3中的方法步骤1051至步骤1053，图4中的方法步骤1061至步骤1062，通过获取低分辨率图像及其对应的真实高分辨率图像构成训练集，输入训练集中的低分辨率图像及其对应的真实高分辨率图像至预设的编码-解码模型，以确定模型参数，根据模型参数初始化图像超分辨率模型，将训练集中的低分辨率图像输入至图像超分辨率模型，得到超分辨率图像，确定真实高分辨率图像和超分辨率图像之间的信息熵损失，根据信息熵损失和预设损失函数结合损失系数构造总损失函数，损失系数用于表征占比总损失函数的权重值，基于总损失函数，对图像超分辨率模型进行模型训练，得到训练完成的图像超分辨率模型。基于此，通过将训练集中的低分辨率图像及其对应的真实高分辨率图像输入到预设的编码-解码模型，以确定与训练集数据有关联的模型参数，利用模型参数初始化图像超分辨率模型，以此为图像超分辨率模型提供好的初始起点。同时，引入真实高分辨率图像和超分辨率图像之间的信息熵损失，采用信息熵损失叠加到预设损失函数并结合损失系数的方式构造总损失函数，以增加图像超分辨率模型训练时对损失系数的调整能力，以达到最优组合，从而能够提高图像超分辨率模型的训练效果。
[0110]
如图6所示，本发明实施例还提供了一种电子设备。
[0111]
具体地，该电子设备包括：一个或多个处理器和存储器，图6中以一个处理器及存储器为例。处理器和存储器可以通过总线或者其他方式连接，图6中以通过总线连接为例。
[0112]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的图像超分辨率模型训练方法。处理器通过运行存储在存储器中的非暂态软件程序以及程序，从而实现上述本发明实施例中的图像超分辨率模型训练方法。
[0113]
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的图像超分辨率模型训练方法所需的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该图像超分辨率模型训练装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0114]
实现上述本发明实施例中的图像超分辨率模型训练方法所需的非暂态软件程序以及程序存储在存储器中，当被一个或者多个处理器执行时，执行上述本发明实施例中的图像超分辨率模型训练方法，例如，执行以上描述的图1中的方法步骤101至步骤107，图3中的方法步骤1051至步骤1053，图4中的方法步骤1061至步骤1062，通过获取低分辨率图像及其对应的真实高分辨率图像构成训练集，输入训练集中的低分辨率图像及其对应的真实高分辨率图像至预设的编码-解码模型，以确定模型参数，根据模型参数初始化图像超分辨率模型，将训练集中的低分辨率图像输入至图像超分辨率模型，得到超分辨率图像，确定真实高分辨率图像和超分辨率图像之间的信息熵损失，根据信息熵损失和预设损失函数结合损失系数构造总损失函数，损失系数用于表征占比总损失函数的权重值，基于总损失函数，对图像超分辨率模型进行模型训练，得到训练完成的图像超分辨率模型。基于此，通过将训练
集中的低分辨率图像及其对应的真实高分辨率图像输入到预设的编码-解码模型，以确定与训练集数据有关联的模型参数，利用模型参数初始化图像超分辨率模型，以此为图像超分辨率模型提供好的初始起点。同时，引入真实高分辨率图像和超分辨率图像之间的信息熵损失，采用信息熵损失叠加到预设损失函数并结合损失系数的方式构造总损失函数，以增加图像超分辨率模型训练时对损失系数的调整能力，以达到最优组合，从而能够提高图像超分辨率模型的训练效果。
[0115]
此外，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行程序，该计算机可执行程序被一个或多个控制处理器执行，例如，被图5中的一个处理器执行，可使得上述一个或多个处理器执行上述本发明实施例中的图像超分辨率模型训练方法，例如，执行以上描述的图1中的方法步骤101至步骤107，图3中的方法步骤1051至步骤1053，图4中的方法步骤1061至步骤1062，通过获取低分辨率图像及其对应的真实高分辨率图像构成训练集，输入训练集中的低分辨率图像及其对应的真实高分辨率图像至预设的编码-解码模型，以确定模型参数，根据模型参数初始化图像超分辨率模型，将训练集中的低分辨率图像输入至图像超分辨率模型，得到超分辨率图像，确定真实高分辨率图像和超分辨率图像之间的信息熵损失，根据信息熵损失和预设损失函数结合损失系数构造总损失函数，损失系数用于表征占比总损失函数的权重值，基于总损失函数，对图像超分辨率模型进行模型训练，得到训练完成的图像超分辨率模型。基于此，通过将训练集中的低分辨率图像及其对应的真实高分辨率图像输入到预设的编码-解码模型，以确定与训练集数据有关联的模型参数，利用模型参数初始化图像超分辨率模型，以此为图像超分辨率模型提供好的初始起点。同时，引入真实高分辨率图像和超分辨率图像之间的信息熵损失，采用信息熵损失叠加到预设损失函数并结合损失系数的方式构造总损失函数，以增加图像超分辨率模型训练时对损失系数的调整能力，以达到最优组合，从而能够提高图像超分辨率模型的训练效果。
[0116]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读程序、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0117]
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。