一种连续尺度图像超分辨率重建方法、设备及存储介质与流程

本发明涉及图像重建，具体涉及一种连续尺度图像超分辨率重建方法、设备及存储介质。

背景技术：

1、单幅图像超分辨率重建技术是计算机视觉任务中一个经典的逆问题，在图像超分辨率重建中，由于高分辨率图像的恢复并不唯一，一张低分辨率图像可能对应多张高分辨率图像，其在底层视觉任务中具有一定的挑战性。

2、在传统的图像超分辨率重建技术中，主要采用插值或者浅层特征学习的方法对图像进行上采样重建，然而这些方法具有局限性，随着深度学习的逐步发展，基于深度学习的方法因其具有较强特征表示的端到端深度模型，因此能够通过对大量数据的学习，提取到图像中蕴含丰富的图像特征，自适应学习低分辨率图像与高分辨率图像之间的映射关系。

3、在该研究方向上，主流的方法是固定尺度的图像超分辨率重建，这种方法侧重于从低分辨率图像中提取特征嵌入，并通过可学习的反卷积或亚像素卷积利用这些嵌入来对具有预定义的尺度因子的图像进行上采样，从而取得重建效果，但该研究方向所提出的方法都需要为每个上采样尺度设置一个不同的深度神经网络模型，并通常限制在有限的整数选择范围内(例如，2×，3×，4×)，这种局限限制了图像超分辨率模型的潜在应用和部署选项，因此现有技术中采用通过单一模型连续上采样低分辨率图像的方法来克服这一限制。

4、受到三维视觉领域中广泛应用的隐式神经表示的启发，通过将隐式神经表示应用在图像超分辨率重建任务中，并利用多层感知机拟合隐式函数并将二维空间坐标映射至rgb值，继而解除了尺度因子固定的限制，与传统的特定尺度上采样方法相比，基于隐式神经表示的方法具有更好的自适应能力以及灵活性，该方法能够根据需求生成任意尺度大小的重建图像，这极大地拓展了模型的应用场景。

5、目前已有的研究中，在模型中的上采样解码器通常使用单步重建的方式，即仅通过两层多层感知机实现图像坐标到图像像素值的映射，然而这种方式的映射当在面对大尺度因子的上采样的情形，难以仅通过一步就直接生成重建质量较好的高分辨率图像，同时重建得到的图像往往会引入影响视觉效果的伪影。

6、为此，本技术特提出一种连续尺度图像超分辨率重建方法以解决上述技术问题。

技术实现思路

1、本发明的主要目的在于提供一种连续尺度图像超分辨率重建方法，通过逐步提升重建图像来降低解码器对图像坐标进行像素映射时的学习成本，提高大尺度因子重建任务的重建效果，以解决背景技术中所提出的技术问题。

2、本发明采用以下技术方案解决上述技术问题：

3、一种连续尺度图像超分辨率重建方法，包括以下具体操作步骤：

4、s1.构建训练集、验证集和验证集，使用双三次插值方法对高分辨率原始图像进行退化处理，得到对应的低分辨率图像；

5、s2.根据预设的图像尺寸将高分辨率原始图像和低分辨率图像裁剪为成对的图像块，通过随机翻转和随机旋转对图像块进行数据增强；

6、s3.建立连续图像超分辨率重建方法的深度网络模型，输入低分辨率图像并提取深层图像特征，使用深度网络模型重建处理后得到最终的超分辨率重建图像，其中深度网络模型内设置有尺度感知编码器和动态重建解码器；

7、s4.定义深度网络模型的损失函数，通过损失函数对最终的超分辨率重建图像进行监督，不断迭代优化深度网络模型的可学习参数并计算得到最小损失，以提高深度网络模型的图像超分辨率重建质量，其中损失函数表达式为：

8、

9、其中n表示一幅图像中的像素总数，表示高分辨率图像中第i处的像素值，表示超分辨率重建图像中第i处的像素值。

10、优选的，所述s3步骤中使用深度网络模型重建处理的具体处理步骤包括：

11、s31.构建尺度感知编码器，提取输入的低分辨率图像的深层图像特征；

12、s32.构建动态重建解码器，对深层图像特征通过隐式神经表示以及动态重建机制得到图像残差；

13、s33.将低分辨率图像进行双三次上采样得到高分辨率图像；

14、s34.将高分辨率图像与图像残差进行叠加得到最终的超分辨率重建图像。

15、优选的，所述s33步骤的具体操作步骤包括：

16、l1.提取给定的低分辨率图像的浅层图像特征，将浅层图像特征输入到尺度感知编码器中；

17、l2.使用尺度感知编码器对图像特征细化，并建立对训练的上采样尺度因子与模型可学习参数的尺度依赖，包括6层尺度感知细化残差块，其中每一层尺度感知细化残差块包括6层transformer块以及1层核大小为3×3的卷积层；

18、l3.将图像超分辨率的大尺度因子分解为包含多个尺度因子的序列子集，在大尺度因子分解过程中，若大尺度因子大于2，则以递归的形式将尺度因子除2，直到当前递归步骤的尺度因子小于或等于2，根据重建任务的尺度因子不同，实现动态的尺度因子序列子集；

19、l4.动态重建解码器接收经过尺度感知编码器细化的尺度相关图像特征，隐式神经表示将尺度相关图像特征转化为二维坐标，按照序列子集顺序依次选取单个尺度因子，将低分辨率图像特征的二维坐标上采样至选取的尺度因子的目标图像的二维坐标；

20、l5.利用多层感知机将目标尺度图像的二维坐标映射至相应的像素坐标位置的rgb值，得到一张中间的高分辨率图像特征；

21、l6.动态重建解码器接收中间的高分辨率图像特征，并重复按照步骤l4和l5得到最终目标尺度的高分辨率图像特征，具体高分辨率图像特征重建过程关系表示为：

22、

23、其中f表示图像特征，n表示重建的总次数，g表示多层感知机，表示二维坐标映射函数，↑表示双线性插值上采样，s表示序列子集中的尺度因子；

24、l7.将最终目标尺度的高分辨率图像特征通过输出维度为3的多层感知机重建为通道值为3的图像残差；

25、l8.将图像残差与低分辨率图像经由双线性插值上采样得到的高分辨率图像进行相加，使深度网络模型学习图像的高频细节，得到最终重建输出的高分辨率图像。

26、优选的，所述l2步骤中尺度感知细化残差块的建立步骤包括：

27、l21.定义一组卷积核序列作为不同上采样尺度因子的特征提取池，使用正余弦编码将上采样尺度因子的标量值r通过线性层映射至更高维度的潜在空间中；

28、l22.将与初始化的卷积核具备相同的特征维度的映射后的尺度依赖向量与尺度感知细化残差块中的卷积核点乘，得到最终的尺度依赖卷积核；

29、l23.建立细化残差块与尺度因子的依赖并形成尺度感知细化残差块，具体建立尺度感知过程关系表示为：

30、

31、其中fout表示输出的图像特征，表示尺度映射函数，表示卷积层的权重参数，fin表示输入的图像特征，表示卷积层中的偏置参数，i为预设正余弦编码向量。

32、又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

33、再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

34、由上述技术方案可知，本发明提供了一种连续尺度图像超分辨率重建方法。与现有技术相比本发明的具有以下优势：

35、1.本发明通过将尺度感知编码器显式地将尺度因子引入到深度网络模型中，能够建立上采样尺度因子与模型的依赖关系，方便多特征维度映射后实现连续尺度图像的高维映射。

36、2.本发明通过设置动态重建解码器，能够根据不同的上采样尺度因子，自适应地确立隐式神经表示重建图像的步数，实现了模型对不同上采样尺度因子的动态重建能力，降低了以往通过单步大尺度因子重建的任务难度。

37、3.本发明通过在解码器中引入动态重建机制，能够逐步提升重建图像来降低解码器对图像坐标进行像素映射时的学习成本，提高大尺度因子重建任务的重建效果。

38、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。