基于频率分解与重启机制的图像超分辨率重建方法与系统

本发明涉及计算机图像处理，特别涉及一种基于频率分解与重启机制的图像超分辨率重建方法与系统。

背景技术：

1、单图像超分辨率是计算机视觉中一个经典的逆问题，即通过给定的低分辨率图像来推断高分辨率图像。该技术可显著提升其他高级视觉任务的性能，例如分类，识别等。然而，在图像超分辨率重建中，我们需要从低分辨率图像中恢复出与之对应的高分辨率图像。但是，由于低分辨率图像中的信息被模糊和丢失，高分辨率图像的恢复并不唯一，同时还受到噪声等因素的影响，因此这是一个病态问题。

2、经过几十年的发展，图像超分辨率重建取得了巨大的进步，与传统的通过手工设计或浅层特征学习引入分布先验的模型相比，具有较强特征表示的端到端深度模型显著推动了研究进展的步伐。特别是随着深度卷积神经网络的兴起，各种基于卷积神经网络的框架被提出，主要用于缓解梯度问题并增加模型容量。

3、在该方向早期研究中，研究人员设计特定网络架构提高模型性能，例如：残差学习和稠密连接等。这些基于深度卷积神经网络的方法通过黑盒训练的方式隐式地学习低分辨率输入和高分辨率输出之间的映射函数，因此设计的模型在追求更深网络的高表征能力的同时保证训练有序进行。

4、然而，广泛使用的小卷积核限制了卷积神经网络的感受野。此外，在测试阶段，卷积核的参数与输入无关，这削弱了模型的泛化性，虽然有人提出了一些方法来解决这些缺点，如扩张卷积、通道注意力、空间注意力、动态卷积，但较差的卷积神经网络基础架构是对最终性能的拖累。

5、最近，受到自然语言处理领域的推动，基于transformer的骨干架构在大多数计算机视觉任务中表现出优于卷积的性能。transformer架构可以用内容感知的自注意力机制来模拟随机依赖关系，这很好地解决了卷积神经网络的内在缺陷。第一个用于计算机视觉领域的transformer模型，通过将图像块建模为token，这是为高级视觉任务设计的，并不能完全适用于底层视觉任务。此外，由于该模型具有token个数的平方级的复杂度，因此使用全局的自注意力机制处理高分辨率图像的transformer模型效率很低。为了将复杂度降低到线性，所以本发明使用了一种基于局部窗口的自注意力机制来构造单图像超分辨率的主干网络。然而，这一主干网络存在两个方面的问题，一方面有限的感受野会限制模型的表现，另一方面基于窗口的自注意力机制带来的复杂度是窗口尺寸的平方级。因此，迫切需要在基于窗口的自注意力机制的框架下设计一种有效的变体在不产生过高的复杂度的同时增加感受野。

技术实现思路

1、鉴于上述状况，本发明的主要目的是为了提出一种基于频率分解与重启机制的图像超分辨率重建方法与系统，以解决上述技术问题。

2、本发明提供了一种基于频率分解与重启机制的图像超分辨率重建方法，所述方法包括如下步骤：

3、步骤1、提取低分辨率图像的浅层特征，将浅层特征动态的分解为不同的频率分量；

4、步骤2、将所有频率分量分别利用同一尺度内的自注意力和不同尺度间的交互进行更新和再分配，得到新的不同频率分量，将新的不同频率分量进行融合，得到融合后的特征；

5、步骤3、以所得融合后的特征作为输入数据输入步骤2中进行循环操作，将每次操作步骤2所得融合后的特征进行拼接，得到最终融合特征；

6、步骤4、将最终融合特征进行图像重建，得到最终的图像残差，将低分辨率图进行双三次插值以得到高分辨率图，将最终的图像残差与高分辨率图进行叠加以得到超分辨率重建的图像。

7、本发明还提供了一种基于频率分解与重启机制的图像超分辨率重建系统，所述系统包括：

8、浅层特征提取模块，用于提取输入低分辨率图像的浅层特征；

9、特征细化模块，用于将浅层特征分解为频率分量，并所有频率分量分别利用同一尺度内的自注意力和不同尺度间的交互进行更新和再分配，得到新的不同频率分量，将新的不同频率分量进行融合，得到融合后的特征；

10、以所得融合后的特征作为输入数据进行循环操作，将每次操作所得融合后的特征进行拼接，得到最终融合特征；

11、图像重建模块，用于将融合后的特征进行图像重建，得到最终的图像残差，并将低分辨率图进行双三次插值以得到高分辨率图，将最终的图像残差与高分辨率图进行叠加以得到超分辨率重建的图像。

12、本发明以动态频率分解实现所有频率分量分别利用同一尺度内的自注意力和不同尺度间的交互不断地更新和再分配，通过频率重启机制以集成学习的方式进一步提升模型对频率分解的鲁棒性。

13、本发明的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

技术特征：

1.一种基于频率分解与重启机制的图像超分辨率重建方法，其特征是，所述方法包括如下步骤：

2.根据权利要求1所述的基于频率分解与重启机制的图像超分辨率重建方法，其特征是，可学习参数存在如下关系式：

3.根据权利要求1所述的基于频率分解与重启机制的图像超分辨率重建方法，其特征是，在步骤2中，将浅层特征动态的分解为不同的频率分量的方法具体为：

4.根据权利要求3所述的基于频率分解与重启机制的图像超分辨率重建方法，其特征是，浅层特征分解为高频特征与低频特征所对应的生成表达式为：

5.根据权利要求4所述的基于频率分解与重启机制的图像超分辨率重建方法，其特征是，新的不同频率分量包括新的高频特征和新的低频特征，新的高频特征存在如下关系式：

6.根据权利要求5所述的基于频率分解与重启机制的图像超分辨率重建方法，其特征是，步骤2中，融合后的特征存在如下关系式：

7.根据权利要求6所述的基于频率分解与重启机制的图像超分辨率重建方法，其特征是，步骤2中，将所有频率分量分别利用同一尺度内的自注意力和不同尺度间的交互进行更新和再分配，得到新的不同频率分量，将新的不同频率分量进行融合，得到融合后的特征的方法具体包括：

8.根据权利要求1所述的基于频率分解与重启机制的图像超分辨率重建方法，其特征是，训练数据的构建方法包括如下步骤：

9.一种基于频率分解与重启机制的图像超分辨率重建系统，其特征是，所述系统包括：

技术总结
本发明提出一种基于频率分解与重启机制的图像超分辨率重建方法与系统，该方法包括提取低分辨率图像的浅层特征，将浅层特征动态的分解为不同的频率分量，将所有频率分量分别利用同一尺度内的自注意力和不同尺度间的交互进行更新和再分配，得到新的不同频率分量，将新的不同频率分量进行融合，并再循环进行分解、交互再分配和融合操作，最后进行拼接并进行图像重建，得到最终的图像残差，将低分辨率图进行上采样以得到高分辨率图，将最终的图像残差与高分辨率图进行叠加以得到超分辨率重建的图像。本发明以动态频率分解实现所有频率分量分别利用同一尺度内的自注意力和不同尺度间的交互、更新和再分配，提升模型对频率分解的鲁棒性。

技术研发人员：左一帆,尧文浩,胡瑜祺,方玉明,鄢杰斌,刘扬
受保护的技术使用者：江西财经大学
技术研发日：
技术公布日：2024/1/14