一种基于参考图像的红外图像超分辨率重建方法

本发明涉及计算机视觉中的红外图像超分，具体为一种基于参考图像的红外图像超分辨率重建方法。

背景技术：

1、红外图像可在黑暗或恶劣环境下进行有效的监测与识别，但红外图像存在像素低、质量差的问题，受制于红外镜头的成像原理，使用超分辨率重建技术可以有效提高红外图像的质量，相关人员可以将高质量红外图像用于分割、检测等后续任务中。然而，红外图像超分辨率重建在图像复杂的区域的效果不尽人意且会产生伪影，最近的研究通过自注意力网络将可见光图像的高频信息提供给低分辨率红外图像，获得了更好的超分辨率重建效果并消除了伪影。但这种方法在参考图像特征匹配阶段对所有特征都使用相同且大量的计算资源，导致计算量过大，复杂区域重建效果却仍有不足。因此设计一种基于参考图像的红外图像超分辨率重建方法及系统具有极大研究意义。

2、中国专利公开号为“cn117495680a”，名称为“基于特征融合transformer的多对比度核磁共振图像超分辨率方法”，该方法通过双域特征提取模块提取低分辨率图像特征，用transformer将低分辨率图像特征与多对比度核磁共振图像深层融合并输出重建后的高分辨率图像；该方法的得到的图像在复杂区域的重建效果不佳，且计算量较大，低频信息重建也占用了较大的计算资源；因此我们提出了一种基于参考图像的红外图像超分辨率重建方法及系统用以解决上述问题。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于参考图像的红外图像超分辨率重建方法及系统，将低分辨率图像进行区域划分，用二元掩码标记复杂区域与简单区域位置，在复杂区域将参考图像的高频信息补充至低分辨率图像，简单区域使用残差网络超分辨率重建，解决了计算资源浪费和复杂区域计算量不足的问题。

3、(二)技术方案

4、本发明为了实现上述目的具体采用以下技术方案：

5、一种基于参考图像的红外图像超分辨率重建方法，包括如下步骤，

6、步骤1，数据集预处理：准备红外与可见光相同场景数据集，将红外图像dde增强，提高对比度；将红外与可见光图像配对后调整图像大小并将图像数据增广；

7、步骤2，构建网络模型：整个网络包括掩码标记模块、特征匹配模块、特征对齐模块、特征融合模块和残差模块；

8、步骤3，训练网络模型：将步骤1中准备的数据集输入到步骤2构建的网络模型中进行训练；

9、步骤4，设计损失函数：通过将损失函数最小化得到一个最佳的重建图像效果，保存模型参数；

10、步骤5，保存模型：将模型参数固化，后续需要对红外图像超分辨率重建时，将低分辨率红外图像和高分辨率可见光图片同时输入至网络中即可获得高分辨率的红外图像；

11、进一步地，所述步骤1中数据集使用fliradas与llvip数据集；从中挑选部分图像对，进行粗配准；

12、进一步地，所述步骤1中数据增广方式包括图像平移、图像旋转、图像缩放，所有变换中心为图像中心；

13、进一步地，所述步骤2中，掩码标记模块将图像划分后进行下采样，对图像进行偏移量计算，通过gumble softmax计算划分后图像各区域的二元掩码，将二元掩码的标记值插入图像各区域的特征中，将图像上采样后重复之前的操作，通过对比各区域两次掩码差值确定简单区域与复杂区域的边界，将生成的掩码值赋给各区域的特征向量中，从而将图像划分为简单区域与复杂区域两个部分将简单区域用残差网络进行训练，复杂区域使用参考图像特征融合的方式精细重建；

14、进一步地，所述步骤2中，参考图像特征融合部分包括特征匹配模块、特征对齐模块和特征融合模块；

15、所述特征匹配模块内置有一种新型的transformer参考图像匹配方法，将成对带有掩码值的红外图像和参考图像对应的1×、2×和4×的特征向量通过掩码检测，其中q为对应倍数的红外图像特征向量，k为参考图像下采样上采样后的特征向量，v为参考图像的特征向量；q、k、v通过掩码检测后对应的qt、kt、vt分别为通过掩码标记重新筛选排列的特征向量，为参考图像经过下采样上采样后通过膨胀卷积提取的特征向量；将与qt和kt与qt的特征向量分别进行相关性计算并通过不同的权重a与b将计算结果加权，并取其相关性最大值对应区域的vt作为红外图像该区域的参考图像，将vt的特征向量与qt的特征向量通道拼接共同输入到特征对齐模块中；

16、所述特征对齐模块通过多尺度信息提取和扩张卷积将不同放缩倍数的参考图像特征与低分辨率图像位置匹配，并减少特征映射的通道，使用可变形卷积避免特征位置偏移导致重建图像出现伪影，并筛选最为合适的参考图像特征变量对输出到特征融合模块；

17、所述特征融合模块将1×的参考图像纹理特征通过权重参数β和γ融合进1×的红外图像中，将融合的图像上采样后与2×的参考图像纹理特征融合，再将融合的图像再次上采样后与4×的参考图像纹理特征融合，重建出复杂区域的高分辨率图像；

18、进一步地，所述步骤2中的掩码检测需进行预训练，将配准的红外可见光图像数据集进行掩码标记，将可见光图像的掩码值与同区域红外图像掩码值作差后，这些数据合并拟合为正态分布函数，掩码检测通过调用该函数，在后续的模块中对可见光图像各区域按照重排列，优先对正态分布值更高的可见光图像检索，并设置一种自适应的可调节阈值，放弃对正态分布两端的区域进行后续transformer的纹理匹配检索，节约计算资源；

19、进一步地，所述步骤4采用l1损失、感知损失、对抗损失。

20、一种基于参考图像的红外图像超分辨率重建终端设备，包括处理器、储存器、通信端口以及储存于存储器由处理器执行的计算机程序，执行所述计算机程序时实现如权利要求1至8中任意一项所述的图像超分辨率重建方法。

21、一种基于参考图像的红外图像超分辨率重建可读存储介质，所述计算机可读介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利1至9中任意一项的图像超分辨率重建方法。

22、(三)有益效果

23、与现有技术相比，本发明提供了一种基于参考图像的红外图像超分辨率重建方法及系统，具备以下有益效果：

24、本发明，通过提出了一种基于参考图像的红外图像超分辨率重建方法，通过掩码标记的方式将不同复杂度的区域分类，将整体图像划分为复杂区域与简单区域，复杂区域采用transformer自注意力的计算方式，将高分辨率的可见光图片纹理信息融合到低分辨率的红外图片中，从而提高复杂区域的超分重建效果，区别于传统transformer，本网络transformer只挑选红外图像复杂区域对参考图像复杂区域进行纹理匹配，通过内嵌预训练的检索函数重新排列计算区域，并采用局部检索匹配的方式，降低transformer的匹配计算量，对于简单区域，使用残差网络，在保证重建效果的同时，降低了自注意力计算机制冗余计算带来的超高计算量。

25、本发明，通过设计一种特征对齐模块，感知参考图像特征与低分辨率图像特征之间的像素运动变化，增大感受野，并保留了特征的边界细节，其中的可变形卷积采用动态权值对特征进行自适应采样，使不同放大倍数的特征可以自动对齐，避免了可见光图像补充红外图像细节时，因特征未对齐导致重建图像出现伪影。

26、本发明，通过设计一种新的特征融合模块，将相同位置临时对齐的不同放大倍数参考特征多段融合，防止对应的互补信息随训练被逐渐削弱，利用高倍率特征细化低倍率特征，在不需要额外参数的情况下学习lr到hr图像空间的复杂非线性映射，提高图像复杂区域的重建效果。