迭代交互参考式立体图像超分辨率重建方法及系统

本发明涉及超分辨率图像重建，特别是涉及迭代交互参考式立体图像超分辨率重建方法及系统。

背景技术：

1、对于深度估计任务来说，实际应用过程中双目立体图像仍是重要的信息载体，如何获得高分辨率双目立体图像成为学术界和产业界关注的重要问题，立体图像超分辨率(ssr)也引起了越来越多的关注。现有大多数ssr方法主要关注低分辨率(low-resolution,lr)空间中的视图间对应关系，而忽略了高质量超分图像之间的参考性指导作用。

2、总的来说，现有ssr工作可分为两条主线：1)通过视差注意机制探索lr空间的像素级对应匹配，其缺点是很少关注高分辨率(high-resolution,hr)对应。这可能会导致lr图像中的大量细节丢失，从而限制了跨视角信息的利用。此外，lr图像本身的退化(例如噪声和模糊)也会严重影响匹配精度。2)引入额外的视差图作为先验，这主要依赖于额外的深度估计，导致网络复杂而臃肿。同时不准确的先验深度估计会对对应匹配产生不利影响。

技术实现思路

1、为了解决现有技术的不足，本发明提供了迭代交互参考式立体图像超分辨率重建方法及系统；

2、一方面，提供了迭代交互参考式立体图像超分辨率重建方法，包括：

3、获取待重建的两幅图像；所述待重建的两幅图像，包括：低分辨率左视图立体图像和低分辨率右视图立体图像；

4、将待重建的两幅图像，输入训练后的图像重建模型中，得到高分辨率左视图立体图像和高分辨率右视图立体图像；

5、其中，训练后的图像重建模型，采用若干个信息感知模块对待重建的两幅图像提取出视图内的特征；所述模型，还基于像素匹配模块和图块匹配模块来模拟视图间的依赖关系；所述像素匹配模块，形成内部交叉和内部迭代；所述图块匹配模块，生成匹配字典；将匹配字典投射到高分辨率空间，通过利用两个视图的特征图作为相互参照，进行高分辨率视图信息交互；所述模型，还通过监督侧输出调制器，对视图的特征图进行重新加权，实现图块级匹配。

6、另一方面，提供了迭代交互参考式立体图像超分辨率重建系统，包括：

7、获取模块，其被配置为：获取待重建的两幅图像；所述待重建的两幅图像，包括：低分辨率左视图立体图像和低分辨率右视图立体图像；

8、重建模块，其被配置为：将待重建的两幅图像，输入训练后的图像重建模型中，得到高分辨率左视图立体图像和高分辨率右视图立体图像；

9、其中，训练后的图像重建模型，采用若干个信息感知模块对待重建的两幅图像提取出视图内的特征；所述模型，还基于像素匹配模块和图块匹配模块来模拟视图间的依赖关系；所述像素匹配模块，形成内部交叉和内部迭代；所述图块匹配模块，生成匹配字典；将匹配字典投射到高分辨率空间，通过利用两个视图的特征图作为相互参照，进行高分辨率视图信息交互；所述模型，还通过监督侧输出调制器，对视图的特征图进行重新加权，实现图块级匹配。

10、再一方面，还提供了一种电子设备，包括：

11、存储器，用于非暂时性存储计算机可读指令；以及

12、处理器，用于运行所述计算机可读指令，

13、其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。

14、再一方面，还提供了一种存储介质，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。

15、再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。

16、上述技术方案具有如下优点或有益效果：

17、(1)本发明提出了基于迭代交互参考的立体图像超分辨率模型(reference-basediterative interaction for stereo image super-resolution,riissr)，它利用基于参照的像素与图块迭代匹配(称为p2-matching)来建立ssr的跨视图和跨分辨率对应关系。具体来说，本发明首先设计了并行级联的信息感知块(ipb)，以提取不同视图的分层上下文特征。在两个并行ipb之间嵌入像素匹配，以利用低分辨率空间中的跨视图交互。然后，利用超分辨率立体图像对作为相互参照，执行迭代图块匹配，利用跨尺度图块递归特性学习高分辨率(hr)对应关系，以实现ssr性能。此外，本发明还引入了监督侧输出调制器(ssom)来重新加权局部视图内特征并生成中间超分辨率图像，从而无缝衔接两种匹配机制。四个数据集上的实验结果证明了所提riissr网络的优越性能。

18、(2)为实现ssr任务，提出了基于迭代交互参考的立体图像超分辨率网络(riissr)，为立体图像超分辨率重建在相互迭代的参考模式中实现强大的跨视图交互提供了一种新的范式。

19、(3)提出了p2-matching机制，迭代实现像素级匹配和图块级匹配，以学习跨视图和跨分辨率的对应关系。同时，创新性地构建了跨视角匹配字典，利用跨尺度图块递归特性进行图块匹配。

20、(4)提出了信息感知模块ipb将通道注意力、大核注意力和特征重分配统一起来，以提取信息丰富的视图内的层次化特征。此外，还设计了具有高分辨率立体图像真值监督功能的ssom，在像素级匹配和图块级匹配之间架起了桥梁，从而提高了超分辨率性能。

技术特征：

1.迭代交互参考式立体图像超分辨率重建方法，其特征是，包括：

2.如权利要求1所述的迭代交互参考式立体图像超分辨率重建方法，其特征是，所述信息感知模块，用于：

3.如权利要求1所述的迭代交互参考式立体图像超分辨率重建方法，其特征是，所述像素匹配模块，用于：

4.如权利要求1所述的迭代交互参考式立体图像超分辨率重建方法，其特征是，所述图块匹配模块，用于：将左、右视图特征均展开为特征图块；

5.如权利要求4所述的迭代交互参考式立体图像超分辨率重建方法，其特征是，所述字典，构建过程包括：

6.如权利要求1所述的迭代交互参考式立体图像超分辨率重建方法，其特征是，所述监督侧输出调制器，用于：

7.迭代交互参考式立体图像超分辨率重建系统，其特征是，包括：

8.一种电子设备，其特征是，包括：

9.一种存储介质，其特征是，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-6任一项所述方法的指令。

10.一种计算机程序产品，其特征是，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述权利要求1-6任一项所述的方法。

技术总结
本发明公开了迭代交互参考式立体图像超分辨率重建方法及系统，方法包括：获取待重建的两幅图像；将待重建的两幅图像，输入训练后的图像重建模型中，得到高分辨率左视图立体图像和高分辨率右视图立体图像；其中，训练后的图像重建模型，采用若干个信息感知模块对待重建的两幅图像提取出视图内的特征；所述模型，还基于像素匹配模块和图块匹配模块来模拟视图间的依赖关系；所述像素匹配模块，形成内部交叉和内部迭代；所述图块匹配模块，生成匹配字典；将匹配字典投射到高分辨率空间，通过利用两个视图的特征图作为相互参照，进行高分辨率视图信息交互；所述模型，还通过监督侧输出调制器，对视图的特征图进行重新加权，实现图块级匹配。

技术研发人员：丛润民,盛荣晖,张敬林,张铭津,张伟
受保护的技术使用者：山东大学
技术研发日：
技术公布日：2024/8/26