一种应用于复杂场景下的视频超分辨率重建方法

本发明属于视频复原处理，特别涉及一种应用于复杂场景下的视频超分辨率重建方法。

背景技术：

1、随着5g时代的到来和电子技术的进步，有线网络和无线网络传输速度的急剧增长。越来越多的视频网站针对新上架的影视剧集提供了更高清晰度的播放选项，但旧有的电影剧集无法适配最新的清晰度选项，远远落在了当下主流清晰度标准。

2、其中经典老电影多为胶片拍摄而成，经过翻录数字化后的清晰度难以满足新时代的要求，近年来国家为保护和传承老电影遗产的重视程度不断提高，支持电影机构和文化机构通过视频超分辨率技术对老电影进行处理，从而提升其清晰度和细节展现。为解决老电影剧集清晰度较低问题，当下一般采用两种解决方案，一是对该电影进行人工逐帧修复重制，这一方法虽然效果较好，但修复耗时较长，人力成本较高。另外一个方向是借助图像处理算法将图像放大的同时对图像细节进行增强和优化放大，即超分辨率重建技术。这种技术主要利用成熟的算法对于输入图像(视频)进行处理，实现将模糊的低分辨率图像转化为细节丰富质量较高的高分辨率图像，有效节约成本，提高清晰度修复速度。从降质的低分辨率(low resolution,lr)图像或视频帧中重建出对应清晰的高分辨率(highresolution,hr)图像或视频帧，即超分辨率重建技术。

3、但当前视频超分辨率重建技术还有待进一步深化，目前该领域还存在着视频帧特征未能充分利用，对于复杂退化场景下的视频复原效果不够好等问题。通过对以上问题的研究可以弥补当前视频超分辨率应用研究的不足，深化解决旧电影剧集超分辨率中的相关问题。

4、在视频超分辨率重建任务中，高分辨率图像与低分辨率图像之间的差异大部分是边缘和纹理信息，而视频超分辨率任务相比图像超分辨率恢复的着重点在于如何通过良好的网络设计，从帧序列中提取到足够多的图像高频信息，所以针对帧序列特征提取的设计存在两种不同的方案。

5、滑动窗口框架是视频超分辨力早期时流行的解决方案，其中视频中的每一帧都使用来自短时间窗口的帧进行恢复。尽管输入由许多连续的视频帧组成，但滑动窗口相当于将每个视频帧的恢复视为完整视频序列的单独任务，视频复原效果不够理想。与滑动窗口框架相比，循环框架旨在通过传播潜在特征来利用长期相互依赖性，但循环网络的效果高度依赖于视频序列的长度，这对网络训练和应用条件带来了挑战。

6、在2021年，omniscient video super-resolution一文中作者试图整合两个框架的思想，采用了基于progressive fusion video super-resolution network viaexploiting non-local spatio-temporal correlations一文中使用到的渐进式融合模块作为网络特征复原的主要结构。虽然它在特定的数据集上运行良好，但在处理大型运动视频时，由于缺乏对齐模块，结果可能会有所下降。所以针对复杂场景下进行视频超分辨率的网络要么具有大量参数，要么恢复结果不是很有希望。

技术实现思路

1、为了克服上述现有技术的缺点，本发明的目的在于提供一种应用于复杂场景下的视频超分辨率重建方法，使用注意力机制结合滑动窗口框架和循环框架两种思想，更有效地针对复杂超分场景下的视频帧序列特征进行复原。

2、为了实现上述目的，本发明采用的技术方案是：

3、一种应用于复杂场景下的视频超分辨率重建方法，包括如下步骤：

4、步骤1，对待处理的帧序列进行特征提取，送入预融合模块进行预处理和融合操作，所述待处理的帧序列由低分辨率视频帧组成；

5、步骤2，将预处理和融合操作后得到的帧序列送入多注意力机制双向传播对齐模块进行特征对齐，然后利用多注意力机制设计对双向传播中各单元的特征进行特征加深；所述多注意力机制双向传播对齐模块包含若干双向循环单元，每个双向循环单元由一个正向传播模块和一个反向传播模块构成，正向传播是指从低分辨率输入图像生成高分辨率输出图像的过程，反向传播是指从高分辨率估计输出图像反向生成低分辨率输入图像的过程，反向传播依赖正向传播的结果来计算误差和梯度。它通过减小损失函数来迭代更新网络参数,使网络预测输出不断逼近真实输出，正向传播计算视频帧的预测输出,反向传播则将输出误差回传,更新网络参数以获得更好的视频超分辨结果；

6、步骤3，将特征加深和融合得到的帧序列送入第一重建模块进行组合重建；

7、步骤4，组合重建后的帧序列送入二阶双向传播对齐模块进行二次特征对齐，然后送入第二重建模块进行重建；

8、步骤5，像素重组模块对步骤4所得特征图结果进行放大，得到超分辨率后的高分辨率特征图；

9、步骤6，将所述待处理的帧序列对应的高分辨率视频帧按时间排序，对步骤3和步骤4重建后的帧序列分别进行双三次插值上采样操作，与步骤5输出的高分辨率特征图进行像素相加操作，最终得到超分辨率后的超分辨率视频帧序列。

10、与现有技术相比，本发明的有益效果是：

11、本发明采用预融合模块和多注意力机制设计，其中预融合模块通过类似滑动窗口概念，对该窗口内的临近帧互相进行预融合，清理伪影特征和噪点特征，并增强每帧在该窗口内的帧序列短期特征，从而提高多视频帧序列的恢复性能，提高对长短期帧序列特征的敏感性。

12、本发明为双向传播模块中的特征融合过程添加了多注意力机制，提出了多注意力机制双向传播对齐模块，使得网络能够以自适应地方式来获取序列中的重要特征并捕获特征中的长期关系，从而增强网络对视频帧序列中的长期特征的复原效果，平衡短期特征影响。

13、本发明在网络的双向循环过程中设计了两种可形变卷积对齐方式，在多注意力机制双向传播对齐模块中，即第一次双向传播时使用光流网络对帧序列进行计算并给出初步对齐从而引导可形变卷积对特征图进行操作，随后的二阶双向传播对齐模块在多注意力机制双向传播对齐模块中对齐数据的基础上，进行训练和可形变卷积对齐，从而能够更精准地对帧内特征进行对齐，同时使网络中的双向循环传播模块更易训练，对齐速度更快，这样的设计提高了网络训练稳定性，同时加快了网络推理速度。

14、本发明在数据运算量和参数量降低的同时提高了该网络对复杂视频场景下的超分效果，达到了一个较好的超分辨率视频帧重建准确性。

技术特征：

1.一种应用于复杂场景下的视频超分辨率重建方法，其特征在于，包括如下步骤：

2.根据权利要求1所述应用于复杂场景下的视频超分辨率重建方法，其特征在于，所述预处理和融合操作，采用滑动窗口，对窗口内的临近帧进行预融合，其中，对于第i帧，分别采集与其前后相邻的j帧，各自进行去噪与预处理后将各帧对齐融合。

3.根据权利要求2所述应用于复杂场景下的视频超分辨率重建方法，其特征在于，采用光流引导的可形变卷积对齐方法将各帧特征进行对齐融合。

4.根据权利要求1所述应用于复杂场景下的视频超分辨率重建方法，其特征在于，所述多注意力机制双向传播对齐模块采用光流引导的可形变卷积对齐方法对不同帧进行特征对齐，所述二阶双向传播对齐模块采用二阶引导的可形变卷积对齐方法对特征图进行二次特征对齐。

5.根据权利要求4所述应用于复杂场景下的视频超分辨率重建方法，其特征在于，所述多注意力机制双向传播对齐模块，在一个双向循环单元中，以第i帧为待重建帧，以其前后相邻的j帧作为参考帧；利用正向传播模块，将第i帧和其相邻的前j帧利用光流引导的可形变卷积对齐方法得到特征估计图，利用反向传播模块，将第i帧和其相邻的后j帧利用光流引导的可形变卷积对齐方法得到二次特征估计图；将所述特征估计图、所述二次特征估计图和所述第i帧进行融合，得到第i帧的对齐视频帧，同时在双向传播过程中，使用多注意力机制设计，对当前传播模块中的特征进行加强和筛选。

6.根据权利要求5所述应用于复杂场景下的视频超分辨率重建方法，其特征在于，所述多注意力机制包括通道注意力机制和空间注意力机制，两种注意力机制均布置于正向传播模块和反向传播模块；所述通道注意力机制和空间注意力机制串行排列，对所述特征估计图的特征融合过程进行多注意力机制处理，对所述二次特征估计图的特征融合过程进行多注意力机制处理。

7.根据权利要求5所述应用于复杂场景下的视频超分辨率重建方法，其特征在于，所述多注意力机制双向传播对齐模块中，对齐算法如下：

8.根据权利要求1所述应用于复杂场景下的视频超分辨率重建方法，其特征在于，所述二阶双向传播对齐模块中，对齐算法如下：

9.根据权利要求1所述应用于复杂场景下的视频超分辨率重建方法，其特征在于，所述步骤5，像素重组模块针对所有帧特征进行复原操作，使用基于特征抽取和亚像素卷积的方法扩大特征图，将特征图从低分辨空间转换到高分辨空间。

10.根据权利要求9所述应用于复杂场景下的视频超分辨率重建方法，其特征在于，所述亚像素卷积的步长其中r是上采样的倍数。

技术总结
一种应用于复杂场景下的视频超分辨率重建方法，对待处理的帧序列进行特征提取，送入预融合模块进行预处理和融合操作，得到的帧序列送入多注意力机制双向传播对齐模块进行特征对齐，利用多注意力机制对双向传播中各单元的特征进行特征加深，得到的帧序列进行组合重建，再送入二阶双向传播对齐模块进行二次特征对齐，再次进行重建；对所得特征图结果进行放大，得到高分辨率特征图；将待处理的帧序列对应的高分辨率视频帧按时间排序，对两次重建后的帧序列分别进行双三次插值上采样操作，与高分辨率特征图进行像素相加操作，最终得到超分辨率后的超分辨率视频帧序列。本发明解决了复杂超分场景下原视频帧带来的伪影和模糊问题。

技术研发人员：宋建锋,胡国正,谢琨,张文英,韩露
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/1/15