一种视频时空超分辨率重构方法、装置及存储介质与流程

本发明涉及视频处理，尤其涉及一种视频时空超分辨率重构方法、装置及存储介质。

背景技术：

1、时空视频超分辨率重构(spatial-temporal video super-resolutionreconstruction，stvsr)的研究具有很好的实用价值，其目标是同时提高视频帧序列的空间和时间分辨率。有效的重构算法可以重构出符合视觉感知、与真实情况相匹配的纹理信息，改善视觉质量或者辅助完成更精确的高级视觉任务。

2、传统的视频重构算法中出现了将整个过程割裂为时间重构和空间重构两个阶段，先利用帧插值(video frame interpolation，vfi)算法合成缺失的低分辨率(low-resolution，lr)帧，再使用视频超分辨率重构(video super-resolutionreconstruction，vsr)模型根据lr帧序列生成高分辨率(high-resolution，hr)帧序列。两阶段的重构方法会使得最终的stvsr模型体积较大，而且两阶段的重构方法忽略了vfi和vsr之间的内部相关性，这违背了视频信号的自然属性，导致最终的重构结果质量不高，而且视觉效果差。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题，提供一种视频时空超分辨率重构方法、装置及存储介质。

2、为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种视频时空超分辨率重构方法，包括：获取待重构视频在特征域的帧特征序列，将待重构视频的帧特征序列输入训练好的视频时空超分辨率重构模型，所述视频时空超分辨率重构模型输出恢复视频序列，所述视频时空超分辨率重构模型包括：初始特征提取模块，用于提取待重构视频每帧的初始特征，记为奇数帧初始特征；双向对齐模块，基于相邻奇数帧初始特征生成该相邻奇数帧初始特征的待插值中间帧初始特征，将待插值中间帧初始特征记为偶数帧初始特征；k1个级联的基于时空信息的特征提取与融合模块，奇数帧初始特征和偶数帧初始特征同时输入k1个级联的基于时空信息的特征提取与融合模块获得每帧对应的深层特征，基于时空信息的特征提取与融合模块包括依次连接的时空修正模块和k2个级联的残差块；k1和k2均为正整数；重构层，对所有帧的深层特征进行恢复处理获得恢复视频序列。

3、为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种基于本发明第一方面所述的视频时空超分辨率重构方法的装置，包括：获取模块，用于获取待重构视频在特征域的帧特征序列；重构模块，设置有训练好的视频时空超分辨率重构模型，将待重构视频的帧特征序列输入训练好的视频时空超分辨率重构模型获得恢复视频序列。

4、为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如本发明第一方面所述的视频时空超分辨率重构方法。

5、本发明有益技术效果：本申请的视频时空超分辨率重构模型中将待重构视频的所有帧设定为奇数帧，采用双向对齐模块在每对相邻奇数帧间生成待插值的偶数帧，双向对齐模块包含一个前向对齐过程和一个后向对齐过程，是考虑了视频序列倒放时也可以为重构提供反向运动过程的信息，双向对齐过程可以使重构的高帧率视频在时间维度表现得更自然，相邻奇数帧间(即待重构视频的相邻帧间)插入单帧，初步完成了特征级帧率提升，为后续基于时空信息的特征提取与融合模块重构高帧率视频做好准备；基于时空信息的特征提取与融合模块用时空修正策略挖掘帧序列之间的时空相关性，再稠密连接若干残差块进一步提取特征获得深层特征，其继续利用相邻帧的时空信息进行时空修正完成特征的细化与校正，获得了更加平滑、自然的重构效果。本申请的视频时空超分辨率重构模型在挖掘帧间信息时既使用双向对齐又在后续基于时空信息的特征提取与融合模块中对时间信息加以处理，与传统的先插帧、再重构的两阶段过程相比，该模型更加轻盈和灵活。

技术特征：

1.一种视频时空超分辨率重构方法，其特征在于，包括：

2.如权利要求1所述的视频时空超分辨率重构方法，其特征在于，所述时空修正模块包括：

3.如权利要求2所述的视频时空超分辨率重构方法，其特征在于，时间修正块包括：

4.如权利要求2或3所述的视频时空超分辨率重构方法，其特征在于，空间修正块包括：

5.如权利要求1或2或3所述的视频时空超分辨率重构方法，其特征在于，所述双向对齐模块包括前向对齐子模块、后向对齐子模块和融合子模块，通过前向对齐子模块对相邻奇数帧的初始特征进行前向对齐获得前向对齐特征，通过后向对齐子模块对相邻奇数帧的初始特征进行后向对齐获得后向对齐特征，通过融合子模块将前向对齐特征和后向对齐特征融合获得该相邻奇数帧的待插值中间帧初始特征，即获得位于该相邻奇数帧之间的偶数帧的初始特征。

6.如权利要求5所述的视频时空超分辨率重构方法，其特征在于，前向对齐子模块包括：

7.如权利要求6所述的视频时空超分辨率重构方法，其特征在于，扩大感受野模块包括：

8.如权利要求4所述的视频时空超分辨率重构方法，其特征在于，所述双向对齐模块包括前向对齐子模块、后向对齐子模块和融合子模块，通过前向对齐子模块对相邻奇数帧的初始特征进行前向对齐获得前向对齐特征，通过后向对齐子模块对相邻奇数帧的初始特征进行后向对齐获得后向对齐特征，通过融合子模块将前向对齐特征和后向对齐特征融合获得该相邻奇数帧的待插值中间帧初始特征，即获得位于该相邻奇数帧之间的偶数帧的初始特征。

9.一种基于权利要求1-8之一所述视频时空超分辨率重构方法的装置，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8中任一项所述的视频时空超分辨率重构方法。

技术总结
本发明提供了一种视频时空超分辨率重构方法、装置及存储介质。超分辨率重构方法包括：获取待重构视频在特征域的帧特征序列，将待重构视频的帧特征序列输入训练好的视频时空超分辨率重构模型输出恢复视频序列，视频时空超分辨率重构模型包括：初始特征提取模块；双向对齐模块，基于相邻奇数帧初始特征生成该相邻奇数帧初始特征的待插值中间帧初始特征；基于时空信息的特征提取与融合模块，包括依次连接的时空修正模块和k<subgt;2</subgt;个级联的残差块；重构层，恢复视频序列。采用双向对齐模块在每对相邻奇数帧间生成待插值的偶数帧，利用相邻帧的时空信息进行时空修正完成特征的细化与校正，获得了更加平滑、自然的重构效果，且模型更加轻盈和灵活。

技术研发人员：朱冬,方向明,宋雯,唐国梅,张建,张丹,仲元红
受保护的技术使用者：七腾机器人有限公司
技术研发日：
技术公布日：2024/1/14