一种基于时空特征的视频去冗余方法、装置及介质

本发明涉及视频编码领域，尤其是涉及一种基于时空特征的视频去冗余方法、装置及介质。

背景技术：

1、随着视频媒体的蓬勃发展和形式多样化，视频数据量呈现出爆炸性增长。为了应对日益庞大的视频传输与存储需求，研究人员近年来一直致力于视频编码技术的深入改进。然而，在网络带宽有限、存储容量受限的特定场合下，经过重建的视频质量往往难以达到人们的期望。因此，寻找一种既能有效降低带宽消耗，又不损害视频质量的高效视频压缩方法，已成为当下亟待解决的重要课题。

2、受深度学习显著成效的启迪，卷积神经网络(cnn)等学习型方法正日益广泛地应用于视频编码算法中，旨在提升编码效率。当前，基于深度学习的视频压缩方法可归纳为三大类别：其一，通过深度学习的方法优化传统视频编解码工具以提升编码效率，诸如帧内/帧间预测、运动补偿以及环路滤波等；其二，基于深度学习的后处理算法，该方法利用单帧或多帧信息来减少压缩过程中产生的伪影，进而提升视频质量；其三，基于重缩放的视频编码方法，该方法在编码前降低输入视频的空间分辨率，经过编解码器压缩后，在解码器端进行上采样重构，从而有效地提升压缩比，满足更高效率的存储和传输需求。但当前已提出的算法仍然存在以下不足：

3、1、当前算法以相同的方式处理不同帧类型的视频帧，未考虑不同帧类型的缩放特性。

4、2、当前算法没有考虑不同域下特征冗余间的相互作用。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于时空特征的视频去冗余方法、装置及介质。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于时空特征的视频去冗余方法，包括以下步骤：

4、获取包含关键帧和其余帧的连续帧组成的视频数据；将视频数据输入基于时空特征的去冗余网络模型；得到连续帧的编码结果；

5、基于时空特征的去冗余网络模型包括时空域去冗余网络和双三次插值滤波器，视频数据输入时空域去冗余网络对其余帧进行平滑处理，通过关键帧提取关键信息，得到处理结果，将处理结果输入双三次插值滤波器，双三次插值滤波器的输出为连续帧的编码结果。

6、进一步地，时空域去冗余网络包括空域去冗余网络和时域去冗余网络，空域去冗余网络包括特征提取模块和空域去冗余模块；时域去冗网络包括特征对齐模块和时域去冗余模块；特征提取模块的输入为关键帧和其余帧，输出至空域去冗余模块，空域去冗余模块将关键帧和其余帧的处理结果输出至特征对齐模块，并将关键帧的处理结果输入至双三次插值滤波器的输入端，特征对齐模块的输出进入时域去冗余模块，时域去冗余模块的输出为其余帧的时域压缩后特征，进入双三次插值滤波器的输入端。

7、进一步地，空域去冗余模块包括空域特征压缩部分和通道特征压缩部分，其中空域特征压缩部分包括依次连接的第一卷积层、实例归一化层、第一relu激活层、全连接层、第二relu激活层、第一softmax层和局部填充操作层，空域特征压缩部分的输出为各个通道的特征；通道特征压缩部分包括并联的第一支路和第二支路，还包括连接第一支路和第二支路的第二softmax层，各个通道的特征分别输入第一支路或第二支路，第一支路的输出包括第一中间数据和第一权重数据，第二支路的输出包括第二中间数据和第二权重数据，第一权重数据和第二权重数据按照权重进行通道拼接并输入第二softmax层得到拼接结果，拼接结果分别与第一中间数据和第二中间数据点乘后，相加得到通道压缩后的特征，将通道压缩后的特征分别输出至特征对齐模块和双三次插值滤波器的输入端。

8、进一步地，第一支路包括依次连接的第二卷积层、第三卷积层和第一全局平均池化层，第三卷积层的输出包括第一中间数据，第一全局平均池化层的输出包括第一权重数据；第二支路包括依次连接的第四卷积层、第五卷积层与分组卷积层并联结构和第二全局平均池化层，分组卷积层的输出包括第二中间数据，第二全局平均池化层的输出为第二权重数据。

9、进一步地，特征提取模块包括四个残差块，特征对齐模块包括3d卷积层、3×3卷积层和可变形卷积层。

10、进一步地，特征对齐模块的输出包括关键帧的对齐后数据和其余帧的对齐后数据，时域去冗余模块包括第三支路和第四支路，关键帧的对齐后数据和上一帧的时域压缩后的特征拼接后进入第三支路得到关键帧特征，其余帧的对齐后数据依次进入第四支路，每次得到当前帧的时域拼接特征，将当前帧的时域拼接特征和关键帧特征进行余弦相似度匹配得到相似度权重和与当前帧特征最相似的时域特征，根据相似度权重和与当前帧特征最相似的时域特征对当前帧特征进行调控，得到当前帧的时域压缩后的特征，将当前帧的时域压缩后的特征作为上一帧的时域压缩后的特征输入第三支路，直到所有其余帧依次得到对应的当前帧的时域压缩后的特征，并输出所有其余帧的时域压缩后的特征。

11、进一步地，第三支路包括依次连接的第六卷积层和第三relu激活层，第四支路包括依次连接的第七卷积层、第四relu激活层、第八卷积层和第五relu激活层和第九卷积层，相似度权重与第四relu激活层的输出点乘后输入第八卷积层，与当前帧特征最相似的时域特征与第五relu激活层的输出相加后输入第九卷积层，实现对当前帧特征进行调控。

12、进一步地，输入端的数量为n，关键帧记为it，连续帧记为it+i(i＝ia,……,ib)，其中a，b满足：b-a＝n，a≤0≤b。

13、本发明的第二方面，一种基于时空特征的视频去冗余方法装置，包括存储器、处理器，以及存储于存储器中的程序，处理器执行程序时实现如上任一的一种基于时空特征的视频去冗余方法。

14、本发明的第三方面，一种存储介质，其上存储有程序，程序被执行时实现如上任一的一种基于时空特征的视频去冗余方法。

15、与现有技术相比，本发明具有以下有益效果：

16、1)本发明通过空域去冗余网络对连续视频数据中的关键帧进行关键信息提取，通过时域去冗余网络对连续视频数据中的其余帧进行平滑处理，通过空域去冗余网络提取关键帧的关键信息，保留细节特征，分类处理不同类型的帧数据，利用时域间的相似信息、空域的细节信息来去除时空冗余，使得在保持图像精细纹理的同时最大化去除图像冗余，以生成一个更有紧凑的视频序列，减少编码码流。

17、2)通过对输入端数量进行扩展及序列调整，本发明能够改变为对关键帧的前序帧或后序帧或其组合进行处理，不局限于单向的处理过程。

技术特征：

1.一种基于时空特征的视频去冗余方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于时空特征的视频去冗余方法，其特征在于，所述时空域去冗余网络包括空域去冗余网络和时域去冗余网络，所述空域去冗余网络包括特征提取模块和空域去冗余模块；所述时域去冗网络包括特征对齐模块和时域去冗余模块；所述特征提取模块的输入为关键帧和其余帧，输出至空域去冗余模块，所述空域去冗余模块将关键帧和其余帧的处理结果输出至特征对齐模块，并将关键帧的处理结果输入至双三次插值滤波器的输入端，所述特征对齐模块的输出进入时域去冗余模块，所述时域去冗余模块的输出为其余帧的时域压缩后特征，进入双三次插值滤波器的输入端。

3.根据权利要求2所述的一种基于时空特征的视频去冗余方法，其特征在于，所述空域去冗余模块包括空域特征压缩部分和通道特征压缩部分，其中空域特征压缩部分包括依次连接的第一卷积层、实例归一化层、第一relu激活层、全连接层、第二relu激活层、第一softmax层和局部填充操作层，所述空域特征压缩部分的输出为各个通道的特征；所述通道特征压缩部分包括并联的第一支路和第二支路，还包括连接第一支路和第二支路的第二softmax层，所述各个通道的特征分别输入第一支路或第二支路，所述第一支路的输出包括第一中间数据和第一权重数据，所述第二支路的输出包括第二中间数据和第二权重数据，所述第一权重数据和第二权重数据按照权重进行通道拼接并输入第二softmax层得到拼接结果，所述拼接结果分别与第一中间数据和第二中间数据点乘后，相加得到通道压缩后的特征，将通道压缩后的特征分别输出至特征对齐模块和双三次插值滤波器的输入端。

4.根据权利要求3所述的一种基于时空特征的视频去冗余方法，其特征在于，所述第一支路包括依次连接的第二卷积层、第三卷积层和第一全局平均池化层，所述第三卷积层的输出包括第一中间数据，所述第一全局平均池化层的输出包括第一权重数据；所述第二支路包括依次连接的第四卷积层、第五卷积层与分组卷积层并联结构和第二全局平均池化层，所述分组卷积层的输出包括第二中间数据，所述第二全局平均池化层的输出为第二权重数据。

5.根据权利要求2所述的一种基于时空特征的视频去冗余方法，其特征在于，所述特征提取模块包括四个残差块，所述特征对齐模块包括3d卷积层、3×3卷积层和可变形卷积层。

6.根据权利要求2所述的一种基于时空特征的视频去冗余方法，其特征在于，所述特征对齐模块的输出包括关键帧的对齐后数据和其余帧的对齐后数据，所述时域去冗余模块包括第三支路和第四支路，所述关键帧的对齐后数据和上一帧的时域压缩后的特征拼接后进入第三支路得到关键帧特征，所述其余帧的对齐后数据依次进入第四支路，每次得到当前帧的时域拼接特征，将当前帧的时域拼接特征和关键帧特征进行余弦相似度匹配得到相似度权重和与当前帧特征最相似的时域特征，根据相似度权重和与当前帧特征最相似的时域特征对当前帧特征进行调控，得到当前帧的时域压缩后的特征，将当前帧的时域压缩后的特征作为上一帧的时域压缩后的特征输入第三支路，直到所有其余帧依次得到对应的当前帧的时域压缩后的特征，并输出所有其余帧的时域压缩后的特征。

7.根据权利要求6所述的一种基于时空特征的视频去冗余方法，其特征在于，所述第三支路包括依次连接的第六卷积层和第三relu激活层，所述第四支路包括依次连接的第七卷积层、第四relu激活层、第八卷积层和第五relu激活层和第九卷积层，所述相似度权重与第四relu激活层的输出点乘后输入第八卷积层，所述与当前帧特征最相似的时域特征与第五relu激活层的输出相加后输入第九卷积层，实现对当前帧特征进行调控。

8.根据权利要求2所述的一种基于时空特征的视频去冗余方法，其特征在于，所述特征提取模块的输入端的数量为n，所述关键帧记为it，所述连续帧记为it+i(i＝ia,……,ib)，其中a，b满足：b-a＝n，a≤0≤b。

9.一种基于时空特征的视频去冗余方法装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的一种基于时空特征的视频去冗余方法。

10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的一种基于时空特征的视频去冗余方法。

技术总结
本发明涉及一种基于时空特征的视频去冗余方法、装置及介质，方法包括以下步骤：获取包含关键帧的连续帧组成的视频数据；将视频数据输入基于时空特征的去冗余网络模型；得到连续帧的编码结果；基于时空特征的去冗余网络模型包括时空域去冗余网络和双三次插值滤波器，视频数据输入时空域去冗余网络对其余帧进行平滑处理，通过关键帧提取关键信息，得到处理结果，将处理结果输入双三次插值滤波器，双三次插值滤波器的输出为关键帧的编码结果。与现有技术相比，本发明具有精细纹理度高、图像冗余小，编码码流小等优点。

技术研发人员：沈礼权,吴佩颖
受保护的技术使用者：上海大学
技术研发日：
技术公布日：2024/8/20