视频处理方法及装置与流程

本申请涉及机器学习领域，特别涉及一种视频处理方法、装置、计算机设备及存储介质。

背景技术：

1、视频超分辨率技术是一种将模糊的低分辨率视频通过算法处理转化为清晰的高分辨率视频的技术。通过视频超分辨率技术，可以使用户观赏到画质更高的视频，提高用户体验。

2、目前，视频超分辨率技术的实现方式有三种：基于插值的方法、基于重建的方法和基于机器学习的方法。基于机器学习的视频超分辨率技术虽然在泛化性和效果上要优于前两者，但是对计算能力的要求较高，推理速度较慢，实时性较差。

技术实现思路

1、本申请的目的在于提供一种视频处理方法，装置、计算机设备及存储介质，用于解决目前基于机器学习的视频超分辨率技术推理速度较慢、实时性较差的技术问题。

2、本申请实施例的一个方面提供了一种视频处理方法，包括：获取n对图像对，n对图像对包括n个高分辨率图像和n个与高分辨率图像一一对应的低分辨率图像，n为正整数；将图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，其中生成对抗网络中的生成器用于将低分辨率图像分为低频分量和高频分量两个部分进行重建得到伪高分辨率图像，低频分量经过下采样后进行重建，生成对抗网络中的判别器用于对伪高分辨率图和高分辨率图像进行判别；获取训练好的生成对抗网络中的生成器作为超分模型；获取目标视频的每一视频帧，将视频帧输入至超分模型中，以得到超分后的目标视频。

3、可选地，获取n对图像对，包括：获取n个高分辨率图像；采用若干层退化矩阵对每一高分辨率图像进行退化，以得到低分辨图像，其中，每一层退化矩阵随机采样至多一种退化方式对图像数据进行退化，退化方式包括模糊退化、下采样退化、压缩退化、缩放退化和噪声退化中的至少部分退化方式。

4、可选地，生成器包括低频处理模块和高频处理模块，将图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，包括：将低频分量经过下采样后使用低频处理模块进行特征重建，得到第一特征重建图像数据，并将高频分量使用高频处理模块进行特征重建，得到第二特征重建图像数据；将第一特征重建图像数据上采样后与第二特征重建图像数据进行特征融合，得到特征融合的图像数据；根据预设的超分倍数对特征融合的图像数据进行上采样，以得到伪高分辨率图像。

5、可选地，获取n对图像对，包括：按照预设间隔对预设画质的第一视频集中的视频进行抽帧，得到高分辨率图像；对第一视频集中的视频进行下采样得到第二视频集；按照预设间隔对第二视频集中的视频进行抽帧，采用若干层退化矩阵对抽帧得到图像数据进行退化，以得到低分辨率图像，其中，每一层退化矩阵随机采样一种退化方式对图像数据进行退化，退化方式包括模糊退化、下采样退化、压缩退化、缩放退化和噪声退化中的至少部分退化方式。

6、可选地，对第一视频集中的视频进行下采样得到第二视频集，包括：对第一视频集中的视频进行下采样，并在下采样过程中加入随机的固定码率因子参数得到第二视频集。

7、可选地，将图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，还包括：在训练的过程中，根据自适应学习策略进行学习，以得到训练好的生成对抗网络，其中，自适应学习策略包括伪高分辨率图像与高分辨图像之间的均方差损失和生成对抗损失。

8、可选地，方法还包括：根据峰值信噪比和结构相似性指数验证训练后的生成对抗网络；在峰值信噪比和结构相似性指数验证均通过之后，得到训练好的生成对抗网络。

9、本申请实施例的一个方面又提供了一种视频处理装置，包括：第一获取模块，用于获取n对图像对，n对图像对包括n个高分辨率图像和n个与高分辨率图像一一对应的低分辨率图像，n为正整数；训练模块，用于将图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，其中生成对抗网络中的生成器用于将低分辨率图像分为低频分量和高频分量两个部分进行重建得到伪高分辨率图像，低频分量经过下采样后进行重建，生成对抗网络中的判别器用于对伪高分辨率图和高分辨率图像进行判别；第二获取模块，用于获取训练好的生成对抗网络中的生成器作为超分模型；超分模块，用于获取目标视频的每一视频帧，将视频帧输入至超分模型中，以得到超分后的目标视频。

10、本申请实施例的一个方面又提供了一种计算机设备，计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时用于实现上述的视频处理方法的步骤。

11、本申请实施例的一个方面又提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序可被至少一个处理器所执行，以使至少一个处理器执行上述的视频处理方法的步骤。

12、本申请实施例提供的视频处理方法、装置、计算机设备及存储介质，包括以下优点：

13、通过获取n对图像对，将图像对输入至预先构建的生成对抗网络进行训练，通过生成对抗网络的生成器将低分辨率图像分为低频分量和高频分量两个部分进行重建得到伪高分辨率图像，且低频分量经过下采样后进行重建，生成对抗网络中的判别器则对伪高分辨率图像与高分辨率图像进行判别；获取训练好的生成对抗网络中的生成器作为超分模型对低分辨率视频进行修复，由于低频分量经过下采样后再进行重建，信息丢失较少且能有效节省算力，因此可以在保证超分效果的同时降低对计算能力的要求，提高超分模型推理的速度和推理的实时性。

技术特征：

1.一种视频处理方法，其特征在于，包括：

2.根据权利要求1所述的视频处理方法，其特征在于，所述获取n对图像对，包括：

3.根据权利要求2所述的视频处理方法，其特征在于，所述生成器包括低频处理模块和高频处理模块，所述将所述图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，包括：

4.根据权利要求1所述的视频处理方法，其特征在于，所述获取n对图像对，包括：

5.根据权利要求4所述的视频处理方法，其特征在于，所述对所述第一视频集中的视频进行下采样得到第二视频集，包括：

6.根据权利要求1-5任一项所述的视频处理方法，其特征在于，所述将所述图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，还包括：

7.根据权利要求1-5任一项所述的视频处理方法，其特征在于，还包括：

8.一种视频处理装置，其特征在于，包括：

9.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1至7中任一项所述的视频处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行权利要求1至7中任一项所述的视频处理方法的步骤。

技术总结
本申请实施例提供一种视频处理方法，方法包括：获取N个高分辨率图像和N个与高分辨率图像一一对应的低分辨率图像组成图像对；将图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，其中生成对抗网络中的生成器用于将低分辨率图像分为低频分量和高频分量两个部分进行重建得到伪高分辨率图像，低频分量经过下采样后进行重建；获取训练好的生成对抗网络中的生成器作为超分模型；获取目标视频的每一视频帧，将视频帧输入至超分模型中，以得到超分后的目标视频。本申请实施例提供的视频处理方法，可以降低基于机器学习的超分辨率技术对于计算能力的要求，提高超分推理的速度和实时性。

技术研发人员：徐嘉文
受保护的技术使用者：上海哔哩哔哩科技有限公司
技术研发日：
技术公布日：2024/1/15