视频帧降噪方法、装置以及电子设备与流程

本公开涉及图像处理，尤其涉及一种视频帧降噪方法、装置以及电子设备。

背景技术：

1、视频时域降噪是一种使用视频中其他参考帧的信息对当前帧进行降噪的技术，时域降噪时使用的参考帧数越多，降噪效果越好，然而算法实际部署时存在硬件内存限制，无法同时缓存很多帧，这限制了时域降噪算法的实际使用效果。此外，在视频帧中存在运动物体时，为了不把参考帧中的运动物体融合进当前帧从而导致鬼影，就需要运动检测，然而传统的运动检测通过计算两帧之间差值来判定运动区域，在图像噪声严重时效果较差。

技术实现思路

1、本公开提出了一种视频帧降噪方法、装置以及电子设备，旨在至少在一定程度上解决相关技术中的技术问题之一。

2、本公开第一方面实施例提出了一种视频帧降噪方法，包括：获取目标视频的前n帧第一视频帧，和第一视频帧之后的第二视频帧；利用预先训练的神经网络模型对第一视频帧进行计算，以确定前n帧第一视频帧的目标背景帧；以及基于目标背景帧对第二视频帧进行降噪。

3、本公开第二方面实施例提出了一种视频帧降噪装置，包括：获取模块，用于获取目标视频的前n帧第一视频帧，和第一视频帧之后的第二视频帧；计算模块，用于利用预先训练的神经网络模型对第一视频帧进行计算，以确定前n帧第一视频帧的目标背景帧；以及降噪模块，用于基于目标背景帧对第二视频帧进行降噪。

4、本公开第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例的视频帧降噪方法。

5、本公开第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的视频帧降噪方法。

6、本实施例中，通过获取目标视频的前n帧第一视频帧，和第一视频帧之后的第二视频帧，利用预先训练的神经网络模型对第一视频帧进行计算，以确定前n帧第一视频帧的目标背景帧，以及基于目标背景帧对第二视频帧进行降噪，能够利用单帧背景帧作为参考帧对视频帧进行降噪处理，因此可以避免硬件内存的限制，并且能够提升运动跟随区的降噪效果；此外，本公开利用神经网络模型进行运动检测，能够在各种噪声情况下准确地判断运动区域，从而提升降噪算法的实际使用效果。

7、本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

技术特征：

1.一种视频帧降噪方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述利用预先训练的神经网络模型对所述第一视频帧进行计算，以确定所述前n帧第一视频帧的目标背景帧，包括：

3.如权利要求2所述的方法，其特征在于，基于以下公式将所述候选背景帧与所述后一视频帧进行融合，

4.如权利要求1所述的方法，其特征在于，所述基于所述目标背景帧对所述第二视频帧进行降噪，包括：

5.如权利要求4所述的方法，其特征在于，基于以下公式将所述目标背景帧与所述第二视频帧进行融合，包括：

6.一种视频帧降噪装置，其特征在于，包括：

7.如权利要求6所述的装置，其特征在于，所述计算模块，具体用于：

8.如权利要求7所述的装置，其特征在于，所述计算模块，具体用于：基于以下公式将所述候选背景帧与所述后一视频帧进行融合，

9.如权利要求6所述的装置，其特征在于，所述降噪模块，具体用于：

10.如权利要求9所述的装置，其特征在于，所述降噪模块，具体用于：基于以下公式将所述目标背景帧与所述第二视频帧进行融合，包括：

11.一种电子设备，其特征在于，包括处理器和存储器；

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。

技术总结
本公开提出一种视频帧降噪方法、装置以及电子设备，包括：获取目标视频的前N帧第一视频帧，和第一视频帧之后的第二视频帧，利用预先训练的神经网络模型对第一视频帧进行计算，以确定前N帧第一视频帧的目标背景帧，以及基于目标背景帧对第二视频帧进行降噪，能够利用单帧背景帧作为参考帧对视频帧进行降噪处理，因此可以避免硬件内存的限制，并且能够提升运动跟随区的降噪效果；此外，本公开利用神经网络模型进行运动检测，能够在各种噪声情况下准确地判断运动区域，从而提升降噪算法的实际使用效果。

技术研发人员：刘建伟
受保护的技术使用者：爱芯元智半导体（上海）有限公司
技术研发日：
技术公布日：2024/1/13