一种视频去噪方法与流程

本发明涉及数字图像处理领域，尤其涉及一种利用纹理测度和结构方差进行视频去噪的强鲁棒性方法。

背景技术：

去噪技术是图像和视频预处理领域被广泛研究的主题，噪声视频可视性差，严重影响人们的观感、编码效率以及其他计算机视觉算法的性能。因此，对视频进行去噪方面的预处理是必不可少的过程。

现有的去噪技术主要包括空域滤波、频域滤波、字典学习、深度学习等。空域滤波是在原始图像和视频的基础上对像素点直接进行处理；频域滤波是指将图像和视频的像素点作用到变换域进行处理；字典学习的方法是对图像和视频提取主要成分，用稀疏表示去除相应的噪声；深度学习是以网络层为基础，训练一系列参数来重新表示图像和视频。基于以上思想提出的各种算法在性能方面都取得了一定的提升，但也存在以下缺点：

(一)由于计算机视觉与人类视觉之间的差异，观测者对严重影响视频客观评估分数的区域(如比较小的纹理)并不敏感，反而对轻微影响的区域(如平滑部分)比较关注；这就造成许多算法具有较高的客观评估分数，但可视性效果一般；

(二)许多算法进行去噪之后，会引入新的块效应，观感一般；

(三)纹理区域过度平滑，视频细节丢失，这在视觉上造成一定的模糊效应。

当前，计算机视觉技术广泛应用在多个领域，视频去噪技术直接影响视频质量，开发具有强鲁棒性的视频去噪技术具有重要意义。

技术实现要素：

为了克服上述现有技术的不足，本发明提供一种具有强鲁棒性的视频去噪方法，利用纹理测度和结构方差进行视频去噪，在保证视频质量的同时，也保证了较好的视觉观感；能够较大程度上避免块效应，又可以保留较好的纹理信息，能够解决现有的视频去噪技术中的人工痕迹问题。

本发明的原理是：利用纹理测度和结构方差进行视频去噪，首先，利用超像素快分割技术和svd(singularvaluedecomposition)来获取视频帧的纹理测度；其次，利用纹理测度对超像素快的平滑区域和纹理区域进行标定，并获取相应的结构方差；最后，利用评估的结构方差进行滤波融合；由此得到一个视频质量高、视觉效果更好的去噪结果。

本发明提供的技术方案是：

一种视频去噪方法，采用纹理测度和结构方差融合的方法进行噪声滤波，得到去噪后高质量的视频；包括如下步骤：

1)输入一个噪声视频流

2)利用超像素快分割方法和svd方法，获取基于超像素块的自适应视频纹理测度，具体如下：

21)计算每一帧水平方向和垂直方向的梯度，分别记为

22)对每一帧进行超像素分割，获得相应的超像素块并对其做标定，如第i帧第k个超像素块的标定信息表示为fi,k；

23)结合fi,k、获得每一帧超像素块的梯度信息，如第i帧第k个超像素块的梯度用[gikh,gikv]表示；

24)对超像素块的梯度[gikh,gikv]进行svd，得到两个奇异值，用s1ik和s2ik表示；

25)获得第i帧第k个超像素块的纹理测度ρik，公式如下：

26)将每一帧每一个超像素块的纹理测度信息聚集在一起，用p表示；

3)利用纹理测度对超像素块的平滑区域和纹理区域进行标定，并获取具有自适应度的结构方差，具体如下：

31)设定阈值τ来区分纹理区域和平滑区域；

对于第i帧第k个超像素块，其尺寸用ωik表示，则其纹理测度的概率密度可以表示为式2；

根据式2可以求得纹理测度的置信水平δ如式3；为获取更好的效果，本发明通过设定置信水平δ＝0.0001来反求得阈值τ；当纹理测度ρik≥τ时，将对应的超像素块标定为纹理区域；当纹理测度ρik<τ时，将对应的超像素块标定为平滑区域；

式中，p是纹理测度大于阈值的概率；

32)分别计算平滑区域和纹理区域的结构方差；如果第i帧第k个超像素块为平滑区域，其结构方差用表示；如果第i帧第k个超像素块为纹理区域，其结构方差用表示；

33)计算视频流的平滑方差(式4)和纹理方差(式5)

其中，ws和wt分别表示对视频流平滑区域和纹理区域的权重；权重的通用公式可以表示为式6：

其中，

本发明利用式7中两种结构方差的差异来自适应控制权重，能够在整体上评估视频流的纹理信息。

4)视频流滤波，利用评估的结构方差进行滤波融合；具体如下：

41)基于两种结构方差和滤波，分别得到带有较多纹理信息的视频流以及较少纹理信息的视频流

42)对以上两种视频流进行加权融合，得到去噪视频流如式8

其中，“p”是视频流的纹理测度(每个超像素块纹理测度的集合，用矩阵形式表示)；“.·”表示点乘法运算；指示第t帧位置处的像素点。

步骤41)可以采用现有方法中基于方差的滤波器。在本发明实施例中，具体采用文献(maggionim,boracchig,foia,etal.videodenoising,deblocking,andenhancementthroughseparable4-dnonlocalspatiotemporaltransforms[j].ieeetransactionsonimageprocessing,2012,21(9):3952-3966.)所记载的滤波方法。

与现有技术相比，本发明的有益效果是：

本发明提供了一种强鲁棒性的视频去噪方法，该方法采用纹理测度和结构方差融合的技术，在降低噪声的同时，能够减少块效应、保留纹理细节，在很大程度上保证了较好的视觉观感。首先，本发明引入了一种基于超像素块的纹理测度，这种测度能够准确的记录每一帧超像素块的纹理信息；其次，在此基础上，本发明又引入了基于纹理信息的自适应结构方差；最后，本发明采用两种方差进行滤波融合，最终获得去噪后的视频流。本发明能够降低现有视频中的噪声，能够同时保证视频质量和视频观感，能够解决现有的去噪技术带来的块效应和纹理模糊等人工痕迹问题，得到的视觉效果良好，人工痕迹少，且具有强鲁棒性。本方法可作为视频预处理方法，可以应用到多种计算机视觉领域。

附图说明

图1是本发明方法的流程框图。

图2是本发明实施例中平滑区域和纹理区域的奇异值分析结果；

其中,左上方小块表示平滑区域，左下方为其奇异值分析图；右上方小块表示纹理区域，右下方为其奇异值分析图。

图3是本发明实施例中采用平滑方差和纹理方差进行滤波后的效果图及融合示意图；

其中，第一排的图表示帧的整体信息，第二排的图表示相应的第一排图中方块区域放大后的对比图；第一排和第二排图中：(a)表示噪声视频流中的一帧；(b)用纹理方差滤波后的效果示意图；(c)用平滑方差滤波后的效果示意图；(d)用视频流纹理测度作为权重将(b)和(c)融合后的效果示意图。

图4是本发明实施例中去噪效果的放大图；

其中，(a)表示噪声视频流中的一帧；(b)红色区域用平滑方差滤波后的效果示意图；(c)红色区域融合后的效果示意图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种具有强鲁棒性的视频去噪方法，利用纹理测度和结构方差进行视频去噪，在保证视频质量的同时，也保证了较好的视觉观感；能够较大程度上避免块效应，又可以保留较好的纹理信息。

以下是本发明提供的强鲁棒性视频去噪算法的算法流程。

上述强鲁棒性的视频去噪算法中，为输入的噪声视频流,为降噪后视频流，其中表示t时刻视频流中像素的位置信息。本发明算法大致分为3个流程。首先，获取视频自适应纹理测度；其次，获取视频自适应结构方差；最后，视频流滤波融合。

具体步骤如下：

步骤1.噪声模型选择：通常意义上，视频噪声模型可以表示为式9：

其中，表示t时刻位置处大的噪声信息，本发明采用频域滤波的形式，在频域将噪声信息抑制，最后将其转换到空域从而达到去噪的目的。

步骤2.获取基于超像素块的自适应视频纹理测度:

1)我们采用sober算子获取视频流每一帧的水平梯度和垂直梯度，

2)我们对每一帧进行超像素分割，得到每一帧超像素块的分割信息，并将第i帧第k个超像素块表定为fi,k；

3)结合fi,k，就可以获得每一帧超像素块的梯度信息，我们将第i帧第k个超像素块的梯度用[gikh,gikv]表示；

4)对每一帧每个超像素块的梯度[gikh,gikv]做svd，得到两个奇异值,用s1ik和s2ik表示，这两个奇异值就表示超像素块的纹理信息；以图2为例，用黑丝方块选中的两个区域，左边为平滑区域，右边为纹理区域；x轴表示每一帧水平方向的梯度值，y轴表示垂直方向的梯度值。通过观察可以看出，平滑区域(左图)的梯度分布比较均匀，得到的两个奇异值比较接近；而纹理区域(右图)的梯度则有较强的方向性，得到的两个奇异值区别很大。

5)获得第i帧第k个超像素块的纹理测度ρik，如式1；结合式1和图2分析，平滑区域的纹理测度小，而纹理区域的纹理测度大，利用这一特点我们可以有针对性的对视频进行去噪。

6)将所有的超像素块纹理测度聚集在一起，我们就得到视频流的纹理测度信息，用p表示；

步骤3.获取视频流自适应的结构方差：

1)根据超像素快纹理测度的概率密度(式2)和置信水平的定义(式3),我们可以得到区分平滑区域和纹理区域的测度阈值τ；当纹理测度大于阈值，则将对应的超像素块标定为纹理区域；反之，标定位平滑区域；

2)分别计算平滑区域和纹理区域的结构方差，如果第i帧第k个超像素块为平滑区域，其结构方差用表示；如果第i帧第k个超像素块为纹理区域，其结构方差用表示；

3)计算视频流的平滑方差(式4)和纹理方差(式5)，此处我们采用对每一帧求方差期望值，并取得期望值中的最小值作为对应的方差；对于其中的权重ws和wt(其通用公式如式6)，对于决定权重大小的每一个参数说明如表1所示。

表1参数列表

步骤4.视频流滤波融合：

1)基于两种结构方差和滤波，分别得到带有较多纹理信息的视频流以及较少纹理信息的视频流以图3为例，(a)为噪声视频流中的一帧，(b)为利用纹理方差滤波后的效果示意图，(c)为利用平滑方差滤波后的效果示意图；由于纹理方差要大于平滑方差，基于这一特点，分别用滤波器进行滤波的得到的效果图中，(b)中的纹理明显少于图(c)，但图(c)中仍存在明显的噪声和块效应；

2)对以上两种视频流进行加权融合，如式8，得到去噪视频流用纹理测度作为加权权重，这很大程度上既保留了视频帧的纹理细节，同时又进一步抑制了噪声；以图3为例，(d)为视频流融合图，通过比较(b)和(c)本发明去噪效果明显，同时又保留了较多了纹理；为了进一步说明，以图4为例，(c)为红色区域放大后的效果示意图。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。