一种基于结构张量和卡尔曼滤波的视频去噪方法
【专利摘要】本发明提供了一种基于结构张量和卡尔曼滤波的视频实时去噪方法，包括以下步骤：获取当前时刻待处理图像帧，以及保存的已完成去噪处理的当前帧之前的n帧图像；对当前时刻待处理图像帧采用均值滤波器进行预滤波处理；基于结构张量，充分利用当前时刻待处理图像帧与前面相邻图像帧之间紧密的时空联系，对当前图像帧进行运动估计；基于运动估计结果，采用卡尔曼滤波方法在时域进行降噪处理；采用维纳滤波在空域进行降噪处理；综合两个去噪图像，加权获得最终的去噪图像。本发明通过上述方法能够实现大噪声视频的去噪处理，具有较好的去噪效果，而且由于没有复杂的迭代计算，易于FPGA等硬件实现，进而能够实现大噪声视频的实时去噪。
【专利说明】一种基于结构张量和卡尔曼滤波的视频去噪方法
【技术领域】:
[0001]本发明属于视频处理领域，主要涉及视频去噪，特指一种基于结构张量和卡尔曼滤波的视频实时去噪方法，可用于自然大噪声视频的实时去噪。
【背景技术】:
[0002]随着数字光电成像技术的快速发展，数字光电成像设备已广泛应用于计算摄影、安防监控、机器人导航以及军事侦察等领域。通常，数字光电成像设备的传感器都是由CCD或者CMOS构成，在成像过程中，受光学噪声、电阻和电容等元器件噪声、传感器噪声、电路噪声等影响，输出的图像会不可避免的包含有许多噪声，这些噪声不仅破坏了图像的真实信息，还严重影响了图像的视觉效果。随着实际应用要求的提高，数字光电成像设备也大量应用于低照度环境，典型的应用如安防监控领域，在夜间等低照度环境下进行监控。然而，受低照度环境的影响，获取的视频受到严重的噪声污染，视频图像如图1所示，这极大地影响了实际的应用。因此，对于这些包含噪声的视频图像，需要进行降噪处理，还原得到清晰的视频图像，以便进行更高层次的处理操作。
[0003]目前，视频的去噪方法主要按空域、时域以及变换域来进行划分。空域去噪方法只针对视频的各帧图像进行去噪处理，较好的空域滤波方法有双边滤波方法[I]、非局部均值滤波方法[2]、稀疏表示下的去噪方法[3]等，对各帧图像均能得到较好的去噪效果。其中，双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。双边滤波方法具有简单、迭代、局部的特点，能很好地保存图像边缘，但是由于保存了过多的高频信息，对于彩色图像里的高频噪声，双边滤波器不能够干净的滤掉，只能够对于低频信息进行较好的滤波。非局部均值滤波方法是一种利用自然图像自身存在大量的重复冗余信息特点，用非局部自相似性来抑制图像噪声的方法。计算图像块之间相似性的匹配过程是非局部均值方法的关键技术。虽然非局部均值滤波有优异的去噪性能，但是过高的计算复杂度极大的限制了它的发展和应用。由于信号稀疏表示的优良特性，基于稀疏分解的图像去噪也越来越受到人们的重视。由于稀疏分解可以保留最匹配原始图像的有用信息而去除与信息无关的噪声，因而可以用此方法来去除图像中的随机噪声。虽然稀疏分解的理论研究很成功，但在实际应用中很难推广，影响其发展的最重要因素为稀疏分解的计算量十分巨大。
[0004]上述空域滤波方法除了自身存在的缺点外，共有的缺点是没有充分利用时域信息，所以不能得到理想的滤波效果。但是传统的时域滤波虽然考虑了视频帧间的相关性，但只适用于静止的环境，对于运动物体会产生伪影、拖影等现象，新的时域滤波在原有算法的基础上加入了运动估计，基于视频各巾贞图像的运动相关性，可以有效解决这些现象。
[0005]在变换域去噪方法中，较好的滤波方法有小波去噪方法[4]、三维块匹配方法BM3D[5]等。从信号学的角度看，小波去噪是一个信号滤波的问题，而且尽管在很大程度上小波去噪可以看成是低通滤波，但是由于在去噪后还能成功地保留信号特征，所以又优于传统的低通滤波器。小波去噪实际上是特征提取和低通滤波功能的综合。小波去噪方法包括三个基本的步骤:对含噪信号进行小波变换；对变换得到的小波系数进行某种处理，以去除其中包含的噪声；对处理后的小波系数进行小波逆变换，得到去噪后的信号。BM3D算法是基于块匹配的三维变换域滤波方法。将图像分成若干块，然后对每个参考块进行搜索，在整幅图像中搜索其相似块。并根据块的相似程度将匹配块进行组合形成一个三维矩阵。该矩阵的数据具有很高的相关性，通过三维酉变换可以有效地降低其相关性。同时，通过对变换域系数的滤波，可以大幅降低噪声。
[0006]此外，根据视频的时空特性，一些时空结合的滤波方法被提了出来，如时空双边滤波方法、视频三维块匹配方法VBM3D等，在一定程度上取得了较好的效果。
[0007]然而，受算法复杂度的影响，上述的这些滤波方法大部分都无法进行实时应用，如非局部均值滤波方法、稀疏表示下的去噪方法、BM3D以及VBM3D等。其他能满足实时应用的滤波方法，如时空双边滤波等，受去噪效果的限制，无法满足大噪声视频的去噪要求。因此，针对安防监控等领域的应用需求，对低照度环境下的大噪声进行实时的降噪处理，已成为急需解决的问题。
【发明内容】
:
[0008]针对上述现有技术存在的不能既实时又有效地对大噪声视频进行降噪处理的问题，本发明提出一种基于结构张量和卡尔曼滤波的视频实时去噪方法，能够对视频进行实时地降噪处理，并且具有较好的去噪效果。
[0009]为实现上述发明目的，本发明采用的技术方案是:
[0010]一种基于结构张量和卡尔曼滤波的视频实时去噪方法，包括如下步骤:
[0011]步骤一:获取当前时刻待处理图像帧，以及保存的已完成去噪处理的当前帧之前的η帧图像，η为预先设置的整数值；
[0012]步骤二:采用均值滤波器对当前时刻待处理图像帧进行预滤波处理；
[0013]步骤三:针对步骤二预滤波处理后的图像和保存的已完成去噪处理的当前帧之前的η帧图像，计算每帧图像的结构张量，然后分别计算当前帧图像与之前η帧图像中每一帧图像之间的结构张量距离，再将这η个结构张量的距离求平均值，这个平均值可作为当前时刻待处理图像帧的运动估计值；
[0014]步骤四:根据步骤三得到的当前时刻待处理图像帧的运动估计值建立卡尔曼滤波的运动方差矩阵，在时间域上采用卡尔曼滤波方法对当前时刻待处理图像帧进行降噪处理，得到卡尔曼滤波后的去噪图像；
[0015]步骤五:在空间域上采用维纳滤波器对当前时刻待处理图像帧进行降噪处理，得到维纳滤波后的去噪图像；
[0016]步骤六:根据步骤三得到的当前时刻待处理图像帧中各像素点的运动估计值计算其高斯权重值，结合步骤四得到的卡尔曼滤波后的去噪图像以及步骤五得到的维纳滤波后的去噪图像，通过加权获得最终的去噪图像，并保存为当前帧已完成去噪处理的图像。
[0017]进一步地，所述步骤一中保存的已完成去噪处理的当前帧之前的η帧图像的初始值，即对于视频图像的第I帧至第η帧，将每一帧图像的原始含噪图像保存为其对应的已完成去噪处理的图像，其对应的已完成去噪处理的图像采用如下方式确定:
[0018](I)对于视频图像的第I帧，将该第I帧图像的原始含噪图像保存为其对应的已完成去噪处理的图像；
[0019](2)对于视频图像的第k帧，k为整数且l〈k ( η,将第I帧至第k_l帧已完成去噪处理的图像作为所述步骤三中保存的已完成去噪处理的当前帧之前的η帧图像，依次执行步骤二至步骤六，得到第k帧对应的已完成去噪处理的图像。
[0020]进一步地，所述步骤二中采用均值滤波器进行滤波处理的具体方法为:对于当前时刻待处理图像帧中的每一个像素点(x，y)，选择以该像素点为中心的大小为NXN的模板，求模板中所有像素的均值，再把该均值赋予当前像素点(x，y)，作为处理后图像在该点上的像素值V1U, y)，即:
【权利要求】
1.一种基于结构张量和卡尔曼滤波的视频实时去噪方法，其特征在于，包括如下步骤: 步骤一:获取当前时刻待处理图像帧，以及保存的已完成去噪处理的当前帧之前的η帧图像，η为预先设置的整数值； 步骤二:采用均值滤波器对当前时刻待处理图像帧进行预滤波处理； 步骤三:针对步骤二预滤波处理后的图像和步骤一保存的已完成去噪处理的当前帧之前的η帧图像，计算每帧图像的结构张量，然后分别计算当前帧图像与之前η帧图像中每一帧图像之间的结构张量距离，再将这η个结构张量距离求平均值，该平均值作为当前时刻待处理图像帧的运动估计值； 步骤四:根据步骤三得到的当前时刻待处理图像帧的运动估计值建立卡尔曼滤波的运动方差矩阵，在时间域上采用卡尔曼滤波方法对当前时刻待处理图像帧进行降噪处理，得到卡尔曼滤波后的去噪图像； 步骤五:在空间域上采用维纳滤波器对当前时刻待处理图像帧进行降噪处理，得到维纳滤波后的去噪图像； 步骤六:根据步骤三得到的当前时刻待处理图像帧中各像素点的运动估计值计算其高斯权重值，结合步骤四得到的卡尔曼滤波后的去噪图像以及步骤五得到的维纳滤波后的去噪图像，通过加权获得最终的去噪图像，并保存为当前帧已完成去噪处理的图像。
2.根据权利要求1所述基于结构张量和卡尔曼滤波的视频实时去噪方法，其特征在于，所述步骤一中保存的已完成去噪处理的当前帧之前的η帧图像的初始值，即对于视频图像的第I帧至第η帧，将`每一帧图像的原始含噪图像保存为其对应的已完成去噪处理的图像，其对应的已完成去噪处理的图像采用如下方式确定: (1)对于视频图像的第I帧，将该第I帧图像的原始含噪图像保存为其对应的已完成去噪处理的图像； (2)对于视频图像的第k帧，k为整数且l〈k( n，将第I帧至第k-Ι帧已完成去噪处理的图像作为所述步骤三中保存的已完成去噪处理的当前帧之前的η帧图像，依次执行步骤二至步骤六，得到第k帧对应的已完成去噪处理的图像。
3.根据权利要求1所述基于结构张量和卡尔曼滤波的视频实时去噪方法，其特征在于，所述步骤二中采用均值滤波器进行预滤波处理的具体方法为:对于当前时刻待处理图像帧中的每一个像素点(x，y)，选择以该像素点为中心的大小为NXN的模板，求模板中所有像素的均值，再把该均值赋予当前像素点(X，y)，作为处理后图像在该点上的像素值V1 (X，y),即:
Ar-1 N-1
ΣΣμ，./)
N— 其中VciUy)为待处理图像在该模板中处的像素值。
4.根据权利要求1所述基于结构张量和卡尔曼滤波的视频实时去噪方法，其特征在于，所述步骤三中的每帧图像的结构张量采用的是黎曼空间(Riemannian space),黎曼空间中线性结构张量的表达式为
5.根据权利要求1所述基于结构张量和卡尔曼滤波的视频实时去噪方法，其特征在于，所述步骤四中采用的卡尔曼滤波方法包括以下五个步骤: (1)假设当前待处理图像帧处于k时刻，基于k-Ι时刻采用卡尔曼滤波后的图像，初步估计当前待处理图像的去噪图像: X(k|k-l)=AX(k-l|k-l)(5) 其中，X(k|k-1)为对当前待处理图像进行去噪估计后的图像，X(k-1 |k-l) Sk-1时刻采用卡尔曼滤波后的图像，A为状态转移参数矩阵； (2)基于待处理图像帧中各像素点的运动估计值，计算误差协方差矩阵:
P (k I k-1) =AP (k-11 k-1) AT+Q (k)(6) 其中，P(k|k-1)为进行降噪估计后的图像的协方差矩阵，P(k-l|k-l)为k-1时刻采用卡尔曼滤波后的图像的协方差矩阵，Q(k)为当前待处理图像中运动方差矩阵； 视频中的运动会产生噪声，所以对当前待处理图像帧中任意像素点(X，y)，定义 Qk-1 U，y) =dST (X，y) 根据上述设定，使得运动区域的方差值相对静止区域而言更大； (3)计算卡尔曼增益:
Kg(k) =P (k I k-1)/P (k I k-1)+R(k) (7) 其中，Kg(k)即为当前k时刻的卡尔曼增益矩阵，R(k)为当前待处理图像的噪声协方差矩阵，视频中的噪声协方差为一恒定不变的值；(4)结合当前待处理图像及其初步估计的降噪图像，计算当前k时刻的最优化降噪估计图像: X(kIk)=X(kIk-1)+Kg(k)Z(k)-X(k|k-l) (8) 其中，X(k|k)即为对当前待处理图像的最优化降噪估计图像，Z(k)为当前k时刻包含噪声的待处理图像； (5)更新当前k时刻的协方差矩阵，为下一帧图像进行卡尔曼滤波做准备: P(k|k) = (1-Kg(k))P(k|k-l) (9)
6.根据权利要求1所述基于结构张量和卡尔曼滤波的视频实时去噪方法，其特征在于，所述步骤六的具体实现步骤为: 561.根据步骤三得到的当前时刻待处理图像帧中各像素点的运动估计值计算其高斯权重值:
7.根据权利要求1-6之一所述基于结构张量和卡尔曼滤波的视频实时去噪方法，其特征在于，所述步骤一中η的值为3-6。
【文档编号】H04N19/117GK103873743SQ201410110966
【公开日】2014年6月18日 申请日期:2014年3月24日 优先权日:2014年3月24日
【发明者】刘煜, 张茂军, 王炜, 熊志辉, 左承林, 李卫丽 申请人:中国人民解放军国防科学技术大学