专利名称：基于波原子变换和非参数模型的电影自动修复方法
技术领域：
本发明涉及的是一种图像和视频处理技术领域的系统，具体是一种基于波原子变换和非参数模型的电影自动修复方法。
背景技术：
电影艺术是人类文化的重要体现和人类文明的宝贵财富。我们有义务尽力去保护并传承优秀的电影作品。电影的数字化就是其中最主要的保护方式。传统电影以胶片的形式保存，对保存环境的要求较苛刻。随着环境的温度和湿度变化，胶片上的化学涂层会出现氧化现象，导致亮度和色彩失真，严重的还会出现霉斑。此外，胶片电影会随着播放次数的增长出现划痕，色彩退化的现象。相比传统的电影胶片，数字化的电影作品，具有便于携带， 便于网络传播，存储方式对环境变化不明感，可大量反复播放等优点，极大地延长了电影的寿命。但是对于年代久远的电影作品，其胶片上已经出现了上述退化现象。所以在数字化之后，还要对其进行进一步修复，去除其中的噪声、划痕以及斑块。经过对现有技术的文献检索发现，现有的方法是对噪声、划痕以及斑块分别进行处理。相互之间并没有建立应有的联系。例如A. Buades等人在《International Journal of Computer Vision》(计算机视觉国际期刊)第76卷第2期的第123页至第139页发表的“Nonlocal image and movie denoising”就只对电影中的噪声进行了其中分析和去除，并没有涉及到划痕和斑块的修复。另一方面，在对划痕和斑块的修复上，现有的方法都依据采用先检查在修复的策略。例如M. J. Nadenau等人在《Proceedings of the 5th International Workshop onTime-Varying Image Processing and Moving Object Recognition))(第五届国际时变信号处理和运动目标识别研讨会论文集)第27页至第35 页发表的“Blotch and scratch detection in image sequences based on rank ordered differences”就是这种策略的代表。事实证明，对于划痕和斑块的检测现有技术并不能达到很好的准确率，从而造成修复的结果不尽人意。要达到良好的检测效果，必须人工设定适合的参数，导致系统的自动化程度低，效率低。不仅如此，对于采用非参数模型进行信号估计的电影修复方法，其运算复杂度为0 (Nr2)。r为修补使用的块的大小，N为被检测为划痕和斑块的所以像素点的个数。如果能采用新的方法去除划痕，那么N的大小将明显减少， 有利于提高系统效率。L. Demanet在他的博士毕业论文“Curvelets, wave atoms, and wave equations"(曲小波、波原子以及波动方程)中提出了一种同时具有良好的方向描述和尺度描述的新的变换方法，即波原子变换。该方法克服了传统小波对于高维信号方向性描述能力弱的问题，结合FFT (快速傅里叶变换)和多尺度分析技术实现了信号频谱的多尺度多方向划分。对于震荡信号，波原子变换可以得到更稀疏的系数，对于具有明显方向性的信号，波原子变换得到的系数将集中在可预测的系数域中。这促使我们去设计一种新的电影修复系统，以在提高系统的自动化程度并改进修复的效果
发明内容
本发明针对现有技术存在的上述不足，提供一种基于波原子变换和非参数模型的电影自动修复方法，可用于自动修复电影中的噪声，划痕和斑块问题。本发明根据电影中划痕方向集中在垂直方向上的特性，使用波原子变换可以有效地描述划痕的特性，将检测和修复过程结合起来，取得了在修复的效果和实时性上取得了良好的结果。另外，通过对系数增加新的约束，该方法对于噪声的抑制也具有效果，可以将电影去噪和划痕修复有机结合。由于抑制了噪声，使得斑块的检测准确率得以提高。更重要的是由于划痕在之前的处理中得到修复，使用非参数模型只需修复斑块部分，使得系统的修复时间节约了 70%。本发明是通过以下技术方案实现的，本发明包括以下步骤
权利要求
1.一种基于波原子变换和非参数模型的电影自动修复方法，其特征在于包括以下步骤第一步、采用运动估计的方法从视频的N帧图像序列I中求得前后帧之间的残差图像， 即计算当前图像帧It和前后帧Γ—1，It+1的残差图(X1，再通过残差图像估计出图像序列中的噪声的方差O2;第二步、对第t帧图像It进行预处理，包括先使用高斯平滑模块对图像进行低通滤波， 再使用横向的Sobel算子对垂直的边缘和划痕区域进行粗略的标记，最后使用数学形态学的膨胀算子对标记位置进行扩大，得到矩阵M用于对图像的平滑区域进行保护；第三步、根据估计的噪声方差、第t帧图像It和M采用基于波原子变换的循环嵌套的方法修复划痕并去除噪声；第四步、根据帧间和帧内信息对第t帧图像It中的斑块进行检测； 第五步、采用非参数模型对检测出的斑块位置进行填补。
2.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，第一步中所述的运动估计，是将Γ分割成8乘8的块tlj，对每一块在前后帧中找到最匹配的块，求得残差，其中t表示图像帧序号，t= {1，2，L，N}, (χ, y)为中心像素位置，则残差图Rt炉中以(χ，y)为中心的块炉
3.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，第二步中 所述的高斯平滑模块G
4.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，第三步中所述的波原子变换，其中波原子为满足一下条件的函数Ο、
5.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，所述的循环嵌套算法具体包括以下步骤.3. 1)初始化，输入待处理图像It = Χ°，区域保护矩阵Μ，噪声方差ο2，最大迭代次数 Imax，初始量化步距T ；.3.2)在第i步循环中，先求得Χ"波原子正变换的系数6=/(1-1)，选取 Cs = c;(l 16,128 end)\]C\{\l 32,161 end)\JC't(33 .64,577 end)；所述的 C;(α 氏c t/)指 的第a行至第b行，第c列至第d列范围内的元素； 3. 3)通过下式求得Xi,
6.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，第四步中所述的帧间信息是指对于It中的像素点I (X，y)，若且 K^1(U) > 则认为该点可能是斑块，标记后得到第一步检测结果M1
7.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，所述的帧内信息是指若礼(1，y) = 0，则以I(x，y)为中心，在It中取搜索窗口 W，若W 中没有像素值与I (χ，y)的差值的绝对值在
以内，则认为I (χ，y)为斑块；所述的斑块检测是指通过帧间信息和帧内信息，标记It中认为是斑块的像素点为零。
8.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，第五步中所述的非参数模型是指根据图像块与块之间的相似性估计待填补的像素值，以待填补像素I (x，y)为中心取8X8的像素块，其向量表示为X，则I(x，y)的估计值用下式表示
9.根据权利要求1所述的基于波原子变换和非参数模型的电影自动修复方法，其特征是，所述的采样窗口是指以待填补像素为中心，半径10的正方形窗口。
全文摘要
本发明公开一种基于波原子变换和非参数模型的电影自动修复方法，根据电影中划痕方向集中在垂直方向上的特性，使用波原子变换可以有效地描述划痕的特性，将检测和修复过程结合起来，取得了在修复的效果和实时性上取得了良好的结果；另外，通过对系数增加新的约束，该方法对于噪声的抑制也具有效果，可以将电影去噪和划痕修复有机结合；根据斑块在空间域和时域上都不具有连续性的特点，结合了帧间和帧内信息提高了斑块的检测准确性，并采用非参数模型对斑块部分进行修复，最终实现了电影的噪声、划痕和斑块的自动化修复。由于划痕在之前的处理中得到修复，使用非参数模型只需修复斑块部分，使得系统的修复时间节约了70%。
文档编号G06T5/00GK102436641SQ20111030465
公开日2012年5月2日 申请日期2011年10月10日 优先权日2011年10月10日
发明者杨小康, 翟广涛, 许洪腾 申请人:上海交通大学