基于格子波尔兹曼模型的视频图像瑕疵修复方法
【技术领域】
[0001] 本发明属于视频图像处理领域，提出一种基于格子波模型的视频图像瑕疵修复方 法。
【背景技术】
[0002] 随着数字化技术的发展，数字视频的保存和修复已成为老档案，老照片，旧影视资 料等保存和修复的重要手段。数字视频的修复即利用视频帖的空间结构信息或视频各帖之 间的连续性来实现视频内指定破损区域的修复和填充，使视频具有空间平滑性和时间连续 性，提高视频的可观赏性，被广泛应用于多种情况，如在场景中去除多余的目标、旧影视资 料中斑点或划痕的修复，W及解决老胶片在播放过程中产生闪烁的问题等。
[0003] 视频修复技术是对数字图像修复技术的延展，目前主要的视频修复技术与 图像修复技术类似，而针对图像修复问题国内外主要采用基于偏微分方程（Partial DifferentialEquation,PDE)的方法和基于纹理合成的方法。
[0004] 基于偏微分方程的修复方法最早是仿照人工修复的原理，利用图像破损区域的 周围信息沿着等照度线方向逐渐向破损区域扩散的方式达到平滑修复的效果，该方法 针对较小尺度W及不具有复杂纹理结构的破损图像，能够得到较好的修复效果。化an 和aien提出全变分模型（TV模型）用于修复，（ChanT，aienJ. 2002.Mathematical modelsforlocalnon-textureinpainting[J].SIAMJournalonApplied Mathematics, 62 (3) : 1019-1043. )TV修复方法通过对能量泛函求最小值得。
[0005]TV模型在修复较大区域时会出现不连续的问题，破坏了视觉连通性原则，曲率 驱动扩散模型（化rvatureDrivenDiffusion,CDD)用于修复时（T.Qian,J.化en. Non-TextureInpaintingsbyCurvature-DrivenDiffusions[C].JVCIR, 2001, 12 (4) : 436-449)不会出现不连续的问题，将曲率嵌入到扩散系数中。C孤模型能够实现较 大破损区域的修复，当修复区域处于边缘部分时，能够得到较好的修复效果。TV模型和CDD 模型均能够实现较好的修复效果，但从计算效率来看，对于偏微分方程的求解需要数值的 计算，算法实现较复杂，所花费时间较长，实现效率低。
[0006] 基于纹理合成的图像修复方式即图像补全技术是利用待修边界W外的信息，对破 损区域边界利用捜索匹配块的方式来逐渐复制填充破损区域边界(张红英，彭启琼.数字 图像修复技术综述[J].中国图像图形学报，2007, 12(1): 1-10)。
[0007] 该种修复方法能够实现较大区域破损的修复，W及通过匹配填充能够得到较好的 纹理特性。但该类方法在修复区域内部易产生明显的颜色与结构的不一致性，修复效果不 够理想，并且其本身的计算比较耗时，导致图像修复的效率低下。
[0008] 而格子波尔兹曼模型具有清晰的物理思想，简单边界处理和快速并行计算的优 点，并且它是离散的空间模型，特别适合于数字图像处理。从格子波尔兹曼模型的微观模 型，设计格子波尔兹曼模型演化方程，最后可W得到满足图像处理要求的宏观偏微分方程。 因此格子波尔兹曼模型方法为实现图像处理的快速高效和准确性提供了实现途径。
【发明内容】
[0009] 本发明的目的在于针对影像中存在的有瑕疵而失真的问题而提出一种新颖快速 跨平台的基于格子波尔兹曼模型的修复实现方案，W解决现有技术中修复区域不连续，图 像修复效率不高的问题，该方法旨在于保持较好修复效果的同时能得到较好的修复效率， 可用于修复影像中的各种瑕疵，如斑点、划痕和目标物的去除等等。并且W该修复方法为核 屯、，开发了可在多种软硬平台上运行的修复系统，使得该方法得到更为广泛的应用。
[0010] 为了实现上述目的，本发明采用如下技术方案： 本发明提出一种基于格子波尔兹曼模型的修复实现方案，可在包括PC和服务器的硬 件计算平台，和包括An化oW、Linux、Mac、Windows在内的多种软件操作系统上运行。其主 要步骤如下： 1) 、输入含有瑕疵的图像f(表0); 2) 、判断修复对象的格式，若是图像修复则转至步骤5)进行修复，否则进入步骤3); 3) 、判断输入的是数字视频还是模拟视频，若是模拟视频则先通过视频采集卡转换为 数字视频，再进入步骤4)，否则，直接进入步骤4); 4) 、将视频分解成帖如25帖/秒； 5) 、对分解的每帖图像使用提出的格子波尔兹曼模型进行修复； 6) 、判断所需输出格式，若所需输出为视频，则合成视频，否则直接输出图像f(衣t)。
[0011] 针对上文提到的格子波尔兹曼模型修复，本发明提出一种各向异性扩散格子波尔 兹曼模型（D2Q9模型)，并利用该模型实现瑕疵修复是利用待修复区域W及周围信息的梯度 或曲率等几何信息来设计扩散系数，根据图像本身的几何特性来控制粒子的扩散演化速度 从而实现平滑修复的过程。由于各类视频均可分解成图像，不失一般性，本发明W修复bmp 格式的斑点和划痕图像为例，在装有Windows操作系统的PC机上进行实验，修复结果见图 9，10,数据记录见图12、图13。修复的主要流程图如图3所示，本发明是结合TV模型和CM) 模型宏观方程中的扩散系数特点，针对图像和视频中出现的斑点和划痕瑕疵设计应用于格 子波尔兹曼模型中的扩散系数，从而在保持较好修复效果的同时提高修复效率。对于已经 读入的含有瑕疵的图像K哀〇：)，其主要步骤如下： 1) 、判断检测破损区域0,并对检测到的区域进行膨胀得到CT，预处理得图像1C是0); 2) 、建立格子波尔兹曼模型，设置初始平衡态分布函数(衣0); 3) 、确立格子波尔兹曼模型演化方程的迭代次数泌，W及迭代终止条件和迭代终止阔 值0 ; 4) 、设计格子波尔兹曼模型演化方程的扩散系数巧iC是0); 5) 、根据格子波尔兹曼模型中的D2Q9模型，更新格子波尔兹曼模型演化方程中的平衡 态分布函数; 6) 、计算格子波尔兹曼模型中的迁移过程：1|(.€+￡：,'，〇 = 1乂去,〇; 7) 、计算格子波尔兹曼模型中的碰撞过程：
【主权项】
1. 一种快速新颖跨平台的基于格子波尔兹曼模型的视频图像瑕疵修复方法，其特征在 于视频图像瑕疵修复的操作步骤如下： 1) 、输入含有瑕疵的图像f(元〇); 2) 、判断修复对象的格式，若是图像修复则转入步骤5)进行修复，否则进入步骤3); 3) 、判断输入的是数字视频还是模拟视频，若是模拟视频则先通过视频采集卡转化为 数字视频，再转入步骤4)，否则，直接进入步骤4); 4) 、将视频分解成帧； 5) 、对分解的每帧图像使用提出的格子波尔兹曼方法进行修复； 6) 、判断所需输出格式，若所需输出为视频，则合成视频，否则直接输出图像
2. 根据权利1所述基于格子波尔兹曼模型的视频图像瑕疵修复方法，其特征在于： 所述的视频包含MPEG-1、MPEG-4、AVI、RM、ASF、WMV、MOV或MKV格式的数字或模拟视 频；所述的图像包括各类遥感成像、或者医学仪器成像得到的模拟或数字图像，其格式包括 bmp、jpg、gif、或png ;所述的瑕疵来源包括成像设备故障造成的色彩失真，老照片的褪色、 折痕，胶片的老化造成的播放闪烁，旧影视资料的斑点、划痕。
3. 根据权利要求1所述基于格子波尔兹曼模型的视频图像瑕疵修复方法，其特征在 于： 所述格子波尔兹曼模型：通过把图像的边缘截止函数嵌入到格子波尔兹曼模型的松弛 因子中求解扩散方程得以实现，常用的二维格子波尔兹曼模型包括D2Q5-一二维5个方向 扩散，D2Q9,三维的格子波尔兹曼模型包括D3Q7, D3Q15。
4. 根据权利要求1所述基于格子波尔兹曼模型的视频图像瑕疵修复方法，其特征在 于： 所述的基于格子波尔兹曼模型的视频图像瑕疵修复可在包括PC或服务器在内的硬件 计算平台，和包括Android、iOS、Linux或Windows在内的软件操作系统中运行。
5. 根据权利要求1所述的基于格子波尔兹曼模型的视频和图像修复方法，其特征在于 所述步骤5)的具体操作步骤如下： 1) 、判断检测破损区域Ω，并对检测到的区域进行膨胀得到，预处理得图像1(文〇) 2) 、建立LB模型，设置初始平衡态分布函数(f, 0); 3) 、确立LB演化方程的迭代次数況，以及迭代终止条件和迭代终止阈值#; 4) 、设计LB演化方程的扩散系数; 5) 、根据LB模型中的D2Q9模型，更新LB演化方程中的平衡态分布函数Γ9 ; 6) 、计算LB模型中的迀移过程：l;- (f + q, t) = Ji (元t); 7) 、计算LB模型中的作用过程：
8) 、更新模型各节点处粒子密度
及待修复区域的外围信息； 9) 、判断是否满足迭代终止条件，如果不满足迭代停止条件则进入步骤10)，否则修复 结束； 10) 、判断迭代次数是否达到N，如果没有达到迭代次数N则转至步骤4)，并重复步骤 4) -9)，直到达到迭代次数N后结束修复。
6. 根据权利要求3所述基于格子波尔兹曼模型的视频图像修复方法，其特征在于： 所述的边缘截止函数为非负单调递减函数，可利用图像梯度信息和曲率信息，在边界 处扩散速度减慢，在平滑处扩散速度加快，使得图像扩散过程中对扩散速度和边缘保持能 力都具有较好的性能。
7. 根据权利要求3所述基于格子波尔兹曼模型的视频图像修复方法，其特征在于： 所述松弛因子控制扩散速率，实现非线性扩散，以达到保护图像边缘特性，抑制噪声的 目的；平衡态分布函数的设计实现各向异性扩散或者各向同性扩散。
【专利摘要】本发明公开了一种基于格子波尔兹曼模型的视频图像瑕疵修复方法。该方法的操作步骤为：1）输入待修复对象；2）判断修复对象的格式，若是图像则转入步骤5）进行修复，否则进入步骤3）；3）判断输入的视频信号格式，若是模拟视频则先通过视频采集卡转化为数字视频，再进入步骤4），否则直接转入步骤4）；4）将视频分解成帧；5）、对分解的每帧图像使用提出的格子波尔兹曼方法修复；6）、判断所需输出格式，若有需要合成视频，否则直接输出图像。格子波尔兹曼修复方法通过碰撞和迁移过程对模型中各节点粒子密度进行更新，若达到迭代次数或满足阈值条件则输出。该修复方法实现简单且并行性好，在保持较好修复质量的同时能够提高修复效率。
【IPC分类】G06T5-00
【公开号】CN104867110
【申请号】CN201410733849
【发明人】严壮志, 吴冰晶
【申请人】上海大学
【公开日】2015年8月26日
【申请日】2014年12月8日