一种基于尺度优化的数字图像修复方法
【技术领域】
[0001] 本发明主要涉及数字图像修复技术，具体涉及一种基于尺度优化的数字图像修复 方法。
【背景技术】
[0002] 图像修复指的是对数字图像缺失部分进行复原的过程。数字图像修复是数字图像 处理领域中的一个重要的分支，并且也是当前计算机视觉领域中的研宄热点。数字图像修 复技术有着很广泛的应用背景，比如图像的划痕修复、文本覆盖的修复以及图像中目标移 除后的修复等等。
[0003] 近年来在数字图像修复领域人们提出了很多修复方法，总体来讲，可以分为两大 类，第一类方法是基于传播和扩散思想的修复方法。该方法主要通过含参模型或者偏微分 方程引入平滑优先级，将局部结构信息由内而外地传播，达到对数字图像进行修复的目的。 这种修复方法一般适用于完成对直线、曲线以及小区域的修复。第二类方法是基于纹理合 成的修复方法。该方法主要通过获取图像统计信息以及自身相似度的方式对图像中的缺失 部分进行纹理合成，从而达到对数字图像进行修复的目的。其中一个被人们所熟知的方法 是基于样例的图像修复技术。随着对稀疏表示的研宄和不断发展，一种基于稀疏度的图像 修复技术被提出。基于样例和基于稀疏度的图像修复技术对于待修复图像中较大缺失区域 有着较好的修复效果。
[0004] 在现有技术中，基于样例的数字图像修复方法主要是先通过计算待修复区域边界 像素点的优先权函数，确定优先修复的位置，然后通过全局计算目标块与匹配块的相似度 来确定最优匹配块对目标块进行修复。在这个过程中优先权函数是否合理，直接影响优先 修复位置，进而影响修复效果。在全局搜索匹配块的时候并没有考虑几何空间优先特性的 信息，从而会导致选取到不合适的匹配块。另外，实验表明，不同尺度的匹配块同样影响修 复效果，固定尺度或者无根据的自适应尺度并不能改善修复效果。
【发明内容】
[0005] 本发明的目的在于提出一种基于尺度优化的数字图像修复方法，以解决现有技术 中存在的缺陷。在本发明中，用户不用任何干预，系统将自动对待修复图像进行识别和修 复。通过改进优先权函数，考虑几何空间优先等信息，同时利用平均相似度确定最优尺度的 方式，极大地改善了数字图像的修复效果。实验表明，该方法具有很好的修复效果。
[0006] 本发明的技术方案如下：
[0007] (1)检测待修复区域边界点，计算边界像素点的优先权函数，确定优先修复位置： 自动识别数字图像中的待修复区域并且检测待修复区域的边界；在优先权模型中引入局部 结构乘子，计算每一个边界像素点的优先权函数。选取优先权函数值最大的边界像素点作 为优先修复位置。
[0008] (2)匹配模型引入距离因素，全局搜索匹配块：计算目标块和匹配块的像素值差 异之和作为两个块的相似度，同时计算目标块和匹配块的欧式距离；全局搜索并记录所有 的相似度和距离。
[0009] (3)计算得到各个尺度下的最优匹配块：在某个候选尺度下全局搜索，结合相似 度和距离因素，选取该尺度下最优匹配块。
[0010] (4)计算各尺度下最优匹配块与对应目标块的平均相似度，选取尺度最优的匹配 块对图像进行修复：计算每个最优匹配块的平均像素差异作为平均相似度，取平均相似度 最小的匹配块作为最终的尺度最优匹配块对图像进行修复。
[0011] (5)重复步骤（1)-(4)直到整幅图像修复完成。
【附图说明】
[0012] 图1为本发明中算法流程图
[0013] 图2为算法核心模块示意图
[0014] 图3为符号示意图
[0015] 图4为修复效果对比图1 ;图中（a)为待修复图像；(b)为Criminisi算法修复效 果；(c)为本发明修复效果
[0016] 图5为修复效果对比图2 ;图中（a)为待修复图像；(b)为Criminisi算法修复效 果；(c)为本发明修复效果
【具体实施方式】
[0017] 如图2所示，基于尺度优化的数字图像修复方法的步骤如下：
[0018] 步骤1:检测待修复区域边界点，计算边界像素点的优先权函数，确定优先修复位 置。
[0019] 输入待修复图像，自动识别图像中的待修复区域以及待修复区域边界。针对待修 复区域边界像素点计算其优先权，在所有边界像素点中，选取优先权最大的边界像素点作 为优先修复位置。
[0020] 引入局部结构乘子的优先权模型。
[0021] 在对数字图像的修复过程中应多考虑结构信息，这样修复后才能尽可能保证图像 中结构信息完整。本发明中的优先权模型中引入局部结构乘子G(p)以包含更多结构信息。
[0022] 结合图3符号示意图所示，优先权函数公式如下： P(P) = G(p) · C(p) (1) 其中，G(p)为包含梯度信息的局部结构乘子，C(p)为置信度项，其计算公式分别为：
【主权项】
1. 一种基于尺度优化的数字图像修复方法，其特征包括以下步骤： (1) 检测待修复区域边界点，计算边界像素点的优先权函数，确定优先修复位置：自动 识别数字图像中的待修复区域并且检测待修复区域的边界；在优先权模型中引入局部结构 乘子，计算每一个边界像素点的优先权函数；选取优先权函数值最大的边界像素点作为优 先修复位置； (2) 匹配模型引入距离因素，全局搜索匹配块：计算目标块和匹配块的像素值差异之 和作为两个块的相似度，同时计算目标块和匹配块的欧式距离；全局搜索并记录所有的相 似度和距离； (3) 计算得到各个尺度下的最优匹配块：分别在每个候选尺度下全局搜索，结合相似 度和距离因素，选取各尺度下最优匹配块； (4) 计算各尺度下最优匹配块与对应目标块的平均相似度，选取尺度最优的匹配块对 图像进行修复：计算每个尺度下最优匹配块与目标块的平均像素差异作为平均相似度，取 平均相似度最小的匹配块作为最终的尺度最优匹配块对图像进行修复； (5) 重复步骤（1)-(4)直到整幅图像修复完成。
2. 根据权利要求1所述的一种基于尺度优化的数字图像修复方法，其特征在于步骤 (1) 所述计算边界像素点的优先权函数，边界像素点P处的优先权函数如下： P(P) = G(p) · C(p) (1) 其中，G(p)为包含梯度信息的局部结构乘子，C(p)为置信度项，其计算公式分别为：
上述公式中，I表示待修复图像，Ω表示图像待修复区域，q表示图像已知区域中的像 素点，1]%表示以点P为中心的块；在优先权函数中引入局部结构乘子，该乘子包含更多梯 度信息，即结构特征，从而可以保证优先修复处于结构特征位置的待修复区域，起到优化修 复的作用。
3. 根据权利要求1所述的一种基于尺度优化的数字图像修复方法，其特征在于步骤 (2) 所述匹配模型引入距离因素，在匹配过程中，计算目标块和匹配块的各像素值差异之和 作为两个块的相似度；同时计算目标块和匹配块的欧式距离；在全局搜索过程中分别记录 相似度和欧式距离两项数据。
4. 根据权利要求1所述的一种基于尺度优化的数字图像修复方法，其特征在于步骤 (3) 所述在各个尺度下结合相似度和距离因素计算各尺度下的最优匹配块，其具体过程如 下： 针对每个尺度分别得到最优匹配块； (31) 根据步骤（2)过程中记录的相似度信息，将所有的候选匹配块按照相似度从小到 大排序； (32) 根据步骤⑵过程中记录的距离信息，将所有候选匹配块的复制版本按照距离从 小到大排序； (33) 根据上述两个步骤得到的两个序列再次运用Border Voting方法综合排序，综合 考虑相似度信息和距离信息，得到最终的候选匹配块排序序列； (34) 选取最终匹配块排序序列中的第一个匹配块作为对应尺度下的最优匹配块。
5.根据权力要求1所述的一种基于尺度优化的数字图像修复方法，其特征在于步骤 (4)所述计算平均相似度选取尺度最优的匹配块对图像进行修复，根据步骤（3)所得到的 各个候选尺度下的最优匹配块，根据公式（4)计算各自的平均像素差异作为平均相似度：
(4) 其中为目标块p和匹配块q在尺度i下的相似度，PU为尺度i下块的面积； minarg (avgSSD (i, q)) (5) 根据公式（5)确定最优尺度i和匹配块位置q，最后我们用匹配块％覆盖目标块<， 从而达到图像修复的目的。
【专利摘要】本发明公开了一种基于尺度优化的数字图像修复方法。本发明首先考虑修复位置的优先权计算，提出了基于结构乘子的优先权计算模型，充分考虑了优先权计算中的结构信息因素；在修复块匹配的过程中，充分考虑几何空间信息，将距离因素引入到匹配模型中；最后，通过选取最优尺度的匹配块对图像进行修复。本发明不需要人为干预，可以自动完成图像修复任务。实验表明，本发明可以很好地改善传统方法中优先权的不足，充分保持图像的空间几何结构，极大地改善了图像修复效果。
【IPC分类】G06T5-00
【公开号】CN104680493
【申请号】CN201510109392
【发明人】陈志华, 江雷, 袁玉波, 张静, 应方立, 周李奇翰
【申请人】华东理工大学
【公开日】2015年6月3日
【申请日】2015年3月12日