一种基于阈值分界和区域划分的Criminisi图像修复方法

一种基于阈值分界和区域划分的criminisi图像修复方法
技术领域
1.本发明属于图像处理技术领域，具体涉及一种基于阈值分界和区域划分的criminisi图像修复方法。


背景技术：

2.图像修复作为数字图像处理领域的热点研究方向，近年来受到广泛关注。图像修复技术是将待修复图像的破损区域信息进行恢复填充，使恢复后图像的细节和结构信息接近原始图像，以达到提升视觉效果的作用。该技术在医疗影像、文物修复、公安消防和影视制作等领域具有极大的发展前景和应用价值。
3.国内外的众多研究学者对图像修复的研究主要分为两类：基于偏微分方程(partial differential equations，pde)的图像修复方法和基于纹理合成的图像修复方法。前者主要应用于划痕和小面积破损图像的修复工作,其中比较经典的算法模型有全变分(total variation，tv)模型和曲率驱动扩散(curvature driven diffusion，cdd)模型。而后者对大面积的图像破损和信息丢失具有更好的修复效果。其中criminisi算法是最为经典的纹理合成算法，其主要通过优先权函数计算，全局匹配搜索样本块和最佳匹配准则完成对破损图像的修复。虽然criminisi算法可以较好完成图像的修复工作，但随着修复过程中的不断更新迭代，其置信度项会逐渐趋向于零，产生错误匹配的纹理混乱现象，并且由于匹配采用的是全局搜索策略，在匹配效率和准确率方面存在缺陷。
4.综上所述，针对现有技术的不足，提出稳定性更好、处理效率更高的图像修复算法已成为当前数字图像处理领域迫在眉睫的问题。


技术实现要素：

5.本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于阈值分界和区域划分的criminisi图像修复方法，其通过改进的阈值分界优先权函数，可以有效克服传统的criminsi算法在多次迭代后置信度项趋向于零，导致图像修复顺序不合理，最终修复效果差的问题，并且使用自适应的样本块大小可以更好地恢复图像的局部纹理信息。
6.为实现上述技术目的，本发明采取的技术方案为：
7.一种基于阈值分界和区域划分的criminisi图像修复方法，其特征在于包含以下步骤：
8.步骤一：确定好破损图像的待修复区域，并用不同颜色标注区域信息；
9.步骤二：提取破损图像的边缘信息，利用阈值分界的优先权函数计算其边界上像素点的优先权值，选择优先权最高的像素点进行修复；
10.步骤三：自适应选取样本块大小进行图像修复；
11.步骤四：通过基于纹理分割的方式划分图像区域，将同一模块的图像合并为同一图像区域，在各区域内寻找对应的最佳匹配块；
12.步骤五：通过引入结合jaccard距离和ssd像素平方差的最佳匹配准则，从完整信
息区域选择最佳匹配块来修复图像破损区域；
13.步骤六：将最佳匹配块填充到待修复区域，并更新置信度，选择下一个需要修复的图像区域；
14.步骤七：重复以上步骤，直至破损图像修复完全。
15.上述的步骤二中的改进的优先权函数由阈值分界的数据项引入结构张量构成，其表达式为p(p)＝rc(p)
·
(αd(p)+βs(p))，其中rc(p)为阈值分界的置信度项，d(p)为数据项，s(p)为结构张量，α和β为数据项和结构张量的权重系数。
16.上述的步骤二中的阈值分界的置信度项表达式为其中为传统置信度项，其表示待修复的样本块ψ
p
中已知像素信息所占比重。
17.上述的步骤三中的自适应样本块大小其中λ1和λ2为结构张量的两个特征值。
18.上述的步骤四中的区域划分的方法通过引入图像块的信息熵来度量待修复块的复杂度来缩小搜索范围，其最终度量准则为：
19.上述的步骤五中的结合jaccard距离和ssd像素平方差的最佳匹配准则为d
j
(ψ
p
,ψ
q
)＝(d
jaccard
(ψ
p
,ψ
q
))
η
·
d
ssd
(ψ
p
,ψ
q
)，其中(d
jaccard
(ψ
p
,ψ
q
))为两个图像块的jaccard距离，d
ssd
(ψ
p
,ψ
q
)为两个图像块的ssd距离。
20.本发明的优点在于以下几点：
21.(1)通过改进的阈值分界优先权函数，可以有效克服传统的criminsi算法在多次迭代后置信度项趋向于零，导致图像修复顺序不合理，最终修复效果差的问题，并且使用自适应的样本块大小可以更好地恢复图像的局部纹理信息；
22.(2)引入jaccard距离作为最佳匹配准则的约束项，可以较好地解决传统的criminisi算法没有考虑图像的颜色、形状和结构信息导致的错误匹配产生的“块状效应”和“纹理混乱”现象；
23.(3)通过基于纹理分割的图像区域划分这种局部搜索最佳匹配块的方式，相较于传统的全局搜索策略具有更快的匹配效率和更高的匹配准确率。
附图说明
24.图1为本发明的工作流程图；
25.图2为本发明一种应用例中电信院破损图像修复对比图；
26.图3为本发明一种应用例中图书馆破损图像修复对比图；
27.图4为本发明一种应用例中海景图像小面积破损修复对比图；
28.图5为本发明一种应用例中海景图像大面积破损修复对比图。
具体实施方式
29.下面结合附图对本发明的具体实施方式作出进一步说明：
30.一种基于阈值分界和区域划分的criminisi图像修复方法，其特征在于：其特征在于包含以下步骤：
31.步骤一：确定好破损图像的待修复区域，并用不同颜色标注区域信息；
32.步骤二：首先需要提取破损图像的边缘轮廓，其中ω为图像的破损区域，φ为图像的信息完整区域，为两区域边界轮廓；p为目标像素点，ψ
p
为以p为中心的样本块；n
p
为待修复破损区域的单位法矢量；为p的等照度矢量。首先计算破损图像的待修复区域边界上个像素点的优先权函数来获得修复优先级，然后在图像信息完整区域匹配最佳匹配块填充到待修复区域，直至整个破损图像修复完整。其表达式如式(1)所示，其中c(p)为置信度项表示待修复样本块ψ
p
中已知像素所占比例其表达式如式(2)，d(p)为数据项表示样本块的结构强度信息，其表达式如式(3)：
33.p(p)＝c(p)
·
d(p)
ꢀꢀ
(1)
[0034][0035][0036]
其中，ω为图像的破损区域，φ为图像的信息完整区域，为两区域边界轮廓；p为目标像素点，ψ
p
为以p为中心的样本块；n
p
为待修复破损区域的单位法矢量；为p的等照度矢量。
[0037]
针对算法在多次迭代后存在置信度项趋向于零的问题，利用改进的阈值分界的优先权函数计算其边界上像素点的优先权值，其表达式如式(4)所示，然后选择优先权最高的像素点进行修复。
[0038]
p(p)＝rc(p)
·
(αd(p)+βs(p))
ꢀꢀ
(4)
[0039]
其中，rc(p)为阈值分界的置信度项，其表达式如式(5)，当迭代过程中置信度项衰减到指定阈值t的时候，本发明的算法将置信度项为恒定常量，整个优先权函数通过数据项主导来优先修复结构部分。s(p)为结构张量，α和β为数据项和结构张量的权重系数。
[0040][0041]
在数据项中引入结构张量可以获取图像的局部结构信息和方向信息，更好保持图像在修复时的纹理结构连贯性，结构张量定义如下式：
[0042][0043][0044]
其中，为图像梯度矢量，i
x
和i
y
为两个方向的偏导数，g
ρ
为高斯核函数。λ1和λ2表
示结构张量在该像素点处的两个特征值，其表达式如式(8)所示：
[0045][0046]
步骤三：自适应选取样本块大小进行图像修复。针对criminisi算法使用固定的9x9大小的样本块会产生纹理延伸的情况，本发明算法根据不同情况自适应地选择不同大小的样本块进行修复工作。
[0047][0048]
根据两个特征值的大小区别，当像素点处在角点区域，采用5x5大小的样本块；当像素点处在边缘区域，采用7x7大小样本块；当像素点处在平坦区域，采用11x11大小的样本块；其他情况均采用9x9大小样本块。
[0049]
步骤四：通过基于纹理分割的方式划分图像区域，在合并区域时通过颜色和梯度特征进行分组，通过引入图像强度导数的统计特征测量各区域颜色和图像特征。通过计算图像强度矢量，将同一模块的图像合并为同一图像区域。
[0050]
在合并区域后，通过引入图像块的信息熵h
p
来度量待修复的样本块的复杂度来划分搜索范围，其表达式如式(10)所示：
[0051][0052]
然后通过引入匹配块和待修复块的方差来体现两者相似性，最终度量准则如下式(11)：
[0053][0054]
其中，μ+ν＝1且均取值0.5。
[0055]
步骤五：通过引入对应像素点的jaccard距离和ssd像素平方差的最佳匹配准则相互作用，从而更好地获取最佳匹配块，然后再用最佳匹配块来修复图像破损区域。
[0056]
jaccard距离是jaccard指数的补集，其定义如式(12)所示：
[0057][0058]
其中，a和b为两个集合，定义a和b为空集合时j(a,b)＝1，其取值范围0≤j(a,b)≤1。两个集合的jaccard距离越小，则表示两个集合的相似度越高。通过将其作为ssd准则的约束条件，得到的最佳匹配准则如式(13)所示：
[0059]
d
j
(ψ
p
,ψ
q
)＝(d
jaccard
(ψ
p
,ψ
q
))
η
·
d
ssd
(ψ
p
,ψ
q
)
ꢀꢀ
(13)
[0060]
其中，η为jaccard距离的权重函数，经过大量实验测试取值为0.5。
[0061]
步骤六：将最佳匹配块填充到待修复区域，并更新置信度，选择下一个需要修复的图像区域。
[0062]
步骤七：重复以上步骤，直至破损图像修复完全。
[0063]
实施例中，步骤二中的改进的优先权函数由阈值分界的数据项引入结构张量构成，其表达式为p(p)＝rc(p)
·
(αd(p)+βs(p))，其中rc(p)为阈值分界的置信度项，d(p)为数据项，s(p)为结构张量，α和β为数据项和结构张量的权重系数。
[0064]
实施例中，步骤二中的阈值分界的置信度项表达式为其中为传统置信度项，其表示待修复的样本块ψ
p
中已知像素信息所占比重。
[0065]
实施例中，步骤三中的自适应样本块大小其中λ1和λ2为结构张量的两个特征值。
[0066]
实施例中，步骤四中的区域划分的方法通过引入图像块的信息熵来度量待修复块的复杂度来缩小搜索范围，其最终度量准则为：
[0067]
实施例中，步骤五中的结合jaccard距离和ssd像素平方差的最佳匹配准则为d
j
(ψ
p
,ψ
q
)＝(d
jaccard
(ψ
p
,ψ
q
))
η
·
d
ssd
(ψ
p
,ψ
q
)，其中(d
jaccard
(ψ
p
,ψ
q
))为两个图像块的jaccard距离，d
ssd
(ψ
p
,ψ
q
)为两个图像块的ssd距离。
[0068]
本发明是在matlab环境下进行仿真，在评价标准方面使用峰值信噪比(psnr)、结构相似性(ssim)作为本发明效果的评价指标，其定义为：
[0069][0070][0071]
在其上所述定义中，图像的分辨率大小为m
×
n，i0和i为原始图像和修复后图像。μ和σ对应图像的均值和标准差，表示两者的协方差，c1、c2为两个较小的常数。psnr值和ssim值越大，则表示图像修复的结构信息越完整，修复效果越好。
[0072]
表1各图像的算法修复后评价指标比较
[0073][0074]
图2包括图2a、图2b、图2c和图2d，而图3包括图3a、图3b和图3c，图2a和图3a分别为电信院图像和图书馆图像的原始图，而图2b和图3b为破损的待修复图像，图2c和图2d为criminisi算法修复后的图像，图2c和图3c为本发明算法修复后的图像。通过图2c和图3c，可以发现屋顶的顶端存在错误匹配的情况，图像修复效果较差，而楼宇的墙面也存在纹理混乱的现象，鼎的边缘不够连贯，没有很好地恢复图像的结构信息；图2d和图3d可以看出本发明的算法可以较好恢复图像结构信息，且保留图像纹理细节。图4和图5分别对海景图像的小面积破损和大面积破损图像进行修复，通过图4c和图5c，可以观察到criminisi算法在修复时存在边缘纹理延伸的情况，木板的纹理发生扭曲，而图4d和图5d可以很好地保持图像边缘连贯性，达到较好的视觉效果。结合表1的评价指标对比，可以看出本发明算法在结构相似性和峰值信噪比上均有较好的提升效果。
[0075]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。