一种自适应选择样本块大小的图像修复方法与流程

本发明涉及计算机图像处理领域，尤其涉及一种自适应样本块图像修复方法，该修复方法基于criminisi算法，可广泛用于机器视觉、目标移除、虚拟现实等领域。

背景技术：
：

图像修复是计算机图像和视觉研究领域的热点之一，在艺术品修复、破损照片修复、视频后期制作及目标移除等方面都得到了广泛的应用。其核心思想是利用图像中已知的纹理和结构信息，按照一定的修复顺序和匹配准则对缺损区域进行修补，以保证图像的视觉完整性。

目前该技术大体上可分为两类：一类是structure-based(基于结构)的修复方法，该类方法主要用于修复破损区域较小的图像，另一类是exemplar-based(基于样本)的修复方法，该类方法致力于修复大面积破损区域。criminisi算法是2004年提出的一种基于样本的图像修复算法，在图像修复领域有着深远影响。

传统的基于样本的图像修复算法大多通过人工设定样本块大小，来达到最佳修复果，样本块大小对修复结果有着重要影响。然而一幅图像通常具有不同的局部纹理特性，对所有的位置都采用相同大小的样本块进行修复缺乏自适应性。事实上，每个待修复的像素点所对应的填补样本块大小应该能够根据待修复点周围的局部结构信息进行自动调节，以满足不同结构区域信息自动修复的需要。

为解决上述问题，本发明通过在修复过程中对破损图像进行四叉分解，使得修复算法能够在修复过程中根据图像的局部信息和结构特征自适应地选取当前待修复点的最佳样本块大小，对图像修复效果有着明显的提升。

技术实现要素：
：

本发明提供了一种自适应选择样本块大小的图像修复方法，本发明针对传统基于样本的图像修复算法，在修复过程中采取固定大小样本块的缺点，修复结果容易造成图像结构信息错误传递的现象，提出根据待修复图像不同区域的局部信息和结构特征来自适应确定合适的样本块大小，可有效提高修复效果，详细步骤见下文描述：

1.标记图像的破损区域，根据算法中定义的修复优先级函数确定修复优先级最高的待修复点；

2.对破损图像进行四叉分解，得出待修复点的所在位置的图像块大小，并以此大小作为待修点的最优样本块大小；

3.根据最小绝对差平方和匹配准则、最优样本块的大小，从图像已知区域中寻找最优匹配块；

4.利用最优匹配块对待修复样本块进行填补，更新破损区域及源区域。

附图说明：

图1为一种自适应选择样本块大小的图像修复方法流程图；

图2为一幅图像四叉分解的示意图；其中分解阈值设置为6，(a)为图像四叉分解结果，其中每个字母标记一个子区域，最终分解得到a、c、d、x、y、z、t七个子区域，(b)为四叉树表示的分解过程，每一个叶结点代表一个图像子区域，叶结点旁边标记的区间表示子区域的灰度值范围。

具体实施办法：

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。为了解决背景技术中存在的问题，本发明实施例提出一种基于criminisi算法的自适应选择样本块大小图像修复方法，在修复过程中对图像进行四叉分解得到当前待修复点处的图像块大小，并以此样本块大小作为待修复点的修复样本块大小，使得算法能够根据图像的局部信息和结构特征自适应地选择合适的样本块大小。本发明算法流程如图1所示，以下结合附图和实施示例做进一步详细叙述：

1.输入待修复图像，对图像破损区域边界上的每个像素点计算置信度c(p)和数据项d(p)，确定破损区域边界上每个像素点的修复优先级p(p)，p(p)＝c(p)×d(p)；

其中，上述计算置信度c(p)和数据项d(p)的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

2.根据优先级的计算结果选取优先级最高的目标像素点，并将该目标像素点作为当前待修复点；

3.设定一个阈值，对当前破损图像进行四叉分解，将整幅图像分解成为不同大小的图像块。四叉分解的具体过程为：

(1)将破损图像转化为灰度图，并将图像破损区域内的灰度值设置为0，如果图像尺寸不是正方形的，则将图像填充为正方形区域，其中填充区域灰度值设为0；

(2)取当前图像区域内所有像素点的最大灰度值与最小灰度值(如果最小灰度值为0，则取次小灰度值)；

(3)如果最大灰度值和最小灰度值差异大于设定的阈值时，则将图像区域分为互不重叠的四块同样大小的子区域；

(4)对图像的所有子区域重复上步骤(2)和(3)，直到所有子区域内的像素灰度值差异都小于阈值，则完成分解。

4.得到待修复点所处位置的图像子区域大小，以待修复像素点为中心取同样大小的图像邻域作为待修复块ψp；

5.采用ssd匹配准则在图像已知区域内寻找与待修复样本块ψp尺寸相同的匹配块，计算ssd匹配代价，得到与待修复样本块ψp具有最小绝对差平方和的最优匹配块ψq。其中，待修复样本块ψp与最优匹配块ψq的ssd匹配代价d(ψp,ψq)计算公式为：

其中，r(a)、g(a)、b(a)表示待修复样本块ψp内的任意像素点a的rgb分量，r(b)、g(b)、b(b)表示最优匹配块ψq内的像素点b的rgb分量。

6.利用最优匹配块ψq对待修复样本块ψp进行填充，并将待修复样本块ψp标记为已修复的样本块，更新破损区域已知区域。

7.重复步骤1～6，直至完成图像修复。

综上所述，本发明实施例通过上述步骤1～7根据图像局部信息和结构特征自适应确定待修复样本块大小，对不同的纹理和结构信息区域，采用不同大小的样本块进行修复，减少了误匹配，使得修复后的结构和纹理更加自然。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，但所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

技术总结
本发明公开了一种自适应选择样本块大小的图像修复方法，属于图像处理领域，对图像中的破损部分进行修复。所述图像修复方法基于Criminisi算法，包括以下步骤：输入标记好破损区域的图像，根据修复优先级函数确定修复优先级最高的待修复点；对破损图像进行四叉分解，得出待修复点所在位置的图像块大小，并以此大小作为待修点的最优样本块大小；根据最小绝对差平方和匹配准则、最优样本块的大小，从图像已知区域中寻找最优匹配块；利用最优匹配块对待修复样本块进行填补，更新破损区域及已知区域。本方法根据待修复图像不同区域的局部信息和结构特征来自适应确定最优的填补样本块大小，可有效提高修复效果。

技术研发人员：刘洪盛;范勤辉;方道恒;舒畅;徐进
受保护的技术使用者：电子科技大学
技术研发日：2018.05.29
技术公布日：2018.11.02