基于对称样本块的图像修复方法
【专利摘要】一种基于对称样本块的图像修复方法；过程包括对原破损图像的预处理、破损区域的分割和破损区域修复。对原破损图像进行预处理包括：对图像进行高斯平滑、图像灰度化处理；而后进入破损区域分割与破损区域修复；破损区域修复是一个反复循环的过程，包括获得破损区域的边界点、获取破损区域边界上优先权最高的点和最先修复的破损块，以及选择搜索最佳对称样本块方法；选择搜索最佳对称样本块方法包括任意方向搜索对称样本块或者八方向寻找对称样本块两种方法，两种方法都包括更新破损块的像素、更新破损区域的面积和判断破损区域的面积是否为零，是，修复结束；否，回到获得破损区域的边界点重复循环。修复实验说明了本发明方法的有效性。
【专利说明】基于对称样本块的图像修复方法
【技术领域】
[0001]本发明属于数字图像处理与数字图像修复领域，具体涉及基于对称样本块的图像修复方法。
【背景技术】
[0002]自从2000年“图像修复”概念引入数字图像处理后，短短十多年，数字图像修复得到广泛的应用，主要包括:古画数字复原、恢复破损的照片和影片、图像中的文字和对象移除等。所谓数字图像修复就是对图像上缺损区域进行信息填充的过程，其目的就是为了对有缺损的图像进行恢复，并且视觉上无法察觉到图像曾经缺损或已被修复的效果。图像修复技术中，一类是基于偏微分方程的修复算法或者基于几何图像模型的变分修复技术，利用待修补区域的边缘信息，修复小尺度缺损问题。另一类是用于填充图像中的大块丢失信息的图像补全技术，包含两种方法:一种是基于分解的方法，将图像分解为结构和纹理部分，其中结构部分用图像修复算法修复，纹理部分用纹理合成的方法填充。还有一种是基于块的纹理合成技术填充丢失的信息，它是从待修补区域边界上选取一个像素点，并以该点为中心，根据图像的纹理特征，选取大小合适的纹理块，然后在待修复块的周围寻找与之最相似的纹理匹配块来代替。然而图像修复仍然是一件困难的事情。
[0003]现有的数字图像修复技术还不能有效修复大量的对称图像，如唐卡图像、壁画等，很多图像有一定的对称结构，图像中一些关键块的缺损，如一幅唐卡中释迦摩尼佛的一边耳部丢失，若仅利用该图像中耳部周围信息修复，则无法得到所需要的结果。
【发明内容】
[0004]为了利用被修复图像中所具备的对称信息，来修复破损区域，本发明提供一种基于对称样本块的图像修复方法，它是利用破损区域在图像上某一对称方向的信息填充破损区域的一种有效的数字化图像修复方法。
[0005]为了实现本发明目的，本发明采取的技术方案为:一种基于对称样本块的图像修复方法，包括对原破损图像进行预处理、破损区域分割与破损区域修复，具体步骤如下:
[0006]a.对原破损图像进行预处理
[0007]a.1对图像进行高斯平滑
[0008]因为高斯平滑对边缘保持较好，通常用如下5X5或3X3的高斯平滑模板掩模图像:
'1 4 7 4 1'
4 16 26 丨6 4[I 2 Γ
[0009]—X 7 26 41 26 7 —x 2 4 2
27316
4 16 26 16 412 I
I 4 7 4 1_
[0010]a.2图像灰度化处理
[0011]采用平均值法将彩色图像灰度化，即求出图像每个像素点的R、G、B三个分量像素值的平均值，并生成其灰度图像；
[0012]b.破损区域分割
[0013]常用的图像分割方法包括阈值分割法、边界分割法和区域增长法等分割方法；本发明采用区域增长的分割方法，其过程为:
[0014]b.1.采用人机交互的方法，在被修复图像的破损区内任意选取一点作为种子点坐标(Xr, yr),并在灰度图像上记录下其像素值Pr(Xr，Yr)；
[0015]b.2.创建与原图同样大小的一个二值模板图像mask,将模板图像mask中像素值pr(xr, yr)设为I，其余像素设置为O ;
[0016]b.3.在灰度图像上通过算法1，得出模板图像mask里像素值为I的点集合，就对应原图像的破损区域，也就是分割出了原图像的破损区域；
[0017]算法I包括的步骤:
[0018](I)创建一个堆栈；
[0019](2)获取种子点(xr, yr)及其像素值Pr (xr, yr)；
[0020](3)以种子点(xr, yr)为中心，计算其像素值P1Xxr, yr)与八邻域像素值Pi (Xi, y)之差，如果 Pr(XrJr)-Pi(XiJi) I <M，(i = 1，2，3，4，5，6，7，8)，M 的取值根据实验确定，一般取10，并且mask相对应位置上像素值为O时，则将点(Xi，yi)压入堆栈，mask相应位置上的像素值设为I ;
[0021](4)判断堆栈是否为空，如果不为空则从堆栈中取出一个像素，把它当作点(Xr，y山转回步骤(3)，否则转向步骤(5)；
[0022](5)结束；
[0023]c.破损区域修复
[0024]c.1获得破损区域的边界点
[0025]c.1.1创建一个队列，用来存储破损区域边界点；
[0026]c.1.2获得破损区域边界点:对二值模板图像mask，其中像素值为I的区域为原图破损区域，遍历整幅mask图像，如果像素点的像素值为1，并且它八个相邻像素值至少有一个是0，就将像素值为I的像素点存入队列中，最后得到的队列就是破损区域的边界点；
[0027]c.2获取破损区域边界上优先权最高的点和最先修复的破损块
[0028]图2所示为边界上优先权最高点和最先修复的破损块计算示意图，I代表全图，Ω表示破损区域，δ Ω表示破损区域Ω的边界，Φ表示图像未破损的部分,P表示破损区域边界δ Ω上的点，ηρ是点P处的单位法向量，V/p表示P点的等照线方向，Ψρ是边界上以P点为中心、包含了 Ω内的点和Φ内点的破损块；破损区域边界上优先权最高的点和以该点为中心的最先修复破损块计算过程如下:
[0029]c.2.1计算边界上点P的优先权，由式⑴计算，
[0030]P(p) = C(p)D(p) (I)
[0031]式⑴中:C(p)表示P点的置信因子，D(p)表示P点的数据因子，C(p)由式(2)计算，
【权利要求】
1.一种基于对称样本块的图像修复方法，其特征在于包括对原破损图像进行预处理、破损区域分割与破损区域修复，具体步骤如下: a.对原破损图像进行预处理 a.1对图像进行高斯平滑 用如下5X5或3X3的高斯平滑模板掩模图像:
a.2图像灰度化处理 采用平均值法将彩色图像灰度化，即求出图像每个像素点的R、G、B三个分量像素值的平均值，并生成其灰度图像； b.破损区域分割 采用区域增长的分割方法，其过程为: b.1.采用人机交互的方法，在被修复图像的破损区内任意选取一点作为种子点坐标(xr, yr)，并在灰度图像上记录下其像素值PrUr，yr); b.2.创建与原图同样大小的一个二值模板图像mask，将模板图像mask中像素值Pr (xr, yr)设为I，其余像素设置为O ; b.3.在灰度图像上通过算法1，得出模板图像mask里像素值为I的点集合，就对应原图像的破损区域，也就是分割出了原图像的破损区域；算法I包括步骤:(1)创建一个堆栈； (2)获取种子点(XmL)及其像素值； (3)以种子点(X^r)为中心，计算其像素值Pr(X^r)与八邻域像素值PiUi, Yi)之差，如果 I Pr (xr, yr) -Pi (Xi, Yi) I < M, (i = I, 2，3，4，5，6，7，8), M 的取值根据实验确定,一般取.10,并且mask相对应位置上像素值为O时,则将点(Xi, Yi)压入堆栈,mask相应位置上的像素值设为I ; (4)判断堆栈是否为空，如果不为空则从堆栈中取出一个像素，把它当作点(?转回步骤(3)，否则转向步骤(5)； (5)结束； c.破损区域修复 c.1获得破损区域的边界点 C.1.1创建一个队列，用来存储破损区域边界点； c.1.2获得破损区域边界点:对二值模板图像mask，其中像素值为I的区域为原图破损区域，遍历整幅mask图像，如果像素点的像素值为I，并且它八个相邻像素值至少有一个是.0，就将像素值为I的像素点存入队列中，最后得到的队列就是破损区域的边界点；c.2获取破损区域边界上优先权最高的点和最先修复的破损块I代表全图，Ω表示破损区域，δ Ω表示破损区域Ω的边界，Φ表示图像未破损的部分，P表示破损区域边界δ Ω上的点，ηρ是点P处的单位法向量，▽/,!表示P点的等照线方向，Ψρ是边界上以P点为中心、包含了 Ω内的点和Φ内点的破损块；破损区域边界上优先权最高的点和以该点为中心的最先修复破损块计算过程如下:c.2.1计算边界上点P的优先权，由式(I)计算， P(p)=C(p)D(p) (I) 式⑴中:C(p)表示P点的置信因子，D(p)表示P点的数据因子，C(p)由式⑵计算，
式⑵中:I Ψρ|是ψρ的面积，图像中所有点的置信因子按照式(3)初始化，
式⑴中D(P)通过式(4)计算，
其中α是归一化因子，是图像灰度级的最大值； c.2.2计算边界上所有点的优先权，并比较值的大小从而获得优先权最高的点，记为Po ； c.2.3获取以Ptl为中心的最先修复的块Ψρα，这个块Ψρ。的大小根据破损区域周围的纹理结构，选择与纹理结构大小相当的块，采用人机交互的方式，块的边长是3到99之间的奇数，即3X3到99X99大小的块；而后进入步骤c.3;如果图像具有左右、上下、右上与左下、左上与右下的八方向对称的情况之一，选择基于八方向的对称样本块修复方法，否则选择在任意方向搜索对称样本块的修复方法； c.3在任意方向搜索最佳对称样本块或者在八方向寻找最佳对称样本块的图像修复 c.3.1在任意方向寻找最佳对称样本块 c.3.1.1在1-Ω中以任意点P1为中心的样本块xFp1的选取 Po是最先修复块的中心点，P1是待寻找样本块的中心点，获得P1和P。连线与水平方向夹角Θ，利用式(5)获得P1旋转到与Ptl同一水平线位置上P2的坐标:
式(5)中:X0、X1和X2分别是Po、P1和p2的横坐标，y0> Y1和I2分别是Po、P1和P2的纵坐标； 获得以P2为中心、大小与相同并与Ψρο成水平对称的样本块以3X3为例，破损块与样本块的对应关系如图4与图5所示，图4是破损块Ψιν图5表示的水平对称样本块Ψρ2，其中数字表示两个块对称位置；再利用式(6)获得样本块Ψρ2反方向旋转Θ角的位置:
式(6)中:(x，y)表示反向旋转之前中任意点的坐标，(X’，y’ )表;」旋转Θ角后的Ψ/,中对应点的坐标；Ψρ2旋转后，与点的对应关系和与Ψ〃υ的对应关系相向，即得到以P1为中心的对称样本块； c.3.1.2在1-Ω搜索Ψρ。的最佳对称样本块，由式(7)计算，
式(7)中:Ψ#表示最佳对称样本块，Ψ&是以P1为中心的样本块，成HY1)表示最先待修复块^。与对称样本块xIV1之间的相似性度量，用式(8)计算，
式(8)中:xu表示Ψρ。中点的像素值，yu表示xIV1中点的像素值，块的大小决定m的值，若选择块的大小为3X 3，则m的值为3 ； c.3.1.3破损块的更新 c.3.1.3.1按照图4与图5中的对应关系，将破损块4\,中的破损像素值用最佳对称样本块Ψ多中的对应像素值替换； c.3.1.3.2更新上一步填充像素点的置信因子，由式(9)计算， C(p) = C(p) Vpe^pnQ (9) 同时将原破损图像填充点位置上mask里对应点的像素值更新为O ;c.3.1.4更新破损区域的面积，即计算填充后破损区域内的像素数每填充一次后要重新计算破损区域的面积，即统计填充后破损区域的像素个数，以便判断修复过程是否结束；如果破损区域面积为零则修复完成，否则重复做步骤c.1、步骤c.2和步骤c.3.1 ; c.3.2在八方向寻找最佳对称样本块 八个箭头表示以P为中心的破损块Ψρ的八个方向，从这八个方向寻找对称样本块，每个方向都找出一个对称相似样本块，再从其中找出最佳的对称样本块，是Ψρ的最佳对称样本块；计算步骤如下: c.3.2.1在八个方向寻找相似对称样本块 从八个方向找到对称相似样本块叫,(i=l,2,3,4,5,6,7,8)由式(10)计算: Wqi =Mgmndi(xVp^Vqi) (i = 1,2,3,4,5,6,7,8) (10) 式(10)中:表示的相似度量，下标1、2、3、4、5、6、7和8分别表示左、左上、上、右上、右、右下、下、左下方向；1、2、3和4四个方向的对称相似度量用式(11)计算，5、6、7和8四个方向的对称相似度量用式(12)计算:
式(11)、(12)中=Xij表示ψρ中点的像素值，yij表示H%X々=1,2,3,4,5,6,7,8)中点的像素值； C.3.2.2最佳对称样本块的计算 从八个对称相似样本块中寻找最佳相似对称样本块，根据式(13)计算:
C.3.2.3更新破损块的破损像素 c.3.2.3.1按照下述的规则用Ψ,中的像素值更新Ψρ中破损像素点，当像素点在Ψρ中的扫描顺序是从左到右、从上到下时，相对应的Ψ,中的扫描顺序为:当最佳对称样本块所在的方向是I或5时，则最佳对称样本块内像素点扫描顺序是从右到左、从上到下；当最佳对称样本块所在的方向是2或6时，则最佳对称样本块内像素点扫描顺序是从下到上、从右到左；当最佳对称样本块所在的方向是3或7时，则最佳对称样本块内像素点扫描顺序是从左到右、从下到上；当最佳对称样本块所在的方向是4或8时，则最佳对称样本块内像素点扫描顺序是从上到下、从左到右；并将Ψρ中破损像素点用Ψ,中对应的像素值填充；以块大小3X3为例，最佳样本块在左方向时，图7描述了破损块像素更新的过程，其中a表不破损块Ψρ,?3表不最佳对称样本块Wq,a、b中的数字表不扫描顺序,数字相同表不相对应的像素点，如果Ψρ中4属于破损像素，就用Ψ,中位置4的像素值填充； c.3.2.3.2更新上一步填充像素点的置信因子，由式(9)计算；同时将图像填充点位置上mask里对应点的像素值更新为O ;c.3.2.4更新破损区域的面积，如果破损区域面积为零则修复完成，否则重复做步骤c.1、步骤c.2和步骤c.3.2。
2.如权利要求1所述的一种基于对称样本块的图像修复方法，其特征在于步骤c.2.3中，选择9X9、11X11到33X33的块。
【文档编号】G06T5/00GK104200444SQ201410498115
【公开日】2014年12月10日 申请日期:2014年9月25日 优先权日:2014年9月25日
【发明者】王维兰, 贾艳军 申请人:西北民族大学