图像修补方法和图像修补装置与流程

本发明涉及图像处理技术领域，具体而言，涉及一种图像修补方法和一种图像修补装置。

背景技术：

图像修补的目的是将含有残缺部分的图像尽可能恢复到原始的样子。在自然图像中普遍存在自相似性，比如重复的图案和结构等，这些自相似性包含了一些互补的信息，对于图像修补有很大的帮助。

在图像修补领域中，错误隐藏这种方法正被广泛地研究，错误隐藏方法主要利用图像/视频的自相似性或者时间/空间上的关联来对图像进行处理。一种传统的错误隐藏方法是利用贝叶斯模型来估计图像中的缺失像素，在给定一个损坏的图像后，通过已有的像素来最大化未知像素的条件概率。Besag等人将贝叶斯模型应用于后验概率，然后通过先验概率来达到一个最优值。然而，先验概率模型往往不够精确甚至无法获得。在假设图像能够被局部建模为平稳高斯过程的情况下，Li和Orchard等人通过估计一个局部窗口的协方差来描述局部插值的系数从而提出了一个方向自适应的插值方案。但是，这个假设对图像不一定成立。

最近，低秩矩阵/张量最小化的方法因为其通过稀少信息恢复数据的良好效果而受到关注，许多矩阵/张量修补的方法被提出来以重建丢失了像素的图像。对于那些有高度可重复性结构而丢失率很高的图像，这些方法有着很好的效果，但对其它图像这些方法的效果并不理想，也就是说这些方法仅对低秩的图像有良好的修复效果。Chen等人提出了一种修补丢失信息同时捕获潜在结构的方法，但是这种方法复杂度过高。Liu和Shang等人在张量核范数模型中引入了矩阵因子分解以得到一个规模更小的矩阵核范数最小化问题。不同于全局低秩，Ono等人提出了一个模块低 秩的修复模型。Nguyen等人结合了非局部的图像块的群和低秩张量近似。Dong等人针对自然图像中的非局部相似性建模提出了一个低秩的方法并讨论它和同步稀疏编码的关系。然而，以上这些方法收集到的相似块之间可能不够相似，从而导致图像修复不成功。

因此，如何能够有效地对图像中的缺失块进行修补成为亟待解决的技术问题。

技术实现要素：

本发明正是基于上述技术问题至少之一，提出了一种新的图像修补方案，提高了对图像中缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。

有鉴于此，本发明提出了一种图像修补方法，包括：确定待修补图像中包含有未知像素点的至少一个缺失块；对于所述至少一个缺失块中的任一缺失块，聚类得到所述任一缺失块的相似块，以形成由所述任一缺失块聚类得到的类；根据由所述任一缺失块聚类得到的类，构成具有低秩性质的矩阵；采用核范数逼近所述矩阵的秩，并采用奇异值阈值的方法对所述矩阵进行求解；根据对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补。

在该技术方案中，在对图像中的缺失块进行修补时，针对任一缺失块，可以聚类得到任一缺失块的相似块，并建立一个低秩最小化模型(即具有低秩性质的矩阵)来恢复丢失区域，而在解决难解的低秩最小化模型时，本发明采用核范数逼近矩阵的秩以简化这个模型的求解，并在具体求解中应用到了奇异值阈值的方法，提高了对缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。

在上述技术方案中，优选地，聚类得到所述任一缺失块的相似块的步骤，具体包括：对所述待修补图像进行多层下采，以得到多个下采图像；在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块。

在该技术方案中，通过对待修补图像进行多层下采，以在待修补图像 和多个下采图像中聚类得到任一缺失块的相似块，使得能够在待修补图像和多个下采图像中找到足够数量的相似块，以实现对图像进行修复的目的。其中，可以采用最近邻下采样的方法对待修补图像进行多层下采。

在上述任一技术方案中，优选地，在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块的步骤之前，还包括：

在对所述待修补图像进行多层下采的过程中，若所述下采图像中包含有丢失的像素点，则判断是否能够在进行下采操作前的图像中找到与所述下采图像中丢失的像素点对应的像素点周围未丢失的像素点；在判定能够找到所述未丢失的像素点时，通过所述未丢失的像素点的均值对所述下采图像中丢失的像素点进行初始化；以及在判定不能够找到所述未丢失的像素点时，通过双线性插值的方法对所述下采图像中丢失的像素点进行初始化。

在该技术方案中，对下采图像中丢失的像素点进行的初始化过程具体是对下采图像中丢失的像素点进行预先的修补过程。

在上述任一技术方案中，优选地，聚类得到所述任一缺失块的相似块的步骤，具体包括：在所述待修补图像中聚类得到所述任一缺失块的相似块。

在上述任一技术方案中，优选地，根据对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补的步骤，具体包括：将所述矩阵求解后得到的块放置在所述任一缺失块所在的区域，以对所述任一缺失块进行修补。

其中，在将矩阵求解后得到的块放置在任一缺失块所在的区域后，若存在缺失块重叠的位置，则在缺失块重叠覆盖的位置，可以根据该位置处重叠的像素块的数量来计算均值进行修补。

根据本发明的另一方面，还提出了一种图像修补装置，包括：确定单元，用于确定待修补图像中包含有未知像素点的至少一个缺失块；聚类单元，用于对于所述至少一个缺失块中的任一缺失块，聚类得到所述任一缺失块的相似块，以形成由所述任一缺失块聚类得到的类；矩阵生成单元，用于根据由所述任一缺失块聚类得到的类，构成具有低秩性质的矩阵；处 理单元，用于采用核范数逼近所述矩阵的秩，并采用奇异值阈值的方法对所述矩阵进行求解；修补单元，用于根据所述处理单元对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补。

在该技术方案中，在对图像中的缺失块进行修补时，针对任一缺失块，可以聚类得到任一缺失块的相似块，并建立一个低秩最小化模型(即具有低秩性质的矩阵)来恢复丢失区域，而在解决难解的低秩最小化模型时，本发明采用核范数逼近矩阵的秩以简化这个模型的求解，并在具体求解中应用到了奇异值阈值的方法，提高了对缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。

在上述任一技术方案中，优选地，所述聚类单元包括：采样单元，用于对所述待修补图像进行多层下采，以得到多个下采图像；执行单元，用于在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块。

在该技术方案中，通过对待修补图像进行多层下采，以在待修补图像和多个下采图像中聚类得到任一缺失块的相似块，使得能够在待修补图像和多个下采图像中找到足够数量的相似块，以实现对图像进行修复的目的。其中，可以采用最近邻下采样的方法对待修补图像进行多层下采。

在上述任一技术方案中，优选地，还包括：判断单元，用于在对所述待修补图像进行多层下采的过程中，若所述下采图像中包含有丢失的像素点，则判断是否能够在进行下采操作前的图像中找到与所述下采图像中丢失的像素点对应的像素点周围未丢失的像素点；初始化单元，用于在所述判断单元判定能够找到所述未丢失的像素点时，通过所述未丢失的像素点的均值对所述下采图像中丢失的像素点进行初始化，并用于在所述判断单元判定不能够找到所述未丢失的像素点时，通过双线性插值的方法对所述下采图像中丢失的像素点进行初始化。

在上述任一技术方案中，优选地，所述聚类单元具体用于：在所述待修补图像中聚类得到所述任一缺失块的相似块。

在上述任一技术方案中，优选地，所述修补单元具体用于：将所述矩阵求解后得到的块放置在所述任一缺失块所在的区域，以对所述任一缺失 块进行修补。

其中，在将矩阵求解后得到的块放置在任一缺失块所在的区域后，若存在缺失块重叠的位置，则在缺失块重叠覆盖的位置，可以根据该位置处重叠的像素块的数量来计算均值进行修补。

通过以上技术方案，提高了对图像中缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。

附图说明

图1示出了根据本发明的一个实施例的图像修补方法的示意流程图；

图2示出了根据本发明的实施例的图像修补装置的示意框图；

图3示出了根据本发明的另一个实施例的图像修补方法的示意流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的一个实施例的图像修补方法的示意流程图。

如图1所示，根据本发明的一个实施例的图像修补方法，包括：

步骤102，确定待修补图像中包含有未知像素点的至少一个缺失块；

步骤104，对于所述至少一个缺失块中的任一缺失块，聚类得到所述任一缺失块的相似块，以形成由所述任一缺失块聚类得到的类；

步骤106，根据由所述任一缺失块聚类得到的类，构成具有低秩性质的矩阵；

步骤108，采用核范数逼近所述矩阵的秩，并采用奇异值阈值的方法对所述矩阵进行求解；根据对所述矩阵求解后的值，对所述待修补图像中 的所述任一缺失块进行修补。

在该技术方案中，在对图像中的缺失块进行修补时，针对任一缺失块，可以聚类得到任一缺失块的相似块，并建立一个低秩最小化模型(即具有低秩性质的矩阵)来恢复丢失区域，而在解决难解的低秩最小化模型时，本发明采用核范数逼近矩阵的秩以简化这个模型的求解，并在具体求解中应用到了奇异值阈值的方法，提高了对缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。

在上述技术方案中，优选地，聚类得到所述任一缺失块的相似块的步骤，具体包括：对所述待修补图像进行多层下采，以得到多个下采图像；在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块。

在该技术方案中，通过对待修补图像进行多层下采，以在待修补图像和多个下采图像中聚类得到任一缺失块的相似块，使得能够在待修补图像和多个下采图像中找到足够数量的相似块，以实现对图像进行修复的目的。其中，可以采用最近邻下采样的方法对待修补图像进行多层下采。

在上述任一技术方案中，优选地，在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块的步骤之前，还包括：

在对所述待修补图像进行多层下采的过程中，若所述下采图像中包含有丢失的像素点，则判断是否能够在进行下采操作前的图像中找到与所述下采图像中丢失的像素点对应的像素点周围未丢失的像素点；在判定能够找到所述未丢失的像素点时，通过所述未丢失的像素点的均值对所述下采图像中丢失的像素点进行初始化；以及在判定不能够找到所述未丢失的像素点时，通过双线性插值的方法对所述下采图像中丢失的像素点进行初始化。

在该技术方案中，对下采图像中丢失的像素点进行的初始化过程具体是对下采图像中丢失的像素点进行预先的修补过程。

在上述任一技术方案中，优选地，聚类得到所述任一缺失块的相似块的步骤，具体包括：在所述待修补图像中聚类得到所述任一缺失块的相似块。

在上述任一技术方案中，优选地，根据对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补的步骤，具体包括：将所述矩阵求解后得到的块放置在所述任一缺失块所在的区域，以对所述任一缺失块进行修补。

其中，在将矩阵求解后得到的块放置在任一缺失块所在的区域后，若存在缺失块重叠的位置，则在缺失块重叠覆盖的位置，可以根据该位置处重叠的像素块的数量来计算均值进行修补。

图2示出了根据本发明的实施例的图像修补装置的示意框图。

如图2所示，根据本发明的实施例的图像修补装置200，包括：

确定单元202，用于确定待修补图像中包含有未知像素点的至少一个缺失块；聚类单元204，用于对于所述至少一个缺失块中的任一缺失块，聚类得到所述任一缺失块的相似块，以形成由所述任一缺失块聚类得到的类；矩阵生成单元206，用于根据由所述任一缺失块聚类得到的类，构成具有低秩性质的矩阵；处理单元208，用于采用核范数逼近所述矩阵的秩，并采用奇异值阈值的方法对所述矩阵进行求解；修补单元210，用于根据所述处理单元208对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补。

在该技术方案中，在对图像中的缺失块进行修补时，针对任一缺失块，可以聚类得到任一缺失块的相似块，并建立一个低秩最小化模型(即具有低秩性质的矩阵)来恢复丢失区域，而在解决难解的低秩最小化模型时，本发明采用核范数逼近矩阵的秩以简化这个模型的求解，并在具体求解中应用到了奇异值阈值的方法，提高了对缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。

在上述任一技术方案中，优选地，所述聚类单元204包括：采样单元2042，用于对所述待修补图像进行多层下采，以得到多个下采图像；执行单元2044，用于在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块。

在该技术方案中，通过对待修补图像进行多层下采，以在待修补图像和多个下采图像中聚类得到任一缺失块的相似块，使得能够在待修补图像 和多个下采图像中找到足够数量的相似块，以实现对图像进行修复的目的。其中，可以采用最近邻下采样的方法对待修补图像进行多层下采。

在上述任一技术方案中，优选地，还包括：判断单元212，用于在对所述待修补图像进行多层下采的过程中，若所述下采图像中包含有丢失的像素点，则判断是否能够在进行下采操作前的图像中找到与所述下采图像中丢失的像素点对应的像素点周围未丢失的像素点；初始化单元214，用于在所述判断单元212判定能够找到所述未丢失的像素点时，通过所述未丢失的像素点的均值对所述下采图像中丢失的像素点进行初始化，并用于在所述判断单元212判定不能够找到所述未丢失的像素点时，通过双线性插值的方法对所述下采图像中丢失的像素点进行初始化。

在上述任一技术方案中，优选地，所述聚类单元204具体用于：在所述待修补图像中聚类得到所述任一缺失块的相似块。

在上述任一技术方案中，优选地，所述修补单元210具体用于：将所述矩阵求解后得到的块放置在所述任一缺失块所在的区域，以对所述任一缺失块进行修补。

其中，在将矩阵求解后得到的块放置在任一缺失块所在的区域后，若存在缺失块重叠的位置，则在缺失块重叠覆盖的位置，可以根据该位置处重叠的像素块的数量来计算均值进行修补。

综上所述，本发明主要提出了一种新的基于多尺度块聚集和低秩最小化的错误隐藏图像修补方法，对于随机丢失像素点和有多个块状丢失区域的图像，在初始化其丢失区域后，通过建立一个低秩最小化模型来恢复丢失区域。在解决难解的低秩最小化模型时，采用核范数逼近矩阵的秩以简化这个模型的求解，而在具体求解中应用到了奇异值阈值的方法。

为实现以上目的，根据本发明的另一个实施例的图像修补方法，如图3所示，包括以下步骤：

步骤302，对原始图像的缺失部分利用邻近的已知区域进行初始化。

步骤304，对于原始图像的每一个包含未知像素点的缺失块，聚类出相似块。其中，聚类出相似块的方法主要由以下两种方法：

方法一：

对于随机丢失像素点的图像，首先用最近邻下采样的方法对原图多层下采构建金字塔。在下采的过程中，下采图像中丢失的像素点通过取那些对应的在下采前图像中环绕在其周围的未丢失的像素点的均值来初始化；如果有丢失的像素点找不到那些在下采前图像中对应在其周围的像素点，则通过双线性插值的方法对其进行初始化。然后在原始图像中找缺失块的相似块，再在金字塔其它层中寻找那些在原图中被找到的块的相似块，最终形成一个由原始缺失块聚类出来的类。

方法二：

对于有块缺失的图像直接在原图中为缺失块聚类出相似块。

步骤306，将聚类出的块用列向量表示然后连接起来，构成矩阵后构成一个低秩最小化模型。

步骤308，用核范数逼近矩阵的秩来简化模型的求解，再用奇异值阈值的方法来求解。

步骤310，求出解后将解出的块放回原来所在区域，块重叠覆盖的地方采用“像素块投票”的方法(即根据每个位置处重叠的像素块的个数和像素值计算均值)取均值后得到结果。

下面分别以对某张随机丢失像素点的自然图像和某张含有多个独立块状缺失区域的自然图像(假设每个丢失区域都是正方形)进行修复为例，对本发明的详细方法流程作进一步地描述：

1、对某张随机丢失像素点的自然图像进行修复

步骤1：对原始缺失图像的缺失部分利用邻近的已知区域进行初始化。

步骤2：对于原始图像的每一个包含未知像素点的规格为6×6的缺失块，顺序进行如下的操作：

步骤2.1：为当前缺失块进行聚类。聚类时，首先对原图采用最近邻法进行不同尺度的下采操作，即将原始图像按照不同比例进行缩小，如具体比例为0.55，0.6，0.65，0.7，0.75，0.8，0.85，0.9，0.95，再加上原图的尺度是1.0，一共得到10张不同大小的图像组成金字塔。

下采同时对丢失像素点进行初始化，具体做法是在下采的过程中，下 采图像中丢失的像素点通过取那些对应地在下采前图像中环绕在其周围的未丢失的像素点的均值来初始化；如果有丢失的像素点找不到那些在下采前图像中对应在其周围的像素点，则通过双线性插值的方法对其进行初始化。

然后在原始图像中找缺失块的45个相似块，再在金字塔其它层中为前面寻找到的45个相似块各寻找五个相似块，最终形成一个由原始缺失块聚类出来的共有(1+45+45×5)＝271个块的类。

步骤2.2：将步骤2.1中聚类出来的相似块表示成列向量的形式然后连接起来，这样组成了矩阵M。

然后构造出了低秩最小化的模型：

其中X表示恢复了的矩阵，Ω表示矩阵中对应已知像素的位置。

由于求解上式是非常难的，因此可以使用核范数逼近矩阵的秩来简化求解，得到这样的模型：

其中σ_i(X)是矩阵X第i大的奇异值，然后对矩阵M进行奇异值分解，将奇异值中小于阈值的忽略掉，即假设对M进行奇异值分解有：

M＝UΣV^T,

则有：

S_τ(M)＝UΣ_τV^T,

其中，Σ_τ＝diag(max(σ(M)-τ,0)),

σ(M)表示M的奇异值，

这里σ_m是图像的像素缺失率，ε是一个很小的数，用来防止除以0的情况，n是M中相似块的数量。

步骤2.3：求解出S_τ(M)后将解得的块放回图像中对应的位置，对于重叠区域采用“像素块投票”的方法取均值后得到结果。

步骤3：在原图中每隔四个像素点取一个缺失块，重复步骤2，直到处理完所有缺失块。

2、对某张含有块丢失的自然图像进行修复

步骤1：对原始缺失图像的缺失部分利用邻近的已知区域进行初始化。

步骤2：对于原始图像的每一个包含未知像素点的规格为16×16的缺失块，顺序进行如下的操作：

步骤2.1：为当前缺失块在原图中进行聚类。

步骤2.2：将步骤2.1中聚类出来的相似块表示成列向量的形式然后连接起来，这样组成了矩阵M。

然后构造出了低秩最小化的模型：

其中X表示恢复了的矩阵，Ω表示矩阵中对应已知像素的位置。

由于求解上式是非常难的，因此可以使用核范数逼近矩阵的秩来简化求解，得到一个这样的模型：

其中σ_i(X)是矩阵X第i大的奇异值。

然后对矩阵M进行奇异值分解，将奇异值中小于阈值的忽略掉，即假设对M进行奇异值分解有：

M＝UΣV^T,

则有：

S_τ(M)＝UΣ_τV^T,

其中，Σ_τ＝diag(max(σ(M)-τ,0)),

σ(M)表示M的奇异值，

这里σ_m是图像的缺失率，ε是一个很小的数，被用来防止除以0的情况，n是M中相似块的数量。

步骤2.3：求解出S_τ(M)后将解得的块放回图像中对应的位置，对于重叠区域采用“像素块投票”的方法取均值后得到结果。

步骤3：在原图中每隔四个像素点取一个缺失块，重复步骤2，直到处理完所有缺失块。

本领域技术人员需要理解的是，上述所述的以对某张随机丢失像素点的自然图像和某张含有多个独立块状缺失区域的自然图像进行修复的方案 中的具体数值不作具体限定，可以根据实际情况进行设定。

以上结合附图详细说明了本发明的技术方案，本发明提出了一种新的图像修补方案，提高了对图像中缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。