改进的块匹配修复和联合三边导向滤波图像增强方法与流程

本发明属于图像处理技术领域，主要涉及深度图像增强，具体提供一种改进的块匹配修复和联合三边导向滤波图像增强方法，可用于Kinect等采集的深度图像的空洞填充和噪声去除。

背景技术：

近年来，深度图像采集设备的廉价化，为深度信息的获取和使用提供了可能，也为机器人技术中涉及深度信息的应用的进一步发展带来了机遇，尤其在地图构建、路径规划、环境感知等方面的研究，严重依赖于深度信息的有效使用。

但是，作为廉价的深度信息采集设备之一，Kinect主要依赖于视差图像和三角测量原理来获取场景中的深度信息，因此视差测量误差、标定误差、额外的红外光源以及物体表面反射或吸收光线数量都会影响采集的深度图像的质量。Kinect等深度采集设备由于自身结构原因和周围环境影响，采集到的图像存在噪声重、空洞多和分辨率低等问题，严重限制了深度信息在实际场景中的应用。也就是说，要使采集到的大量深度图像更具有应用价值，需要对采集的图像进行增强处理。

申请号为ZL.201210109883.0的发明专利公开了一种基于自回归模型的深度图超分辨率重构方法，该方法采用具有预测效果的自回归模型对低分辨率深度图进行处理得到相应的高分辨率的深度图。该发明将超分辨率问题归结到自回归模型中进行优化，通过在对齐的彩色图像中使用非均值滤波对自回归模型进行彩色导向的系数训练，并使用双边核替代局部非均值滤波核，以更好地预测细小结构。之后，该专利申请人在2014年发表于IEEE Transaction的Image Processing上的“Color-guided Depth Recovery from RGB-D Data Using an Adaptive Auto-regressive Model”使用自适应导向自回归模型对深度图像进行增强，利用深度图像的局部相关性和对应的彩色图像的非局部相似性为每个像素构建一个AR预测器。该方法提高了深度图像修复的稳定性和精确性，但是由于该算法对每个60×60像素块都需要创建一个3600×3600大小的矩阵，时间和空间复杂度均较高。

浙江大学的Xiaojin Gong等于2013年在ELSEVISER的Image and Vision Computing上发表的“Guided depth enhancement via a fast marching method”(GFMM)提出了一种基于A.Telea 2004年提出的Fast Marching Method(简称FMM)的导向深度增强算法，该算法在原始FMM算法的基础上，引入相应的彩色图像来优化扩展机制，该方法结果图像失真度较低，能够获得较好地视觉效果，但其对结构信息的保存较差。此外，Junyi Liu等于2013年在Springer International Publishing Switzerland上发表的“Guided Depth enhancement via Anisotropic Diffusion”(GAD)，将深度图像增强问题转化为一个线性各向异性扩散问题，使用稀疏线性系统解决图像增强问题，该方法相对GFMM能较好地保存结构信息，但结果图像中存在大量的噪声和伪纹理，视觉效果较差。

综上所述，现有的深度图像增强技术中存在结构信息丢失严重、图像失真度高、图像处理时间和空间复杂度高等问题，不能满足实际应用的需求。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种改进的块匹配修复和联合三边导向滤波图像增强方法，该方法使用改进的基于块匹配的图像修复算法完成大量空洞的填充，并提出联合三边导向滤波用以去除修复产生的伪纹理并进行平滑和去噪，能很好地保存纹理信息，并完成深度图像的增强，获得视觉上比较良好的修复效果。

本发明是一种改进的块匹配修复和联合三边导向滤波图像增强方法，其特征在于，图像增强过程包括如下步骤：

(1)输入图像：输入采集的原始深度图像，并将其保存为灰度图像，定义像素值无效的像素点构成的区域为未知区域，其余像素点即像素值有效的点组成的区域为已知区域；

(2)原始图像预处理：对采集到的原始深度图像使用形态学闭运算进行预处理，以去除原始图像中存在的随机深度缺失点；

(3)标记预处理后图像中待修复的未知区域：根据Kinect图像采集机制，利用无效像素标识，标记图像中的结构化深度缺失点，该图像中的结构化深度缺失点共同组成待修复的未知区域，对待修复的未知区域进行标记，除去标记的未知区域，余为图像的已知区域；

(4)计算像素点的优先级：用块匹配优先级估计函数P，计算标记后图像中的每个像素点的优先级；

(5)选取待修复块：根据步骤(4)中计算所得各个像素点的优先级，选择优先级最高像素点并以该点为中心选取待修复块；

(6)寻找最佳匹配块：搜索标记后图像的已知区域，寻找与待修复块最为匹配的最佳匹配块；

(7)修复：使用最佳匹配块中的已知像素值填充待修复块中对应位置未知像素点的像素值，对图像进行修复；

(8)判断：如果标记后图像中的未知区域全部被修复，执行步骤(9)；否则，执行步骤(4)；

(9)结合联合三边导向滤波对图像进一步进行处理：使用联合三边导向滤波对修复后的图像进行平滑、去噪，以去除修复后图像中存在的大量伪纹理和噪声；

(10)图像处理结束，输出结果：输出改进的块匹配修复和联合三边导向滤波增强处理后的深度图像。

实现本发明的技术关键在于使用改进的基于块匹配的修复方法对图像中的空洞进行填充和使用联合三边导向滤波算法对空洞填充后产生的伪纹理和噪声进行去除。本发明引入水平集距离因子定义块匹配优先级估计函数，优化空洞填充顺序，并使用最佳块匹配策略进行逐个像素块的修复；之后，使用原始深度图像对齐的彩色图像作为联合三边导向滤波的导向图，均衡考虑距离高斯权重、彩色像素域高斯权重和深度像素域高斯权重，以更加有效地去除修复后图像中存在的伪纹理和噪声信息。

本发明与现有技术相比，具有以下优点：

第一，本发明通过引入水平集距离因子优化块匹配优先级估计函数，对待修复图像的空洞填充顺序进一步进行同时约束，并使用最佳块匹配的填充策略对空洞进行填充，两者协同作用，使得修复后的结果能够更好地保存原始图像的纹理结构信息。

第二，本发明提出了一种联合三边导向滤波算法，通过合理调整距离信息、深度图像和彩色图像值域相似性的权重比例，相比于目前的流行的双边滤波算法，彩色图像携带更多的细节信息，从而可以更好地去除深度图像伪纹理和噪声，以更好地保存结构并降低图像的失真度，获得较好的视觉效果。

附图说明

图1为本发明的整体流程框图；

图2为本发明修复过程中图像结构元素说明图；

图3为从Middlebury数据集中选取的一幅Kinect采集的原始深度图像；

图4为用本发明对图3进行预处理后所得结果图像；

图5为本发明使用绿色(g)通道对图4中的待修复区域进行标记的图像；

图6为本发明对标记后的图像即图5进行修复所得结果图像；

图7为本发明对修复后图像即图6滤波处理后的结果图像；

图8为三种方法对编号为Middlebury_04的深度图进行处理所得结果的视觉比较结果图，其中(a)为原始深度图，(b)为数据集中提供的Ground Truth图像，(c)为使用GFMM方法得到的结果图、(d)为使用GAD方法得到的结果图、(e)为使用本发明中的方法得到的结果图；

图9为三种方法对编号为Middlebury_16的深度图进行处理所得结果的视觉比较结果图，其中(a)为原始深度图，(b)为数据集中提供的Ground Truth图像，(c)为使用GFMM方法得到的结果图、(d)为使用GAD方法得到的结果图、(e)为使用本发明中的方法得到的结果图；

图10为三种方法对编号为Middlebury_17的深度图进行处理所得结果的视觉比较结果图，其中(a)为原始深度图，(b)为数据集中提供的Ground Truth图像，(c)为使用GFMM方法得到的结果图、(d)为使用GAD方法得到的结果图、(e)为使用本发明中的方法得到的结果图；

图11为三种方法处理结果使用SSIM进行量化评估的结果比较图；

图12为三种方法处理结果使用PSNR进行量化评估的结果比较图。

具体实施措施

下面结合附图和实施例对本发明的技术方案进行详细地描述。

目前，在机器人应用领域中，比如地图构建、路径规划、环境感知等方面对于深度信息的使用需求更加迫切。但是，由于Kinect等深度采集设备限于自身结构原因和周围环境的影响，采集到的深度图像存在噪声重、空洞多和分辨率低等问题，严重限制了深度信息在实际场景中的应用。

针对如此的现状，本发明展开了研究与创新，提出了一种改进的块匹配修复和联合三边导向滤波图像增强方法。

实施例1

参见图1，本发明改进的块匹配修复和联合三边导向滤波图像增强方法，增强过程包括如下步骤：

(1)输入图像：输入采集的原始深度图像，并将其保存为灰度图像，参见图3。根据Kinect图像采集机制，定义像素值无效的像素点构成的区域为未知区域，其余像素点即像素值有效的像素点组成的区域为已知区域，本实施例中，将深度图像保存为8位灰度图像，故而无效像素点的像素值为0，像素值不为0的像素点构成的区域为已知区域。

(2)原始图像预处理：对采集到的原始深度图像，使用形态学闭运算进行预处理，以去除原始图像中存在的随机深度缺失点；参见图3，图中下部方框中值为0的像素点属于随机深度缺失点，图中上半部椭圆中值为0的像素点属于结构化深度缺失点，随机深度缺失主要由大量的细小空洞组成，结构化深度缺失主要由较为大块的空洞构成；原始图像中存在的随机深度缺失点也是图像的未知区域，但本发明不对其进行修复，在该步骤中对其进行去除，从而简化计算。

(3)标记预处理后图像中待修复的未知区域：根据Kinect图像采集机制，利用无效像素标识，标记图像中的结构化深度缺失点，该图像中的结构化深度缺失点共同组成待修复的未知区域，对待修复的未知区域进行标记，除去标记的未知区域，余为图像中的已知区域。参见图5，使用绿色(g)通道选择预处理后图像中的无效像素点，也就是选择图像中的结构化深度缺失点，这些结构化深度缺失点即为预处理后图像中待修复的未知区域，剩余部分为已知区域，通道的选择没有限制，使用R/G/B三者中任何一个均可。

(4)计算像素点的优先级：用块匹配优先级估计函数P，计算标记后图像中的每个像素点的优先级。本发明使用置信度、数据项和水平集距离因子三项联合定义块匹配优先级估计函数，其中置信度保证邻域内包含较多已知信息的像素点较早被修复，数据项保证沿法线方向的像素点优先级更高，水平集距离因子确保距离待修复区域边界越近的像素点越早被修复。

(5)选取待修复块：根据步骤(4)中计算所得各个像素点的优先级，选择优先级最高像素点并以该点为中心选取待修复块，本实施例中，修复块大小选取9*9的像素块。

(6)寻找最佳匹配块：搜索标记后图像的已知区域，寻找与待修复块最为匹配的最佳匹配块。在标记后的图像的已知区域中，用与待修复块大小相等的滑动窗口，寻找与待修复块已知像素点的像素值和结构最为相似的匹配块，该匹配块即为要寻找的最佳匹配块。

(7)修复：使用最佳匹配块中的已知像素值填充待修复块中对应位置未知像素点的像素值，对图像进行修复。在图像修复过程中，只重新填充待修复块中未知像素点的像素值，其中的已知像素点的像素值保持不变。

(8)判断：如果标记后图像中的未知区域全部被修复，执行步骤(9)对修复后的图像进行滤波处理；否则，执行步骤(4)重新计算各个像素点的优先级，重复待修复块的寻找和修复过程，直至未知区域全部被修复。本实施例中，标记后图像的未知区域是否被完全修复的判断标准为，判断是否存在值为0的像素点；如果标记后图像中存在值为0的像素点，则图像中仍然存在未知区域；否则，未知区域被全部修复。

(9)结合联合三边导向滤波对图像进一步进行处理：使用与原始图像对齐的彩色图像作为导向图，在Middlebury数据集获取原始图像时对齐的彩色图像也一并获取；对修复后的深度图使用联合三边导向滤波进行平滑、去噪，以去除修复后图像中存在的大量伪纹理和噪声。参见图7，对修复得到的结果图像进行滤波后，相比于滤波前，参见图6，图像表面的伪纹理和噪声信息得到明显减弱。

(10)图像处理结束，输出结果：输出改进的块匹配修复和联合三边导向滤波增强处理后的深度图像。参见图7，使用本发明公开的方法对采集的深度图像进行处理，得到的结果图像，边缘清晰，如图中上方椭圆中小孩的手臂的边缘；物体内部修复合理，如图中中间矩形框中没有明显填充的痕迹。

本发明对采集的原始深度图像中存在的噪声和空洞问题进行增强处理，改善图像质量，使得深度信息在实际应用中能够得到更好地利用。

实施例2

改进的块匹配修复和联合三边导向滤波图像增强方法同实施例1，其中步骤(4)中所述的块匹配优先级估计函数P：

每个像素点p的块匹配优先级估计函数P(p)定义如下：

P(p)＝C(p)D(p)L(p) (1)

其中，C(p)表示p点的置信度，即以p为中心的邻域内已知像素点所占比例，该比例越大说明以p为中心的像素块中已知像素点个数越多，即用于预测未知像素的像素值的已知信息越多，预测结果越准确；D(p)表示p点的数据项，确保靠近法线方向的块较早被修复；L(p)表示水平集距离因子，使用扩散时间函数定义该因子，从而保证了距离未知区域边界越近的像素点，该项因子权重越大；使用水平集距离因子对块匹配优先级估计函数进行优化，确保靠近空洞边界的像素点较早被修复；三个乘积因子的具体定义如公式(2)(3)(4)所示。

其中，置信度函数：

数据项：

水平集距离因子：

式中，Ψ_p是以p为中心的像素块，|Ψ_p|代表该像素块的面积，代表非空洞区域即像素值已知区域；表示p点的等照度线强度，n_p是沿法线方向的单位向量，α为公式(3)的归一化因子，|·|表示向量内积；扩散时间函数T(q)计算像素点q距离待修复区域边界δΩ的距离；在实际中，由于像素点间距离默认为1，一般情况下，将T₀设为1。参数定义的直观展示如图2所示，以中间的曲线为分界线将图像分为上下两个区域，曲线上方的区域为图像的已知区域即像素值有效区域，用符号Φ标记；曲线下方的区域为图像的未知区域，即像素值无效、待填充的空洞，用符号Ω标记；该曲线表示未知区域的边界，该边界的像素值已知，用δΩ标记；方框表示以p点为中心选取的待修复像素块，用Ψ_p标记。

扩散时间函数T(p)定义了待修区域的边界δΩ扩展到像素点p所需的时间，初始设置：

算法运行期间，利用像素点p的4邻域像素点的已知扩散时间值不断更新未知像素点的扩散时间值。假设待更新扩散时间的像素点为[k,l]，其4邻域像素点分别为[k-1,l]、[k,l-1]、[k,l+1]、[k+1,l]，分别就像素点对([k-1,l],[k,l-1])、([k-1,l],[k,l+1])、([k+1,l],[k,l-1])、([k+1,l],[k,l-1])计算[k,l]的扩散时间，以像素对([k-1,l],[k,l-1])计算方式为例进行说明，如公式(6)所示，根据上述四个像素对中每个像素对的两个像素点的扩散时间是否已知，结果取值不同，结果见式(6)。

全部计算完成后，取四个像素点对计算所得最小值作为当前像素点[k,l]的扩散时间值。

本发明通过在块匹配优先级估计函数中引入水平集距离因子，并使用扩散时间函数计算该因子，确保靠近边界的像素点优先被选择，联合置信度函数、数据项对空洞填充顺序对优先级进行约束；此外，本发明中使用块匹配策略对空洞进行填充，而不采用传统的逐个像素点进行修复的策略，修复效率较高且不破坏原始图像结构；两者协同作用，使得修复后的结果图像中像素填充值更加合理且携带更多的原始图像结构信息。

实施例3

改进的块匹配修复和联合三边导向滤波图像增强方法同实施例1-2，其中步骤(9)中所述的联合三边导向滤波方法：

联合三边导向滤波方法的滤波模型定义如下：

其中，ω_p为归一化因子，保证各项因子加权和为1，定义如公式(8)所示；JiontTF[I]_p表示使用联合三边导向滤波对以p为中心的像素块I进行滤波处理所得结果，I为待修复像素块，I_q为像素点q的强度值，s为以p为中心的邻域；参数σ_s为空间域高斯核的尺寸，计算空间域的高斯权重，与普通高斯滤波器一样，该权重随p和q空间距离的增加而减少；I_cp和I_cq分别为彩色图像中像素点p和q的像素值，I_dp和I_dp分别表示深度图像中像素点p和q的深度值，σ_rc和σ_rd分别定义了彩色和深度值域高斯核的尺寸，则和深度图像和彩色图像值域的高斯权重大小，α和β为平衡因子，用于均衡彩色图像信息和深度图像信息对滤波结果的影响，该实施例中，取α:β＝3:1。

其中，归一化因子：

空间域的高斯权重：

彩色图像像素域的高斯权重：

深度图像像素域的高斯权重：

式中，||p-q||表示p和q两点之间的欧几里得距离；|I_cp-I_cq|和|I_dp-I_dq|分别为I_cp和I_cq、I_dp和I_dq之间的差值，由定义知，该差值越大，相应的高斯权重越小。

该滤波模型中，通过引入Petshnigg等使用闪光图对非闪光图进行修复时提出的联合的概念，对深度图像进行修复时，联合了携带的细节信息的与原始图像对应的彩色图像；此外，以原始图像对应的彩色图像作为导向图，使用图像的空间域、彩色像素域和深度像素域三边的信息对修复得到的图像进行滤波处理。本实施例中，使用该滤波模型对修复后的结果图像进行处理，参见图7，图像中的伪纹理和噪声得到了有效去除，更好地保存了图像的结构信息并降低图像的失真度，获得较好的视觉效果。

本发明提出的联合三边导向滤波算法，使用与原始深度图像对齐的彩色图像作为导向图，通过合理调整距离信息、深度像素相似性和彩色像素相似性的高斯权重比例，从而更好地实现深度图像伪纹理和噪声的去除，以更多地保存图像的结构信息并降低图像的失真度，获得较好的视觉效果。

下面结合附图给出一个更加完整的例子，进一步描述本发明。

实施例4

改进的块匹配修复和联合三边导向滤波图像增强方法同实施例1-3，

本发明中，对深度图像的增强处理主要分为四个步骤完成，如图1所示，分别为：预处理原始深度图像、识别并标记预处理后图像中的待修复区域、使用改进的基于块匹配的图像修复方法对标记后的图像进行空洞填充、对修复后的图像使用联合三边导向滤波方法进行平滑、去噪，从而得到增强后的结果图像。

步骤一：预处理原始图像

采集到的深度图像中的空洞主要分为随机深度缺失和结构化深度缺失，参见图3，与下部矩形框中的0值像素点的同类的空洞点属于随机深度缺失，与上半部椭圆中值为0的像素点同类的空洞点属于结构化深度缺失，从图中可见，随机深度缺失主要由平面中存在的大量细小空洞组成，结构化深度缺失主要由图像中较为大块的空洞组成且该类缺失尤其容易发生在对象的边界处。本实施例中，使用数学中的形态学闭运算去除深度图像中存在的随机深度缺失点，该方法能够较好地去除此类细小空洞；并且，如果对于随机深度缺失点也使用改进的基于块匹配的深度图像修复方法进行修复，会大大降低算法的执行效率且修复效果不会有明显提高。因此，在本发明中，采用形态学闭运算去除随机深度缺失，然后使用改进的基于块匹配的修复方法填充结构化深度缺失像素值。

预处理得到的结果图像如图4所示，图4中与图3方框中同类的空洞均已被填充，即像素值不再为0；尽管图像的表面噪声信息较为明显，但是填充的随机深度缺失点能够与原图像较好地融合，没有明显的填充痕迹；剩余未被填充的0值像素区域由多个结构化深度缺失组成，该区域构成待修复区域，在步骤三中对此类空洞进行填充。

步骤二：识别并标记预处理后图像中的待修复区域

修复过程开始之前，除了去除随机深度缺失的影响，还需要标记出待修复图像的已知区域和未知区域，即图2中所示的Ω和Φ区域，具体到图4中，如底座上的黑色区域、娃娃左脚心以及腹部的黑点均属于Φ，这些均为待修复区域，也称空洞位置。由于Kinect采集深度图像时，采集到的深度图像中的像素值与景深相对应，即每个像素点的深度值对应的是距离，因而，有效像素点的值应不为零；Kinect设计者利用此原理，在采集深度图像时，将未返回信号的像素点标记为Nan，在将该深度图像转化为8位灰度图像时，标记为Nan的像素点的值使用数值0替代，所以可以使用深度值为0的像素点对空洞区域进行识别和标记，使用绿色(g)通道标记空洞区域，结果如图5所示，对照图4中的空洞位置，可以看到图5中对各个空洞均做了标记，标记的空洞共同构成未知区域即待修复区域，其余像素点构成该图像的已知区域。

步骤三：使用改进的基于块匹配的图像修复方法对标记后的图像进行空洞填充

对待修复区域标记完成后，使用改进的基于块匹配的图像修复方法对空洞区域进行填充，详细空洞填充过程如下所述。

3.1初始化，使用公式(12)计算原始图像的x和y方向的梯度F_x和F_y，并将梯度旋转90°以初始化待修复图像的等照度线值，其中F为待修复图像；

[F_x,F_y]＝gradient(F) (12)

计算各像素点的初始置信度值：

3.2使用本发明定义的块匹配优先级估计函数计算图像中各像素点的优先级；

3.3选取优先级最高像素点，以该像素点为中心，取9*9的像素块作为待修复块；

3.4搜索待填充图像的已知像素区域，寻找待修复块的最佳匹配块；

3.5使用最佳匹配块中的已知像素值填充待修复块中相应位置的未知像素值；

3.6图像中不存在空洞点，结束；否则，更新当前的置信度函数值、数据项和水平集距离因子，并重复步骤3.2～3.6。

使用上述基于块匹配的图像修复方法对标记后图像进行修复所得结果图像如图6所示，从图中可以看出，待修复区域中的像素值得到了很好地填充，例如对应图3椭圆区域中的空洞，在图6中得到了很好地填充，边界信息也得到了很好地修复；但是，由于修复过程中使用了块匹配策略进行空洞填充，结果中产生了明显的伪纹理，加之图像中原有的噪声未曾加以去除，使得结果图像质量仍然不够良好，因此，本发明提出一种联合三边导向滤波方法对修复图像进行伪纹理去除和噪声处理。

步骤四：对修复后的图像使用联合三边导向滤波方法进行平滑、去噪

传统滤波技术中，消除噪声和平滑图像的基本思路是使用加权的几何相近性和像素相似性，比如著名的双边滤波；此外，Petshnigg等使用了携带更多细节信息的闪光图对非闪光图进行联合修复，以获得更多的纹理信息。在前人研究的基础上，本发明公开了一个联合三边导向滤波方法，用以去除修复后图像中存在的伪纹理和噪声。

使用联合三边导向滤波方法对修复后的图像进行滤波处理后的结果图像如图7所示，相比于图6可以看到，图7相对平滑很多，噪声和伪纹理基本被去除。图7即为使用本发明公开的方法对采集的深度图像进行增强处理得到最终结果。

本发明的优良效果还可以通过大量仿真进一步证实。

实施例5

改进的块匹配修复和联合三边导向滤波图像增强方法同实施例1-4，

仿真条件

MATLAB 2013，Visual Studio 2013,Win 7专业版

惠普198E(Intel H81(Lynx Point))，英特尔Core-3300，RAM 4GB

仿真内容

本发明选取Middlebury数据集中的29组图片作为测试集，使用背景技术中提到的两种当前较为先进的图像修复方法GAD和GFMM以及本发明中的方法分别对其进行修复处理，并对测试结果从主观和客观两方面进行质量评估。

主观质量评估

如图8、9、10所示，本发明从测试集中选取三组图片进行主观质量评估，三幅图的(a)、(b)分别为采集的原始深度图像和Middlebury数据集中提供的Ground Truth图像，(c)～(e)分别为GFMM、GAD和本发明中提出的方法的修复结果。

参见图8，对编号为Middlebury_04的深度图使用三种方法进行修复的视觉结果比较，图8的下部是一本打开的书，上部是一个娃娃，重点关注图8的五幅图像对应的矩形框标记的区域，在图8(a)和图8(b)的方框区域中书的边缘均为直线、没有凸起，使用GFMM的修复见图8(c)，其中对书边缘的背景空洞进行了错误填充，导致书的边缘出现了明显的凸起，而使用GAD方法修复得到的图8(d)尽管没有凸起，但是表面比较模糊；使用本发明的方法对图像的修复见图8(e)，其对书的边缘进行了较好地保存；图8(d)和图8(e)比较，(d)的表面比较模糊，图像失真度远高于(c)和(e)。

参见图9，对编号为Middlebury_16的深度图使用三种方法进行修复的视觉结果比较，图9的中部偏左有一个竖直细长的棍棒，重点关注图9的五幅图像对应的矩形框标记的区域，在图9(a)和图9(b)的方框区域中细长棍棒的边缘有一个空洞，但是细长棍棒本身为直条形、无凸起，应对其旁边的空洞使用背景像素填充，使用GFMM的修复见图9(c)，其中对棍棒边缘的像素值对空洞进行了错误填充，导致棍棒的边缘出现了明显的凸起，而使用GAD方法修复得到的图9(d)尽管错误像素较少，但是表面比较模糊；使用本发明的方法对图像的修复见图9(e)，对棍棒的边缘像素合理地使用背景像素对空洞进行了填充且图像表面噪声和伪纹理信息较少，图像失真度较低；图9(d)和图9(e)比较，(d)的表面比较模糊，图像失真度远高于(c)和(e)。

参见图10，对编号为Middlebury_17的深度图使用三种方法进行修复的视觉结果比较，图10的左下部的方框区域内有一个直角拐角，重点关注图10的五幅图像对应的矩形框标记的区域，在图10(a)和图10(b)的方框区域中物体的拐角属于90°拐角，中间的空洞应使用背景像素进行填充，使用GFMM的修复见图10(c)，其中对拐角边处的空洞进行了错误填充，导致拐角信息丢失；而使用GAD方法修复得到的图10(d)，尽管拐角信息丢失较少，但是得到的结果图像较为模糊；使用本发明的方法对图像的修复见图10(e)，其对拐角进行了更加合理地填充且得到的图像表面较为平滑；图10(d)和图10(e)比较，(d)的表面比较模糊，图像失真度远高于(c)和(e)。

由此可见，使用GFMM方法修复的图像常常存在错误，如使用前景像素对背景像素进行填充，导致图像的结构被破坏，如拐角信息丢失、边缘凸起等；使用GAD方法修复后的图像表面大多较为模糊，图像失真度较大，部分图像修复中也不能保证填充像素的正确性导致结构信息丢失；本发明中公开的方法，能够使用视觉上正确的像素值对空洞进行填充，能够更好地保存图像中的结构信息且图像表面较为平滑，得到视觉效果良好的修复结果。

客观质量评估

为了更加有力地说明本发明中提出的方法的优越性，分别使用GFMM、GAD和本发明中的方法对测试集中的29组测试图像进行修复，并使用SSIM和PSNR对其修复结果进行客观质量评估，统计结果如图11和图12所示。

参见图11，其中三角标记的实线为使用本发明中公开的方法测试所得结果的SSIM评估曲线，方框标记的长虚线为使用GFMM方法测试所得结果的SSIM评估曲线，圆形标记的短虚线为使用GAD方法测试所得结果的SSIM评估曲线；图11的横坐标为测试集中29幅图像的编号，纵坐标为SSIM评估值。从图11中可以看出，使用GFMM方法测试所得结果的SSIM值相对较低，均不高于0.75；使用GAD方法测试所得结果的SSIM值，介于0.77和0.9之间且均不超过0.9；使用本发明公开的方法测试所得结果的SSIM值，介于0.84和0.96之间且大部分位于0.9以上，评分均高于GAD和GFMM方法所得结果。

参见图12，其中三角标记的实线为使用本发明中公开的方法测试所得结果的PSNR评估曲线，方框标记的长虚线为使用GFMM方法测试所得结果的PSNR评估曲线，圆形标记的短虚线为使用GAD方法测试所得结果的PSNR评估曲线；图12的横坐标为测试集中29幅图像的编号，纵坐标为PSNR评估值，单位为dB。从图12中可以看出，使用三种方法对29幅图片进行处理得到的PSNR值相对接近，但是整体上，本发明公开的方法测试所得的PSNR值均高于GFMM和GAD方法；此外，对不同的图像，采用三种方法中的任何一种进行处理，得到的结果的PSNR值变化较大。

表1给出了使用GAD、GFMM以及本发明中提出的方法对测试集进行测试所得结果的平均PSNR和SSIM评估值，相比于GFMM方法，本发明中的方法平均PSNR提高了1dB，平均SSIM提高了0.21；相比于GAD方法，本发明中的方法平均PSNR提高了1.5dB，平均SSIM提高了0.07。同时，从表1中可见，使用GFMM测试所得结果的平均SSIM评估值低于使用GAD方法测试所得平均SSIM值，而使用GFMM测试所得结果的PSNR评估值高于使用GAD方法测试所得平均PSNR值，即GFMM方法相对于GAD方法测试所得图像失真度较小、视觉效果较好，但结构信息保存不如GAD方法。

表1 三种方法平均PSNR和SSIM比较结果

相比而言，本发明中提出的方法的SSIM和PSNR评估值均超过GAD和GFMM，即结构信息保存能力强于GAD方法且噪声信息去除能力强于GFMM方法，因为本发明中提出的方法能够更好地保存图像的纹理结构信息，并降低图像的失真度。

综上所述，本发明公开的改进的块匹配修复和联合三边导向滤波图像增强方法，解决了对Kinect等采集的深度图像中的空洞正确填充和噪声去除的问题，实现包括：原始图像预处理；标记预处理后图像中待修复的未知区域；计算像素点优先级；选取待修复块；寻找最佳匹配块；修复；判断；使用联合三边导向滤波对图像进行处理；图像增强处理结束输出结果。本发明通过引入水平集距离因子和扩散时间函数，改进了基于块匹配的图像修复顺序，对原始图像中存在的结构化空洞进行填充；使用与原始图像对齐的彩色图像作为导向图，综合考虑距离因子、彩色像素相似性和深度像素相似性，采用联合三边导向滤波对修复产生的伪纹理和原有的大量噪声进行去除。视觉效果和量化分析可知，使用本发明中公开的方法对图像进行增强处理，得到的结果图像能够很好地保存原始图像的纹理结构并去除图像中存在的噪声信息。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。