基于深度自适应滤波的彩色深度图像修复方法与流程

本发明涉及一种深度图像的修复方法，尤其涉及一种基于深度自适应滤波的彩色深度图像修复方法。

背景技术：

3d场景重建、虚拟现实技术发展迅速，各种设备已经发展到了三维信息领域，例如，飞行时间相机，立体相机，激光扫描仪和结构光相机等。许多这些深度相机具有相对高的成本和繁重的计算要求。深度相机受到其数学模型和测距原理的限制，获取的深度图像目前主要面临两大问题，一个是深度图像与彩色图像的边缘不匹配，另一个是系统造成的无效像素问题。

深度图像的增强处理的是彩色图像和深度图像边缘不匹配、无效像素引起的空洞和随机噪声的问题，据此y·na-eun等人提出了利用深度图像本身的信息来计算空洞中像素的值填补空洞的算法。事实上因为连通区域内部像素与像素之间存在不同，而在这个算法中的连通区域的像素却并没有被区别对待，所以就体现出了它的自身局限性。

对于深度图像的噪声问题，由于深度图像的噪声比较特殊，且它的出现常常伴随着彩色图像的出现而出现，所以实验者便把关注点放在了能将不同信息融合起来的平滑方法上。其中关注度较高的，并且相对主要的一部分是基于双边滤波的算法，双边滤波算法的基本思想是用像素的加权平均值来平滑图像。这一思想在此之前也有类似的提出，如fredericgarcia等针对tof深度相机拍摄出的深度图像的去除噪声问题提出的像素加权平均策略。第一种双边滤波由空间相似性、彩色相似性和深度图像梯度相似性构成，第二种双边滤波由空间相似性、彩色相似性和深度相似性构成。对于一个特定的像素，首先计算这两种双边滤波的结果，然后用对结果进行加权平均。

但是，深度图像和彩色图像边缘不匹配问题是由于深度相机和彩色相机的立体匹配误差造成的，所以深度图像和彩色图像并不是精确匹配的。那么，对应的彩色信息和深度信息之间有一定的位移，故而不能直接用彩色信息来指导深度图像去噪，因此上述两种传统的双边滤波算法都存在不足。

技术实现要素：

本发明的目的就在于提供一种解决上述问题，能解决深度图像与彩色图像的边缘不匹配从而使得无效像素引起的空洞和噪声的问题，能改变现有技术方法修复后图像存在的像素值不准确、计算量过大和图像边缘模糊的情况的基于深度自适应滤波的彩色深度图像修复方法。

为了实现上述目的，本发明采用的技术方案是这样的：一种基于深度自适应滤波的彩色深度图像修复方法，包括以下步骤：

(1)用深度摄像头获取深度图像和于深度图像对应的彩色图像；

(2)提取深度图像和彩色图像的深度图像边缘、彩色图像边缘，并根据边缘得到深度图像边缘图和彩色图像边缘图e1，

(3)对深度图像边缘图进行距离变换，得到与之对应的距离图像d1；

(4)根据下式获得去除不相关边缘后的彩色边缘图像g1：

其中，i为e1上第i个像素点，t1为去除边缘范围的阈值参数，且1≤t＜maxd1(i)，对g1进行距离变换，得到与之对应的距离图像d2；

(5)获得无效像素区域；

(51)以深度图像边缘为种子，结合距离图像d1像素值递减的方向进行区域生长，达到g1边缘得到掩模m1；以g1边缘为种子，结合距离图像d2像素值递减的方向进行区域生长，达到深度图像边缘得到掩模m2；

(52)对m1和m2进行逻辑与操作得到m3，用n×n(n≥1)的算子进行卷积运算扩展m3的边缘像素后将扩展得到的像素点与m3合并，得到无效像素区域；

(6)从无效像素区域边缘出发，沿距离图像d1的像素值递减方向，按下式计算无效像素区域中每个像素点的最优深度值f(p)；并利用最优深度值f(p)替换对应像素点的像素值；得到填充后的深度图像；

f(p)＝argdmaxh(p,d)

其中h(p,d)为像素p位于第d个区间的松弛直方图；

其中n(p)表示p的邻域像素的集合，gr表示深度相关度，gs表示空间权重，gi表示彩色相关度，q代表p点邻域上一点的像素值，g(p)-g(q)表示彩色相似度；

(7)根据填充后的深度图像，进行噪声的去除，得到修复后的深度图像。

作为优选：步骤(7)具体为：。

(71)深度自适应滤波器中，深度摄像机误差是距离的二次函数，结合下式，根据深度值选取滤波圆形窗口的半径大小r和深度数据的标准差σr：

r＝0.0172z+0.1427

σr＝0.7510r-0.2500

其中，z表示深度值；

(72)利用以下算式对填充后的深度图像进行去噪，得到修复后的深度图像

其中，di^m是图像的深度值即像素值，i,j均为像素点，ω为彩色图像对应深度图像中j点附近平滑区域，gs为高斯核，代表空间域的权重，gi是彩色相似度的权重，i-j代表空间相似度，ci-cj表示彩色相似度。gr是深度相似性的权重，它是均值为0，标准差为σr的高斯函数，di-dj是i和j点深度值的差值。

本发明步骤3中，之所以设置了e1(i)＞0，是为了确保了像素点位于彩色图像边缘，而设置d1(i)＜t1保证了与图像中的实体边缘接近；1≤t＜maxd1(i)，t在此范围中均能完成实验。

距离图像d1像素值递减的方向：由于距离图像d1的像素值会随着像素点到对应深度图像边缘的减小而缩小，因此有效的区域生长方向是沿着距离图像像素值递减的，所以我们将这个有效的区域生长方向称为距离图像d1像素值递减的方向。

距离图像d2像素值递减的方向也同理。

另外，实际在提取图像边缘的时候，由于深度图像边缘和彩色图像边缘可能存在断裂的情况，使得区域生长时会出现生长区域溢出，所以我们需要同时计算掩模m1和掩模m2。再用“与”操作符对m1和m2进行操作得到m3；这样得到的m3可以解决生长区域溢出的情况，避免噪声混入。

在得到m3后，用n×n(n≥1)的算子进行卷积运算扩展m3的边缘像素，n×n的算子大小可由实验图像的大小来决定。

步骤(71)是基于深度自适应滤波器利用深度摄像机误差是距离的二次函数的特点，自适应的根据深度值选取滤波圆形窗口的半径大小r和深度数据的标准差σr。

与现有技术相比，本发明的优点在于：本发明能解决深度图像与彩色图像的边缘不匹配从而使得无效像素引起的空洞和噪声的问题，还能改变现有技术方法修复后图像存在的像素值不准确、计算量过大和图像边缘模糊的情况。

本发明利用深度图像和与深度图像对应彩色图像，提取它们的边缘、获得它们的距离图像，并根据深度图像的距离图像获得去除不相关边缘后的彩色边缘图像g1，再以深度图像边缘和g1的边缘为边界，分别以距离图像d1、距离图像d2的像素值递减方向为生长方向，得到掩模m1和掩模m2；最终找到无效像素区域，对于效像素区域，我们从无效像素区域边缘出发，沿距离图像d1的像素值递减方向，结合f(p)的公式来计算每个像素点的最优深度值，替换无效像素区域内像素点的像素值，该步骤通过距离变换可以控制加权滤波的方向，再利用梯度下降法求解出最优解，最后，根据深度图像噪声的特殊性，运用深度自适应滤波器对噪声进行去除，完成深度图像的修复。

附图说明

图1为本发明原理图；

图2为未利用距离图像的区域生长方向示意图；

图3为利用距离图像的区域生长方向示意图；

图4为掩模m1区域示意图；

图5为掩模m2区域示意图；

图6为掩模m3区域示意图。

具体实施方式

下面将结合附图对本发明作进一步说明。

实施例1：参见图1到图6，一种基于深度自适应滤波的彩色深度图像修复方法，包括以下步骤：

(1)用深度摄像头获取深度图像和于深度图像对应的彩色图像；

(2)提取深度图像和彩色图像的深度图像边缘、彩色图像边缘，并根据边缘得到深度图像边缘图和彩色图像边缘图e1，

(3)对深度图像边缘图进行距离变换，得到与之对应的距离图像d1；

(4)根据下式获得去除不相关边缘后的彩色边缘图像g1：

其中，i为e1上第i个像素点，t1为去除边缘范围的阈值参数，且1≤t＜maxd1(i)，对g1进行距离变换，得到与之对应的距离图像d2；

(5)获得无效像素区域；

(51)以深度图像边缘为种子，结合距离图像d1像素值递减的方向进行区域生长，达到g1边缘得到掩模m1；以g1边缘为种子，结合距离图像d2像素值递减的方向进行区域生长，达到深度图像边缘得到掩模m2；

(52)对m1和m2进行逻辑与操作得到m3，用n×n(n≥1)的算子进行卷积运算扩展m3的边缘像素后将扩展得到的像素点与m3合并，得到无效像素区域；

(6)从无效像素区域边缘出发，沿距离图像d1的像素值递减方向，按下式计算无效像素区域中每个像素点的最优深度值f(p)；并利用最优深度值f(p)替换对应像素点的像素值；得到填充后的深度图像；

f(p)＝argdmaxh(p,d)

其中h(p,d)为像素p位于第d个区间的松弛直方图；

其中n(p)表示p的邻域像素的集合，gr表示深度相关度，gs表示空间权重，gi表示彩色相关度，q代表p点邻域上一点的像素值，g(p)-g(q)表示彩色相似度；

(7)根据填充后的深度图像，进行噪声的去除，得到修复后的深度图像。

本实施例中，步骤(7)具体为：。

(71)深度自适应滤波器中，深度摄像机误差是距离的二次函数，结合下式，根据深度值选取滤波圆形窗口的半径大小r和深度数据的标准差σr：

r＝0.0172z+0.1427

σr＝0.7510r-0.2500

其中，z表示深度值；

(72)利用以下算式对填充后的深度图像进行去噪，得到修复后的深度图像

其中，di^m是图像的深度值即像素值，i,j均为像素点，ω为彩色图像对应深度图像中j点附近平滑区域，gs为高斯核，代表空间域的权重，gi是彩色相似度的权重，i-j代表空间相似度，ci-cj表示彩色相似度。gr是深度相似性的权重，它是均值为0，标准差为σr的高斯函数，di-dj是i和j点深度值的差值。

本发明中，步骤(3)中，e1(i)＞0确保了像素点位于彩色图像边缘，d1(i)＜t1保证了与图像中的实体边缘接近；t为去除边缘范围的阈值参数，且1≤t＜maxd1(i)，t在此范围中均能完成实验，去除效果需与深度图像边缘图进行对比，根据自身需求确定所需的实验效果。

步骤(51)中，由于距离图像d1的像素值会随着像素点到对应深度图像边缘的减小而缩小，因此有效的区域生长方向是沿着距离图像像素值递减，我们就把这个方向，称为距离图像d1像素值递减的方向；同理，我们也可知距离图像d2像素值递减的方向；

结合附图2到图6可以看到，图像边缘有很多的断裂处，也就是线条的空白处，这是图像边缘容易出现的情况，由于深度图像边缘和彩色图像边缘可能存在断裂的情况，使得区域生长时会出现生长区域溢出，所以需要同时计算掩模m1和掩模m2，此过程中使用彩色图像的距离变换图像和深度图像的距离变换图像控制了区域生长的方向，当生长区域越过边缘时，距离图像的像素值沿着区域向外的方向递增，区域生长因不满足生长方向准则而终止，减少了区域生长的时间。再用“与”操作符对m1和m2进行操作得到m3；这样得到的m3可以解决生长区域溢出的情况，避免噪声混入。

(52)对m1和m2进行逻辑与操作得到m3后，本实施例采用3×3的算子进行实验，实际上n×n的算子大小可由实验图像的大小来决定。

步骤(6)中，距离图像d1提供的是像素值递减的方向，f(p)的公式是为了计算深度值，二者结合，沿像素值递减方向计算深度值，该步骤通过距离变换可以控制加权滤波的方向，再利用梯度下降法求解出最优解即无效像素的最优深度值。梯度下降法的初始值设定如下：计算邻域中所有有效像素与目标像素的彩色相似度，取彩色相似度的最大值对应的有效像素的深度值为优化问题的初始值。

步骤(71)是基于深度自适应滤波器利用深度摄像机误差是距离的二次函数的特点，自适应的根据深度值选取滤波圆形窗口的半径大小r和深度数据的标准差σr。由于基于深度自适应滤波器利用深度摄像机误差是距离的二次函数的特点是基于微软公司生产的kinect深度摄像机，其误差是距离的二次函数关系领域中相关研究已有证明，所以这里只是利用到这个特点。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。