一种基于彩色分割指导的深度图插值方法与流程

技术特征：

1.一种基于彩色分割指导的深度图插值方法，其特征在于该方法的具体步骤是：

步骤(1)采集深度图像和彩色图像，深度相机采集的低分辨率深度图像记为D，彩色相机采集的高分辨率彩色图像记为I，深度相机坐标系和彩色相机坐标系之间的转换矩阵记为MRT；

步骤(2)采用sobel边缘检测算子提取低分辨率深度图像D的边缘图，记为ED；

步骤(3)采用双三次插值方法对深度相机获取的原始低分辨率深度图D进行两倍插值，得到长和宽是原先两倍的深度图Dscale_2；遍历Dscale_2内所有像素点Dscale_2(x,y)，其中x表示横坐标值，y表示纵坐标值；

如果ED(x/2,y/2)等于1，则认为该处深度值位于深度边缘位置附近，剔除该深度值；如果ED(x/2,y/2)等于0，则保留该深度值；得到一幅大小为初始尺寸2倍的、仅保留平滑区域深度值的深度图，记为DdeE；

步骤(4)深度图DdeE上的每一个非零点都对应一个深度相机坐标系下的三维点通过坐标系转换矩阵MRT将每一个点转换为彩色相机坐标系下的

然后利用彩色相机的内参将投影到彩色图像平面上，得到在彩色图像平面的像素坐标[uⁱ,vⁱ]：

其中KC是彩色相机的内参；

从而将DdeE上的每一个非零像素点都投影到彩色图像平面上，得到一幅与彩色图像配准的稀疏深度图Dsparse；

步骤(5)采用meanshift分割算法对高分辨率彩色图像I进行分割，获得分割区域图，记为SC；

步骤(6)对深度图平滑区域的插值：

①遍历稀疏深度图Dsparse中的待插值像素点，根据SC的分割信息，如果当前像素p在深度散点图中的K个最近邻像素点属于SC的同一分割区域，则认为当前像素p位于平滑区域，执行步骤②；否则重新执行步骤①对下一个待插值像素进行判断；

②计算当前待插值像素p邻域Ωp内其他像素的颜色权值和距离权值计算公式如下：

其中q是p在Ωp内的邻域像素，σc和σd分别表示高斯分布的方差；

计算代表像素p邻域内的像素q对应的总权重ωp,q，其计算公式如下：

其中G是掩膜，有深度值的像素位置为1，没有深度值的像素位置为0；

③根据ωp,q计算当前目标像素的深度值：

其中Dq是邻域Ωp内像素q对应的深度值；

循环执行步骤(6)，直至完成平滑区域内所有像素点的插值；

步骤(7)对深度不连续区域的插值：

(a)遍历剩下的未插值像素点，po是当前目标像素，首先获取po邻域内的所有深度数据的集合记为

其中qo是po邻域内的像素；

(b)然后选取内目标像素po的K个最近邻数据构成集合，记为Sknn

Sknn＝{qo|qo是po的K个最近邻之一}

其中K是选择的po的最近邻的个数；

(c)在邻域内，选取与po处于同一分割区域的所有深度数据构成集合Sseg；

(d)取集合Sknn与Sseg的交集，记为Sssnn；

(e)选取集合Sssnn中距离分割区域边缘最远的N个深度值构成一个集合，记为SdistN；

(f)选取集合SdistN中的众数，记为dmode；

(g)将属于Sseg的数据点，分成两类，其中dmode所属的那一类构成一个集合，记为Sproper；

(h)在集合Sproper中，选择最靠近当前目标像素po的深度值作为其填充值；

循环执行步骤(7)，直至完成所有像素点的插值，从而插值得到最终的高分辨率深度图像记为Dhigh。