一种对Kinect深度图像进行空洞修复的方法
【专利摘要】本发明公开了一种对Kinect深度图像进行空洞修复的方法，它包括以下步骤：首先，对Kinect摄像机获取的纹理图像和深度图像进行对齐裁剪，结合纹理特性进行纹理图像前景区域分割实现对深度图像前景区域的空洞修复，其次，采用区域生长法确定深度图像空洞匹配修复区域，根据纹理信息精确确定空洞匹配修复区域，然后对空洞匹配修复区域进行加权平均来修复空洞，最后，使用高斯滤波对深度图像进行去噪平滑处理，得到修复后的深度图像。本发明可有效修复原始深度图像中存在的空洞，能够得到平滑度好的深度图像，深度图像前景边缘和纹理图像前景边缘达到吻合，同时可绘制质量较好的虚拟视点图像。
【专利说明】一种对Kinect深度图像进行空洞修复的方法
【技术领域】
[0001]本发明属于3D电视系统中的深度图像修复【技术领域】，更为具体地讲，涉及一种对Kinect深度图像进行空洞修复的方法。
【背景技术】
[0002]Kinect摄像机可以快速的分别提取最大分辨率为640X480的纹理图像和深度图像，相对于T0F(time of flight)、三维激光扫描等深度提取设备,Kinect摄像机的优势在于拍摄的深度图像分辨率高，成本低，但Kinect输出的深度图像质量较差，存在以下问题:
1、空洞问题，Kinect摄像机中含有红外投影机和红外摄像头，红外投影机和红外摄像头之间有一定的距离，根据光线传播原理，红外投影机和红外摄像头之间有一定的探测盲区，因此Kinect摄像机无法获取盲区区域内的深度。此外，三维场景中存在含有黑色或透明物体的区域，使Kinect摄像机发出的红外光线无法返回，从而Kinect摄像机输出的深度图像中在含有黑色或透明物体的区域也会形成空洞。
[0003]2、帧间不稳定问题，由于Kinect摄像机受光照变化、阴影、物体遮挡以及环境变化等因素的干扰，直接输出的深度图像存在一定程度的闪烁，需要采用特定的算法对其进行稳定，提高DIBR (Depth Image Based Rendering)绘制场景的稳定性，同时也可以提高编码器的编码效率。
[0004]以上问题使Kinect摄像机输出的深度图像无法直接用于立体视频等领域，必须对输出深度图像进行修复。目前，对Kinect深度图像修复主要有两种方法:一种方法是直接针对深度图像进行修复，不借助于纹理图像，算法复杂性较低，如Milani等人提出的采用去噪和插值的方法对Kinect深度图像进行空洞修复，(参见Milani S，Calvagno G.Joint denoising and interpolation of depth maps for MS Kinect sensors.Acoustics,Speech and Signal Processing (ICASSP)，IEEE International Conference on, 2012:797-800.)，然而这种方法没有考虑纹理图像对深度图像修复的作用，深度图像被修复的效果较差；另一种方法是结合纹理图像辅助的方法进行Kinect深度图像的修复，可以全面考虑深度图像前景边缘部分相对于纹理图像前景边缘部分存在的差异，较好的修复深度图像前景边缘部分，如Kui Wang等人提出的采用深度图像背景估计结合纹理图像颜色信息进行Kinect深度图像的修复，但这种方法仅使用深度图像背景进行深度图像空洞的修复，没有考虑到深度图像前景边缘部分存在的缺失和多余，修复后的深度图像前景边缘部分与纹理图像前景边缘部分存在不匹配(参见Wang Kui, An Ping, Zhang Yan, et al..Real-timedepth extraction and mult1-view rendering algorithm based on Kincet.Journal ofOptoelectronics.Laser, 2012， 23(10): 1949-1956.)。
【发明内容】
[0005]本发明的目的在于克服现有技术的不足，提供一种对Kinect深度图像进行空洞修复的方法，该方法能够得到平滑度好的深度图像，深度图像前景边缘部分和纹理图像前景边缘部分达到吻合，同时可绘制质量较好的虚拟视点图像。
[0006]为实现上述目的，本发明的的构思是:首先对Kinect摄像机获取的纹理图像和深度图像进行对齐裁剪，结合纹理特性进行纹理图像前景区域分割，实现对深度图像前景区域的空洞修复，其次采用区域生长法确定深度图像空洞匹配修复区域，根据纹理信息精确确定空洞匹配修复区域，然后对空洞匹配修复区域进行加权平均来修复空洞，最后使用高斯滤波对深度图像进行去噪平滑处理，得到修复后的深度图像。
[0007]根据上述构思，实现本发明的技术方案是:
一种对Kinect深度图像进行空洞修复的方法，包括以下步骤:
1、深度图像前景区域空洞修复
深度图像前景区域空洞修复，依次执行以下步骤:
(1-1)、采用Kinect摄像机获取纹理图像和深度图像，对纹理图像和深度图像进行对齐裁剪，得到对齐的纹理图像和深度图像；
(1-2)、纹理图像前景区域分割
对步骤(1-1)中与深度图像对齐后的纹理图像进行K-means算法分割，分割后的纹理图像结合对齐的深度图像进行纹理图像前景区域分割:
【权利要求】
1.一种对Kinect深度图像进行空洞修复的方法,其特征在于,该方法首先对Kinect摄像机获取的纹理图像和深度图像进行对齐裁剪，结合纹理特性进行纹理图像前景区域分割实现对深度图像前景区域的空洞修复，其次采用区域生长法确定深度图像空洞匹配修复区域，根据纹理信息精确确定空洞匹配修复区域，然后对空洞匹配修复区域进行加权平均来修复空洞，最后使用高斯滤波对深度图像进行去噪平滑处理，得到修复后的深度图像，其具体步骤是: S1、深度图像前景区域空洞修复 深度图像前景区域空洞修复，依次执行以下步骤: (1-1)、采用Kinect摄像机获取纹理图像和深度图像，对纹理图像和深度图像进行对齐裁剪，得到对齐的纹理图像和深度图像； (1-2)、纹理图像前景区域分割 对步骤(1-1)中与深度图像对齐后的纹理图像进行K-means算法分割，分割后的纹理图像结合对齐的深度图像进行纹理图像前景区域分割:
【文档编号】G06T7/00GK103996174SQ201410196630
【公开日】2014年8月20日 申请日期:2014年5月12日 优先权日:2014年5月12日
【发明者】安平, 赵冰, 王健鑫, 张兆扬 申请人:上海大学