基于gpu的深度图修复和虚实场景结合技术的制作方法
【技术领域】
[0001] 本发明属于计算机视觉、体感交互、增强现实领域的技术。具体涉及一种基于 Kinect的传感器通过基于GPU运算的深度修复技术，进行人机交互和虚实场景结合，给参 与者以更好的互动体验。
【背景技术】
[0002] 体感交互技术是指通过用户的肢体隔空为计算机提供信息，扩展了以往传统的鼠 标和键盘等输入控制设备，使得人机交互具有更加广阔的空间，操控更加自由，展现方式也 更加灵活，为人类提供了新型的互动体验感受。体感交互作为一个新兴的领域，已经逐渐步 入人类的日常生活当中，并且日趋流行，在游戏、医疗、零售、教育、展览展示、以及商业产品 推广等领域都有着十分广泛的应用前景。
[0003] 增强现实技术是在寻你现实技术的基础上发展起来的新兴技术，也被称为混合现 实技术。是指通过计算机系统提供的信息增加体验者对真实世界的感知的一项技术。并且 将虚拟的信息应用到真实世界当中，并将计算机产生的虚拟物体、场景或系统提示信息，有 机的叠加到真实场景中，从而实现对真实场景的增强。本发明集中解决了为属于虚拟世界 的物体与真实物体有机叠加提供位置信息的问题。
[0004] 新型的体感传感器为增强现实领域提供了更广阔的空间和更多的可能性，由此也 诞生了许多新的问题，尤为突出的就是本发明中涉及的如何正确、自然的将体感设备的数 据与传统的RGB摄像机设备的采集数据相互配准、结合，实现虚拟与真实物体的有机叠加。 这一步骤，是关系到互动体验质量的关键所在。只有基于正确的结合技术，才能使得新型设 备的功效得到最大化的发挥，体现其优越性。
[0005] 在新型传感器的应用过程中，通过体感传感设备采集信息的同时，传统的RGB摄 像机也采集了场景的信息，这就需要将通过不同传感设备采集到的信息进行标定、配准。传 统的基于Homography的标定方式仅在处理同一景深的图像时，可以获得正确的标定、配准 融合。如何处理体感传感器采集到的带有深度内容的体感信息，研究一种根据深度进行自 适应调整的标定、配准方法，有着十分重要的意义。
[0006] 此外，一种生动新颖的表现形式对体感交互应用也有着十分重要的意义。在日常 生活中，场景真实性的主要决定性因素在于场景中物体深度关系是否正确。深度关系是否 正确决定了物体遮挡关系是否正确，如果在此环节不正确，则会巨大的影响互动体验效果， 而不能给人带来"增强的"现实感受。
[0007] 然而目前为止，新型体感互动传感也存在一定的弱点。其中很重要的一个方面就 是由于多种硬件和原理方面的因素，很多情况下，无法获得如同传统的RGB摄像机一样致 密的采样图像，体感互动传感器获得的深度图往往会在边缘、强反射、强吸收区域得不到深 度信息。
[0008] 因此，本发明通过基于模式识别的图像分割技术和自适应的深度图、彩色图配准 技术，集中解决了新型体感设备在缺失深度的位置的深度补充问题。将深度图通过模式识 别的技术，利用RGB图像对深度图进行补充，补充完好后，给人带来优质的互动体验。
[0009] 随着人机交互领域的蓬勃发展，体感应用作为一种全新的人机交互方式迫切需要 更加丰富和生动的表现形式，将体感信息进一步完善、补充的技术，可以极大的提升用户的 互动体验质量。因此，深度图修复和虚实场景结合的技术应用到体感交互领域具有重要意 义。
【发明内容】
[0010](一）要解决的技术问题
[0011] 本发明主要解决了 Kinect深度图的漏洞修复问题。基于GPU实现了 Quickshift 算法，实现了彩色图的图像分割；并利用自适应的深度图与彩色图配准算法，实现了深度图 与彩色图的标定、配准，并对深度图的缺失数据进行了补充。并在此基础上，进行虚拟物体 与真实物体的叠加，实现虚拟物体与真实物体之间的遮挡，从而实现增强现实互动。
[0012] (二）技术方案
[0013] 为完成以上目标，本发明提出了基于GPU的深度图修复和虚实场景结合技术，包 括以下步骤：主要步骤为：（1)采集深度图和彩色图；（2)对图像进行下采样，以保证实时的 修复速度；（3)使用QuickShift算法对彩色图像进行分割，具体算法实现使用的是基于GPU 运算的CUDA实现；(4)利用彩色图的分割结果，对存在缺失深度数据的分割块进行处理。首 先对Kinect的深度图和彩色图进行配准。如果该区域内存在深度数据，则使用本区域的平 均深度值填补缺失区域；如果本区域的深度信息全部缺失，则使用临近区域的平均深度值 进行填补。（5)对图像进行上采样。
[0014] (三）有益效果
[0015] 本发明利用先进的GPU技术实现了 Quickshift算法，对彩色图像进行了高质量的 分割，此步骤为随后进行的深度图修复提供了可靠的依据，也为最终实现良好的互动效果 提供了基础。采用自适应的深度图和彩色图的标定、配准技术，实现了彩色图与深度图的正 确配准。随后使用了合理的深度修补策略，在绝大多数情况下，提供了物体间正确的深度关 系，并进行虚实叠加。因此本发明获得了高质量的增强现实效果。
【附图说明】
[0016] 图1是本发明基于GPU的深度图修复和虚实场景结合技术的基本流程图。
[0017] 图2是本发明基于GPU技术实现了 Quickshift算法并对彩色图像进行分割流程 图。
[0018] 图3是本发明彩色图的概率能量递增树建立流程图。
[0019] 图4是本发明对缺失深度数据填补的流程图。
【具体实施方式】
[0020] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附 图，对本发明进一步详细说明。
[0021] 1、方法概述
[0022] 如图1所示，本发明的方法主要分为三个步骤：（1)使用QuickShift算法对彩色 图像进行分割，具体算法实现使用的是基于GPU运算的CUDA实现；（2)对Kinect的深度图 和彩色图进行配准；（3)利用分割后的彩色图像和配准后的深度、彩色图像关系，对深度图 进行缺失修复，具体步骤为：如果该区域内存在深度数据，则使用本区域的平均深度值填补 缺失区域；如果本区域的深度信息全部缺失，则使用临近区域的平均深度值进行填补。
[0023] (1)使用基于CUDA实现的Quickshift算法对彩色图像进行分割的流程为：
[0024] 1>对彩色图像进行高斯滤波；
[0025] 2>遍历彩色图像的每个像素，计算滤波后的彩色图像的概率密度能量值，获得彩 色图像的能量图，过程为：以每个像素点为中心建立一个搜索区域窗口，在窗口内部计算 每个像素的概率密度，概率密度的计算方式是对每个像素的R，G，B三分量和X，y坐标构成 的特征空间；计算窗口内每个点与其他像素点在特征空间上的欧几里距离距离，然后计算 该距离的以e为底的负指数值，得到该点的概率密度能量；距离越小，说明与该点类似的点 的概率越大，则该点的概率密度能量也就越大。
[0026] 该过程如以下式所示：第一步=Dlj为窗口内坐标为i，j的点的概率密度距离，计算 每个点的概率密度距离D lj:
[0027]
[0028] 第二步：计算每个点的概率密度能量Elj: & =e_A 得到该图上每一个像素点的 概率密度能量图。
[0029] 3>遍历图像的每个像素，建立概率密度能量递增树，具体步骤如下：
[0030] 遍历高斯滤波后的图像上的每个点，在合适的临域范围内查找概率密度能量达到 最大值的点，表示为：
[0031] E max； j= max (Ekl) (k, I e nb^)
[0032] 其中：E Hiax1^坐标为i，j的像素点临域内的最大概率能量，nb ^为坐标为i，j 像素点的临域。以该点为候选，如果该点的概率密度能量大于设定的阈值，把该点设为遍历 到的点的父节点：P,= E max u。如果不大于设定的阈值，且该点的临域还可以扩大，则扩 大临域搜索范围
C中JCv表示咖郝宽度，表示咖郝宽度，k表示 一个大于1的比例系数。在更大的临域内搜索概率密度能量最大值并与阈值比较，重复该 步骤。如果临域已经不能再扩大，则将概率密度能量最大的像素点设置为i，j点所属的聚 类树的根节点，依此循环遍历，从而对于全图上的所有像素点建立起数个从叶节点到根节 点概率密度能量逐渐递增的能量密度树。
[0033] 4>通过上一步得到的概率密度能量递增树，得到彩色图的分割，具体算法为：将 概率密度能量递增树的根节点作为聚类中心，遍历每一个棵树，将根节点下的各级子节点 作为以该根节点为聚类中心的类的元素。聚类之后，以聚类的结果作为图像分割的依据，将 属于同一类的像素点划分到同一区域，从而完成图像分割。
[0034] (2)对Kinect的深度图和彩色图进行配准的流程为：
[0035] Kinect深度图和彩色图配准是指：由于Kinect的深度摄像机和RGB摄像机不 处于同一位置，因此若要用彩色图像为指导对深度图像进行补充，则需要对深度图和彩色 图进行配准。使得从彩色图得到的信息可以正确的应用于深度图。Kinect深度传感器 (Microsoft Kinect Sensor)是由微软（Microsoft)公司发布的体感信息采集装置，它能够 在不借助任何手持或穿戴设备的情况下实施采集用户的深度信息，完全改变了传统的人机 交互方式，提供了传统RGB摄像机无法提供的深度信息，为增强现实互动提供了重要的三 维信息来源，极大地推动了增强现实技术