基于多Kinect协同的深度阈值分割算法识别轮廓交互方法
【技术领域】
[0001] 本发明属于计算机视觉、体感交互领域的技术，具体涉及一种基于多台Kinect传 感器通过轮廓互动反映人机交互的方法。
【背景技术】
[0002] 体感交互技术是指通过用户的肢体隔空操控计算机，代替以往传统的鼠标和键盘 等输入控制设备，使得人机交互的空间更加广阔，操控更加自由，方式也更加灵活。体感交 互作为一个新兴的领域，已经逐渐步入了人类的视野，并且日趋火爆，在游戏、医疗、零售、 以及商业产品推广等领域都有着十分广泛的应用前景。
[0003] 由于体感传感器硬件条件的限制，目前已有的体感交互产品大都只单独依靠一台 体感传感设备进行信息采集，虽然可以在家庭或特定有限面积的场景中得到有效应用，但 是应用空间十分有限，尤其是在面对大场景时，往往无法达到预期效果。因此，通过研究同 时利用多台体感传感设备有效扩展应用空间，对今后体感交互产品的发展有着十分重要的 意义。
[0004] 与此同时，通过多台体感传感设备采集信息时，就需要将通过不同传感设备采集 到的信息进行标定和融合，传统的标定方式仅能处理同一景深的图像，面对体感传感器采 集到的带有深度内容的体感信息，研究一种根据深度进行自适应调整的标定方式有着十分 重要的意义。
[0005] 除此之外，一种生动新颖的表现形式对体感交互应用也有着十分重要的意义。在 曰常生活中，流体在相互融合或分离时由于表面张力的影响，其轮廓会呈现出一种奇妙的 融合过程，在图形学领域，人们一直试图利用计算机去模拟这种真实的现象，但是对于这种 复杂的流体效果，必须借助精确的物理方程和繁琐的计算才能呈现出其运动规律和视觉效 果，然而，由于其计算的过程的复杂性，也就导致其应用中规模的局限性。为了能在大规模 应用中，给用户带来要流畅的体验，因此，研究一种高效的边缘融合绘制方法，在体感交互
技术领域有重要意义。
[0006] 目前，在图形学领域对于流体边缘融合的模拟已经十分成熟，但其主要工作都围 绕着真实感和实时性的提升。
[0007] Blinn等人提出了一种通用的流体轮廓融合模型，使用图形学方式绘制流体表面 轮廓的融合现象，但只绘制表面的变化过程。Y. Kanamori等人提出了一种基于GPU加速的 大规模流体融合模拟，这种方式采用基于观察者目光射线的方式有选择的绘制大规模流体 轮廓融合的方法，并采用GPU加速。
[0008] 由上述的方法可以看出，流体轮廓融合的模拟都集中在真实感和实时性的提升 上，并未把流体模拟应用到体感交互领域。
[0009] 随着人机交互领域的蓬勃发展，体感应用作为一种全新的人机交互方式迫切需要 更加丰富和生动的表现形式，将流体轮廓融合作为一种人机交互的反馈形式，可以极大丰 富用户的视觉体验，因此，将基于轮廓交互的图形边缘融合效果应用到体感交互领域具有 重要意义。
【发明内容】
[0010](一）要解决的技术问题
[0011] 本发明所要解决的技术问题是提供一套完整的体感交互应用技术，通过互动式边 缘融合效果来反映体感交互的过程，并扩展使用空间的面积，将体感交互方式与流体轮廓 互动效果紧密结合起来，以提供一种新颖生动的人机交互的表现形式。
[0012] (二）技术方案
[0013] 为完成以上目标，本发明提出了基于多Kinect协同的深度阈值分割算法识别轮 廓交互技术，包括以下步骤：（1)多Kinect协同，在一台控制主机上同时驱动多台Kinect 深度传感器，并将采集到的信息进行校正；（2)基于深度阈值分割的用户识别与定位，采集 场景的深度信息对深度信息进行处理和筛选，计算用户的位置；（3)通过边缘融合展现轮 廓互动，以模拟流体边缘融合或分离的方式展现不同间发生的互动，采用一种基于空间分 布特征的图形绘制方法，绘制出带有流体边缘互动效果的图形。本发明的技术方案如下：
[0014] -种基于多Kinect协同的深度阈值分割算法识别轮廓交互技术，包括以下步骤：
[0015] 多Kinect协同，为满足大场景的需要，在一台控制主机上同时驱动多台Kinect深 度传感器，并将采集到的信息进行校正并融合；
[0016] 基于深度阈值分割的用户识别与定位，采集场景的深度信息对深度信息进行处理 和筛选，计算用户的位置；
[0017] 通过边缘融合展现轮廓互动，以模拟流体边缘融合或分离的方式展现不同个体间 发生的互动，采用一种基于空间分布特征的图形绘制方法，绘制出带有流体边缘融合效果 的图形，并进行显示。
[0018] 进一步的，根据应用场景的实际大小，在一台控制主机上同时驱动多台Kinect深 度传感器；
[0019] 根据彩色信息进行标定，并计算不同Kinect之间的变换矩阵；
[0020] 对深度信息进行校正与融合，根据变换矩阵，对采集到的深度信息进行校正，克服 由于来自不同Kinect而导致的畸变。
[0021] 进一步的，同时驱动多台Kinect的步骤为：通过实际应用场景确认部署Kinect数 量，在同一台主机控制器上同时驱动多台Kinect设备，为了方便后续计算，在Kinect摆放 时，尽量使每台Kinect都保持水平，且不同Kinect位于同一水平线上。
[0022] 进一步的，所述多Kinect标定的步骤如下：
[0023] 单独开启Kinect的RGBA视频流，获取场景的彩色信息；
[0024] 使用棋盘格进行标定，检测彩色图像中的棋盘格的位置，为了方便后续计算，在摆 放棋盘格时，应使棋盘格尽量保持水平；
[0025] 根据棋盘格在来自不同Kinect彩色图中的位置关系，计算不同Kinect之间的变 换矩阵
，其中，1?表示通过图像点坐标与空间点坐标线性求解得到 的单应矩阵各个元素的数值。由于Kinect和棋盘格摆放水平，计算所得的变化矩阵Μ中 m12、m21、m31、m32近似为0, mn、m22、m33近似为1，因此，变换矩阵可以写作 其中，(^与cy表示简化后单应矩阵的元素值。
[0026] 进一步的，所述深度信息校正与融合的步骤包括：
[0027] 对来自不同Kinect的深度信息进行校正和融合；通过计算所得的不同Kinect 彩色图之间的变换矩阵
，计算不同深度图之间的变换关系q = MQ，其中
表示简化后的变换矩阵，
表示变换前的图像坐标，X表示横坐标 参数，Y表示纵坐标参数，Z表示到摄像机的距离，
表示变换后的图像坐标，X表示 横坐标参数，y表示纵坐标参数，w表示齐次坐标系参数，且w = Z，根据深度变换方程，水平 偏移量·
竖直偏移量
求解不同深度下，水平和竖直方向的位移变 换，其中k为深度映射常数，Vdf；pth为深度值，c )!与c ￥表示简化后单应矩阵的元素值，将位移 变换后的深度图进行融合，可以获得完整的场景深度信息。
[0028] 进一步的，基于深度阈值分割的用户识别与定位的步骤包括：
[0029] 将融合后的场景深度图转换为单通道灰度图形式；
[0030] 对转换后的深度图进行阈值分割；
[0031] 对阈值分割后的图像进行筛选，进行用户识别和定位。
[0032] 进一步的，将融合后的场景深度图转换为单通道灰度图形式，步骤包括：
[0033] 利用融合操作后的完整场景深度信息，结合深度值与灰度值的映射方程G(x，y) =C (1-Vd_h (X，y) /D_)，求解场景中相应位置深度信息对应的灰度值，其中，C为颜色空间 分布常数，Vd_h(x，y)为相应位置的深度值，D_为最大深度。可以获得完整场景的灰度图。
[0034] 进一步的，对转换后的深度图进行阈值分割，步骤为，根据实际需求调整阈值大 小，并对深度信息映射的灰度图进行阈值分割。利用过滤阈值DTh_hc]ld对采集到的场景进行 二值化。
[0035] 进一步的，其特征在于对阈值分割后的图像进行筛选，确定用户的位置，步骤包 括：
[0036] 去除噪声的影响；
[0037] 提取轮廓信息，并对轮廓进行筛选；
[0038] 计算用户位置。
[0039] 进一步的，去除噪声的影响，步骤为：设计膨胀核与腐蚀核，对阈值分割后的图像 进行形态学操作，进行若干次腐蚀和膨胀操作，去除噪声影响。
[0040] 进一步的，提取轮廓信息，并对轮廓进行筛选步骤为：
[0041] 提取二值图像中的最外层轮廓，求解过滤后的二值化图像的所有轮廓，并根据面 积阈值Taraa对轮廓进行筛选，去除伪轮廓的影响。
[0042] 进一步的，计算用户位置，步骤为：利用交互中心坐标计算方程
求解真实轮廓的重心坐标，其中， array(x，y)为灰度图中像素值的大小。计算所得的重心位置即反映用户位置。
[0043] 进一步的，通过边缘融合展现轮廓互动，步骤包括：
[0044] 交互状态判定；
[0045] 绘制轮廓交