一种电视虚拟触控方法及系统的制作方法
【专利摘要】本发明公开一种电视虚拟触控方法及系统，用于具有深度相机的电视中，包括以下步骤：通过深度相机实时获取具有深度信息的人体图像；预设人体区域中的除开手部区域以外的一区域为基准区域；从该人体图像中获取该基准区域以及手部区域的深度信息；在该深度相机与基准区域之间定义出一个距离该基准区域第一预定长度D1的虚拟触控面；根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面。实施本发明具有提高触控灵敏度以及提高用户体验的有益效果。
【专利说明】一种电视虚拟触控方法及系统
【技术领域】
[0001] 本发明涉及一种虚拟触控方法，更具体地说，涉及一种基于深度信息的电视虚拟 触控方法及系统。
【背景技术】
[0002] 现有技术中的虚拟触控方法采用的是摄像头拍摄手指图像，通过比较手指的大小 来判断是否触及到该虚拟触控面，手指的大小识别起来误差较大而且不灵敏。并且，现有技 术中的虚拟触控面均是以电视本身或者其显示屏作为参照面来定义虚拟触控面，当用户走 动时，该虚拟触控面静止不动，不方便用户使用。
[0003] 因此，现有技术存在缺陷，亟需改进。
【发明内容】
[0004] 本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种改进的电视 虚拟触控方法及系统。
[0005] 本发明解决其技术问题所采用的技术方案是：构造一种电视虚拟触控方法，用于 具有深度相机的电视中，包括以下步骤：
[0006] 通过深度相机实时获取具有深度信息的人体图像；
[0007] 预设人体区域中的除开手部区域以外的一区域为基准区域；
[0008] 从该人体图像中获取该基准区域以及手部区域的深度信息；
[0009] 在该深度相机与基准区域之间定义出一个距离该基准区域第一预定长度D1的虚 拟触控面；
[0010] 根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1 判断该手部区域是否触及或穿过该虚拟触控面。
[0011] 在本发明提供的电视虚拟触控方法中，所述根据该手部区域的深度信息、该基准 区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面 包括：
[0012] 根据该手部区域的深度信息计算该手部区域距离深度相机的第一长度值L1 ;
[0013] 根据该基准区域的深度信息计算该基准区域距离深度相机的第二长度值L2 ;
[0014] 当0彡L1-(L2_D1)彡XI时，判定该手部区域触及该虚拟触控面， 当-X2 < L1-(L2-D1)〈0时，判定该手部区域穿过该虚拟触控面；其中，XI为预先设置的第 一距离阈值，X2为预先设置的第二距离阈值。
[0015] 在本发明提供的电视虚拟触控方法中，当该手部区域触及该虚拟触控面时，手部 区域的移动控制电视的显示屏上的对象移动。
[0016] 在本发明提供的电视虚拟触控方法中，该手部区域穿过该虚拟触控面并返回该虚 拟触控面的过程视为点击动作。
[0017] 在本发明提供的电视虚拟触控方法中，所述预设人体的手部以外的一区域为基准 区域包括：
[0018] 预设以人体双肩以及躯干所在的面为基准区域。
[0019] 在本发明提供的电视虚拟触控方法中，所述从该人体图像中获取该基准区域以及 手部区域的深度信息包括：
[0020] 在人体图像中将人体区域从背景区域中分离出得到人体区域的深度信息；
[0021] 调用人体识别模型在所述人体区域中检测出手部区域和基准区域并分别提取该 手部区域和该基准区域的深度信息。
[0022] 在本发明提供的电视虚拟触控方法中，还包括步骤：基于该基准区域的特征以及 手部区域的特征建立人体识别模型。
[0023] 本发明还提供了一种电视虚拟触控系统，包括：
[0024] 深度相机，用于实时获取具有深度信息的人体图像；
[0025] 深度信息提取模块，用于预设人体区域中的除开手部区域以外的一区域为基准区 域并从该人体图像中获取该基准区域以及手部区域的深度信息；
[0026] 虚拟触控模块，用于在该深度相机与基准区域之间定义出一个距离该基准区域第 一预定长度D1的虚拟触控面；
[0027] 运算处理模块，用于根据该手部区域的深度信息、该基准区域的深度信息以及该 第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面。
[0028] 在本发明提供的电视虚拟触控系统中，所述运算处理模块用于根据该手部区域的 深度信息计算该手部区域距离深度相机的第一长度值L1，并根据该基准区域的深度信息计 算该基准区域距离深度相机的第二长度值L2 ;当0 < L1-(L2-D1) < XI时，该运算处理模 块判定该手部区域触及该虚拟触控面，当-X2 < L1-(L2-D1)〈0时，该运算处理模块判定该 手部区域穿过该虚拟触控面；其中，XI为预先设置的第一距离阈值，X2为预先设置的第二 距离阈值；
[0029] 所述深度信息提取模块预设以人体双肩以及躯干所在的面为基准区域。
[0030] 在本发明提供的电视虚拟触控系统中，所述深度信息提取模块用于在人体图像中 将人体区域从背景区域中分离以得到人体区域的深度信息，并调用人体识别模型在所述人 体区域中检测出手部区域和基准区域并分别提取该手部区域和该基准区域的深度信息。
[0031] 实施本发明的电视虚拟触控方法及系统，具有以下有益效果：
[0032] 由于本发明中根据手部区域的深度信息、该基准区域的深度信息以及该第一预定 长度值D1判断该手部区域是否触及或穿过该虚拟触控面具有灵敏度较高的有益效果；
[0033] 由于该虚拟触控面是以基准区域为参照标准，该基准区域为人体区域里除开手部 区域的一个区域，因此该虚拟触控面可以随着用户的走动而移动，因此，具有便于用户使用 并提高用户体验的有益效果。
【专利附图】
【附图说明】
[0034] 下面将结合附图及实施例对本发明作进一步说明，附图中：
[0035] 图1是本发明一优选实施例中的电视虚拟触控方法的流程框图；
[0036] 图2是本发明一优选实施例中的电视虚拟触控系统的原理框图；
[0037] 图3是本发明中深度相机与人体的基准区域以及手部区域的方位原理图。
【具体实施方式】
[0038] 为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明 本发明的【具体实施方式】。
[0039] 如图1所示，在本发明一优选实施例中的电视虚拟触控方法，用于具有深度相机 的电视中，该当然还可以用于其他电子设备，该方法包括以下步骤：
[0040] S1、通过深度相机实时获取具有深度信息的人体图像；
[0041] S2、预设人体区域中的除开手部区域以外的一区域为基准区域；
[0042] S3、从该人体图像中获取该基准区域以及手部区域的深度信息；
[0043] S4、在该深度相机与基准区域之间定义出一个距离该基准区域第一预定长度D1 的虚拟触控面；
[0044] S5、根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值 D1判断该手部区域是否触及或穿过该虚拟触控面。
[0045] 正是由于在该步骤S4中该虚拟触控面是与基准区域为参照的，因此，当用于移动 时，该虚拟触控面随着用于一起移动，便于用于操作，具有提高用户体验的有益效果。
[0046] 该步骤S1中的通过深度相机实时获取具有深度信息的人体图像的方法包括但不 限于以下方法：（1)基于结构光获取的深度信息，例如light coding(光编码）结构光方法 的深度相机，激光散斑法的深度相机Primesense，微软的深度相机kinect ;投影光栅、条纹 扫描方法获取的深度图。（2)基于激光测距获取的深度信息。以及（3)基于视觉技术获取 的深度信息等。
[0047] 该步骤S2中，预设以人体的躯干以及双肩所构成的平面作为基准区域，该基准区 域用于作为定义出虚拟触控面时的参照。当然，可以理解地，还可以以人体的其他除开手部 的区域作为基准区域，在此不做限制。
[0048] 优选地，该步骤S3从该人体图像中获取该基准区域以及手部区域的深度信息包 括：
[0049] S301、在人体图像中将人体区域从背景区域中分离出以得到人体区域的深度信 息；
[0050] S302、调用人体识别模型在所述人体区域中检测出手部区域和基准区域并分别提 取该手部区域和基准区域的深度信息。
[0051] 在该步骤S301中，人体图像的深度信息构成了深度图像，在基于深度信息将人体 区域从背景环境中分离出来时，可以先使用拉普拉斯-高斯算子等方法，对深度图像进行 滤波去噪声，采用噪声阈值处理。在噪声处理过程中，当深度图像出现较明显噪声点时，可 以使用OpenCV里面的〈cvErode〉函数，定义合适的结构元素对源图像进行腐蚀，去掉多余 噪声点之后，紧接着用〈cvDilate〉函数对得到的结果图像进行膨胀，以此去除大多的噪声 点。在去除噪声后，可以调用整幅深度图像，使用边缘检测、用OpenCV的〈autothreshold〉 函数进行动态深度阈值设定、人体目标特征点分类（Classification)等方法，将人体区域 从整幅深度图像中分割出来，从而实现人体检测，提取出人体区域的深度信息。本实施例 中，先提取出人体区域的深度图像，在后继的处理流程中，可以只传输人体区域的数据，从 而降低了运算负荷，提高了处理速度。
[0052] 随后，在步骤S302中使用步骤S301中提取的人体区域的数据，根据该深度信息以 及人体识别模型，识别出手部区域以及基准区域，提取手部区域以及基准区域的深度信息。
[0053] 在该步骤S302中的人体识别模型是基于该基准区域的特征以及手部区域的特征 建立的人体识别模型。其可以使用分类器的方法，基于手部区域的特征以及基准区域的特 征训练该人体识别模型，用于检测出手部区域以及基准区域，并提取手部区域以及基准区 域的深度信息。
[0054] 在该步骤S4中，该虚拟触控面呈与该电视的显示屏相适配的形状，该第一预定长 度D1可以取30CM或40CM，当然其并不限于此。
[0055] 该步骤S5包括以下子步骤：
[0056] S501、根据该手部区域的深度信息计算该手部区域距离深度相机的第一长度值 L1 ；
[0057] S502、根据该基准区域的深度信息计算该基准区域距离深度相机的第二长度值 L2 ；
[0058] 参照图3,当0彡L1-(L2_D1)彡XI时，判定该手部区域触及该虚拟触控面， 当-X2 < L1-(L2-D1)〈0时，判定该手部区域穿过该虚拟触控面；其中，XI为预先设置的第 一距离阈值，X2为预先设置的第二距离阈值。
[0059] 根据被拍摄区域的物体的深度信息计算该对应区域距离深度相机的距离是现有 技术，因此不再赘述。
[0060] 进一步地，当该手部区域触及该虚拟触控面时，手部区域的移动控制电视的显示 屏上的对象移动。该手部区域穿过该虚拟触控面并返回该虚拟触控面的过程视为点击动 作。
[0061] 如图2所示，本发明还提供了一种电视虚拟触控系统，包括：
[0062] 深度相机30,用于实时获取具有深度信息的人体图像；
[0063] 深度信息提取模块20,用于预设人体区域中的除开手部区域以外的一区域为基准 区域并从该人体图像中获取该基准区域以及手部区域的深度信息；
[0064] 虚拟触控模块40,用于在该深度相机30与基准区域之间定义出一个距离该基准 区域第一预定长度D1的虚拟触控面；
[0065] 运算处理模块10,用于根据该手部区域的深度信息、该基准区域的深度信息以及 该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面；
[0066] 存储模块50,该存储模块50用于存储预先建立的人体识别模型以及深度相机30 采集的人体图像。
[0067] 其中，虚拟触控模块40与运算处理模块10连接，好深度相机30、深度信息提取模 块20以及运算处理模块10依次连接，存储模块50分别与深度信息提取模块20以及深度 相机30连接。
[0068] 具体地，该运算处理模块10的运算处理过程为：根据该手部区域的深度信息计算 该手部区域距离深度相机的第一长度值L1，并根据该基准区域的深度信息计算该基准区域 距离深度相机的第二长度值L2 ;当0 < L1-(L2-D1) < XI时，该运算处理模块10判定该手 部区域触及该虚拟触控面，当-X2 < LI- (L2-D1)〈0时，该运算处理模块10判定该手部区域 穿过该虚拟触控面；其中，XI为预先设置的第一距离阈值，X2为预先设置的第二距离阈值。
[0069] 进一步地，当运算处理模块10判定该手部区域触及该虚拟触控面时，触发该手部 区域的移动控制电视的显示屏上的对象移动。该该运算处理模块10判定手部区域穿过该 虚拟触控面并返回该虚拟触控面的过程视为点击动作。
[0070] 并且，深度信息提取模块20预设以人体双肩以及躯干所在的面为基准区域。
[0071] 深度信息提取模块20还用于在人体图像中将人体区域从背景区域中分离以得到 人体区域的深度信息，调用人体识别模型在人体区域中检测出手部区域和基准区域并分别 提取该手部区域和基准区域的深度信息。先提取出人体区域的深度图像，在后继的处理流 程中，可以只传输人体区域的数据，从而降低了运算负荷，提高了处理速度。该人体识别模 型是采用分类器的方法，基于手部区域的特征以及基准区域的特征建立的。
[0072] 由于本发明中根据手部区域的深度信息、该基准区域的深度信息以及该第一预定 长度值D1判断该手部区域是否触及或穿过该虚拟触控面具有灵敏度较高的有益效果；由 于该虚拟触控面是以基准区域为参照标准，该基准区域为人体区域里除开手部区域的一个 区域，因此该虚拟触控面可以随着用户的走动而移动，因此，具有便于用户使用并提高用户 体验的有益效果。
[0073] 上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体 实施方式，上述的【具体实施方式】仅仅是示意性的，而不是限制性的，本领域的普通技术人员 在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多 形式，这些均属于本发明的保护之内。
【权利要求】
1. 一种电视虚拟触控方法，用于具有深度相机的电视中，其特征在于，包括以下步骤： 通过深度相机实时获取具有深度信息的人体图像； 预设人体区域中的除开手部区域以外的一区域为基准区域； 从该人体图像中提取该基准区域以及手部区域的深度信息； 在该深度相机与基准区域之间定义出一个距离该基准区域第一预定长度D1的虚拟触 控面； 根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断 该手部区域是否触及或穿过该虚拟触控面。
2. 根据权利要求1的电视虚拟触控方法，其特征在于，所述根据该手部区域的深度信 息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该 虚拟触控面包括： 根据该手部区域的深度信息计算该手部区域距离深度相机的第一长度值L1 ; 根据该基准区域的深度信息计算该基准区域距离深度相机的第二长度值L2 ; 当0 < L1-(L2-D1) < XI时，判定该手部区域触及该虚拟触控面， 当-X2 < L1-(L2-D1)〈0时，判定该手部区域穿过该虚拟触控面；其中，XI为预先设置的第 一距离阈值，X2为预先设置的第二距离阈值。
3. 根据权利要求2所述的电视虚拟触控方法，其特征在于，当该手部区域触及该虚拟 触控面时，手部区域的移动控制电视的显示屏上的对象移动。
4. 根据权利要求3所述的电视虚拟触控方法，其特征在于，该手部区域穿过该虚拟触 控面并返回该虚拟触控面的过程视为点击动作。
5. 根据权利要求1的电视虚拟触控方法，其特征在于，所述预设人体的手部以外的一 区域为基准区域包括： 预设以人体双肩以及躯干所在的面为基准区域。
6. 根据权利要求1的电视虚拟触控方法，其特征在于，所述从该人体图像中提取该基 准区域以及手部区域的深度信息包括： 在人体图像中将人体区域从背景区域中分离出得到人体区域的深度信息； 调用人体识别模型在所述人体区域中检测出手部区域和基准区域并分别提取该手部 区域和该基准区域的深度信息。
7. 根据权利要求6的电视虚拟触控方法，其特征在于，还包括步骤：基于该基准区域的 特征以及手部区域的特征建立人体识别模型。
8. -种电视虚拟触控系统，其特征在于，包括： 深度相机，用于实时获取具有深度信息的人体图像； 深度信息提取模块，用于预设人体区域中的除开手部区域以外的一区域为基准区域并 从该深度相机获取的人体图像中提取该基准区域以及手部区域的深度信息； 虚拟触控模块，用于在该深度相机与基准区域之间定义出一个距离该基准区域第一预 定长度D1的虚拟触控面； 运算处理模块，用于根据该手部区域的深度信息、该基准区域的深度信息以及该第一 预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面。
9. 根据权利要求8所述的电视虚拟触控系统，其特征在于，所述运算处理模块用于根 据该手部区域的深度信息计算该手部区域距离该深度相机的第一长度值LI，并根据该基准 区域的深度信息计算该基准区域距离深度相机的第二长度值L2 ;当0 < L1-(L2-D1) < XI 时，该运算处理模块判定该手部区域触及该虚拟触控面，当-X2 < LI- (L2-D1)〈0时，该运算 处理模块判定该手部区域穿过该虚拟触控面；其中，XI为预先设置的第一距离阈值，X2为 预先设置的第二距离阈值；所述深度信息提取模块预设以人体双肩以及躯干所在的平面为 基准区域。
10.根据权利要求9所述的电视虚拟触控系统，其特征在于，该深度信息提取模块用于 在人体图像中将该人体区域从背景区域中分离出以得到人体区域的深度信息，并调用人体 识别模型在所述人体区域中检测出手部区域和基准区域并分别提取该手部区域和基准区 域的深度信息。
【文档编号】G06F3/01GK104065949SQ201410298388
【公开日】2014年9月24日 申请日期:2014年6月26日 优先权日:2014年6月26日
【发明者】肖振中, 许宏淮, 刘龙, 黄源浩 申请人:深圳奥比中光科技有限公司