基于虚拟触摸屏的非穿戴指势人机交互方法
【专利摘要】本发明涉及一种基于虚拟触摸屏的非穿戴指势人机交互方法。它是根据指势用户所指目标的手指屏可按照用户的人脸三维信息和手指尖的深度信息映射成手指尖可触及的虚拟触摸屏，通过手指尖在虚拟触摸屏的位置计算，自动确定用户所指空间目标。本发明方法不需要特定的硬件支持以及限定用户活动范围等约束，方法简便、灵活、易实现。
【专利说明】基于虚拟触摸屏的非穿戴指势人机交互方法
【技术领域】
[0001]本发明涉及一种基于虚拟触摸屏的非穿戴指势人机交互方法，用于视频数字图像分析与理解，属于智能信息处理【技术领域】。
【背景技术】
[0002]随着计算机技术的迅猛发展，研究符合人类自然交流习惯的新颖人机交互技术异常活跃，且人机交互技术已从以计算机为中心逐步转移到以人为中心，为人们提供了更自然、更符合人类习惯的人机交互方式。在人体的所有姿势中，手势是一种自然、直观且易于学习的人机交互手段，已成为当前人机交互的研究热点，但手势不仅受骨胳肌肉驱动，且涉及人类思维活动，导致它具有多样性、多义性。相对于手势的多样性和多义性，指势易于解释，它是人们日常生活中用手指对空间感兴趣目标的反映，是人类语系发展和个体发生学的重要先驱，可揭示人类社会智力，是一种理想的自然人机交互模式；采用它进行人机交互，则可充分发挥人类的日常技能，摆脱目前常规输入设备(如键盘、鼠标器和触摸屏等)的束缚。
[0003]目前，基于指势的人机交互分为穿戴式和非穿戴式两类。前者基于数据头盔、数据手套和身体标记等，这类方法虽可获得较准确的用户位置和用户行动，但该类方法为侵入式，用户需专门训练，操作不便；后者基于非接触传感器(如摄像机)，支持自然、灵活的人机交互。由于在人类的日常生活中，人类习惯并大量使用非精确的信息交流，允许使用模糊的表达手段避免不必要的认识负荷，以提高交互活动的自然性和高效性，因此，非穿戴的指势人机交互方法倍受青睐，其使用的系统结构示意图如图1:利用摄像机捕获指势交互用户对象，通过视频对象分割方法提取指势交互用户对象及其相关特征，确定指势交互用户对象所指空间目标，通过计算机发送触发命令，控制并显示和反馈所指目标结果。有效的非穿戴的指势人机交互在教育、影视、娱乐、制造、医学、商业、军事等领域均具有重要的实用意义和价值。
[0004]虽然人类在日常生活中频繁地使用指势进行信息交流，且极易识别所指目标，但对计算机而言却是一个难题。目前，已经提出了许多非穿戴指势人机交互方法。主要有基于立体匹配方法和基于特征分析方法。前者通过二个或以上摄像机获取图像，采用立体匹配方法进行指势人机交互，以确定所指目标。但由于立体匹配存在歧义性，且计算量大、运算复杂，需特定的硬件支持以实现实时处理。后者通过指势用户对象特征提取，进行指势视觉识别，并确定用户所指目标。但这类方法要求用户站立于事先指定的范围内，用户周围无遮挡或障碍物，且要求背景简单、单一，该类方法在很大程度上制约了用户活动的自由性，不符合人类自然交流习惯。
【发明内容】
[0005]本发明的目的在于针对现有非穿戴指势人机交互方法要求用户站立于事先指定的范围，其周围无遮挡或障碍物，背景简单、单一等假设信息，以及对不同身高、体型用户适用性差、实时交互效果不理想，提供一种基于虚拟触摸屏的非穿戴指势人机交互方法。它是根据指势用户所指目标的手指屏可按照用户的人脸三维信息和手指尖的深度信息映射成手指尖可触及的虚拟触摸屏，通过手指尖在虚拟触摸屏的位置计算，自动确定用户所指的实际空间目标。
[0006]根据上述发明构思，本发明采用下述技术方案:
一种基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于具体步骤如下:
1)启动非穿戴指势人机交互系统，采集视频图像；
2)获取用户三维信息:标定Kinect，并由Kinect获取用户三维信息；
3)用户指势手部区域分割:根据步骤2)所提取的用户三维信息，获取用户手部深度方向的Z坐标，并将Z坐标值小的手部区域确定为指势手部区域；
4)指势手指尖提取:根据步骤3)所确定的用户指势手部区域，确定对应的指势手部区域外接矩形框；根据指势手指的Z坐标值小的特点，将具有最小Z坐标值且手指与外接矩形框的边缘相交点确定为指势手的手指尖点；
5)手指目标的行为确定；
6)虚拟触摸屏的构建；
7)手指目标的确定:根据手指尖在步骤6)所构建的虚拟触摸屏的位置计算，确定手指的目标。
[0007]所述步骤5)手指目标的行为判定的具体操作步骤如下:
(5-1)手指尖在相邻时刻的位移量计算:根据手指尖在t时刻和?-l时刻分别在水平I方向的三维坐标尤、尤-1;垂直7方向的三维坐标匕、Yt^l和深度Z方向的三维坐标；、计算手指尖在水平Z方向、垂直Y方向和深度Z方向的位移量化、Dy,Dz- Dx = Jf- , Dy = Yr I1，久=Z1-Zg，并由此确定手指尖在相邻时刻的位移量A
【权利要求】
1.一种基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于具体步骤如下: 1)启动非穿戴指势人机交互系统，采集视频图像； 2)获取用户三维信息:标定Kinect，并由Kinect获取用户三维信息； 3)用户指势手部区域分割:根据步骤2)所提取的用户三维信息，获取用户手部深度方向的Z坐标，并将Z坐标值小的手部区域确定为指势手部区域； 4)指势手指尖提取:根据步骤3)所确定的用户指势手部区域，确定对应的指势手部区域外接矩形框；根据指势手指的Z坐标值小的特点，将具有最小Z坐标值且手指与外接矩形框的边缘相交点确定为指势手的手指尖点； 5)手指目标的行为确定； 6)虚拟触摸屏的构建； 7)手指目标的确定:根据手指尖在步骤6)所构建的虚拟触摸屏的位置计算，确定手指的目标。
2.根据权利要求1所述的基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于:所述步骤5)手指目标的行为判定的具体操作步骤如下: (5-1)手指尖在相邻时刻的位移量计算:根据手指尖在t时刻和?-l时刻分别在水平I方向的三维坐标尤、尤-1;垂直7方向的三维坐标匕、Yt^l和深度Z方向的三维坐标；、计算手指尖在水平Z方向、垂直Y方向和深度Z方向的位移量化、Dy,Dz- Dx = Jf- , Dy = Yr I1，久=Z1-Zg，并由此确定手指尖在相邻时刻的位移量A
3.根据权利要求1所述的基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于:所述步骤6)虚拟触摸屏的构建的具体操作步骤如下: (6-1)手指屏的模块划分:将手指屏分别在水平I方向划分为》个模块和垂直7方向划分为个模块，并由此分别确定手指屏在水平I方向的各个分界点坐标为…，尤+1，以及在垂直7方向的各个分界点坐标为Z1,…，Υη+? ； (6-2)虚拟触摸屏构建:根据步骤2)所获取的用户三维信息，确定人脸中心点的三维坐标毛-，，么^ ;同时，根据步骤4)所确定的手指尖，获取手指尖在深度Z方向的坐标值，并根据步骤(6-1)所划分的手指屏的各个分界点坐标尤U=I,2,…，《+1)，7,.U= 1,2,…，/7+1)，按下式计算手指屏各模块分界点在虚拟触摸屏上的对应点坐标Z/，7/，构建用户手指可触及的虚拟触摸屏。
【文档编号】G06F3/048GK103995586SQ201410196648
【公开日】2014年8月20日 申请日期:2014年5月12日 优先权日:2014年5月12日
【发明者】管业鹏, 潘静 申请人:上海大学