基于超声与视觉的复合式手势识别设备及其控制方法
【专利摘要】本发明公开了一种基于超声与视觉的复合式手势识别设备及其控制方法，该设备包括视觉识别单元、超声识别单元、以及用于根据使用条件来控制在视觉识别单元与超声识别单元之间进行选择性切换控制单元，当设备处于待机状态时，切换为选择超声识别单元识别手势指令，以使设备进入工作状态；当设备处于工作状态时，如果判断手势物体与设备之间相对位移大于预定值 S ，则切换为选择视觉识别单元识别手势物体，否则切换为选择超声识别单元识别手势物体。本方案能够结合摄像头识别手势与声波识别手势的优点，并且在不同的应用环境中采用不同的手势识别方式，从而适当增长多媒体设备的待机时间，识别精度和识别手势种类都能得到提高，应用范围大大增加。
【专利说明】基于超声与视觉的复合式手势识别设备及其控制方法
【技术领域】
[0001]本发明涉及一种手势识别设备及其控制方法。
【背景技术】
[0002]随着传感器技术的发展与各项技术的成熟，手势识别技术已经进入可用性阶段，成为高端旗舰智能手机、媒体平板电脑和智能眼镜的一个关键标志。手势识别就是利用各类传感器对手/手持工具的形态、位移等进行持续采集，每隔一段时间完成一次建模，形成一个模型信息的序列帧，再将这些信息序列转为对应的指令，用来控制实现某些操作。目前各类产品和解决方案也开始涌现，市面上常见的手势识别大部分是用多媒体设备上的摄像头来识别手势，基于摄像头的手势识别技术流程包括手势图像获取、手势分割、手势特征提取、手势识别、手势匹配五大部分，该技术目前已经相对成熟，可以较精确识别手的各种动作，并可以将该手势动作来操控某些应用软件。另外，声波测距也是一种成熟的技术，利用多媒体设备上的声波发生器和声波接收器，能识别简单的手势，如，垂直多媒体设备方向上手远离或接近多媒体设备，平行多媒体设备方向上，上下或左右移动，实现难度小，无需额外增加器件。
[0003]基于摄像头手势识别技术目前仍然存在一些不足，例如，要求手掌基本平行于摄像头，导致用户长时间手部弯曲而感到不适；其主要利用面积变化来测量手掌与摄像头之间的距离，在手与摄像头距离较远的情况下误差较大；在便携式多媒体设备中，基于摄像头手势识别技术耗电量非常大，严重影响便携式多媒体设备的待机时间，这对便携式多媒体设备来说，是一个致命的缺点。同样地，基于声波的手势识别技术的缺点是:由于手掌是一个面，声波是一种球面波，声波经手掌折射后返回到声波接收器，信号处理后仅对能量较强的信号进行处理和分析，不能识别经手掌反射回来的所有信号。故只有在手相对多媒体设备有位移时才能识别，手掌平行于多媒体方向移动距离较小时，不能识别该移动距离；手掌移动距离很小或者没有位移时，不能识别手指的动作。
【发明内容】
[0004]本发明的目的是克服现有技术的缺点，提供一种基于超声与视觉的复合式手势识别设备及其控制方法，可以兼具摄像头识别手势与声波识别手势的优点。
[0005]为了实现上述目的，本技术方案是:一种基于超声与视觉的复合式手势识别设备，包括:
视觉识别单元，包括摄像头，用于通过图像处理方式来捕捉手势物体的运动轨迹；超声识别单元，包括声波发生器与声波接收器，用于通过接收经过手势物体反射的声波信号方式来捕捉手势物体的运动轨迹；
控制单元，用于根据使用条件来控制在所述的视觉识别单元与所述的超声识别单元之间进行选择性切换，其中，当设备处于待机状态时，切换为选择所述的超声识别单元识别手势指令，以使设备进入工作状态；当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移大于预定值S，则选择视觉识别单元为识别手势物体的主单元；如果判断手势物体与设备之间水平方向相对位移小于预定值S，则选择超声识别单元为识别手势物体的主单元；如果判断手势物体与设备之间水平方向相对位移在预定值S附近，则选择视觉识别单元、超声识别单元共同识别手势物体。本方案能够结合摄像头识别手势与声波识别手势的优点，并且在不同的应用环境中采用不同的手势识别方式，尽量避免二者的缺点，从而适当增长多媒体设备的待机时间，识别精度和识别手势种类都能得到提高，应用范围大大增加。
[0006]作为本发明进一步的改进，所述的视觉识别单元采用红外摄像头，从而增强低亮度场景下的识别效率。
[0007]作为本发明进一步的改进，所述的声波发生器包括扬声器部件，所述的声波接收器包括麦克风部件。
[0008]作为本发明进一步的改进，所述的多媒体设备包括便携式设备或者非便携式设备，举例但不限于智能手机、平板电脑、智能电视机、笔记本电脑中。
[0009]根据本发明的另一方面，提供了一种基于超声与视觉的复合式手势识别设备的控制方法，所述的基于超声与视觉的复合式手势识别设备包括用于通过图像处理方式来捕捉手势物体的运动轨迹的视觉识别单元、用于通过接收经过手势物体反射的声波信号方式来捕捉手势物体的运动轨迹的超声识别单元，以及用于在所述的视觉识别单元与所述的超声识别单元之间进行选择性切换控制单元，包括如下步骤:
S1:当设备处于待机状态时，切换为选择超声识别单元识别手势指令，以使设备进入工作状态；
S2:当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移大于预定值S，则选择视觉识别单元为识别手势物体的主单元；
S3:当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移小于预定值S，则选择超声识别单元为识别手势物体的主单元；
S4:当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移在预定值S附近，则选择视觉识别单元、超声识别单元共同识别手势物体。
[0010]即当设备处于工作状态时，根据工作的应用软件要求切换超声识别和视觉识别。当应用软件要求识别平行与多媒体界面的平面上位移小于S的手势物体时开启摄像头识别单元；当应用软件要求识别平行于多媒体设备界面的平面上位移大于S的手势物体时开启超声波识别单元；当应用软件要求在垂直多媒体界面的空间上识别手势时开启超声波识别单元；当应用软件需要在在平行和垂直方向均要识别手势时开启超声波识别单元和摄像头识别单元。
[0011]作为本发明进一步的改进，在所述的步骤SI中，所述的手势指令包括多个唤醒指令，每个唤醒指令分别对应于一个唤醒后执行的应用程序，当设备被唤醒的同时执行相应的应用程序。
[0012]作为本发明进一步的改进，由被唤醒时所执行的应用程序在所述的视觉识别单元与所述的超声识别单元之间进行选择在该应用程序执行过程中所采用的手势识别方式。
[0013]作为本发明进一步的改进，所述的手势物体与设备之间相对位移的预定值S由所述的超声识别单元的声波周期、声波能量以及声波占空比决定。
[0014]作为本发明进一步的改进，当所述的手势物体为手时，如果手指相对手掌变化时，则切换为选择视觉识别单元识别手势物体。
[0015]作为本发明进一步的改进，当手势物体的运动轨迹为上下翻页、上下移动、左右翻页、左右移动、放大缩小、抓取放置、平行于显示屏的顺或逆时钟画圈、垂直于显示屏方向的顺或逆时钟画圈、选取图形界面的一种或多种时，则切换为选择超声识别单元识别手势物体。
[0016]由于采用了以上技术方案，本发明基于声波和摄像头相结合的手势识别，执行对多媒体图形界面的操作，将手势转化为命令来操作设备，这种方式的手势交互技术具有如下优势:
有效的增加多媒体设备的待机时间；
手势种类多，对用户图形界面的操作可以实现更多更复杂的功能，交互功能大大提高，使用更加方便；
多媒体设备一般带有声波接收器(如麦克风)和声波发送器(如扬声器)、摄像头，无需另外添置元器件，对多媒体设备的成本影响非常小。
【专利附图】
【附图说明】
[0017]附图1所示为声波识别手势时声波发生器发送的声波；
附图2所示为根据本发明的声波与摄像头结合识别手势控制方法的流程图；
附图3所示为手掌在平行于多媒体设备的平面上画圈动作时执行声波识别；
附图4所示为手掌在垂直于多媒体设备的平面上画圈动作时执行声波识别。
【具体实施方式】
[0018]下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0019]本发明的基于超声与视觉的复合式手势识别设备，包含如下器件:
视觉识别单元，包括至少一个摄像头，用于通过图像处理方式来捕捉手势物体的运动轨迹；
超声识别单元，包括声波发生器与声波接收器，声波发生器用于发生声波，声波接收器用于接收声波，用于通过接收经过手势物体反射的声波信号方式来捕捉手势物体的运动轨迹；
控制单元，包括至少一个处理器或控制器，可以进行手势分析和数据处理，根据使用条件来控制在视觉识别单元与超声识别单元之间进行选择性切换，即按照预定的设定，在某些界面上开启摄像头进行手势识别，在某些设备上开启声波手势识别关闭摄像头识别；显示屏:用于通过显示图形用户界面与用户进行交互；
电子设备的使用者，人机交互的主体，通过做出远离或者接近电子屏幕的手势动作来实现交互式控制。
[0020]在本发明中，视觉识别单元可以采用红外摄像头，可以提高低亮度场景下的识别效率；另外，声波发生器可以采用扬声器部件，声波接收器可以采用麦克风部件，这样不会增加设备额外的成本。
[0021]本发明中的多媒体设备包括便携式设备或者非便携式设备，举例但不限于智能手机、平板电脑、智能电视机、笔记本电脑中。
[0022]结合声波手势识别和摄像头手势识别的优缺点，在不同的应用环境中采用不同的手势识别方式，尽量避免二者的缺点，从而适当增长多媒体设备的待机时间，识别精度和识别手势种类都能得到提高，应用范围大大增加。当设备处于工作状态时，根据工作的应用软件要求切换超声识别和视觉识别。
[0023]这里举例详细说明应用声波识别手势的环境:
1)多媒体设备处于待机状态时，要求耗电量非常非常小。采用声波识别手势，多媒体设备周期性的发射声波，耗电量很小，对待机时间影响非常小；
2)多媒体工作状态下，当应用软件要求识别平行于多媒体设备界面的平面上位移大于S的手势物体时开启超声波识别单元；当应用软件要求在垂直多媒体界面的空间上识别手势时开启超声波识别单元；当应用软件需要在在平行和垂直方向均要识别手势时开启超声波识别单元和摄像头识别单元；
3)多媒体设备用户图形界面在进行上下翻页，上下移动，左右翻页，左右移动，放大、缩小，抓取，放置，平行于多媒体显示屏的顺或逆时钟画圈、垂直于多媒体显示屏方向的顺或逆时钟画圈，选取图形界面的一部分，这些操作时，采用声波识别手势；
相对应的，应用摄像头识别手势(或者摄像头结合红外识别手势)的应用环境为:
1)多媒体工作状态下，当应用软件要求识别平行与多媒体界面的平面上位移小于S的手势物体时开启摄像头识别单元；
2)手指相对手掌变化时。
[0024]参见附图1所示，由于多媒体设备大部分时间处于待机状态，该状态下，多媒体设备的声波发生器一直在发射声波，声波图形如图1所示，本图所示仅仅是正弦波，实际发送的声波可以是正弦波、余弦波、方波、脉冲、锯齿波等波形。tl与T的比值为发射声波的占空比，适当调节占空比和声波的能量，可以使得多媒体在待机状态下消耗的电量非常小。占空比越大，消耗电量越多，待机时间越短；发送声波能量越大，消耗电量越多，待机时间越短。在实验测试过程中，该位移S数值的范围最佳设置为5mm-5cm之间最佳，可以实现识别效果与耗电量的均衡值。在本发明的另一个实施例中，在设备处于待机状态下与工作状态下，可以采用不同的位移S数值，以保证工作状态下具有较佳的分辨率，而在待机状态下具有较佳节能性。
[0025]如图2所示，为所示为根据本发明的声波与摄像头结合识别手势控制方法的流程图，本发明的基于超声与视觉的复合式手势识别设备的控制方法，包括如下步骤:
S1:当设备处于待机状态时，切换为选择超声识别单元识别手势指令，以使设备进入工作状态，手势指令包括多个唤醒指令，每个唤醒指令分别对应于一个唤醒后执行的应用程序，当设备被唤醒的同时执行相应的应用程序，由被唤醒时所执行的应用程序在视觉识别单元与超声识别单元之间进行选择在该应用程序执行过程中所采用的手势识别方式；
S1:当设备处于待机状态时，切换为选择超声识别单元识别手势指令，以使设备进入工作状态；
S2:当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移大于预定值S，则选择视觉识别单元为识别手势物体的主单元； S3:当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移小于预定值S，则选择超声识别单元为识别手势物体的主单元；
S4:当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移在预定值S附近，则选择视觉识别单元、超声识别单元共同识别手势物体。
[0026]如图3所示为手掌在平行于多媒体设备的平面上画圈，图4所示为手掌在垂直于多媒体设备的平面上画圈。多媒体设备100上装有声波发生器和声波接收器，声波发生器发射声波经手200折射后由声波接收器接收，判断出手相对于多媒体设备的位置，手的位置发生改变时，处理器记录手的位置变化，依据该变化轨迹，得出手相对多媒体设备的运动轨迹，与设备中已存储的轨迹进行匹配，若能匹配上，则执行预定的该运动轨迹对应的操作，不同的手势动作可以对应打开不同的应用软件。
[0027]当多媒体设备打开对应的应用软件后，该软件依据程序设定是否打开摄像头。例如，打开一个文本文档，只需要识别简单的手势来实现如翻页、上下移动等功能，这时可以将摄像头关闭，只需要打开声波识别就可以了。例如，需要打开某个游戏，该游戏需要识别多种手势，而且需要精确识别手指相对手掌的移动，此时，该游戏程序中可以设定将声波识别和摄像头识别手势都打开。
[0028]仅声波识别手势时，识别手势与存储器中的手势进行匹配，若能匹配成功，则执行程序中事先约定好的程序。当程序设定仅摄像头识别时，打开摄像头，摄像头手势识别主要分为手势图像获取、手势分割、手势特征提取、手势识别、手势匹配五大部分。手势匹配成功后，多媒体设备执行该手势匹配的操作。声波识别和摄像头识别同时开启时，同时进行手势识别，然后进行数据融合，手势匹配，若匹配成功，则执行该手势对应的操作。
[0029]以上实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围。
【权利要求】
1.一种基于超声与视觉的复合式手势识别设备，其特征在于，包括: 视觉识别单元，包括摄像头，用于通过图像处理方式来捕捉手势物体的运动轨迹； 超声识别单元，包括声波发生器与声波接收器，用于通过接收经过手势物体反射的声波信号方式来捕捉手势物体的运动轨迹； 控制单元，用于根据使用条件来控制在所述的视觉识别单元与所述的超声识别单元之间进行选择性切换，其中，当设备处于待机状态时，切换为选择所述的超声识别单元识别手势指令，以使设备进入工作状态；当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移大于预定值S，则选择视觉识别单元为识别手势物体的主单元；如果判断手势物体与设备之间水平方向相对位移小于预定值S，则选择超声识别单元为识别手势物体的主单元；如果判断手势物体与设备之间水平方向相对位移在预定值S附近，则选择视觉识别单元、超声识别单元共同识别手势物体。
2.根据权利要求1所述的基于超声与视觉的复合式手势识别设备，其特征在于:所述的视觉识别单元采用红外摄像头。
3.根据权利要求1所述的基于超声与视觉的复合式手势识别设备，其特征在于:所述的声波发生器包括扬声器部件，所述的声波接收器包括麦克风部件。
4.根据权利要求1所述的基于超声与视觉的复合式手势识别设备，其特征在于:所述的多媒体设备包括便携式设备或者非便携式设备。
5.一种基于超声与视觉的复合式手势识别设备的控制方法，其特征在于:所述的基于超声与视觉的复合式手势识别设备包括用于通过图像处理方式来捕捉手势物体的运动轨迹的视觉识别单元、用于通过接收经过手势物体反射的声波信号方式来捕捉手势物体的运动轨迹的超声识别单元，以及用于在所述的视觉识别单元与所述的超声识别单元之间进行选择性切换控制单元，包括如下步骤: 51:当设备处于待机状态时，切换为选择超声识别单元识别手势指令，以使设备进入工作状态； 52:当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移大于预定值S，则选择视觉识别单元为识别手势物体的主单元； 53:当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移小于预定值S，则选择超声识别单元为识别手势物体的主单元； S4:当设备处于工作状态时，如果判断手势物体与设备之间水平方向相对位移在预定值S附近，则选择视觉识别单元、超声识别单元共同识别手势物体。
6.根据权利要求5所述的基于超声与视觉的复合式手势识别设备的控制方法，其特征在于:在所述的步骤SI中，所述的手势指令包括多个唤醒指令，每个唤醒指令分别对应于一个唤醒后执行的应用程序，当设备被唤醒的同时执行相应的应用程序。
7.根据权利要求6所述的基于超声与视觉的复合式手势识别设备的控制方法，其特征在于:由被唤醒时所执行的应用程序在所述的视觉识别单元与所述的超声识别单元之间进行选择在该应用程序执行过程中所采用的手势识别方式。
8.根据权利要求5所述的基于超声与视觉的复合式手势识别设备的控制方法，其特征在于:所述的手势物体与设备之间相对位移的预定值S由所述的超声识别单元的声波周期、声波能量以及声波占空比决定。
9.根据权利要求5所述的基于超声与视觉的复合式手势识别设备的控制方法，其特征在于:当所述的手势物体为手时，如果手指相对手掌变化时，则切换为选择视觉识别单元识别手势物体。
10.根据权利要求5所述的基于超声与视觉的复合式手势识别设备的控制方法，其特征在于:当手势物体的运动轨迹为上下翻页、上下移动、左右翻页、左右移动、放大缩小、抓取放置、平行于显示屏的顺或逆时钟画圈、垂直于显示屏方向的顺或逆时钟画圈、选取图形界面的一种或多种时，则切换为选择超声识别单元识别手势物体。
【文档编号】G06F3/01GK104463119SQ201410733861
【公开日】2015年3月25日 申请日期:2014年12月5日 优先权日:2014年12月5日
【发明者】申立琴, 刘广松 申请人:苏州触达信息技术有限公司