本发明涉及电子技术的领域,更具体地说,涉及用于人机交互的电子设备和信息处理方法。
背景技术:
随着信息时代的到来,智能设备的种类已经从最初的计算机逐步扩展到现在的手机、平板电脑,电视、汽车等。在智能设备中,如何更好地实现人机交互是实现智能所需要解决的关键问题。对于现有的常规设备来说,例如鼠标键盘之于电脑、遥控器之于家电设备,都依附于特定的输入附件来实现人机交互。
然而,新涌现的一些交互场景,除了对于电脑、手机、平板以外,还包括智能家居、智能汽车等新兴场景。在这些场景下,期望能够在不受距离、环境等客观条件限制的同时提供交互体验。因此,如何进行随时随地的交互是人机交互领域研究的热点方向。
技术实现要素:
鉴于以上情形,期望提供能够随时随地交互的电子设备和信息处理方法。
根据本发明的一个方面,提供了一种电子设备,包括:本体装置;固定装置,其与所述本体装置连接,所述固定装置用于固定与所述电子设备的使用者的相对位置关系;以及感测装置,设置在所述本体装置和/或所述固定装置中,其中所述感测装置包括:第一感测单元,用于感测使用者的关于手势输入的第一输入数据;第二感测单元,用于感测使用者的第二输入数据;处理单元,用于通过结合所述第一输入数据和所述第二输入数据进行分析,以判断所述手势输入的类型并产生所对应的指令;以及通信单元,用于将所述指令发送到外部设备。
优选地,在根据本发明实施例的电子设备中,所述第一输入数据包括加速度信息,所述加速度信息包括以所述第一感测单元自身为坐标系的三轴加 速度分量,并且所述第二输入数据包括振动信息,所述振动信息包括振动幅度和/或振动频率,所述处理单元被配置为基于所述加速度信息和所述振动信息,确定所述手势输入的类型。
优选地,在根据本发明实施例的电子设备中,所述处理单元被配置为包括:第一判断部件,用于在所述三轴加速度分量之中,判断是否存在大于第一阈值的加速度分量;合并部件,用于如果所述第一判断部件的判断结果为是,则将其合并为第一方向上的加速度;第二判断部件,用于判断所述振动信息是否满足第一预定条件;以及确定部件,用于当所述合并部件合并出所述第一方向上的加速度且所述第二判断部件判断出所述振动信息满足第一预定条件时,确定所述手势输入的类型为点击操作。
优选地,在根据本发明实施例的电子设备中,所述处理单元被配置为包括:第一判断部件,用于在所述三轴加速度分量之中,判断是否存在大于第一阈值的加速度分量;合并部件,用于如果所述判断部件的判断结果为是,则将其合并为第一方向上的加速度;第二判断部件,用于判断所述振动信息是否满足第三预定条件;以及确定部件,用于当所述合并部件合并出所述第一方向上的加速度且所述第二判断部件判断出所述振动信息满足第三预定条件时,确定所述手势输入的类型为滑动操作。
优选地,在根据本发明实施例的电子设备中,所述第一判断部件进一步被配置为判断所述第一感测单元是否感测到大于第一阈值的第二方向上的加速度,其中所述第二方向与所述第一方向相反,并且所述第二判断部件被配置为判断所述振动信息是否满足第二预定条件,当所述第一判断部件判断出感测到第二方向上的加速度且所述第二判断部件判断出振动信息满足第二预定条件时,所述确定部件确定所述手势输入已经结束。
优选地,在根据本发明实施例的电子设备中,所述第一输入数据进一步包括角速度信息,第一感测单元被配置为基于所述加速度信息和所述角速度信息,计算所述手势输入的运动轨迹,并且所述通信单元进一步配置为将所述运动轨迹发送到外部设备。
优选地,在根据本发明实施例的电子设备中,所述处理单元进一步被配置为包括:轨迹识别部件,用于将所述第一感测单元计算出的运动轨迹与多个预定轨迹进行比对,并识别出所述运动轨迹对应于哪一预定轨迹;第二判断部件,用于判断所述振动信息是否满足第一预定条件或第三预定条件;确 定部件,用于当所述轨迹识别部件识别出所述运动轨迹所对应的预定轨迹且第二判断部件判断出所述振动信息满足第三预定条件时,产生与所述预定轨迹对应的指令。
优选地,在根据本发明实施例的电子设备中,所述第一输入数据包括加速度信息,所述加速度信息包括以所述第一感测单元自身为坐标系的三轴加速度分量,并且所述第二输入数据包括语音信息,所述处理单元被配置为基于所述加速度信息和所述语音信息,确定所述手势输入的类型。
根据本发明的另一方面,提供了一种信息处理方法,应用于一电子设备,包括:感测使用者的关于手势输入的第一输入数据;感测使用者的第二输入数据;通过结合所述第一输入数据和所述第二输入数据进行分析,以判断所述手势输入的类型并产生所对应的指令;以及将所述指令发送到外部设备。
优选地,在根据本发明实施例的方法中,所述第一输入数据包括加速度信息,所述加速度信息包括以所述第一感测单元自身为坐标系的三轴加速度分量,并且所述第二输入数据包括振动信息,所述振动信息包括振动幅度和/或振动频率,其中基于所述加速度信息和所述振动信息,确定所述手势输入的类型。
优选地,在根据本发明实施例的方法中,通过结合所述第一输入数据和所述第二输入数据进行分析,以判断所述手势输入的类型并产生所对应的指令的步骤包括:在所述三轴加速度分量之中,判断是否存在大于第一阈值的加速度分量;如果判断结果为是,则将其合并为第一方向上的加速度;判断所述振动信息是否满足第一预定条件;以及当合并出所述第一方向上的加速度且判断出所述振动信息满足第一预定条件时,确定所述手势输入的类型为点击操作。
优选地,在根据本发明实施例的方法中,通过结合所述第一输入数据和所述第二输入数据进行分析,以判断所述手势输入的类型并产生所对应的指令的步骤包括:在所述三轴加速度分量之中,判断是否存在大于第一阈值的加速度分量;如果判断结果为是,则将其合并为第一方向上的加速度;判断所述振动信息是否满足第三预定条件;以及当合并出所述第一方向上的加速度且判断出所述振动信息满足第三预定条件时,确定所述手势输入的类型为滑动操作。
优选地,根据本发明实施例的方法可以进一步包括:判断所述第一感测 单元是否感测到大于第一阈值的第二方向上的加速度,其中所述第二方向与所述第一方向相反;判断所述振动信息是否满足第二预定条件,当判断出感测到第二方向上的加速度且判断出振动信息满足第二预定条件时,确定所述手势输入已经结束。
优选地,在根据本发明实施例的方法中,所述第一输入数据进一步包括角速度信息,其中所述方法进一步包括:基于所述加速度信息和所述角速度信息,计算所述手势输入的运动轨迹;以及将所述运动轨迹发送到外部设备。
优选地,根据本发明实施例的方法可以进一步包括:
将计算出的运动轨迹与多个预定轨迹进行比对,并识别出所述运动轨迹对应于哪一预定轨迹;判断所述振动信息是否满足第一预定条件或第三预定条件;当识别出所述运动轨迹所对应的预定轨迹且判断出所述振动信息满足第三预定条件时,产生与所述预定轨迹对应的指令。
优选地,在根据本发明实施例的方法中,所述第一输入数据包括加速度信息,所述加速度信息包括以所述第一感测单元自身为坐标系的三轴加速度分量,并且所述第二输入数据包括语音信息,其中基于所述加速度信息和所述语音信息,确定所述手势输入的类型。
在根据本发明实施例的电子设备和信息处理方法中,通过利用两个感测单元分别获取不同的输入数据,并结合不同的输入数据进行分析,进而得到手势输入的类型,可以在确保随时随地交互的同时有效地避免将用户无意的手势动作作为交互输入处理的情况。并且,通过对手部运动和指令的判断,可形成强大的手势指令库,可预设指令,也可用户自动指令,从而完成多种多样的操作。
附图说明
图1A到1E图示根据本发明实施例的电子设备的结构框图;
图2是示出了根据本发明实施例的感测装置的配置的功能性框图;
图3是示出了根据本发明第一实施例的处理单元的配置的功能性框图;
图4是示出了根据本发明第二实施例的处理单元的配置的功能性框图;
图5是示出了根据本发明实施例的信息处理方法的过程的流程图;
图6是示出了根据本发明第一实施例的基于手势输入产生指令的处理的流程图;以及
图7是示出了根据本发明第二实施例的基于手势输入产生指令的处理的流程图。
具体实施方式
下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述,以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节,但它们只能被看作是示例性的。因此,本领域技术人员将认识到,可对这里描述的实施方式进行各种改变和修改,而不脱离本发明的范围和精神。而且,为了使说明书更加清楚简洁,将省略对本领域熟知功能和构造的详细描述。
首先,将参照图1描述根据本发明实施例的电子设备。根据本发明实施例的电子设备为穿戴式设备。如图1A所示,一种电子设备100包括:本体装置200和固定装置300。固定装置300与所述本体装置200连接,所述固定装置300用于固定与所述电子设备的使用者的相对位置关系。
所述固定装置300至少包括一固定状态,在所述固定状态下,所述固定装置300能作为一环状空间或满足第一预定条件的近似环状空间的至少一部分,所述环状空间或所述近似环状空间能围绕在满足第二预定条件的柱状体外围。
具体地,图1B和1C分别图示所述固定装置300与所述本体装置200连接的两种固定状态。在如图1B所示的第一固定状态下,所述固定装置300与所述本体装置200形成闭环的环状空间,其中所述固定装置300与所述本体装置200分别构成环状空间的一部分。在如图1C所示的第二固定状态下,所述固定装置300与所述本体装置200形成具有小开口的近似环状空间,其中所述固定装置300与所述本体装置200分别构成环状空间的一部分。在本发明的一个优选实施例中,所述本体装置200为智能手表的表盘部分,而所述固定装置300为智能手表的表带部分。由所述本体装置200和所述固定装置300形成的所述环状空间或所述近似环状空间能围绕在作为所述柱状体的智能手表的用户的手腕周围,并且所述环状空间或所述近似环状空间的直径大于用户手腕的直径而小于用户拳头的直径。
此外,所述环状空间或所述近似环状空间当然也可以由所述固定装置300单独形成。如图1D和1E所示,所述本体装置200可以布置在所述固定 装置300上(即,所述本体装置200以面接触的方式附接到所述固定装置300),以便仅有所述固定装置300自身形成用于外绕所述柱状体的所述环状空间(图1D)或所述近似环状空间(图1E)。所述固定装置300布置有诸如搭扣、摁扣、拉链等的固定机构(未示出)。
图1B-1E示出了所述电子设备100为腕带式设备的情况。然而,本发明并不仅限于此。例如,在很多情况下,所述电子设备100的具体形态还可以是指环等。
通过这样的穿戴式形态,可以使得电子设备100更便于提供随时随地的交互体验。
此外,电子设备100还包括感测装置400。图2示出了感测装置的具体配置。如图2所示,所述感测装置400包括:第一感测单元401、第二感测单元402、处理单元403和通信单元404。
第一感测单元401用于感测使用者的关于手势输入的第一输入数据。
第二感测单元402用于感测使用者的第二输入数据。
处理单元403用于通过结合所述第一输入数据和所述第二输入数据进行分析,以判断所述手势输入的类型并产生所对应的指令。
通信单元404用于将所述指令发送到外部设备。这里的外部设备是与所述电子设备进行交互的设备,如电视、台式计算机等。外部设备与电子设备可以通过无线的方式(例如,Wifi、蓝牙等)连接和通信。并且,电子设备可以与一台外部设备连接,或者也可以与多台不同的外部设备连接。
在图1A-1E中,均只示出了感测装置400设置在本体装置上的情况。但是,本发明并不仅限于此。替代地,感测装置400也可以设置所述固定装置中。或者,感测装置400中的部分组件可以位于本体装置上,而其他部分组件可以位于固定装置上。也就是说,第一感测单元401、第二感测单元402、处理单元403和通信单元404中的每一个均既可以位于本体装置上,也可以位于固定装置上。
如上文中所述,具有穿戴式形态的电子设备更便于提供随时随地的交互体验。然而,这在带来便利的同时增加了手势输入误判的可能性。举例来讲,当佩戴所述电子设备的用户与朋友聊天时,可能出现很多手势动作。然而,很显然,这并非用户期望以该手势动作进行人机交互。如果如现有技术中那样,仅通过针对手势动作的单一感测单元获得的数据,则很有可能进行错误 的触发。
一般而言,用户的手指在悬空状态下进行的手势输入是不确定的,也就是说,用户的手指在悬空状态下进行的手势输入很可能是无意的操作。相反,如果用户的手指是在某一表面上进行的手势输入,则这种操作通常是确定的,也就是说,用户的手指在某一表面上进行的手势输入很可能是有意的操作。
在本发明中,通过利用两个感测单元分别获取不同的输入数据,并结合不同的输入数据进行分析,进而得到手势输入的类型,可以有效地避免将用户无意的手势动作作为交互输入处理的情况。
接下来,将描述处理单元403通过结合所述第一输入数据和所述第二输入数据进行分析,以判断所述手势输入的类型并产生所对应的指令的具体细节。
作为一种可能的实施方式,所述第一输入数据包括加速度信息,所述加速度信息包括以所述第一感测单元自身为坐标系的三轴加速度分量,并且所述第二输入数据包括振动信息,所述振动信息包括振动幅度和/或振动频率。
例如,所述第一感测单元401可以是加速度计,且所述第二感测单元402可以是压电薄膜传感器。另外,考虑到使用者进行手势输入的空间是三维的,且不确定使用者将在何种平面上进行输入,即:预先不知道操作体的运动方向,因此将采用三轴加速度计。它是基于加速度的基本原理去实现工作的,可以测量空间加速度,能够全面准确反映物体的运动性质。压电薄膜传感器是利用某些电介质受力后产生的压电效应制成的传感器。所谓压电效应是指某些电介质在受到某一方向的外力作用而发生形变(包括弯曲和伸缩形变)时,由于内部电荷的极化现象,会在其表面产生电荷的现象。压电薄膜通常很薄,不但柔软、密度低、灵敏度极好,而且还具有很强的机械韧性,可以说是一种柔性、质轻、韧度高的塑料膜,可制成较大面积和多种厚度。它可以直接贴附在装置表面,而不影响其运动,非常适用于需要大带宽和高灵敏度的应变传递。当手指敲击桌面或者手指在桌面上滑动时,压电薄膜传感器能够检测到关于由于手指的敲击或滑动而引起的振动的信息。
这里,需要注意的是,三轴加速度计所测量到的数据是以其自身为坐标系的三轴数据,而不是相对于操作体的操作平面的数据。例如,假定操作体为使用者的手指,且在该手指上佩戴所述电子设备。当用户的手指以与水平桌面呈45°夹角的姿态进行点击操作时,三轴加速度计获得的是与桌面所在 的坐标系呈45°夹角的坐标系下的三轴数据。
在这种情况下,所述处理单元403被配置为基于所述加速度信息和所述振动信息,确定所述手势输入的类型。
具体来讲,图3示出了根据本发明的第一实施例的处理单元的配置。如图3所示,处理单元403被配置为包括:第一判断部件4031、合并部件4032、第二判断部件4033以及确定部件4034。
第一判断部件4031用于在所述三轴加速度分量之中,判断是否存在大于第一阈值的加速度分量。当用户的手指逐渐靠近某一表面以进行交互操作时,必然存在垂直于或接近垂直于该表面的加速度。通过第一判断部件的判断来确定用户是否启始了交互操作。这里的第一阈值用以滤除不应被认为是用户的手指运动的情况以及可能存在的噪声干扰。一般而言,当用户的手指在某一表面上进行操作时,在第一感测单元获得的三轴数据之中,存在两个轴上的较大的加速度数值。当然,也可能存在仅有一个轴上的较大的加速度数值的情况。这将取决于用户手指的操作方式、操作平面以及运动方向。
如果所述第一判断部件4031的判断结果为是,也就是说,确定存在用户手指的运动,则合并部件4032将其合并为第一方向上的加速度。
第二判断部件4033用于判断所述振动信息是否满足第一预定条件。这里,所述第一预定条件用以确定用户的手指是否针对在某一表面上进行点击操作,而非悬空点击操作。如上文中所述,第二感测单元402可以是压电薄膜传感器。所述振动信息可以是压电薄膜传感器得到的振动波形。
作为一种简单的实施方式,第二判断单元可以根据压电薄膜传感器检测到的波形中的振动幅度和/或振动频率来判断。
例如,如果在较短的时间段中检测到振动幅度较大(例如,大于第三阈值)和/或振动频率较大(例如,大于第四阈值)的振动,则倾向于认为所述振动信息所代表的手指操作为点击操作。
确定部件4034用于当所述合并部件合并出所述第一方向上的加速度且所述第二判断部件判断出所述振动信息满足第一预定条件时,确定所述手势输入的类型为点击操作。也就是说,只有当第一感测单元检测到符合条件的加速度值且第二感测单元检测到表征手指在某一表面上的点击操作的振动信息时,确定部件4034才确定所述手势输入的类型为点击操作。点击操作通常可以看作是进行后续操作的触发操作。例如,如下文中将描述的那样,第一 感测单元还可以计算得到用户手指的运动轨迹。用户可以首先用手指敲击任意平面,确定部件4034判断出进行了点击操作,表明手指开始与该平面进行交互。此时启动后续处理,即:将第一感测单元得到的手指运动轨迹,映射为鼠标操作,并在外部设备的显示屏上进行显示。
如果在一个较短的时间段中检测到一次振动幅度大于第三阈值和/或振动频率大于第四阈值的振动,则认为所述点击操作为单击操作。如果在相邻的两个较短的时间段中检测到两次振动幅度大于第三阈值和/或振动频率大于第四阈值的振动,则认为所述点击操作为双击操作。
或者,第二判断部件4033用于判断所述振动信息是否满足第三预定条件。这里,所述第三预定条件用以确定用户的手指是否针对在某一表面上进行滑动操作,而非悬空滑动操作。如上文中所述,第二感测单元402可以是压电薄膜传感器。所述振动信息可以是压电薄膜传感器得到的振动波形。
作为一种简单的实施方式,第二判断单元可以根据压电薄膜传感器检测到的波形中的振动幅度和/或振动频率来判断。
例如,如果在(与点击操作所对应的时间段相比)较长的时间段中检测到振动幅度中等(例如,大于第五阈值且小于第六阈值)和/或振动频率中等(例如,大于第七阈值且小于第八阈值)的连续振动,则倾向于认为所述振动信息所代表的手指操作为滑动操作。然而,滑动操作所引起的振动还在很大程度上取决于与手指接触的表面的摩擦系数。因此,在实践中,具体阈值的选择还需要结合多种因素来考虑。
确定部件4034用于当所述合并部件合并出所述第一方向上的加速度且所述第二判断部件判断出所述振动信息满足第三预定条件时,确定所述手势输入的类型为滑动操作。也就是说,只有当第一感测单元检测到符合条件的加速度值且第二感测单元检测到表征手指在某一表面上的滑动操作的振动信息时,确定部件4034才确定所述手势输入的类型为滑动操作。
以上描述了当用户的手指进行按下操作时的处理过程。另一方面,与此相对地,必然存在用户的手指抬起的情况。通常认为,如果用户的手指抬起,则说明用户操作结束。接下来,将描述判断用户手指抬起的过程。
所述第一判断部件4031进一步被配置为判断所述第一感测单元是否感测到第二方向上的加速度,所述第二方向与所述第一方向相反。如上文中所述,当用户的手指进行按下操作时,将会产生第一方向上的加速度。作为与 手指按下相反的过程,当用户的手指进行抬起操作时,应该将会产生与第一方向相反的第二方向上的加速度。也就是说,如果检测到第二方向上的加速度,则认为用户的手指进行抬起操作。
并且,所述第二判断部件4033被配置为判断所述振动信息是否满足第二预定条件。这里,第二预定条件用来确定用户的手指是否未在表面上进行操作,即是否不存在振动幅度较大和/或振动频率较大的振动。
当所述第一判断部件判断出感测到第二方向上的加速度且所述第二判断部件判断出振动信息满足第二预定条件时,所述确定部件4034确定所述手势输入已经结束。可以将抬起手势认为是指示交互结束的手势。例如,当所述确定部件4034确定所述手势输入已经结束时,在上文中所述的之前的处理为将第一感测单元得到的手指运动轨迹映射为鼠标操作的情况下,结束这样的映射,且不在外部设备的显示屏上继续显示鼠标图标。
这里,需要指出的是,在上文中,仅通过单一条件的分类器,即简单地判断一次操作的幅度和/或频率是否满足预定条件来区分不同类型的操作(点击、滑动、抬起等)。然而,本发明并不仅限于此。作为更准确但更复杂的实施方式,还可以通过学习分类的方式来完成不同类型手势输入的确定。也就是说,事先采集大量样本,对样本的特征量进行统计分析,从而确定出某指定动作具有什么样的共同特征。比如区分按下和抬起,在统计特征值上肯定是有差异的,因此经过学习所获得的阈值条件的组合也必然是不一样的。例如,可以将压电薄膜传感器获得的波形的波峰或波谷位置分割成2部分,分别计算前后两个窗口的信号最大值、均值和标准差、统计过零点个数等,并将其作为所述统计特征值。当然,加速度值也可以通过类似的方式进行分类。例如,将加速度波形的局部信号的最大值\均值\标准差等作为所述统计特征值。这个分类器的确立过程是通过学习的方法获得的。
接下来,将描述第一感测单元获得手势输入的运动轨迹的情况。在这种情况下,第一感测单元除了加速度计之外,还进一步包括陀螺仪。并且,所述第一输入数据进一步包括角速度信息。第一感测单元被配置为基于所述加速度信息和所述角速度信息,计算所述手势输入的运动轨迹,并且所述通信单元进一步配置为将所述运动轨迹发送到外部设备。由于基于加速度计和陀螺仪获得的加速度信息和角速度信息,计算得到物体的运动轨迹是本领域已知的技术手段,因此为了避免冗余起见,这里不再对其细节进行赘述。
如上文中所述,在第一感测单元获得了用户手指的运动轨迹之后,可以将其映射为外部设备的显示屏上显示的鼠标操作,从而进行交互。但是,第一感测单元所获得的用户手指的运动轨迹不限于映射为鼠标操作。替代地,所述运动轨迹还可以表征预定指令。
具体来讲,图4示出了根据本发明的第二实施例的处理单元的配置。如图4所示,所述处理单元403进一步被配置为包括:轨迹识别部件4035。
轨迹识别部件4035用于将所述第一感测单元计算出的运动轨迹与多个预定轨迹进行比对,并识别出所述运动轨迹对应于哪一预定轨迹。例如,所述预定轨迹可以是特定字符串。例如,如果用户可以用手指写下TV,则表示和TV所代表的智能电视连接。如果用户用手指写下AIR,则表示和AIR所代表的空调连接。
当所述轨迹识别部件4035识别出所述运动轨迹所对应的预定轨迹且第二判断部件判断出所述振动信息满足第一预定条件或第三预定条件时,确定部件4034产生与所述预定轨迹对应的指令。如上文中所述,所述第一预定条件用以确定用户的手指是否针对在某一表面上进行点击操作,而非悬空点击操作。例如,这样的点击操作可以看作是接受后续的轨迹输入的触发操作。或者,所述第三预定条件用以确定用户的手指是否针对在某一表面上进行滑动操作,而非悬空滑动操作。例如,如果轨迹识别部件4035识别出所述预定轨迹为TV,则确定部件4034产生连接TV的指令。如果轨迹识别部件4035识别出所述预定轨迹为AIR,则确定部件4034产生连接AIR的指令。
在上文中,描述了第二感测单元为压电薄膜传感器的情况。然而,本发明并不仅限于此。例如,第二感测单元还可以是声音采集和识别单元。在这种情况下,所述第二输入数据包括语音信息。代替基于压电薄膜传感器检测到的振动信息来确定用户是否在某一表面上操作,所述处理单元被配置为基于语音信息来确定用户是否准备开始交互,同时结合所述加速度信息,确定所述手势输入的类型。
在上文中,参照图1到图4描述了根据本发明实施例的电子设备的具体配置。接下来,将参照图5描述根据本发明实施例的信息处理方法。所述信息处理方法应用于上文中所述的电子设备。如图5所示,所述信息处理方法包括如下步骤:
首先,在步骤S501,感测使用者的关于手势输入的第一输入数据。
然后,在步骤S502,感测使用者的第二输入数据。
接下来,在步骤S503,通过结合所述第一输入数据和所述第二输入数据进行分析,以判断所述手势输入的类型并产生所对应的指令。
最后,在步骤S504,将所述指令发送到外部设备。
如上文中所述,一般而言,用户的手指在悬空状态下进行的手势输入是不确定的,也就是说,用户的手指在悬空状态下进行的手势输入很可能是无意的操作。相反,如果用户的手指是在某一表面上进行的手势输入,则这种操作通常是确定的,也就是说,用户的手指在某一表面上进行的手势输入很可能是有意的操作。
在本发明中,通过利用两个感测步骤分别获取不同的输入数据,并结合不同的输入数据进行分析,进而得到手势输入的类型,可以有效地避免将用户无意的手势动作作为交互输入处理的情况。
接下来,将描述处理单元403通过结合所述第一输入数据和所述第二输入数据进行分析,以判断所述手势输入的类型并产生所对应的指令的具体细节。
作为一种可能的实施方式,所述第一输入数据包括加速度信息,所述加速度信息包括以所述第一感测单元自身为坐标系的三轴加速度分量,并且所述第二输入数据包括振动信息,所述振动信息包括振动幅度和/或振动频率,
其中基于所述加速度信息和所述振动信息,确定所述手势输入的类型。
图6示出了根据本发明第一实施例的基于手势输入产生指令的处理。如图6所示,通过结合所述第一输入数据和所述第二输入数据进行分析,以判断所述手势输入的类型并产生所对应的指令的步骤包括:
首先,在步骤S601,在所述三轴加速度分量之中,判断是否存在大于第一阈值的加速度分量。当用户的手指逐渐靠近某一表面以进行交互操作时,必然存在垂直于或接近垂直于该表面的加速度。通过第一判断部件的判断来确定用户是否启始了交互操作。这里的第一阈值用以滤除不应被认为是用户的手指运动的情况以及可能存在的噪声干扰。一般而言,当用户的手指在某一表面上进行操作时,在第一感测单元获得的三轴数据之中,存在两个轴上的较大的加速度数值。当然,也可能存在仅有一个轴上的较大的加速度数值的情况。这将取决于用户手指的操作方式、操作平面以及运动方向。
如果在步骤S601的判断结果为是,也就是说,确定存在用户手指的运动, 则处理进行到步骤S602。否则处理结束。在步骤S602,将其合并为第一方向上的加速度。
然后,在步骤S603,判断所述振动信息是否满足第一预定条件。通过第一预定条件的判断来确定用户的手指是否针对在某一表面上进行点击操作,而非悬空点击操作。例如,如果在较短的时间段中检测到振动幅度较大(例如,大于第三阈值)和/或振动频率较大(例如,大于第四阈值)的振动,则倾向于认为所述振动信息所代表的手指操作为点击操作。
当在步骤S602合并出所述第一方向上的加速度且在步骤S603判断出所述振动信息满足第一预定条件时,处理进行到步骤S604。在步骤S604,确定所述手势输入的类型为点击操作。接下来,处理进行到步骤S606。在步骤S606,进行与所述点击操作对应的交互操作。点击操作通常可以看作是进行后续操作的触发操作。例如,如下文中将描述的那样,还可以计算得到用户手指的运动轨迹。用户可以首先用手指敲击任意平面,然后判断出进行了点击操作,表明手指开始与该平面进行交互。此时启动后续处理,即:将得到的手指运动轨迹,映射为鼠标操作,并在外部设备的显示屏上进行显示。
需要指出的是,在图6中以先后顺序示出了步骤S601~S603的处理,但是步骤S601~S602的处理与步骤S603的处理可以并行进行,也可以以与图6中相反的先后顺序进行。
如果在步骤S603判断所述振动信息是否满足第三预定条件,这里,第三预定条件用以确定用户的手指是否针对在某一表面上进行滑动操作,而非悬空滑动操作则当在步骤S602合并出所述第一方向上的加速度且在步骤S603判断出所述振动信息满足第三预定条件时,则处理进行到步骤S605。在步骤S605,确定所述手势输入的类型为滑动操作。接下来,处理进行到步骤S606。在步骤S606,进行与所述滑动操作对应的交互操作。
以上描述了当用户的手指进行按下操作时的处理过程。另一方面,与此相对地,必然存在用户的手指抬起的情况。通常认为,如果用户的手指抬起,则说明用户操作结束。接下来,将描述判断用户手指抬起的过程。
具体来说,所述方法进一步包括:
在步骤S607,判断所述第一感测单元是否感测到第二方向上的加速度,所述第二方向与所述第一方向相反。如上文中所述,当用户的手指进行按下操作时,将会产生第一方向上的加速度。作为与手指按下相反的过程,当用 户的手指进行抬起操作时,应该将会产生与第一方向相反的第二方向上的加速度。也就是说,如果检测到第二方向上的加速度,则认为用户的手指进行抬起操作。
并且,在步骤S608,判断所述振动信息是否满足第二预定条件。所述第二预定条件用以确定用户的手指是否未在表面上进行操作,即是否不存在振动幅度较大和/或振动频率较大的振动。
当判断出感测到第二方向上的加速度且判断出振动信息满足第二预定条件时,处理进行到步骤S609。在步骤S609,确定所述手势输入已经结束,结束操作。例如,当确定所述手势输入已经结束时,在上文中所述的之前的处理为将得到的手指运动轨迹映射为鼠标操作的情况下,结束这样的映射,且不在外部设备的显示屏上继续显示鼠标图标。
类似地,在图6中以先后顺序示出了步骤S608~S609的处理,但是步骤S608的处理与步骤S609的处理可以并行进行,也可以以与图6中相反的先后顺序进行。
另外,如上文中所述,所述第一输入数据还可以进一步包括角速度信息。
图7示出了根据本发明第二实施例的基于手势输入产生指令的处理。如图7所示,通过结合所述第一输入数据和所述第二输入数据进行分析,以判断所述手势输入的类型并产生所对应的指令的步骤包括:
在步骤S701,基于所述加速度信息和所述角速度信息,计算所述手势输入的运动轨迹。然后,可以将所述运动轨迹发送到外部设备。如上文中所述,在获得了用户手指的运动轨迹之后,可以将其映射为外部设备的显示屏上显示的鼠标操作,从而进行交互。但是,所获得的用户手指的运动轨迹不限于映射为鼠标操作。替代地,所述运动轨迹还可以表征预定指令。
在这种情况下,在步骤S702,将计算出的运动轨迹与多个预定轨迹进行比对,并识别出所述运动轨迹对应于哪一预定轨迹。
在步骤S703,判断所述振动信息是否满足第一预定条件或第三预定条件。如上文中所述,所述第一预定条件用以确定用户的手指是否针对在某一表面上进行点击操作,而非悬空点击操作。例如,这样的点击操作可以看作是接受后续的轨迹输入的触发操作。或者,所述第三预定条件用以确定用户的手指是否针对在某一表面上进行滑动操作,而非悬空滑动操作。
当所述轨迹识别部件识别出所述运动轨迹所对应的预定轨迹且判断出所 述振动信息满足第一预定条件或第三预定条件时,处理进行到步骤S704。在步骤S704,产生与所述预定轨迹对应的指令。例如,如果识别出所述预定轨迹为TV,则产生连接TV的指令。如果识别出所述预定轨迹为AIR,则产生连接AIR的指令。
然后,在步骤705,执行所产生的指令。
在上文中,描述了第二输入数据为振动信息的情况。然而,本领域的技术人员可以理解,本发明并不仅限于此。例如,第二输入数据还可以是语音信息。代替基于检测到的振动信息来确定用户是否在某一表面上操作,还可以基于所述加速度信息和所述语音信息,确定所述手势输入的类型。也就是说,可以基于语音信息来确定用户是否准备开始交互,同时结合所述加速度信息,确定手势输入的类型并产生对应的指令。
迄今为止,已经参照附图详细描述了根据本发明实施例的电子设备和信息处理方法。在根据本发明实施例的电子设备和信息处理方法中,通过利用两个感测单元分别获取不同的输入数据,并结合不同的输入数据进行分析,进而得到手势输入的类型,可以在确保随时随地交互的同时有效地避免将用户无意的手势动作作为交互输入处理的情况。并且,通过对手部运动和指令的判断,可形成强大的手势指令库,可预设指令,也可用户自动指令,从而完成多种多样的操作。
需要说明的是,在本说明书中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后,还需要说明的是,上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理,而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现,当然也可以全部通过软件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介 质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。