手势和语音控制的接口装置的制作方法

本发明涉及一种用于电子装置的接口。更具体地，本发明涉及一种手势和语音控制的接口装置。

背景技术：

1、自然的人类交流通常是言语和手势的组合。通常，言语被用于传达大部分交流信息，而手势被用作额外的上下文辅助。对话的参与者之间交流的话语可能携带大部分上下文，但是如果没有手势，相同的话语可能具有不同的含义。在对话期间，对话的参与者提供关于接收并理解所传达的信息的反馈。反馈通常也是言语和手势的组合。交流的接收者可以点头并说“是”以表示同意，并且也可以摇头或摇手以表示不同意。由于人类交流是自然的人类交流随着时代发展的结果，因此自然的人类交流的方面和复杂性可以被对话双方直观地理解。另一方面，与电子装置和计算机的人机接口相对较新并且发展较慢。

2、在发明智能装置(例如，智能手机和平板电脑)之前，与计算机的人机接口仅限于基本的输入和输出装置。输入由键盘和鼠标接收，用户连续地按下按键来与计算机进行通信。在诸如显示器和扬声器的输出装置上提供反馈。例如，被提供进行确认的反馈(诸如点击定点装置(诸如计算机鼠标点击))可以包括“叮”的声音以及显示屏上对象的照明强度的改变(例如，变暗或变亮)。

3、包括触摸屏的智能装置可以提供与电子装置的额外的通信层。包括触摸屏的智能装置的用户可以在触摸屏上触摸、按压、滑动并且执行各种手势。智能装置可以向用户提供视觉、听觉和触觉反馈。屏幕可以显示视觉效果(例如，虚拟按钮的形状和颜色的改变)，可以发出声音，并且可以生成振动以向智能装置的用户提供反馈。

4、也可以使用语音和声音与电子装置进行通信。智能手机和智能扬声器(例如，amazon echo)可以具有虚拟助理人工智能(ai)技术(例如，amazon alexa)，该技术允许用户发出命令，然后虚拟助理ai可以解释该命令并提供对该命令的反馈。用户通常可以向虚拟助理询问问题或提供命令。

5、存在识别手势(诸如手移动)的电子装置。可以通过分析用户的视频图像来执行手势识别。还可以通过分析从定位在用户的身体上的传感器(例如，附接到用户的手臂上的可穿戴装置上的加速度计)接收的数据来执行手势识别。

6、可能期望提供用于电子装置的组合的手势和语音控制的装置、系统和方法。

技术实现思路

1、因此，根据本发明的实施方式，提供了一种用于估计施加在对象上的力的装置。该装置可以包括一个或多个生物电势传感器，该一个或多个生物电势传感器被配置成放置在用户的肢体上并且测量来自肢体的一个或多个肌肉或一个或多个神经的一个或多个生物电势信号。该装置还可以包括惯性测量单元(imu)，以测量肢体的一个或多个惯性性质。该装置还可以包括处理器，该处理器被配置成获得所测量的一个或多个生物电势信号和一个或多个所测量的惯性性质，并且基于根据从施加已知力的多个用户收集的生物电势信号和惯性性质的样本构建的模型来估计由用户的肢体施加在对象上的力。

2、根据本发明的一些实施方式，该一个或多个惯性性质选自由以下组成的惯性特性群组：肢体的方位、角速度、线速度和加速度。

3、根据本发明的一些实施方式，处理器被配置成估计对象的重量。

4、根据本发明的一些实施方式，处理器被配置成估计施加在杠杆上的扭矩。

5、根据本发明的一些实施方式，处理器被配置成估计成功连接连接器而施加的力。

6、根据本发明的一些实施方式，提供了一种手势控制的接口装置。该装置可以包括：一个或多个手势传感器，用于感测用户的手势；以及处理器，被配置成从该一个或多个手势传感器获得一个或多个所感测手势，分析一个或多个所感测手势以识别来自用户的输入，并且生成与到受控装置的输入相对应的输出信号，该输出信号通过调制函数根据一个或多个所感测手势的一个或多个性质来调制。

7、根据本发明的一些实施方式，调制函数模拟与虚拟对象或虚拟环境相关的物理参数。

8、根据本发明的一些实施方式，物理参数选自由以下组成的群组：重量、纹理、摩擦和阻力。

9、根据本发明的一些实施方式，该装置可以包括反馈装置，该反馈装置选自由屏幕、触觉致动器(haptic actuator)、触知致动器(tactile actuator)和扬声器组成的群组。

10、根据本发明的一些实施方式，该一个或多个性质选自由手的位置、手指之间的压力以及手指之间的距离组成的群组。

11、根据本发明的一些实施方式，提供了一种手势控制的接口装置。该装置可以包括：一个或多个手势传感器，用于感测用户的手势；以及处理器，被配置成从该一个或多个手势传感器获得一个或多个所感测手势，分析所感测手势以识别来自用户的输入并识别连接器的成功连接，并且生成与到受控装置的输入相对应的输出信号。

12、根据本发明的一些实施方式，处理器还被配置成分析所感测手势以识别连接器的断开。

13、根据本发明的一些实施方式，该一个或多个传感器包括选自传感器生物电势传感器群组的传感器以及用于确定手方位或角速度加速度的惯性测量单元。

14、根据本发明的一些实施方式，处理器被配置成在分析所感测手势以识别成功连接时分析声音。

15、根据本发明的一些实施方式，该声音包括点击声或摩擦声。

16、根据本发明的一些实施方式，处理器还被配置成基于将该一个或多个所感测手势与特定人的手势签名进行比较来验证出该一个或多个所感测手势是由该特定人执行的。

17、根据本发明的一些实施方式，提供了一种手势和语音控制的接口装置，包括：一个或多个手势传感器，用于感测用户的手势；一个或多个音频传感器，用于感测用户发出的声音；以及处理器，被配置成从该一个或多个手势传感器获得一个或多个所感测手势并且从该一个或多个音频传感器获得一个或多个所感测声音，分析该所感测手势和所感测声音以识别来自用户的输入，并且生成与到受控装置的输入相对应的输出信号。

18、根据本发明的一些实施方式，处理器被配置成仅当在预定时间段内感测到该一个或多个所感测手势和该一个或多个所感测声音时才识别输入。

19、根据本发明的一些实施方式，该一个或多个所感测手势是在该一个或多个所感测声音之前被感测到。

20、根据本发明的一些实施方式，该一个或多个所感测手势是在该一个或多个所感测声音之后被感测到。

21、根据本发明的一些实施方式，该一个或多个所感测手势与该一个或多个所感测声音同时被感测到。

22、根据本发明的一些实施方式，处理器被配置成在该一个或多个所感测手势中或该一个或多个所感测声音中识别发起提示，从该一个或多个所感测手势提取第一测量手势值，从该一个或多个所感测手势提取第二测量手势值，并且基于第一测量手势值和第二测量手势值生成输出信号。

23、根据本发明的一些实施方式，发起提示用于选择受控装置的功能，其中，第一测量手势值用于选择该功能的参数的初始状态，并且其中，第二测量手势值用于选择该功能的参数的最终状态。

24、根据本发明的一些实施方式，该功能选自由以下组成的功能群组：音频装置的音量、环境控制装置(climate control device)的温度、虚拟对象的尺寸、虚拟对象的位移、以及放大或缩小。

25、根据本发明的一些实施方式，处理器被配置成基于由以下组成的提示群组中的至少一个提示来识别发起提示：用户的声音、用户的手势、从用户测量的力的值以及由处理器生成的信号。

26、根据本发明的一些实施方式，处理器被配置成在识别发起提示之后在提取第一测量参数之前等待达预定时间段。

27、根据本发明的一些实施方式，处理器被配置成在该一个或多个所感测手势中或该一个或多个所感测声音中识别终止提示。

28、根据本发明的一些实施方式，处理器被配置成基于识别出退出预定参数范围或者识别出在预定参数范围内的稳定性来识别终止提示。

29、根据本发明的一些实施方式，处理器被配置成基于选自由以下组成的数学关系群组的数学关系来生成输出信号：比率、加法、减法、乘法和除法。

30、根据本发明的一些实施方式，用于感测用户的手势的该一个或多个手势传感器被配置成感测由以下组成的参数群组中的一个或多个参数：用户的位移、用户的肢体的位移、用户的手指的位移、面部表情(facial gesture)、面部鬼脸(facial grimace)、来自用户的肢体或手指的神经或肌肉的生物电势的值、以及用户的眼睛移动。

31、根据本发明的一些实施方式，处理器被配置成计算该一个或多个所感测手势中的手势与预定义手势之间的相似性度量，并且仅当该相似性度量高于预定阈值时才生成输出信号。

32、根据本发明的一些实施方式，处理器被配置成：基于将该一个或多个所感测声音与特定人的语音签名进行比较来识别特定人；基于将该一个或多个所感测手势与特定人的手势签名进行比较来验证出一个或多个所感测手势是由该特定人执行的；以及仅当验证出该一个或多个所感测手势是由特定人执行时才生成与到受控装置的输入相对应的输出信号。

33、根据本发明的一些实施方式，处理器被配置成计算该一个或多个所感测手势中的手势与预定义手势之间的相似性度量，并且仅当该相似性度量高于预定阈值时才生成输出信号。

34、根据本发明的一些实施方式，处理器还被配置成经由输出装置向用户呈现与预定义手势对应的将模仿的图案。

35、根据本发明的一些实施方式，处理器还被配置成经由输出装置向用户呈现多个图案以选择将模仿的图案。

36、根据本发明的一些实施方式，预定义手势是将模仿的图案的变型。

37、根据本发明的一些实施方式，预定义手势是将模仿的图案的相反形式。

38、根据本发明的一些实施方式，处理器被配置成生成将模仿的图案。

39、根据本发明的一些实施方式，将模仿的图案是从预定义图案的数据库选择的。

40、根据本发明的一些实施方式，将模仿的图案的模态选自由以下组成的模态群组：声音、视觉、触知和触觉。

41、根据本发明的一些实施方式，输出装置选自由以下组成的输出装置：显示屏、头戴式耳机、耳机、扬声器、触知致动器和触觉致动器。

42、根据本发明的一些实施方式，该一个或多个所感测手势包括感测施加在手指之间的压力或感测因握拳而形成的压力。

43、根据本发明的一些实施方式，该一个或多个所感测手势还包括感测用户的前臂的运动。

44、根据本发明的一些实施方式，该运动选自由以下组成的运动群组：滚动、俯仰和偏航。

45、根据本发明的一些实施方式，处理器被配置成确定所感测的压力和所感测的运动是否同步。

46、根据本发明的一些实施方式，该一个或多个手势传感器包括选自由以下组成的传感器群组的一个或多个传感器：反射计传感器、生物电势传感器、肌电图(emg)传感器、表面神经传导(snc)传感器、眼电图(eog)传感器、压力传感器、惯性测量单元(imu)传感器、光学传感器和成像传感器。

47、根据本发明的一些实施方式，提供了一种手势控制的接口装置，包括：一个或多个手势传感器，用于感测用户的手势；以及处理器，被配置成从该一个或多个手势传感器获得一个或多个所感测手势，并分析该一个或多个所感测手势以识别来自用户的输入，并且生成与到受控装置的输入相对应的输出信号，其中，处理器被配置成计算该一个或多个所感测手势中的手势与预定义手势之间的相似性度量，并且仅当该相似性度量高于预定阈值时才生成输出信号。

48、根据本发明的一些实施方式，处理器还被配置成经由输出装置向用户呈现与预定义手势对应的将模仿的图案。

49、根据本发明的一些实施方式，处理器还被配置成经由输出装置向用户呈现多个图案以选择将模仿的图案。

50、根据本发明的一些实施方式，预定义手势是将模仿的图案的变型。

51、根据本发明的一些实施方式，预定义手势是将模仿的图案的相反形式。

52、根据本发明的一些实施方式，处理器被配置成生成将模仿的图案。

53、根据本发明的一些实施方式，将模仿的图案是从预定义图案的数据库选择的。

54、根据本发明的一些实施方式，将模仿的图案的模态选自由以下组成的模态群组：声音、视觉、触知和触觉。

55、根据本发明的一些实施方式，输出装置选自由以下组成的输出装置：显示屏、头戴式耳机、耳机、扬声器、触知致动器和触觉致动器。

56、根据本发明的一些实施方式，该一个或多个所感测手势包括感测施加在手指之间的压力或感测因握拳而形成的压力。

57、根据本发明的一些实施方式，该一个或多个所感测手势还包括感测用户的前臂的运动。

58、根据本发明的一些实施方式，该运动选自由以下组成的运动群组：滚动、俯仰和偏转。

59、根据本发明的一些实施方式，处理器被配置成确定所感测的压力和所感测的运动是否同步。

60、根据本发明的一些实施方式，提供了一种手势和语音控制的接口装置，包括：一个或多个手势传感器，用于感测用户的手势；以及处理器，被配置成从该一个或多个手势传感器获得一个或多个所感测手势，基于将该一个或多个所感测声音与特定人的语音签名进行比较来识别特定人，基于将该一个或多个所感测手势与特定人的手势签名进行比较来验证出一个或多个所感测手势是由该特定人执行的，并且仅当验证出该一个或多个所感测手势是由特定人执行时才生成与到受控装置的输入相对应的输出信号。

61、根据本发明的一些实施方式，提供了一种用于手势和语音控制的方法，包括：使用一个或多个手势传感器来感测用户的手势；使用一个或多个音频传感器来感测用户发出的声音；以及使用处理器从该一个或多个手势传感器获得一个或多个所感测手势并且从该一个或多个音频传感器获得一个或多个所感测手势一个或多个所感测声音，分析该一个或多个所感测手势和该一个或多个所感测声音以识别来自用户的输入，并且生成与到受控装置的输入相对应的输出信号。

62、根据本发明的一些实施方式，提供了一种用于估计对象的重量的装置，该装置包括：一个或多个生物电势传感器，被配置成放置在用户的肢体上并且测量来自肢体的一个或多个肌肉和神经的一个或多个生物电势信号；惯性测量单元(imu)，用于测量肢体的一个或多个惯性性质；以及处理器，用于获得所测量的一个或多个生物电势信号和一个或多个所测量的惯性性质，并且基于关于已知重量或已知力测量的该一个或多个生物电势信号和该一个或多个惯性参数来估计由用户的肢体支撑的对象的重量或由该肢体施加的力。

63、根据本发明的一些实施方式，该一个或多个惯性性质选自由以下组成的惯性特性群组：肢体的方位、角速度、线速度和加速度。

64、根据本发明的一些实施方式，处理器还被配置成从附加测量的一个或多个生物电势信号以及另外测量的模仿与对象的物理交互的一个或多个所测量的惯性性质进行识别。

65、根据本发明的一些实施方式，处理器被配置成基于另外测量的一个或多个生物电势信号和另外测量的一个或多个所测量的惯性性质来生成反馈信号。

66、根据本发明的一些实施方式，提供了一种手势控制的接口装置，包括：一个或多个手势传感器，用于感测用户的手势；以及处理器，被配置成从该一个或多个手势传感器获得一个或多个所感测手势，并分析该一个或多个所感测手势以识别来自用户的输入，并且生成与到受控装置的输入相对应的输出信号，其中，处理器被配置成识别该一个或多个所感测手势中的发起提示，从该一个或多个所感测手势提取第一测量手势值，从该一个或多个所感测手势提取第二测量手势值，并且基于第一测量手势值和第二测量手势值生成输出信号，其中，发起提示用于选择受控装置的功能，其中，第一测量手势值用于选择功能的参数的初始状态，并且其中，第二测量手势值用于选择该功能的参数的最终状态。

67、根据本发明的一些实施方式，该功能选自由以下组成的功能群组：音频装置的音量、环境控制装置的温度、虚拟对象的尺寸、虚拟对象的位移、以及放大或缩小。

68、根据本发明的一些实施方式，提供了一种手势控制的接口装置，包括：一个或多个手势传感器，用于感测用户的手势；以及处理器，被配置成从该一个或多个手势传感器获得一个或多个所感测手势，并分析一个或多个所感测手势以识别来自用户的输入，并且生成与到受控装置的输入相对应的输出信号，该输出信号通过调制函数根据一个或多个所感测手势的一个或多个性质来调制。

69、根据本发明的一些实施方式，调制函数模拟与虚拟对象或虚拟环境相关的物理参数。

70、根据本发明的一些实施方式，物理参数选自由以下组成的群组：重量、纹理、摩擦和阻力。

71、根据本发明的一些实施方式，处理器被配置成使用调制函数来调制一个或多个所感测手势的一个或多个性质，并且使用一个或多个所感测手势的经调制的一个或多个性质来使用反馈装置向用户提供反馈。

72、根据本发明的一些实施方式，提供了一种用于估计对象的重量或所施加的力的方法，该方法包括：使用被配置成放置在用户的肢体上的一个或多个生物电势传感器来测量来自用户的肢体的一个或多个肌肉和神经的一个或多个生物电势信号；使用处理器获得所测量的一个或多个生物电势信号；以及使用处理器基于关于已知重量或已知力测量的一个或多个生物电势信号来估计由用户肢体支撑的对象的重量或由该肢体施加的力。

73、根据本发明的一些实施方式，提供了一种手势控制的方法，包括：使用一个或多个手势传感器来感测用户的手势；以及使用处理器从该一个或多个手势传感器获得一个或多个所感测手势，分析该一个或多个所感测手势以识别来自用户的输入，生成与到受控装置的输入相对应的输出信号，识别该一个或多个所感测手势中的发起提示，从该一个或多个所感测手势提取第一测量手势值，从该一个或多个所感测手势提取第二测量手势值；以及基于第一手势测量值和第二手势测量值生成输出信号。

74、根据本发明的一些实施方式，该方法还包括使用处理器基于发起提示来选择受控装置的功能，使用所测量的第一手势值来选择该功能的参数的初始状态，并且使用第二测量手势值来选择该功能的参数的最终状态。

75、根据本发明的一些实施方式，该功能选自由以下组成的功能群组：音频装置的音量、环境控制装置的温度、虚拟对象的尺寸、虚拟对象的位移、以及放大或缩小。

76、根据本发明的一些实施方式，该一个或多个手势传感器包括选自由以下组成的传感器群组的一个或多个传感器：反射计传感器、生物电势传感器、肌电图(emg)传感器、表面神经传导(snc)传感器、眼电图(eog)传感器、压力传感器、惯性测量单元(imu)传感器、光学传感器和成像传感器。

77、根据本发明的一些实施方式，提供了一种手势控制的方法，包括：使用一个或多个手势传感器来感测用户的手势；以及使用处理器从该一个或多个手势传感器获得一个或多个所感测手势，分析该一个或多个所感测手势以识别来自用户的输入，并且生成与到受控装置的输入相对应的输出信号，其中，输出信号由调制函数进行调制。

78、根据本发明的一些实施方式，调制函数模拟与虚拟对象或虚拟环境相关的物理参数。

79、根据本发明的一些实施方式，提供了一种手势控制的接口装置，包括：一个或多个手势传感器，用于感测用户的手势；以及处理器，被配置成从该一个或多个手势传感器获得一个或多个所感测手势，并且分析一个或多个所感测手势，以基于将该一个或多个所感测手势与特定人的手势签名进行比较来识别特定人，该一个或多个所感测手势是由该特定人执行的。

80、根据本发明的一些实施方式，多个所感测手势选自传感器生物电势传感器、snc传感器、emg传感器、eeg传感器、eog传感器的群组。

81、根据本发明的一些实施方式，处理器被配置成将用户的手势样本映射到度量空间中，使得相同的手势被彼此靠近地映射到具有周界的区域中，并且不同用户的手势样本被彼此以一距离映射。