用于预测交互意图的系统和方法与流程

本公开总体上针对用于使用生物信号(例如，眼动追踪数据、或指示注视动态(例如，瞳孔动态)的其他生物信号)来实时预期和信号传递用户与所公开系统的交互意图的开始时间的系统和方法。

背景技术：

1、增强现实(augmented reality，ar)系统、虚拟现实(virtual reality，vr)系统和混合现实(mixed reality，mr)系统(统称为扩展现实(extended reality，xr)系统)是当前个人计算系统的正在发展的部分。xr系统(尤其是可穿戴的xr系统(例如，头戴式xr系统))可能会即将通过向用户提供持续的“始终在线(always-on)”的协助来开启一个全新的个人计算时代，这些协助可以无缝地结合到用户的日常生活中，而不会造成干扰。与更传统的个人计算设备(例如，笔记本电脑或智能手机)相比，xr设备可能能够以更易访问、更低摩擦的方式向用户显示输出。例如，一些头戴式xr设备可以包括这样的显示器：所述显示器始终在用户的视场中，xr设备可以利用所述显示器向用户呈现视觉输出。在一些实例中，头戴式xr设备可以(例如，通过在真实世界的对象上放置标签或菜单)将所显示的输出紧密地结合到用户的物理环境，使得用户可能不需要将视线从其物理环境中移开来浏览所显示的输出。

2、与传统的个人计算设备相比，xr设备通常依赖于这样的输入模式(例如，手势或语音)：所述输入模式是复杂的、模棱两可的、较低精度的和/或较大噪声的，这些输入模式可能使得访问由传统xr设备提供的信息和/或选项在身体上和/或认知上令人疲劳，并且难以访问和/或导航。此外，在一些实例中，这些输入模式可能并不总是由与xr设备的有意交互来驱动。例如，xr设备的用户可能会在对话期间指向重点，但并不想要该指向指示对xr设备的目标确定或选择输入。类似地，用户可能会在对话期间说出与xr设备的语音命令相关联的单词或短语，而不想要触发xr设备执行与该语音命令相关联的动作。

3、与传统的个人计算设备不同，xr设备通常具有这样的交互环境：所述交互环境是未知的、较不为人知的或未预先指定的，这可能会导致一些xr系统消耗相当大量的计算资源来发现这种环境内的xr设备的用户可与之交互的对象。如果用户没有立即与其环境中的对象进行交互的意图，则发现对象和/或用户交互所消耗的任何资源都可能会被浪费。另外，如果xr设备能够呈现关于用户环境中的对象的信息、和/或用于与用户环境中的对象交互的选项，则每当用户没有立即与其环境中的对象进行交互的意图时，用户就可能会被这些信息和/或选项分心或烦恼。

技术实现思路

1、根据本公开的第一方面，提供了一种计算机实现的方法，该方法包括：通过一个或多个生物传感器获取由计算系统的用户产生的一个或多个生物信号，该计算系统包括：至少一个目标确定子系统，该至少一个目标确定子系统使用户能够明确地将与该计算系统相关联的一个或多个对象确定为目标，以用于交互；至少一个交互子系统，该至少一个交互子系统使用户能够在该一个或多个对象被确定为目标时与该一个或多个对象中的一个或多个进行交互；以及智能促进子系统，该智能促进子系统响应于交互意图信号，代表该用户将多个对象中的一个或多个对象确定为目标；使用一个或多个生物信号来预期用户与计算系统的交互意图；以及响应于用户的交互意图，向智能促进子系统提供指示了用户的交互意图的交互意图信号。

2、在一些实施例中，该计算机实现的方法还可以包括：通过智能促进子系统响应于接收到交互意图信号，识别多个对象中用户最有可能与之交互的至少一个对象；通过智能促进子系统代表用户将多个对象中的至少一个对象确定为目标；通过交互子系统接收来自用户的、与多个对象中被智能促进子系统确定为目标的至少一个对象进行交互的请求；以及响应于接收到与多个对象中的至少一个对象进行交互的请求，而执行操作。

3、在一些实施例中，该智能促进子系统可以在接收到交互意图信号之前，不对多个对象中的至少一个对象进行识别。

4、在一些实施例中，该一个或多个生物传感器可以包括一个或多个眼动追踪传感器；该一个或多个生物信号包括指示用户的注视动态的信号；并且指示用户的注视动态的信号用于预期用户的交互意图。

5、在一些实施例中，指示用户的注视动态的信号可以包括注视速度的度量。

6、在一些实施例中，指示用户的注视动态的信号可以包括以下中的至少一者：环境注意力的度量；或焦点注意力的度量。

7、在一些实施例中，指示用户的注视动态的信号可以包括扫视动态的度量。

8、在一些实施例中，该一个或多个生物传感器可以包括一个或多个手部追踪传感器；该一个或多个生物信号包括指示用户的手部动态的信号；并且指示用户的手部动态的信号用于预期用户的交互意图。

9、在一些实施例中，该一个或多个生物传感器可以包括一个或多个神经肌肉传感器；该一个或多个生物信号包括从用户的身体获得的神经肌肉信号；并且从用户的身体获得的神经肌肉信号用于预期用户的交互意图。

10、在一些实施例中，与计算系统相关联的对象可以包括来自用户的真实世界环境的一个或多个物理对象。

11、在一些实施例中，该计算系统可以包括扩展现实系统；该计算机实现的方法还包括通过该扩展现实系统向用户显示虚拟对象；并且与该计算系统相关联的对象包括所述虚拟对象。

12、在一些实施例中，该计算系统可以包括扩展现实系统；该计算机实现的方法还包括通过该扩展现实系统向用户显示菜单；并且与该计算系统相关联的对象包括菜单的视觉元素。

13、在一些实施例中，该计算机实现的方法还可以包括：对预测模型进行训练，以输出交互意图信号。

14、根据本公开的另一个方面，提供了一种系统，该系统包括：至少一个目标确定子系统，该至少一个目标确定子系统适于使用户能够明确地将一个或多个对象确定为目标，以用于交互；至少一个交互子系统，该至少一个交互子系统适于使用户能够在一个或多个对象被确定为目标时与该一个或多个对象中的一个或多个进行交互；智能促进子系统，该智能促进子系统适于响应于交互意图信号，代表用户将该一个或多个对象确定为目标；一个或多个生物传感器，该一个或多个生物传感器适于检测由用户产生的生物信号；至少一个物理处理器；以及物理存储器，该物理存储器包括计算机可执行指令，所述计算机可执行指令在被该物理处理器执行时使得该物理处理器：通过一个或多个生物传感器获取由用户产生的一个或多个生物信号；使用该一个或多个生物信号来预期用户与系统的交互意图；以及响应于用户的交互意图，向智能促进子系统提供指示了用户与系统的交互意图的交互意图信号。

15、在一些实施例中，该一个或多个生物传感器可以包括一个或多个眼动追踪传感器，该一个或多个眼动追踪传感器适于测量用户的注视动态；该一个或多个生物信号包括指示用户的注视动态的信号；并且该用户的注视动态用于预期用户与系统的交互意图。

16、在一些实施例中，该一个或多个生物传感器可以包括一个或多个手部追踪传感器；该一个或多个生物信号包括指示用户的手部动态的信号；并且指示用户的手部动态的信号用于预期用户与系统的交互意图。

17、在一些实施例中，该一个或多个生物传感器可以包括一个或多个神经肌肉传感器；该一个或多个生物信号包括从用户的身体获得的神经肌肉信号；并且从用户的身体获得的神经肌肉信号用于预期用户与系统的交互意图。

18、在一些实施例中，该至少一个目标确定子系统可以包括物理控制器的指向子系统；并且该至少一个交互子系统包括该物理控制器的选择子系统。

19、在一些实施例中，该智能促进子系统还可以适于：响应于接收到交互意图信号，识别多个对象中用户最有可能与之交互的至少一个对象；以及代表用户将多个对象中的至少一个对象确定为目标；并且该物理存储器还包括附加的计算机可执行指令，该附加的计算机可执行指令在被该物理处理器执行时使得该物理处理器：通过交互子系统接收来自用户的、与该多个对象中的被智能促进子系统确定为目标的至少一个对象进行交互的请求；以及响应于接收到与该多个对象中的至少一个对象进行交互的请求，而执行操作。

20、根据本公开的另一个方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括一个或多个计算机可执行指令，该一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使得该计算设备：通过一个或多个生物传感器获取由计算系统的用户产生的一个或多个生物信号，该计算系统包括：至少一个目标确定子系统，该至少一个目标确定子系统使用户能够明确地将与该计算系统相关联的一个或多个对象确定为目标，以用于交互；至少一个交互子系统，该至少一个交互子系统使用户能够在该一个或多个对象被确定为目标时与该一个或多个对象中的一个或多个进行交互；以及智能促进子系统，该智能促进子系统响应于交互意图信号，代表用户将该一个或多个对象确定为目标；使用一个或多个生物信号预期用户与计算系统的交互意图；以及响应于用户的交互意图，向智能促进子系统提供指示了用户与计算设备的交互意图的交互意图信号。

21、将理解的是，在本文中被描述为适于结合到本公开一个或多个方面或实施例中的任何特征旨在在本公开的任何和所有的方面和实施例中具有普遍性。本领域技术人员可以根据本公开的说明书、权利要求书和附图理解本公开的其他方面。前述总体描述和以下详细描述仅是示例性和说明性的，且不对权利要求进行限制。