用于提供关于用户行为的基于眼睛追踪的信息的方法和系统、客户端设备、服务器和计算机程序产品与流程

本发明涉及用于经由网络将关于用户相对于至少一个参考对象(尤其是虚拟参考对象)的用户行为的信息从第一设备提供到第二设备的方法，其中第一设备与用户相关联。本发明还涉及用于提供关于用户行为的信息的系统，以及客户端设备、服务器和计算机程序产品。

本发明尤其应用于虚拟现实和眼睛跟踪系统领域。虚拟现实可有利地用于多种不同的应用中。除游戏和娱乐之外，虚拟现实(尤其在与眼睛跟踪组合的情况下)还可用于市场研究、科学研究、人才培训等。例如，眼睛跟踪数据可以有利地提供关于当前正在体验虚拟环境的用户在该虚拟环境内正在看向哪里的信息。因此，例如对于市场研究，人们可以将虚拟环境与眼睛跟踪组合使用，以分析例如在虚拟环境内呈现为虚拟对象的对象(例如，虚拟超市)中哪些吸引用户较多注意力或较少注意力。另外，虚拟环境和眼睛跟踪的组合可用于培训目的，例如通过模拟虚拟培训情景，例如以飞行模拟器或车辆模拟器的形式，以及使用所捕获的眼睛跟踪数据，来分析用户是否已看向正确的对象或重要的工具，或者是否注意到，或者是否疲倦等。尤其是在此类情况下，还非常期望能够与第三方(如观察者、指导者或监督者)共享此类虚拟现实用户体验，该第三方想要观察或分析用户的行为以及用户与虚拟环境的交互或者还想要向当前正在体验虚拟环境的用户提供指导、忠告或建议，但这将需要将呈现给用户的每个虚拟场景图像的场景数据和每个虚拟场景图像的相关联的注视数据一起从用户通过其体验虚拟环境的第一设备传输到与指导者或观察者相关联的第二设备。然而，问题在于与此类虚拟现实场景相关联的大量数据。因此，如果用户对于通过相关联的设备呈现给该用户的虚拟现实的体验或感知还应例如经由互联网可用于第三方，例如可用于相关联的远程设备上，则将需要传输大量数据，这又将需要大带宽和/或大量时间。尤其是由于可用带宽受限，相对于虚拟场景实时观察用户或者与此类远程第三方实时共享用户的此类虚拟现实会话将是完全不可能的。

因此，本发明的目的是提供允许经由网络以更有效或更灵活的方式将关于用户相对于至少一个参考对象(尤其是虚拟参考对象)的用户行为的信息从第一设备提供到第二设备的方法、系统、客户端设备、服务器和计算机程序产品。

该目标通过具有相应的独立权利要求的特征的方法、系统、客户端设备、服务器和计算机程序产品来实现。本发明的有利实施方案呈现在从属权利要求、优选实施方案的描述、以及附图中。

根据本发明的用于经由网络将关于用户相对于至少一个参考对象(尤其是虚拟参考对象)的用户行为的信息从第一设备提供到第二设备的方法，其中第一设备与用户相关联，第一设备和第二设备各自包括描述该至少一个参考对象的参考数据。此外，第一设备包括捕获设备，该捕获设备包括相对于该至少一个参考对象捕获至少一个用户行为特性的眼睛跟踪设备，其中所捕获的至少一个用户行为特性以用户行为数据的形式通过第一设备提供。此外，经由网络将所提供的用户行为数据从第一设备传输到第二设备，并且第二设备将传输的用户行为数据与第二设备包括的参考数据组合，从而在第二设备上提供关于相对于该至少一个参考对象的用户行为的信息。

本发明的主要优点在于，相对于至少一个对象捕获用户行为特性(如用户的视角或注视点)，这允许用户行为数据与对应参考数据之间的正确匹配，使得用户行为数据可独立于参考数据传输到第二设备。因此，由于相对于至少一个对象捕获用户行为特性，该用户行为数据隐式地或显式地包括描述所捕获的用户行为特性与该至少一个对象之间的关系的参考。这种参考可有利地用于重建所传输的用户行为数据与描述第二设备上的至少一个对象的参考数据之间的正确关系。此类参考可例如由通用参考坐标系提供，其中例如尤其是在第一设备和第二设备上以相应参考数据的形式定义3d数字虚拟场景。当虚拟场景的图像通过第一设备呈现给用户时，用户的观察点和/或其注视点或其他用户特性可相对于该显示的虚拟场景图像来捕获并且可相对于所定义的通用参考坐标系来定义。然后可将注视数据(例如，在该参考坐标系中定义的用户的观察点和/或注视点)传输到第二设备。然后，第二设备可基于参考数据准确地重建用户在3d虚拟场景内的观察点和/或注视点，该参考数据被包括在第二设备中，并且基于相同的参考坐标系描述该3d虚拟场景。因此，所传输的用户行为数据隐式地包括由基于通用参考坐标系捕获用户行为特性的事实引起的参考，第一设备和第二设备所包括的参考数据所描述的虚拟场景—或者通常至少一个对象定义在该通用参考坐标系中。用户行为数据还可提供有显式参考，例如以显式空间和/或时间标记的形式提供。如果例如通过第一设备向用户显示视频流，则在显示视频流期间，捕获用户行为特性(如，注视点和/或观察点)并且为其提供对应的时间戳，该时间戳将每个所捕获的用户特性与视频流的某个图像暂时地关联。然后可以用户行为数据的形式将用户行为特性和对应的时间戳传输到第二设备，该第二设备还包括参考数据形式的所显示视频，并且第二设备现在可基于时间戳有利地将所传输的用户行为数据与对应的参考数据(即对应的视频图像)组合。

有利的是，可独立于用户行为数据的传输在第二设备上提供描述至少一个参考对象(如，虚拟现实场景或情景)的参考数据，并且能够正确匹配用户行为数据与参考数据以相对于至少一个对象重建用户行为。因此，参考数据不必与用户行为数据一起从第一设备传输到第二设备，至少不是同时传输，而是例如在其之前或之后或者甚至来源于不同于第一设备的数据源。因此，当在第二设备上提供关于相对于至少一个参考对象的用户行为的信息时，仅需要将描述相对于至少一个参考对象的至少一个用户行为特性的用户行为数据从第一设备传输到第二设备，并且因此可将从第一设备传输到第二设备的数据量减小到最小。因此，当提供关于相对于至少一个参考对象的用户行为的信息时，从第一设备到第二设备的数据传输可限于不是已知先验的数据，即，描述用户行为的数据，而已知部件为虚拟环境本身并且因此可单独地提供在第二设备上，因此可避免与此类虚拟环境相关的数据传输。

因此，可单独且独立地向第二设备提供参考数据和用户行为数据，例如可在开始捕获用户行为数据之前或者在将用户行为数据从第一设备传输到第二设备之前在第二设备上提供参考数据。这是非常有利的，因为这允许在第二设备上实时或接近实时地重建相对于至少一个对象的用户行为，因为仅必须传输用户行为数据，这不需要大带宽来在第二设备上实时或接近实时地提供数据。另外，可例如以广播的形式独立于例如内容提供商并且与例如内容提供商分开向第一设备和第二设备提供参考数据。因此，例如，可向第二设备提供参考数据，而不需要将这些参考数据从第一设备直接或间接地传输到第二设备。在另一个方面，还能够在第二设备上提供参考数据，以将这些参考数据从第一设备传输(尤其是对等地传输)到第二设备。尽管在这种情况下仍需要传输大量的数据，但其优点在于，参考数据的传输仍可独立于用户行为数据的传输来提供，从而提供了更大的灵活性。例如，如上文所述，如果在与第一设备相关联的用户开始虚拟现实会话之前将参考数据从第一设备传输到第二设备，则仍然可以实时或接近实时的方式执行该虚拟现实会话在第二设备上的重建，因为在开始重建此会话时，参考数据已经存在并存储于第二设备中，仅需要以实时或接近实时的方式传输用户行为数据。

所捕获的用户行为特性可例如为用户相对于至少一个参考对象的注视方向或注视点。除此之外或另选地，稍后更详细地描述了可捕获的用户行为特性。然而，将用户的注视方向和/或注视点作为该至少一个用户行为特性来捕获具有几大优点。首先，关于用户当前状态的更多信息(例如，用户是否注意到)可源自此类用户注视数据。此外，在虚拟培训应用或研究的情况下，注视方向和注视点是尤其有利的。例如，作为至少一个对象，虚拟培训环境(如，虚拟飞行模拟器或驾驶模拟器)可呈现给用户，并且通过捕获用户相对于虚拟培训环境的注视方向和/或注视点，可观察或分析用户是否足够关注培训环境内的某些重要对象或工具。另外，在例如客户研究的情况下，根据用户对哪一个感兴趣，例如在虚拟超市中，通过捕获用户相对于此类虚拟对象的注视方向和/或注视点来确定哪个对象吸引了用户的较多注意力或较少注意力，可确定用户对虚拟环境中的哪个对象关注得比其他对象更频繁。借由本发明，现在还能够从远程位置执行此类用户行为观察和分析，因为本发明有利地允许以非常有效的方式在第二设备上提供关于相对于至少一个对象的用户行为的信息，从而降低数据传输所需的带宽，因为有利地仅需将用户行为数据从第一设备传输到第二设备，而不需要传输描述至少一个对象的参考数据，该参考数据可作为先验已经提供在第二设备上。

优选地，第一设备与第二设备之间的数据传输以无线方式执行。此外，网络优选为互联网。第一设备可例如为任何类型的计算设备，优选包括用于向用户显示至少一个对象或者还向用户显示虚拟现实场景的显示设备。例如，第一设备可为具有集成捕获设备的移动头戴式显示器，该集成捕获设备用于捕获用户行为特性，如用户相对于该至少一个对象(如显示的虚拟现实)的头部移动和/或注视方向和/或注视点。

另外，第二设备通常可为任何类型的计算设备。尤其是，第二设备还可与第二用户相关联，并且被提供为例如移动通信设备或普通计算机，其具体地包括显示设备(如监视器)以显示所传输的用户行为数据与参考数据的组合的结果。第二设备还可被提供为互联网服务器或云服务器，其将所传输的用户行为数据与参考数据组合，然后提供结果以供第三设备经由网络检索，其中第三设备可例如与第二用户相关联。在这种情况下，第二设备不需要包括显示设备而是仅包括计算装置如处理单元，以用于执行所传输的用户行为数据与参考数据的组合，尤其是执行相对于至少一个对象的用户行为的重建。相反，第三设备然后可包括用于显示从第二设备检索到的结果的显示设备。

根据本发明的实施方案，该至少一个参考对象通常为参考系统中的至少一个，尤其是参考坐标系、数字虚拟对象或视频序列。优选地，该至少一个参考对象为至少一个数字场景，尤其是数字虚拟场景图像流，其通过第一设备向用户显示。在这种情况下，参考数据优选地描述虚拟场景的场景模型。场景图像从某个视角或虚拟观察点呈现场景。此外，优选地通过第一设备将虚拟场景显示为3d图像，尤其是连续的3d图像流。

因此，例如，通用参考坐标系可由第一设备和第二设备上的参考数据定义，然后可通过第一设备相对于该定义的参考坐标系捕获用户行为特性并且将其传输到第二设备。通过将这些传输的用户行为数据与参考数据组合，第二设备可相对于相同的定义的底层参考坐标系重建用户行为特性。此外，类似地，可在第一设备上和第二设备上提供虚拟场景的场景模型。此类场景模型可描述多个虚拟对象，尤其是它们在虚拟空间内的外观和位置、对象的颜色和/或表面属性、表面的反射属性、纹理以及动画，这意指虚拟场景或其一部分的暂时变化，如虚拟对象例如相对于其位置和/或外观的暂时变化。然后，可在第一设备上和第二设备上提供描述此类虚拟场景模型的参考数据。第一设备然后可捕获相对于通过第一设备显示的此类虚拟场景的用户行为，尤其是相对于虚拟场景模型定义在其中的底层坐标系的用户行为，所捕获的数据可传输到第二设备，然后第二设备可基于描述场景模型的参考数据(同样尤其是基于相同的底层参考坐标系)容易地重建相对于虚拟场景的用户行为，而不需要同时将虚拟场景数据从第一设备传输到第二设备。

此外，尽管该至少一个用户行为特性通过眼睛跟踪设备来捕获，但第一设备的捕获设备还可包括用于捕获与用户眼睛无关的用户行为特性的另外捕获装置。因此，所捕获的用户行为特性通常可以是用户的至少一个身体部分的位置和/或取向。由于可捕获用户行为特性(例如用户的姿势或他/她的身体一部分的姿势如手势)，因此也可捕获用户头部和/或用户眼睛的位置和取向。优选地，捕获了作为用户行为特性的用户相对于至少一个对象的注视方向和/或注视点。因此，例如，捕获设备可例如通过确定用户眼睛相对于参考坐标系的位置和取向来捕获用户在虚拟场景上的当前虚拟视角，该参考坐标系中定义虚拟现实或虚拟场景。用户感知到的虚拟场景上的视角也可通过移动用户头部来改变，例如当第一设备被配置作为头戴式显示器时。头部的头部运动或位置和取向可为另一个所捕获的用户行为特性。

通过将定义用户眼睛和/或头部例如相对于所述参考系统的位置和取向的数据传输到第二设备，第二设备可通过将所传输的用户行为数据与描述虚拟场景模型的参考数据组合来重建虚拟场景的当前用户视角。这使得能够例如在第二设备上以和与第一设备相关联的用户当前正在体验虚拟现实的视角相同的视角呈现虚拟场景，而不需要传输通过第一设备向用户显示的虚拟场景的任何数据。

另外，用户行为特性可通过第一设备相对于呈现给用户的视频序列来捕获。例如，用户相对于视频序列中的相应图像的注视点可通过第一设备来捕获。还可使得相同的视频序列可用于第二设备，即在第二设备上提供相同的视频序列。然后描述用户注视点的时间序列的用户行为数据可传输到第二设备，然后第二设备可有利地将所传输的用户行为数据与视频序列组合，并且从而该视频序列可被显示为包括与第一设备相关联的用户的注视点，尤其是其中通过第二设备或上述第三设备显示该结果。因此，可在第二设备或第三设备上提供相对于视频序列的注视点，而不需要将视频序列数据本身从第一设备传输到第二设备。相应的所捕获的注视点可设置有例如相对于视频序列的开始时间的对应时间戳或者与其相关联。因此，通过传输相应的注视点和对应的时间戳，注视点可与视频序列图像组合，使得每个注视点均可根据对应的时间戳被分配给视频序列中正确的一个图像。

根据本发明的另一个有利的实施方案，在传输与至少一个用户行为特性相关联的用户行为数据时，第一设备还传输同步数据，该同步数据在捕获到该至少一个用户特性时，表征至少一个所捕获的用户行为特性与当前虚拟场景之间的及时相关性。因此，有利地，第二设备可基于同步数据容易地将相应的用户行为数据分配给对应的参考数据，该同步数据可例如以上述时间戳的形式提供。这在暂时改变虚拟场景的情况下尤其有利，在场景内容以预定义的时间方式变化的情况下尤其如此。

此外，根据本发明的另一个有利的实施方案，参考数据描述了虚拟场景变化的方式。有利地，根据本发明及其实施方案的方法不仅可适用于确定性或静态虚拟场景的情况，还可适用于非确定性和/或非静态和暂时变化场景的情况。在这种情况下，还以参考数据的形式在第二设备上提供关于虚拟场景如何改变的信息(例如，先验)或者将用户数据与虚拟对象相关联以及将虚拟对象的位置与相关联的用户数据一起传输是非常有利的。

此外，根据本发明的另一个有利的实施方案，参考数据定义虚拟场景的预定义暂时变化并且/或者描述虚拟场景依赖于至少一个交互事件(尤其是通过第一设备接收到的用户输入或从第二设备传输到第一设备的控制信号)如何改变。

因此，虚拟场景可以预定义的方式并且因此以确定性的方式暂时地改变，例如在上述视频序列的情况中。在这种情况下，可基于如上文所述的时间戳来执行所传输的用户行为数据与对应的参考数据的正确组合。但在另一方面，虚拟场景还可以非确定性方式改变，例如虚拟场景可响应于某个用户交互而改变。另外，这种信息(即，什么用户交互或哪种用户交互导致虚拟场景以哪种方式改变)可作为第二设备上的参考数据的一部分来提供。因此，场景状态也可以及时或区域标记的方式提供在第二设备上。

例如，如果用户与虚拟环境的某个用户交互导致虚拟场景改变，则也可将交互事件(如用户正在按压按钮)或关于虚拟场景的新状态的信息传输到第二设备，而不需要传输场景数据本身。场景或场景状态的这种改变不仅可由用户执行的某个交互事件引起，还可由从第二设备传输到第一设备的控制信号引起。这允许第二用户(如观察者或指导者)通过控制向与第一设备相关联的第一用户显示的虚拟场景的场景内容来与第一用户进行交互。例如，第二用户可发起第一设备的眼睛跟踪器的校准程序，从而使第一设备向第一用户显示校准点。因此，有利地，尤其是交互事件或控制信号所依赖的虚拟现实场景可改变的方式还可作为第二设备上的参考数据的一部分来定义和提供。因此，在用户行为数据从第一设备传输到第二设备的任何时候，这些用户行为数据均可与正确的参考数据(即，在捕获到用户行为特性时与虚拟场景的正确状态相关的这些参考数据)组合。

根据本发明的另一个有利的实施方案，捕获设备捕获用户与至少一个参考对象的交互，并且以交互数据的形式提供所捕获的交互，其中交互数据从第一设备传输到第二设备。如上文所述，此类交互事件的信息可有利地由第二设备用于识别虚拟场景的状态变化。场景状态的变化可被理解为虚拟场景的内容变化。因此，虚拟场景的不同状态以及导致或触发虚拟场景的状态变化的交互事件也可被定义为参考数据的一部分，并且可有利地由第二设备用于重建相对于至少一个参考对象的用户行为，即对应的虚拟场景。在一个方面，用户的此类交互可来源于用户行为数据本身，例如在某个用户行为(如看向虚拟场景的某个虚拟对象、执行某个交互手势等)被定义为此类交互事件的情况下。在另一个方面，还可单独地捕获此类交互，例如当用户通过按压按钮或者通过触摸第一设备的触摸屏进行输入等来执行此类交互时。因此，有利的是，还可将使得虚拟场景状态改变的交互传输到第二设备并且可由第二设备用于正确地将所接收到的用户行为数据分配到由第二设备的参考数据提供的正确的对应虚拟场景内容。

此外，为了捕获用户行为特性，眼睛跟踪设备优选捕获相对于至少一个参考对象的用户注视点和/或用户注视方向和/或用户的眼睛属性或眼睛特征。因此，有利的是，可通过将用户的注视数据或眼睛数据从第一设备传输到第二设备以对应的方式在第二设备上提供用户对虚拟现实的感知。这使得第三方能够以与用户在第一设备上感知虚拟现实的方式相同的方式感知虚拟现实。此外，此类注视数据对于应用如市场研究、学习或用户的培训尤其有益，因为基于注视数据或眼睛数据，可确定例如用户是否足够关注呈现在虚拟现实中的某些虚拟对象或虚拟场景中的哪个虚拟对象吸引较多注意力或较少注意力等。

此外，还可捕获许多更有利的眼睛相关数据或其他用户行为特性并且将其传输到第二设备。尤其是，为了捕获用户行为特性，眼睛跟踪设备还可捕获眼睑闭合百分比(也称为眼睑闭合度)、眼睑姿势以及用户的一只或两只眼睛的位置中的至少一者、用户的头部的头部取向、用户的头部位置、用户的面部的面部表情、用户的瞳孔的瞳孔大小、眼睛移动特性、尤其是眼睛凝视。

因此，通过捕获用户的注视点和/或注视方向，可定义和确定用户相对于其虚拟环境的当前兴趣点。借由眼睛位置和/或头部位置以及用户头部的取向，可提供关于用户在虚拟场景上的当前视角的信息。此外，借由上述另外的与眼睛相关的用户特性，还可提供关于用户当前状态的信息如情绪状态或注意力状态，例如，通过分析眼睑闭合百分比和/或眼睑姿势(如，打开、完全闭合或仅部分闭合)，可确定使用者是否疲倦。瞳孔尺寸或瞳孔尺寸的变化可用于确定用户的兴奋状态，用户的面部的面部表情可用于确定当前心情(如，快乐或悲伤或愤怒)，并且某些眼睛移动特性(尤其是眼睛凝视)可用于确定注意力状态。借由用户行为特性，可由第二设备高度详细地描述并重建用户的当前状态以及其对虚拟环境的体验。

此外，为了捕获用户行为特性或第二用户行为特性，捕获设备还可捕获用户的位置和/或用户的姿势和/或用户的取向和/或用户的手势。例如通过第一设备的相机可容易捕获此类行为特性。根据第一设备的配置，还可将作为眼睛跟踪设备的一部分的相机用于该目的，或者替代地使用构成捕获设备的另一个捕获装置的单独相机。借由这些行为特性，可有利地进一步详述相对于虚拟场景的用户行为。

根据本发明的另一个有利的实施方案，第二设备依赖于所接收到的用户行为数据和第二设备所包括的参考数据分析相对于至少一个参考对象的用户行为特性，并且依赖于该分析，确定用户状态，尤其是唤醒状态、情绪状态、认知负荷状态、性能状态、警觉状态、健康状态、心理状态或用户意图中的至少一者。有利的是，用户的状态可容易从上述用户行为数据中获得。出于该目的，上述的每种状态可被分为至少两种类别，如唤醒状态可包括唤醒类别和未唤醒类别，注意力状态可包括关注类别和未关注类别，并且性能状态、健康状态或认知负荷状态各自可包括高类别或低类别。可通过将所捕获的用户行为特性中的一者或多者或其某些组合与一个或多个相应的预定义阈值进行比较来将用户的当前状态分配到这些状态中的一者。

除此之外或另选地，还可由第一设备自身以对应的方式分析用户行为特性，并且该分析的结果(尤其是确定的用户状态)可作为另一个用户行为特性来提供并且可被传输到第二设备。

根据本发明的另一个有利的实施方案，至少一个第二设备将所传输的用户行为数据与第二设备包括的参考数据组合，使得通过第二设备重建相对于至少一个参考对象的用户行为。尤其是，第二设备或第三设备可提供重建的相对于至少一个参考对象的用户行为特性的视觉表示。例如，如果虚拟场景的用户视角被重建为用户行为特性，第二设备或第三设备可提供来自如通过第一设备的捕获设备捕获的用户视角的虚拟场景的视觉表示。此外，如果例如用户相对于虚拟场景的注视或注视点被重建为用户行为特性，则第二设备或第三设备可提供具有标记或标记点的虚拟场景的视觉表示，该标记或标记点对应于如由第一设备的捕获设备捕获的相对于如由第一设备向用户呈现的虚拟场景的用户注视点。因此，虚拟场景可以但不一定必须由第二设备或第三设备从如通过第一设备由用户感知的视角相同的视角呈现。此外，还可相比于所捕获的相对于至少一个对象的用户特性，有意地改变相对于至少一个对象的用户行为特性的重建物，例如通过提高或降低第二设备或第三设备上的重建物的视觉表示的分辨率。为了可视化用户行为特性诸如手势或用户姿势，视觉表示还可包括用户他自身/她自身的表示，例如以呈现在第二设备或第三设备上的虚拟场景内的头像的形式。通常，视觉表示并不一定必须由第二设备本身执行。第二设备还可为基于所接收到的用户行为数据和所存储的参考数据来执行重建相对于至少一个参考对象的用户行为的互联网服务器，其中该重建的结果可由第三设备(如，用户终端)来检索并且然后通过该第三设备来显示。

尤其是，当在第二设备或第三设备上提供重建的用户行为的视觉表示时，还依赖于该至少一个用户行为特性提供至少一个参考对象的视觉表示，使得在捕获该至少一个用户行为时以与通过第一设备向用户显示参考对象的方式相同的方式呈现参考对象。因此，可以与用户通过第一设备体验的虚拟场景的模型完全相同的模型将用户行为特性如用户的视角、当前注视点、取向和姿势表示在第二设备处。因此，例如，第二设备或第三设备上所显示的虚拟场景的视图可以如用户所感知到的与第一设备上所显示的虚拟场景的视图的移动方式相同的方式移动。另外，由某些用户动作触发的使得虚拟场景改变的事件可类似地显示在第二设备或第三设备上。

此外，具体地讲，第一设备连续地显示场景图像流并且连续地捕获用户行为特性，并且尤其是以实时方式将该用户行为数据连续地传输到第二设备。因此，如果用户正在进行虚拟现实会话，则用户的感知、其行为和其体验可通过第二设备或第三设备尤其以实时方式对第三方可见。在另选的形式中，此类用户会话的重建还可离线执行，即在稍后的任何时间处执行。相对于该至少一个参考对象，实时重建用户行为特性具有以下优点：这允许与第二设备或第三设备相关联的第二用户和与第一设备相关联的第一用户进行交互。因此，例如，第二用户可在虚拟现实会话期间观察第一用户并共享他/她的虚拟现实体验，并且例如经由网络向第一用户提供指导或评论或建议，或者触发某些虚拟事件(如发起第一设备的眼睛跟踪设备的校准程序)或通常还触发导致虚拟场景改变或改变呈现给第一用户的虚拟场景的状态例如以检查或研究他/她的反应的事件。因此，有利地，根据本发明的该实施方案，以实时的方式或至少接近实时的方式执行重建和/或视觉表示和/或分析。

在另一方面，用户行为的离线重建具有以下优点：这允许聚合若干不同用户的用户行为数据。因此，根据本发明的另一个有利的实施方案，若干用户行为数据集，各自与相应的第一设备相关联的若干相应用户的若干用户行为特性以所述若干用户行为数据集的形式从相应的第一设备传输到第二设备，尤其是通过第二设备或第三设备来聚合。

这样，在一个方面，不同用户的用户行为特性彼此之间可容易进行比较，并且在另一个方面，不同用户的用户行为特性的聚合可用于统计分析。

因此，根据本发明的另一个有利的实施方案，依赖于聚合的用户行为数据集，借助第二设备来相对于该至少一个参考对象重建每个用户的用户行为，尤其在离线的情况下。

例如，所有不同用户的注视点可相对于虚拟场景来聚合和表示。此外，此类聚合不仅可针对不同的用户来执行，还可针对时间来执行。此外，即使在相应用户在不同的时间但相对于相同的虚拟现实模型或虚拟现实场景进行其相应的虚拟现实对话的情况下，离线重建也使得能够将相应的用户行为数据集与参考数据组合，使得可同时重建相对于相同虚拟场景的不同用户的用户行为。

本发明还涉及系统，该系统被配置为执行根据本发明的方法或其实施方案中任一项。

此外，本发明涉及用于经由网络将关于用户相对于至少一个参考对象的用户行为的信息从系统的第一设备提供到系统的第二设备的系统，其中第一设备与用户相关联。此外，第一设备和第二设备各自包括描述至少一个参考对象的参考数据。此外，第一设备包括捕获设备，该捕获设备包括眼睛跟踪设备，该眼睛跟踪设备被配置为捕获与该至少一个参考对象有关的至少一个用户行为特性，并以用户行为数据的形式提供所捕获的至少一个用户特性。该系统还被配置为经由网络将用户行为数据从第一设备传输到第二设备，并且该第二设备被配置为将传输的用户行为数据与第二设备包括的参考数据组合，从而在第二设备上提供关于相对于该至少一个参考对象的用户行为的信息。

本发明还涉及客户端设备，如结合根据本发明的方法或其实施方案描述的第一设备，用于在系统中使用，该系统用于经由网络将关于用户相对于至少一个参考对象的用户行为的信息从系统的客户端设备提供到系统的第二设备。客户端设备包括描述至少一个参考对象的参考数据。此外，客户端设备包括捕获设备，该捕获设备包括眼睛跟踪设备，该眼睛跟踪设备被配置为捕获与该至少一个参考对象有关的至少一个用户行为特性，并以用户行为数据的形式提供所捕获的至少一个用户特性，并且该客户端设备被配置为经由网络将用户行为数据传输到第二设备。

优选地，客户端设备被配置作为移动设备，尤其是包括头戴式显示器的头戴式设备，尤其是眼镜、虚拟现实眼镜、增强现实眼镜，或移动电话或智能手机，或包括监视器或屏幕的计算机。

本发明还涉及服务器，如结合根据本发明的方法或其实施方案描述的第二设备，用于在系统中使用，该系统用于经由网络将关于用户相对于至少一个参考对象的用户行为的信息从第一设备提供到服务器。服务器包括描述至少一个参考对象的参考数据，并被配置为接收用户行为数据，用户的用户行为特性以该用户行为数据的形式传输到服务器。此外，服务器被配置为将所接收的用户行为数据与参考数据组合，使得关于相对于至少一个参考对象的用户行为的信息被重建。

尤其地，服务器被配置作为网络服务器、云服务器或头戴式设备，尤其是眼镜、虚拟现实眼镜、增强现实眼镜、头戴式显示器或包括监视器或屏幕的计算机。

客户端设备和服务器各自包括对应的处理单元，该处理单元被配置为执行如相对于根据本发明的方法或其实施方案所描述的相应的方法步骤。此外，相应的处理单元可分别包括一个或多个微处理器和/或一个或多个微控制器。此外，每个处理单元可包括程序代码，该程序代码被设计为当由相应的处理单元执行时执行如相对于根据本发明的方法或其实施方案所描述的对应的方法步骤。相应的程序代码可存储在相应处理单元的数据存储装置中。

本发明还涉及一种计算机程序产品，该计算机程序产品包括程序代码，当该程序代码由计算机例如相对于根据本发明的方法或其实施方案描述的第二设备执行时，使计算机将描述相对于至少一个对象的用户行为特性的所接收的用户行为数据与描述至少一个对象的所存储的参考数据组合，使得关于相对于至少一个参考对象的用户行为的信息被重建。

计算机程序产品可以是这样的程序或者也可以是计算机可读介质，其中记录有计算机程序。

相对于根据本发明的方法及其实施方案描述的优点类似地应用于根据本发明的系统、客户端设备、服务器和计算机程序产品。此外，根据本发明的方法的实施方案构成了根据本发明的系统、客户端设备、服务器和计算机程序产品的进一步实施方案。

从权利要求、附图和附图说明来看，本发明的其他特征是显而易见的。在本说明书中上文提到的特征和特征组合以及在附图说明中和/或在附图中单独示出的特征和特征组合不仅可以在相应指定的组合中使用，而且可以在其他组合中使用。因此，具体实施也被认为是由本发明所涵盖和公开的，这些具体实施未在附图中明确示出和解释，而是由与所解释的具体实施分离的特征组合产生并且可以由其生成。具体实施和特征组合也被认为是公开的，因此不具有最初制定的独立权利要求的所有特征。此外，具体实施和特征组合应被视为公开的，特别是通过上述具体实施，所述具体实施和特征组合超出或偏离权利要求的关系中阐述的特征组合。

在下文中，参照附图来描述本发明的优选实施方案。其中示出：

图1是根据本发明的第一实施方案的用于经由网络将关于相对于参考对象的用户行为的信息从第一设备提供到第二设备的系统的示意图；

图2是根据本发明的第二实施方案的用于经由网络将关于相对于参考对象的用户行为的信息从第一设备提供到第二设备的系统的示意图；

图3是根据本发明的实施方案的用于说明用于经由网络提供关于相对于参考对象的用户行为的信息的方法的流程图；并且

图4是根据本发明的另一个实施方案的用于说明用于经由网络提供关于相对于参考对象的用户行为的信息的方法的流程图。

在附图中，提供相同功能的元件标有相同的参考标号。

图1示出了根据本发明的实施方案的系统10a的示意图，该系统用于经由网络12将关于用户相对于至少一个参考对象的用户行为的信息从第一设备14(如移动客户端)提供到第二设备16，在这种情况下，第一设备被配置作为头戴式显示器。

本发明尤其应用于虚拟现实系统领域。虚拟现实可有利地用于多种不同的应用中。例如，可以通过显示设备向用户呈现虚拟场景，并且用户可以虚拟地在这个虚拟场景中走动，并且例如通过头部运动改变虚拟场景上的视角。此外，存在许多情况，期望能够共享此类虚拟现实用户体验，在该示例中，通过第一设备14将此类虚拟现实用户体验提供到用户，还期望与第三方共享，如与第二设备16相关联的观察者、指导者或监督者。

然而，此类虚拟现实场景与大量数据相关联，因此现有技术系统不能以令人满意的方式与第三方共享这种虚拟现实体验。尤其对于基于移动增强现实和虚拟现实用户的现场测试的当前障碍是当处理3d场景并传输大量数据(注视和引用内容数据)时移动客户端的资源过载。移动客户端处理功率限制或甚至避免与第三方共享虚拟现实场景。另外，无线网络的可用带宽限制了场景数据的高分辨率传输。

然而，本发明和/或其实施方案有利地使得可以将必要带宽减少到最小，同时允许完全重建相对于虚拟现实的用户体验。重建可以实时地或接近实时地实现以观察用户，或者可以存储/传输以供离线(及时解耦)重建。

根据如图1中所呈现实施方案，为此目的，系统10a包括第一设备14和第二设备16，每个设备包括描述作为至少一个对象的虚拟场景vrs的场景模型的参考数据vrd。此外，第一设备14和第二设备16可经由网络12彼此通信地耦接，为此目的，第一设备和第二设备16包括相应的网络接口17a、17b。在该示例中，第一设备14被配置作为头戴式显示器，其包括呈两个立体显示器形式的显示装置18，使得第一设备14能够基于描述虚拟场景vrs的参考数据显示虚拟场景vrs。尤其是在第一设备14中，该第一设备被配置为通过显示装置18以3d场景的形式向用户显示虚拟场景vrs。在另选的形式中，第一设备14还可以被配置作为移动电话或智能电话、平板电脑、具有显示器的电子移动设备，或具有监视器的普通计算机等。

此外，为了捕获相对于所显示的虚拟场景vrs的用户行为，第一设备14还包括捕获装置，在这种情况下该捕获装置包括眼睛跟踪设备20a、20b，所述眼睛跟踪设备被配置为相对于所显示的虚拟场景vrs以及可选地进一步的眼睛特征或眼睛相关特征来确定用户的注视方向和/或注视点。在这种情况下，眼睛跟踪设备20a、20b包括用于连续捕获用户眼睛的图像的两个眼睛相机20b、以及眼睛跟踪模块20a，在这种情况下，该眼睛跟踪模块为头戴式显示器14的处理单元21的一部分。眼睛跟踪模块20a被配置为处理和分析由眼睛相机20b捕获的图像，并且基于所捕获的图像来确定用户的注视方向和/或注视点和/或进一步的眼睛特性或眼睛特征，如瞳孔大小、眼睑闭合的频率等。此外，第一设备14还可以包括与眼睛跟踪设备不同的另外的捕获装置22，该捕获装置用于捕获不同的或另外的用户行为特性，如例如用于捕获用户环境图像的陀螺仪或场景相机，基于用户环境图像可确定例如用户头部的头部取向或头部移动。捕获装置22还可以包括用于捕获用户语音的麦克风。第一设备还可以包括控制器(未示出)，如手持控制器，以接收用户输入。此类控制器可被配置作为单独的物理实体并且可通信地耦接到第一设备14的头戴式部分。第一设备14还可以包括非头戴式捕获装置，如用于捕获手势或用户姿势的相机。因此，通常，所捕获的用户数据，即捕获的用户行为特征等可包括以下的任何子集：

-用户的姿势；

-眼睛跟踪数据，如关注点、注视方向、视觉焦点、焦点，

-眼睛跟踪事件，如眼睛注意力、眼睛凝视，

-面部表情，如眨眼、微笑，

-用户情绪，如喜悦、仇恨、愤怒，

-用户交互，如语音、用户事件、控制器输入，

-位置，如用户的位置、用户的一只或两只眼睛的位置。

基于所捕获的用户行为特征，可以确定例如用户相对于所显示的虚拟场景vrs正在看着哪里，或者用户当前正从哪个虚拟视点或视角看着所显示的虚拟场景vrs。现在，这些用户行为特征可以有利地以用户行为数据ud的形式传输到第二设备16，并且与例如先验地存在于第二设备16上的参考数据组合。因此，与虚拟场景vrs有关的这些数据，即参考数据，不必经由网络12与用户行为数据ud一起从第一设备14传输到第二设备16，因此，可将待传输的数据减少到最小并且同时允许完全重建相对于虚拟场景vrs的用户行为。

因此，例如当与第一设备14相关联的用户移动并与已知虚拟环境交互时，该已知虚拟环境以虚拟场景vrs的形式显示，例如在玩游戏或在虚拟超市中行走时，仅需要在第二设备16上提供关于用户当前状态的信息以重建第二设备16上的用户体验。还可以有意地改变重建，例如在包括用户的当前注视点的虚拟场景vrs的区域中，例如对分辨率进行放大或缩小。在静态和交互式虚拟环境两者中，未知分量是用户移动和与之交互的方式，其中该已知分量是虚拟环境本身。因此，有利地，仅可以捕获相对于虚拟环境的用户行为特性并将其从第一设备14传输到第二设备16，该虚拟环境例如相对于与虚拟场景vrs相关联的定义的坐标系定义并相对于虚拟场景vrs固定，而第二设备16已经设置有描述虚拟场景vrs的数据，即参考数据vrd，因此第二设备16可有利地将这些参考数据vrd与所传输的用户行为数据ud组合，以重建相对于虚拟场景vrs的用户行为。为此目的，即为了组合和重建用户行为，第二设备16可包括具有数据存储装置的处理单元24，其中可以存储参考数据vrd。此外，第二设备16还可以包括显示设备26，如监视器，以显示相对于虚拟场景vrs的用户行为的重建结果。例如，虚拟场景vrs能够以与第一设备14相关联的用户正在看由第一设备14显示的虚拟场景vrs的相同的视角显示在显示设备26上。

此外，环境的反应可以是确定性的或是非确定性的。在确定性虚拟场景vrs的情况下，为了重建用户体验，仅捕获用户数据，即如上所述的用户行为特性，并使其可用于第三方或其技术设备，如第二设备16，尤其可用于第三方的至少一个计算机、主机或服务器。第三方或其技术设备，如第二设备16，具有对虚拟场景vrs的访问权，尤其是通过在第二设备16上提供参考数据vrd，以及以用户行为数据ud的形式传输的及时和/或区域地标记的所捕获的用户数据，以重建用户体验并使其可用。

在非确定性场景的情况下，例如当虚拟场景vrs尤其是场景内容响应于某个用户动作而改变时，不仅以用户行为特性的形式捕获用户状态而且以及时或区域标记的方式捕获场景状态可能是有用的。以参考数据vrd的形式提供的所捕获的场景数据然后可以包括以下的子集：

-场景事件和状态变化，

-动态场景数据，

-随机场景内容。

此过程或程序还减少了数据，以将第二设备16上的会话重放到将经由网络12传输的最少必要数据，因为例如仅需要传输关于特定事件或场景状态的改变的信息而不是场景内容本身。此外，数据可以实时流式传输或存储以供以后使用。此外，虚拟场景vrs的状态不仅可以响应于特定用户动作而改变，而且此类改变也可以由与第二设备16相关联的第二用户如监督者或观察者控制或发起。例如，与第二设备16相关联的第二用户可通过第二设备16启动第一设备14的眼睛跟踪器20a、20b的校准，这使得显示器18显示具有校准点的虚拟场景vrs。此类控制命令还可经由网络12以控制数据cd的形式从第二设备16传输到第一设备14。这有利地允许第一设备14和第二设备16的用户之间的实时交互。

此外，本发明对于当前cpu/gpu架构是有益的，其中由cpu对场景的传输将需要gpu存储器访问。

该系统10a允许如一个参与者(如与第一设备14相关联的用户)实时流传输到一个客户端pc(如第二设备16)的许多有利应用，实时流传输用于让其他用户观看与第一设备14相关联的用户正在做什么或者移动设备如第一设备14上的记录，并且稍后由第二设备16导入。

对于一个参与者到一个客户端pc的实时流传输，根据本发明的方法和系统或其实施方案允许减少用于传输移动用户的眼睛跟踪数据的带宽要求，该移动用户如与第一设备14相关联的用户，或者还有移动用户组，该组中的每个用户与相应的第一设备14相关联，共享相同的增强现实/虚拟现实应用。为此目的，用户佩戴虚拟现实头戴式显示器，如第一设备14，并且其与虚拟内容进行交互，而眼睛跟踪器20a、20b跟踪用户的注视。位置、取向、用户动作和注视的信息正在被传输到观察站，如第二设备16，其使用由参考数据vrd提供的相同虚拟现实模型来重新渲染或新渲染场景，该场景包括其中的用户注视行为。因此，观察者可以看到用户的交互、感知和表现，以便控制、引导和/或监视用户的行为。

根据一种可能的具体实施，可以使用设置，其中针对hmd(头戴式显示器)设备如第一设备14以及pc如第二设备16编译相同的应用程序。两个应用程序都知悉将要渲染的场景。此外，应用程序，尤其是由应用程序提供的虚拟场景vrs，在用户系统即第一设备14上实时呈现。该系统，即第一设备14，可包括：运行应用程序的移动设备，传输数据的网络连接如网络接口17a或存储数据的本地存储器，可生成虚拟现实体验的头戴式显示器，和用于与应用程序交互的控制器。然后可以使用生成的数据在台式pc如第二设备16上重放会话。因此，第二设备16上的观察应用程序重新渲染或新渲染或再次渲染场景并生成与第一设备14的hmd上所示相同的视图。这可用于引导和观察与第一设备14相关联的用户，利用其他用户数据分析和/或聚集注视感知数据。用户系统即第一设备14与观察系统即第二设备16之间的实时连接，也可以用于远程触发用户系统上的事件，例如通过上述控制数据cd。

两个应用程序，即第一设备14上的虚拟现实应用程序以及第二设备16上的观察应用程序，都了解描述所示场景的数据，即参考数据vrd。这些数据可能包括3d虚拟现实模型，对输入事件和动画或可视化的反应。因此，提供了一种系统和方法，所述系统和方法用于将用户的姿势、眼睛跟踪数据和一个参与者的事件流传输到一个客户端pc，如第二设备16，将客户端pc的事件流传输到一个参与者，如包括控制器客户端的第一设备14，如第二设备16，以及如第一设备14的一组移动客户端设备。用户系统，如第一设备14，将连接到客户端pc，如第二设备16，并连续地流传输姿势数据、眼睛跟踪数据和触发事件。客户端pc将触发事件例如开始校准发送给与第一设备14相关联的用户。该示例中的网络12可以是局域网或对等网络、无线或有线网络。

对于用于让其他用户观看与第一设备14相关联的用户正在做的事情的应用程序，如实时流传输，可以如上所述，使用系统10a的类似实现，但是现在用户数据，即用户行为数据ud，经由互联网(或内联网)作为网络12传输，并且云服务或接收者处理单元如第二设备16正在重建用户视图。

根据用于在移动设备上进行记录并且稍后导入的另一示例，系统10a可被配置为在设备即第一设备14自身上本地保存用户的姿势、眼睛跟踪数据和事件，并且系统(pc)如第二设备16能够导入记录的文件并运行场景。使用记录的数据，视图将以与用户相同的方式移动，并且将触发事件。

根据本发明的另一个示例，用户的姿势、眼睛跟踪数据和事件也可以流传输到云中并在那里收集和渲染，这在图2中示意性地示出。图2示出了根据本发明的另一实施方案的系统10b的体图。在这种情况下，系统10b包括第一设备14，其可被配置作为第一设备14，如已经相对于图1所解释的。然而，在这种情况下，第二设备16不是如相对于图1所解释的客户端pc，而是云服务器。因此，用户行为数据ud，如捕获的用户姿势、眼睛跟踪数据和事件，经由网络12流传输到云服务器16，该云服务器将传输的用户行为数据ud与所存储的参考数据vrd组合以重建用户行为。基于云的系统，即在第二设备16中，由此使用数据，即用户行为数据ud，以及由参考数据vrd提供的场景模型，来渲染视图，如与第一设备14相关联的用户。然后，聚合的用户数据可被提供到第三方，例如经由在线门户与相应的第三设备28相关联，其中例如与第一设备14相关联的用户的视场被渲染成传统的2d视频异步，然后可用于评估。明确地(但不是必须地)，可以像这样使来自通过相应的第一设备14经历相同场景的多个用户的数据可用。

图3示出了根据本发明的实施方案的用于经由网络12将关于用户相对于至少一个参考对象的用户行为的信息从第一设备14提供到第二设备16的方法的流程图。根据该实施方案，在步骤s10中，虚拟场景vrs的第一图像在第一设备14的显示设备18上显示给与第一设备14相关联的第一用户，其中在显示第一图像期间，第一设备14的捕获设备20a、20b在步骤s12中捕获相对于所显示的虚拟场景vrs的用户的至少一个用户行为特性。之后，在步骤s14中将至少一个捕获的用户行为特性以用户行为数据ud的形式传输到第二设备16，该第二设备将所传输的用户行为数据ud与描述在步骤s10中渲染的虚拟场景vrs的参考数据vrd组合，其中这些参考数据vrd先验地存储在第二设备16上。通过该组合，第二设备16重建相对于虚拟场景vrs的用户行为，并在步骤s18中将结果显示在第二设备16的显示设备上。

在此示例中，虚拟场景vrs的显示、对应的用户行为特征的捕获、用户行为数据ud的传输以及第二设备16上的用户行为的重建和显示是以实时流传输的形式实时地持续进行的。

图4示出了根据本发明的另一个实施方案的用于经由网络12将关于用户相对于至少一个参考对象的用户行为的信息从第一设备14提供到第二设备16的方法的流程图。根据该实施方案，在步骤s20中，显示向与第一设备14相关联的用户呈现虚拟场景vrs的图像流，并且在显示图像流期间，在步骤s22中捕获用户的用户行为特性，该用户的用户行为特性在步骤s24中存储在第一设备14上。在终止图像流的显示之后，在步骤s26中将所存储的用户行为数据ud经由网络12传输到第二设备16，并且在步骤s28中将所存储的用户行为数据ud与已经由第一设备14向用户显示的描述虚拟场景vrs的所存储的参考数据vrd组合，从而重建用户相对于虚拟场景vrs的行为。在步骤s30中，重建的结果由第二设备16本身或由从第二设备16检索到重建结果的第三设备28显示。

总结本发明及其实施方案，其允许多种有利的应用，尤其是在以下领域中：市场研究、科学研究、移动参与者的用户行为训练、用于在线广播的游戏/体验流、或安排sdk(软件开发工具包)用户、将配置的应用程序提供给服务器(其为控制该应用程序的监督者)、与参与者的客户交互，尤其是监视参与者的集体行为，以及允许一组移动眼睛跟踪的参与者运行配置的应用程序。

本发明或其实施方案可实现很大的优点，因为在用户会话期间待传输的必要数据可减少到用户的姿势、用户的动作、用户的当前状态，包括(但不限于)眼睛跟踪、情绪状态和面部表情数据，用于记录、分析、流传输或共享用户会话。

本发明或其实施方案允许以最小的处理和带宽开销在虚拟现实环境入移动虚拟环境中传输、流传输和记录用户行为。用户行为被编码并与用户与虚拟环境的交互并行传输。编码数据可由独立处理单元解释以重建用户的行为。

因此，本发明或其实施方案允许与并发hmd用户实时地进行现场测试，用于减少传输用户场景所需的带宽，用于独立于用户的显示器或交互设备来记录用户会话，并且用于减少传输所需的带宽需求，并因此能够在中央数据位置分析用户感知。

参考标号列表：

10a,10b系统

12网络

14第一设备

16第二设备

17a,17b网络接口

18显示装置

20a眼睛跟踪模块

20b眼睛相机

21第一设备的处理单元

22捕获装置

24第二设备的处理单元

26显示设备

28第三设备

cd控制数据

ud用户行为数据

vrd参考数据

vrs虚拟场景