使用EOG坐标的屏幕交互的制作方法

本发明涉及使用眼电描记法(eog)的眼睛跟踪。特别地，本发明涉及使用这种眼睛跟踪来确定显示屏上的注视点。

背景技术：

1、在许多情况下，眼睛跟踪可被用于理解用户的注意力集中在哪里。具体而言，眼睛跟踪可以改善用户对外围设备的控制。

2、最常见的眼睛跟踪方法是获取用户眼睛的视频图像。基于数值分析或深度学习，可以使用适当的图像处理和算法来确定用户的注视方向。这种基于视频的眼睛跟踪的缺点是必须将相机对准用户的面部，或者安装在头部，这极大地限制了可能的应用。

3、最近，引入了基于视频的眼睛跟踪的替代方法，包括眼电描记法(eog)。眼电描记法(eog)是对眼球的角膜-视网膜偶极子的电偶极子电势(角膜和视网膜之间的电荷差异)的测量。当眼睛在眼眶中移动时，偶极子旋转。该电势可以使用放置在眼眶附近的一组电极来测量，并且可以用于估计眼睛的位置。在目前的技术eog的精确度估计约为0.5度，预期未来会有所提高。

4、与基于视频的眼睛跟踪相比，基于eog的眼睛跟踪具有若干优点:

5、-硬件成本降低，因为不需要相机光学系统或视频处理

6、-更灵活的设计，因为不需要为相机提供到眼睛的视线

7、-在困难的照明条件下具有更高的鲁棒性/准确性

8、-处理和存储需求降低，实现功耗降低，这对于便携式/可穿戴设备尤为重要

9、-不需要相机指向用户和相关的隐私问题

10、随着最近对视角的眼电描记测定(本文称为基于eog的眼睛跟踪)的改进，这种眼睛跟踪的大量应用已经变得可行。

11、然而，与更传统的基于相机的眼睛跟踪相比，基于eog的眼睛跟踪的挑战在于eog检测相对于用户的头部(称为自我中心坐标系)发生。

12、对于许多应用，例如增强现实(ar)和虚拟现实(vr)应用，自我中心不是问题。相反，以自我为中心的眼睛跟踪非常适合这种应用。然而，自我中心性迄今为止阻止了基于eog的眼睛跟踪在许多成像应用中的成功应用。

技术实现思路

1、本发明的一个目的是克服或减轻上述挑战，并在各种成像应用中实现基于eog的眼睛跟踪。

2、根据本发明的第一方面，该目的和其他目的通过一种方法来实现，该方法包括:从布置在用户耳朵附近的一组电极获取一组电压信号；基于该组电压信号，确定自我中心坐标中的eog注视矢量；使用用户佩戴的传感器设备，确定显示坐标中的用户头部姿态；组合eog注视矢量和头部姿态以获得显示坐标中的注视矢量；以及通过计算该注视矢量和在显示坐标中具有已知位置的成像表面的交点来确定注视点。

3、如本领域技术人员将理解的，自我中心坐标描述了相对于用户位置(姿态)的位置，例如相对于用户头部的位置。类似地，显示坐标描述了相对于显示设备(的某个部分)的位置。显示设备的成像表面的位置在显示坐标中是已知的。

4、该方法优选地包括校准传感器设备以获得传感器设备在显示坐标中的位置。这种校准可以在确定头部姿态之前执行，也可以在操作期间执行，以重新校准系统。头戴式传感器的校准用于使其在显示坐标中的位置已知。在一般情况下，校准可以是在六个自由度中，而在更受限的应用中，更少的自由度可能就足够了。在一些实施例中，显示坐标仅具有两个自由度(例如，x和y)。在一些实施例中，校准不包括使用或测量头部运动自由度的旋转元素。例如，在观看距离相对于显示器宽度较远的应用中，观看者不太可能转动头部来看到显示图像表面的不同部分(即，仅通过眼睛转动来注视不同的显示区域)。在这些情况下，显示器具有相对较小的视野(fov)，这种观看的一个例子是在一臂距离处观看智能手机。

5、应指出，校准可以相对于成像表面本身进行(例如，包括如下所述的与显示器的交互)，或者相对于显示设备(例如投影仪设备)的某个其他部分进行。

6、头戴式传感器被配置成监控头部的相对运动。在初始校准之后，头戴式传感器因此能够提供显示坐标中的头部姿态。头戴式传感器可以包括加速度计、陀螺仪和磁力计中的一者或数者。在这种情况下有用的一种类型的传感器是惯性测量单元(imu)。

7、通过组合eog注视矢量和头部姿态，可以获得显示坐标中的注视矢量。在此之后，注视点可以被确定为注视矢量和成像表面的交点(如上所述，其也在显示屏坐标中表示)。例如，需要从显示器上的物理单位(例如mm)到像素位置的转换步骤。

8、在一些实施例中，通过使头戴式传感器与相对于显示系统(并因此相对于成像表面)固定布置的第二传感器设备同步来实现头戴式传感器的校准。该实施例对于非固定显示屏，例如智能电话等特别有用，该非固定显示屏通常配备有方位传感器设备，例如imu。

9、在一些实施例中，通过确定用户和成像表面之间的距离来获得空间校准。这种方法可能对通常不配备imu的固定显示器(例如电视机)更有用。在一些实施例中，使用安装在显示系统附近或内部的合适传感器(例如，具有ir收发器的遥控器；显示器上的lidar(激光雷达)传感器，例如在智能手机上变得常见)。

10、在一些实施例中，校准包括在成像表面上显示图形元素，以及接收确认用户正在查看该图形元素的用户输入。这种校准的好处不仅在于确定头戴式传感器在显示坐标中的位置，还在于提供包括eog注视矢量计算的整个过程的校准。

11、在一些实施例中，该方法还包括离线校准，以便处理在eog注视矢量检测过程中可能发生的任何漂移。在一些实施例中，这种离线校准包括用户注视点随时间的统计分析，例如，考虑成像表面的尺寸、随时间的预期感兴趣区域等。

12、第一方面的方法使得能够修改视听数据呈现系统中的音频数据和/或视觉数据。该修改在观看和收听诸如电视、投影仪显示系统或移动手持设备的系统的视听呈现时提供了改进的用户体验。这种改进的用户体验的例子被总结如下。

13、成像表面上注视点的基于eog的确定可以例如通过如下操作被用于图像的基于深度的渲染：将注视深度确定为图像中与注视点相关联的深度，并且对于图像中的每个像素，将相对深度计算为像素深度和注视深度之间的差，并且根据相对深度的函数来模糊像素。模糊后，图像在成像表面上进行深度渲染。可以进行这种模糊来模拟由于眼睛的光学特性而在3d场景中出现的自然景深。

14、作为另一个例子，当基于深度的图像渲染与3d音频场相结合时，注视点和注视深度可以用于识别与当前兴趣点相关联的至少一个音频对象，以允许增强这样识别的音频对象。可以根据注视点来确定当前兴趣点。

15、在又一示例中，可以使用如上所述的方法随时间来监控成像表面上的注视点。基于该监测的结果，确定平均注视位置和注视半径，由此将注视半径与半径阈值进行比较，如果注视半径小于半径阈值，则缩放成像表面上的图像数据。这种过程改善了用户的观看体验，例如在诸如移动设备上的小成像表面上呈现高空间分辨率(例如，4k或8k)数据的情境中。为了在平均注视位置不在成像表面的中心的情况下也提供这种改进的用户观看体验，确定平均注视位置和成像表面的一个或多个边缘之间的最小距离可能是有利的。然后将最小距离与距离阈值进行比较，并且根据最小距离小于距离阈值的确定，应用图像数据的偏移以增加最小距离。换句话说，这种过程对图像数据进行转换，确保在成像表面边缘的平均注视位置放大物体不会使物体看不见。

16、根据本发明的第二方面，该目的和其他目的可通过如下系统来实现，该系统包括:一组电极，其被布置在用户的耳朵附近并且被配置为获取一组电压信号；eog处理单元，用于基于该组电压信号确定自我中心坐标中的eog注视矢量；用户佩戴的传感器设备，用于确定用户在显示坐标中的头部姿态；处理单元，被配置为组合eog注视矢量和头部姿态以获得显示坐标中的注视矢量，以及通过计算注视矢量和在显示坐标中具有已知位置的成像表面的交点来确定注视点。

17、根据本发明的第三方面，该目的和其他目的通过存储计算机程序代码的非暂时性计算机可读介质来实现，该计算机程序代码被配置为当在计算机处理器上执行时，执行根据本发明第一方面的方法的步骤。