眼睛移动的确定的制作方法

本技术涉及虚拟现实(vr)或增强现实(ar)头显设备(headset)以及用于操作vr或ar头显设备的方法，本技术尤其涉及被配置为根据谐振光源的自混合干涉来确定眼睛移动方向并在用户的注视方向上以更高的分辨率在显示器上渲染图像的装置。

背景技术：

1、已知诸如用在虚拟现实(vr)、增强现实(ar)或混合现实(mr)头显设备中的显示器之类的智能眼镜显示器使用注视点渲染。通过仅在眼睛当前正看向的方向(称为注视方向)周围的窄立体角中计算高分辨率图像，注视点渲染允许节省计算功率(从而降低功耗并相应地增加电池寿命)。在这个窄立体角之外，显示器产生的图像是需要少得多的处理功率的模糊的低分辨率图像。用户不会意识到注视方向之外的区域的低分辨率。

2、现有技术的跟踪装置利用相机对用户眼睛进行成像，并使用多个led用于照射。这些基于相机的系统涉及到大量的图像处理，以及对led的操作，因此使用大量功率并缩短电池寿命。

3、一些现有技术的系统将眼睛建模为具有不同半径和折射率的两个球体(角膜和眼球)。半径或折射率的变化可用于确定角膜的周长，从而确定用户的注视方向。

4、sarkar等人的“a resonant eye-tracking microsystem for velocityestimation ofsaccades andfoveatedrendering(用于扫视和注视点渲染的速度估计的谐振眼跟踪微系统)”(ieee第30届国际微机电系统(mems)会议，304(2017))涉及使用扫描激光、镜子和光电二极管来确定给定时间段的眼睛位置的智能眼镜。这使得能够根据眼睛位置数据间接测量眼睛移动速度。然而，该装置涉及到移动部件，并且当眼镜相对于用户移动时需要进行耗时的校准。该装置还依赖于识别角膜边界的扫描激光，这可能对用户眼睛的安全有害。

5、sangu等人的spie会议记录11310、113101f(2020)涉及使用vcsel阵列、凹面镜和2d光敏探测器的眼睛跟踪。这也依赖于可能对用户眼睛的安全有害的照射角膜，具有大的形状因子，并且不直接测量用户眼睛的速度。

6、meyer等人(bosch，博世)的“lowpower scannedlasereye tracking forretinalprojection ar glasses(用于视网膜投影ar眼镜的低功率扫描激光眼睛跟踪)”涉及用于眼睛跟踪的带有ir-vcsel扫描的激光束扫描(lbs)显示器。这也依赖于可能对用户眼睛的安全有害的照射角膜，并且不直接测量用户眼睛的速度。

7、meyer(trumpf(德国通快)，bosch(博世))等人的“anovel eye-tracking sensorfor ar glasses based on laser self-mixing showing exceptionalrobustnessagainstillumination(基于激光自混合的用于ar眼镜的新型眼睛跟踪传感器，展现出对照射的出色稳健性)”涉及使用眼睛的视网膜作为较远的反射器的眼睛跟踪，用于使用自混合干涉来确定用户眼睛的位置。这依赖于可能对用户眼睛的安全有害的照射视网膜，并且不直接测量用户眼睛的速度。

8、期望提供具有眼睛移动方向测量装置的vr或ar头显设备，其具有低功耗、不需要校准、具有改进的用户眼睛的安全性并且没有移动部件。

技术实现思路

1、本公开总体上提出了通过提供一种装置来克服上述问题中的至少一些，该装置使用从谐振光源(如激光器)发射的光与从用户眼睛重定向的光之间的自混合干涉法来直接确定用户眼睛的移动方向。

2、在所附权利要求中阐述了各方面和优选特征。

3、所提出的方法和装置提供了以下优点：

4、-该装置直接测量移动方向，提供了测量移动方向的更准确且更低功耗的方法；

5、-与现有技术的装置相比，该装置具有非常短的响应时间；

6、-该装置不涉及机械移动部件；

7、-该装置的用户不需要多次重新校准，因为不需要对准光电探测器或光学元件，也不需要机械移动部件；

8、-本公开的实施例不需要单独的光探测器，因此功耗进一步降低，本公开的实施例也不利用集成到谐振光源中的光探测器；

9、-与现有技术的装置相比，该装置具有较小的形状因子；

10、-该装置对来自环境光的干扰不敏感(因为该方法和装置测量干涉)；

11、-该装置降低了功耗，从而延长了电池寿命；

12、-该装置的操作不需要照射角膜或视网膜，因此提供了改进的眼睛安全性。

13、所提出的方法和装置可用于在vr或ar头显设备中估计注视方向，并改进注视点渲染。所提出的方法和装置也可用于疲劳检测。

14、根据本公开的第一方面，提供了一种用于操作vr或ar头显设备的显示器的方法，该方法包括：确定用户眼睛的移动方向；根据所确定的移动方向估计未来注视方向；以及在显示器上渲染图像，所述图像在包括估计出的注视方向的区域中包括较高分辨率图像数据、并且在包括所确定的注视方向的区域之外包括较低分辨率图像数据，其中，确定用户眼睛的移动方向包括：用由第一激光器发射的光束照射用户眼睛；在第一激光器处接收从用户眼睛重定向的光，使得在激光器腔内在由第一激光器产生的光与从用户眼睛重定向的光之间发生自混合干涉；测量自混合干涉；以及根据测得的自混合干涉来确定用户眼睛的移动方向。

15、这里可使用重定向(的)光(redirectedlight)来指代从用户眼睛反射或散射的光。

16、该方法还可以包括通过自混合干涉法(smi)确定用户眼睛的移动速度。smi允许准确的移动方向或速度测量，而不需要额外的光电二极管来接收反射光。使用smi，一部分发射的光被重定向离开用户眼睛的表面，并返回各自的激光器。耦合回激光器腔的反射光与原始激光发生干涉，导致激光发射特性的调整。测量激光发射特性的变化(例如，激光功率输出、结电压等)可以提供关于用户眼睛移动的信息。在显示器上渲染在包括估计出的注视方向的区域中包括较高分辨率图像数据、并且在包括所确定的注视方向的区域之外包括较低分辨率图像数据的图像允许用户在其视场中观看高分辨率图像，同时减少处理和功耗。

17、该方法可以直接测量用户眼睛的移动速度或方向。通过直接测量速度和/或方向而不测量用户眼睛的位置，用于测量方向或速度的处理功率得以降低，并且可以非常快速地(以高频)并且更准确地获得移动测量的方向和速度。测量用户眼睛的移动速度和/或方向允许预测用户的注视方向。此外，不使用机械移动部件，进一步减轻了装置的重量和用于测量用户眼睛移动速度或方向的功耗。

18、照射用户眼睛可以包括仅照射用户眼睛的巩膜。照射用户眼睛可以包括不照射角膜。这里使用用户眼睛的巩膜来指代用户眼球的远离角膜区域但仍在眼睑之间的区域。这减小了由于角膜(具有较小直径和较大曲率)和用户眼睛的直径较大的其他区域之间的形状差异而产生的错误速度测量的影响。如果激光在第一时间点照射到角膜区域而在第二时间点照射到角膜之外，则可能发生这种错误速度测量。此外，这减少了可能会损害用户眼睛的角膜和视网膜上的照射。

19、根据自混合干涉确定用户眼睛的移动方向可以包括根据由于因用户眼睛移动引起的重定向光的多普勒频移而引起的自混合干涉确定用户眼睛的移动方向。

20、根据由于因用户眼睛移动引起的重定向光的多普勒频移而引起的自混合干涉确定用户眼睛的移动方向可以包括对测得的自混合干涉执行傅里叶变换。

21、该方法可以包括：用由第一激光器沿第一方向发射的光束照射用户眼睛；用由第二激光器沿第二方向发射的光束照射用户眼睛，其中第二方向不平行于第一方向；在第一激光器处接收从用户眼睛重定向的光，使得在第一激光器的激光器腔内在由第一激光器产生的光与从用户眼睛重定向的光之间发生自混合干涉；在第二激光器处接收从用户眼睛重定向的光，使得在第二激光器的激光器腔内在由第二激光器产生的光与从用户眼睛重定向的光之间发生自混合干涉；测量第一激光器的激光器腔内的自混合干涉并测量第二激光器的激光器腔内的自混合干涉；根据测得的第一激光器的激光器腔内的自混合干涉确定用户眼睛在第一方向上的移动，以及根据测得的第二激光器的激光器腔内的自混合干涉确定用户眼睛在第二方向上的移动。这允许在两个方向上测量移动速度的方法。

22、测量自混合干涉可以包括测量激光器的电压或电流。可以根据输入到相应激光器的电流或电压来确定用户眼睛的移动。由于smi会影响激光输出，因此也会影响到激光器的功率供给，可对此进行测量，以确定用户眼睛的移动方向或速度。这允许测量用户眼睛的移动方向和/或速度，而不需要单独的光电探测器，从而降低功耗。

23、替代地，smi可以使用光学检测，其中根据相应激光源的光输出确定用户眼睛的移动。例如，光电二极管可以靠近激光器放置，并测量激光器的输出强度。光电二极管可以集成在激光器外延中，或者可以位于激光器后方，并被布置成监测来自激光镜的功率输出，所述激光镜与光通过其去往用户眼睛的镜相对。

24、根据本公开的另一方面，提供了一种虚拟现实(vr)或增强现实(ar)头显设备，包括：框架，用于安装到用户头部；用于确定眼睛移动的装置，其集成在框架中或位于框架上，该装置包括：第一激光器，被配置为在使用时发射用于照射用户眼睛的光束，并且接收从用户眼睛重定向的光，使得在激光器腔内在由第一激光器产生的光与从用户眼睛重定向的光之间发生自混合干涉；测量设备，被配置为测量自混合干涉；以及处理单元，被配置为根据测得的自混合干涉来确定用户眼睛的移动方向，其中，处理单元还被配置为根据所确定的用户眼睛的移动方向来估计未来注视方向；以及显示器，被配置为在显示器上渲染图像，所述图像在所确定的未来注视方向上的显示区域中包括较高分辨率图像数据并且在所确定的未来注视方向上的显示区域之外包括较低分辨率图像数据。

25、第一激光器可以被配置为仅向用户眼睛的巩膜发射光(例如，对于用户眼睛的正常移动范围)。这里使用用户眼睛的巩膜来指代用户眼球的远离角膜区域但仍在眼睑之间的区域。

26、这里可使用重定向(的)光来指代从用户眼睛反射或散射的光。光可以用来指可见光，但也可以指可见光谱之外的电磁辐射(例如，红外辐射)。

27、处理单元还可以被配置为根据测得的自混合干涉来确定用户眼睛的移动速度。

28、处理单元可以被配置为：根据由于因用户眼睛移动引起的重定向光的多普勒频移而引起的自混合干涉确定用户眼睛的移动方向。这里可使用多普勒频移来指代因用户眼睛移动引起的从第一激光器发射的光与从用户眼睛重定向的光之间的频率差。

29、第一激光可以是单色激光(窄带)。第一激光可以具有高相干性以实现准确的方向或速度测量(例如，大于2cm的相干长度，更优选地大于2m或200m的相干性)。

30、第一激光器可以被配置为在红外或近红外光谱中的波长下操作。例如，第一激光器可以被配置为发射波长在850nm至1500nm范围内的光，例如在940nm。就眼睛安全性而言，更长的波长通常更好，因此可以与相对更高的输出功率一起使用，这可以提供更好的信噪比。

31、第一激光器可以包括激光二极管，如边缘发射激光器、分布反馈(dfb)激光器或分布布拉格反射器(dbr)激光器。

32、第一激光器可以包括垂直腔面发射激光器(vcsel)。vcsel相对便宜且功耗低，从而提高装置的电池寿命。此外，vcsel具有较小的形状因子，因此提供更节省空间的装置。

33、测量设备可以包括光电探测器。

34、处理单元可以被配置为确定入射到光电探测器上的光的频率调整。激光中的光的频率调整可能是由再次进入激光器腔的反射光引起的。

35、第一激光器可以包括垂直腔面发射激光器(vcsel)，并且光电探测器可以与vcsel集成为单个半导体器件。这消除了重新校准或光电探测器对准的需要。

36、光电探测器可以在空间上与第一激光器分离，并且该装置还可以包括光学元件，其被配置为将自混合干涉的至少一部分朝向光电探测器重定向。光学元件可以是分束器，也可以是其他光学元件，如盖玻片，可以集成在装置中，也可以集成在包括该装置的vr或ar头显设备或智能眼镜中。

37、测量设备可以包括传感器，其被配置为测量激光器的电压输入或电流输入。这允许测量用户眼睛的移动方向和速度，而不需要单独的光电探测器。这允许装置的功耗降低，形状因子更小，并且装置的设计布局更灵活。由于不需要单独的光探测器，因此该装置更简单，并且实现和制造的成本更低，具有更高的产量和更大的设计自由度。

38、第一激光器可以被配置为发射光束，使得所发射的光束的光轴相对于用户眼睛的表面形成锐角。该角度可以称为第一激光的入射角。由于光束可以是锐角而不垂直于用户眼睛的表面，因此在用户眼睛转动期间，光束可以在用户眼睛的移动方向上具有分量，并且由于用户眼睛的转动而经历多普勒频移。

39、该装置可以包括第一对激光器，每个激光器被配置为在使用时发射用于照射用户眼睛的光束，其中第一对激光器可以包括第一激光器和第二激光器。第一激光器可以被配置为沿第一方向发射光，并且第二激光器可以被配置为沿第二方向发射光，其中第二方向不平行于第一方向。

40、第二激光器可以以与第一激光器类似的方式操作。然而，第二激光器可以被配置为沿不同的方向发射光。第二激光器也可以被配置为在使用时发射用于照射用户眼睛的光束，并且接收从用户眼睛重定向的光，使得在第二激光器的激光器腔内在由第二激光器产生的光与从用户眼睛重定向的光之间发生自混合干涉。该装置还可以包括第二测量设备，其被配置为测量第二激光器的自混合干涉。处理单元还可以被配置为根据测得的来自第二激光器的自混合干涉来确定用户眼睛的移动方向。

41、该装置可以包括第二对激光器，每个激光器被配置为在使用时发射用于照射用户眼睛的光束，其中第二对激光器可以包括第三激光器和第四激光器。第三激光器可以被配置为沿平行于第一方向的方向发射光，并且第四激光器可以被配置为沿平行于第二方向的方向发射光。

42、该装置可以被配置为使得从第一激光器发射的光束相对于平分用户眼睛中心的第一平面的偏移等于从第三激光器发射的光束相对于平分用户眼睛中心的第一平面的偏移，并且该装置可以被配置为使得从第二激光器发射的光束相对于平分用户眼睛的第二平面的偏移等于从第四激光器发射的光束相对于平分用户眼睛的第二平面的偏移。第一和第三激光器可以被配置为沿平行于第一平面的方向发射光，并且第二和第四激光器可以被配置为沿平行于第二平面的方向发射光。

43、使来自第三激光器和第一激光器的光束平行并且相对于平分用户眼睛中心的平面具有相等的偏移的意思是从第一激光器发射的光束的入射角可以被配置为等于从第三激光器发射的光束的入射角。类似地，使来自第二激光器和第四激光器的光束平行并且相对于平分用户眼睛中心的平面具有相等的偏移的意思是从第二激光器发射的光束的入射角可以被配置为等于从第四激光器发射的光束的入射角。利用这种配置，第一和第三激光器可以用于测量彼此相同的眼睛速度矢量的分量，并且第二和第四激光器可以用于测量彼此相同的速度矢量。然后，可以将它们相对于彼此进行交叉检查。

44、第三激光器可以被配置为沿第三方向发射光，其中第三方向不同于第一方向，并且第四激光器可以被配置为沿第四方向发射光，第四方向不同于第二方向且不平行于第三方向。利用这种配置，第一和第二对激光器测量眼睛速度矢量的相同绝对值。

45、第一对激光器可以被配置为照射用户眼睛的第一区域，并且第二对激光器可以被配置为照射用户眼睛的第二区域，其中第二区域远离第一区域。