视线追踪方法、头戴显示设备及计算机可读存储介质与流程

本发明涉及可穿戴设备，尤其涉及一种视线追踪方法、头戴显示设备及计算机可读存储介质。

背景技术：

1、vr(virtual reality，虚拟现实)设备或者ar(augmented reality，增强现实)设备等头戴显示设备，是目前正在快速发展和普及的虚拟现实和增强现实产品。

2、目前，头戴显示设备进行视线追踪的主流技术是基于图像处理的眼球跟踪与视线检测技术，该技术实时计算并记录眼睛所看的位置，而头戴显示设备主要基于暗瞳技术，并以角膜反光点作为参考点计算瞳孔-角膜反光点矢量对人眼视线进行追踪，存在以下问题：由于左右眼分别对应一个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线会相互干扰，使得计算结果的误差增大，从而造成对用户视线进行追踪识别的准确率较低。

技术实现思路

1、本发明的主要目的在于提供一种视线追踪方法、头戴显示设备及计算机可读存储介质，旨在解决目前头戴显示设备中两个眼球追踪模块的光源发出的光线容易相互干扰，影响视线追踪精度的技术问题。

2、为实现上述目的，本发明提供一种视线追踪方法，所述视线追踪方法包括：

3、所述视线追踪方法应用于头戴显示设备，所述头戴显示设备包括左眼明瞳追踪组件、左眼暗瞳追踪组件、右眼明瞳追踪组件和右眼暗瞳追踪组件，所述方法包括：

4、控制所述左眼明瞳追踪组件和所述左眼暗瞳追踪组件之间交替运行，以交替采集左眼明瞳图像和左眼暗瞳图像；根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位；

5、控制所述右眼明瞳追踪组件和所述右眼暗瞳追踪组件之间交替运行，以交替采集右眼明瞳图像和右眼暗瞳图像；根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视线进行追踪定位；

6、其中，所述左眼明瞳图像和右眼暗瞳图像在同一采集周期进行采集，所述左眼暗瞳图像和所述右眼明瞳图像在同一采集周期进行采集。

7、可选地，所述根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位的步骤之前包括：

8、对相邻采集周期采集的左眼明瞳图像和左眼暗瞳图像进行眼球特征的识别，得到左眼明瞳眼球特征和左眼暗瞳眼球特征，其中，所述眼球特征包括瞳孔中心位置、瞳孔形状、虹膜位置、虹膜形状和光斑位置中的至少一种；

9、将所述左眼明瞳眼球特征和所述左眼暗瞳眼球特征进行特征匹配，得到特征匹配程度；

10、若所述特征匹配程度大于预设程度阈值，则执行：所述根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位的步骤。

11、可选地，所述将所述左眼明瞳眼球特征和所述左眼暗瞳眼球特征进行特征匹配，得到特征匹配程度的步骤之后，还包括：

12、若所述特征匹配程度小于或等于预设程度阈值，则对左眼明瞳图像进行图像识别，确定所述左眼明瞳图像对应的明瞳采集干扰程度，并对左眼暗瞳图像进行图像识别，确定左眼暗瞳图像对应的暗瞳采集干扰程度；

13、若所述明瞳采集干扰程度大于所述暗瞳采集干扰程度第一预设程度值，则通过所述左眼暗瞳图像对所述左眼明瞳图像进行校正；根据左眼暗瞳图像，以及校正后的左眼明瞳图像，对左眼视线进行追踪定位；

14、若所述明瞳采集干扰程度小于所述暗瞳采集干扰程度第二预设程度值，则通过所述左眼明瞳图像对所述左眼暗瞳图像进行校正；根据左眼明瞳图像，以及校正后的左眼暗瞳图像，对左眼视线进行追踪定位。

15、可选地，所述通过所述左眼暗瞳图像对所述左眼明瞳图像进行校正的步骤包括：

16、获取所述左眼暗瞳图像对应的左眼暗瞳眼球特征，以及所述左眼明瞳图像对应的左眼明瞳眼球特征；

17、将第一预设权重的所述左眼暗瞳眼球特征与第二预设权重的所述左眼明瞳眼球特征进行和值计算，得到融合眼球特征，其中，所述第一预设权重大于所述第二预设权重，且所述第一预设权重与所述第二预设权重的和等于一；

18、将所述融合眼球特征关联的明瞳图像，作为校正后的左眼明瞳图像。

19、可选地，所述对左眼明瞳图像进行图像识别，确定所述左眼明瞳图像对应的明瞳采集干扰程度的步骤包括：

20、对左眼明瞳图像进行图像识别，确定所述左眼明瞳图像中瞳孔大小和/或虹膜颜色的深浅度；

21、根据所述左眼明瞳图像中瞳孔大小和/或虹膜颜色的深浅度，确定所述左眼明瞳图像对应的明瞳采集干扰程度。

22、可选地，所述对左眼暗瞳图像进行图像识别，确定左眼暗瞳图像对应的暗瞳采集干扰程度的步骤包括：

23、对左眼暗瞳图像进行图像识别，确定所述左眼暗瞳图像中睫毛的遮盖度和/或虹膜颜色的深浅度；

24、根据所述左眼暗瞳图像中睫毛的遮盖度和/或虹膜颜色的深浅度，确定所述左眼暗瞳图像对应的暗瞳采集干扰程度。

25、可选地，所述根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位的步骤包括：

26、根据交替采集的左眼明瞳图像和左眼暗瞳图像，动态识别出左眼瞳孔中心位置和左眼光斑位置；

27、根据所述左眼瞳孔中心位置和所述左眼光斑位置，确定左眼对应的瞳孔中心与光斑之间的相对位置矢量；

28、从预设的左眼数据映射库中，查询得到所述相对位置矢量映射的左眼视线方向，以对左眼视线进行追踪定位。

29、可选地，所述方法还包括：

30、在预设显示位置显示预设校准标识；

31、控制所述左眼明瞳追踪组件和所述左眼暗瞳追踪组件的工作状态，识别用户注视所述预设校准标识时左眼对应瞳孔中心与光斑之间的左眼校准矢量；

32、根据用户注视所述预设显示位置对应的左眼视线方向，确定左眼校准视线方向；

33、建立所述左眼校准矢量和所述左眼校准视线方向的映射关系，根据所述左眼校准矢量和所述左眼校准视线方向的映射关系，对预先标定的左眼矢量映射库进行校准；

34、将校准后的左眼矢量映射库，作为预设的左眼矢量映射库。

35、为实现上述目的，本发明提供一种头戴显示设备，所述头戴显示设备应用于如上述的视线追踪方法，所述头戴显示设备包括：

36、左眼视线追踪装置，包括左眼明瞳追踪组件和左眼暗瞳追踪组件，所述左眼明瞳追踪组件包括属于同一光学路径上的第一光源和第一图像采集装置，所述左眼暗瞳追踪组件包括属于不同光学路径上的第二光源和第二图像采集装置，所述左眼暗瞳追踪组件和所述左眼明瞳追踪组件设置为分时开启运行；

37、右眼视线追踪装置，包括右眼明瞳追踪组件和右眼暗瞳追踪组件，所述右眼明瞳追踪组件包括属于同一光学路径上的第三光源和第三图像采集装置，所述右眼暗瞳追踪组件包括属于不同光学路径上的第四光源和第四图像采集装置，所述右眼暗瞳追踪组件和所述右眼明瞳追踪组件设置为分时开启运行；

38、其中，所述左眼暗瞳追踪组件和所述右眼明瞳追踪组件设置为在同一采集周期开启运行，所述左眼明瞳追踪组件和所述右眼暗瞳追踪组件设置为在同一采集周期开启运行。

39、此外，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视线追踪程序，所述计算机可读存储介质上存储有视线追踪程序，所述视线追踪程序被处理器执行时实现如上所述视线追踪方法的步骤。

40、本技术的技术方案是通过控制左眼明瞳追踪组件和左眼暗瞳追踪组件之间交替运行，以交替采集左眼明瞳图像和左眼暗瞳图像，根据交替采集的左眼明瞳图像和左眼暗瞳图像，对左眼视线进行追踪定位，并控制右眼明瞳追踪组件和右眼暗瞳追踪组件之间交替运行，以交替采集右眼明瞳图像和右眼暗瞳图像，再根据交替采集的右眼明瞳图像和右眼暗瞳图像，对右眼视线进行追踪定位，其中，左眼明瞳图像和右眼暗瞳图像在同一采集周期进行采集，左眼暗瞳图像和所述右眼明瞳图像在同一采集周期进行采集，从而通过明瞳追踪和暗瞳追踪，实现分方法、分时的视线追踪，减小追踪过程中左右眼光源相互干扰的因素。

41、同时，由于采用单一的追踪方式存在较多缺陷，例如暗瞳追踪时，识别的准确性容易受睫毛、眼斑、眼镜框等障碍物影响，而明瞳追踪时，摄像头需要识别亮色的瞳孔，识别的准确性容易受瞳孔大小等因素影响，而本技术基于交替帧不同的追踪方式(明瞳追踪和暗瞳追踪)，通过对比前后两帧图像，对双眼视线方向进行追踪定位，这样使得每只眼睛均包括明瞳图像和暗瞳图像，从而可以融合明瞳图像和暗瞳图像各自对视线方向进行追踪定位的优点，尽量消除明瞳图像和暗瞳图像的缺陷，从而增加了识别的准确率。同时由于在某一帧中，左右眼的视线追踪方式不同，因此可以极大地降低两只眼睛出现光源互相干扰的情况，进一步提升了视线追踪的准确性，进而解决对于视线追踪的准确性和易受干扰的问题，本技术通过暗瞳追踪和明瞳追踪两种方式，从硬件和软件两方面结合提出解决办法，进一步减小对芯片算力的需求，提升识别准确率。

42、相比于传统技术中基于暗瞳技术，在左右眼对应的眼球追踪模块(即为左眼暗瞳追踪组件和右眼暗瞳追踪组件)中分别各自采用一组光源，导致在标定或者使用时，两组光源发出的光线容易相互干扰情况(特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度的问题)，本技术通过在每一特定帧中，左眼暗瞳追踪组件和右眼暗瞳追踪组件各自对应的光源仅能点亮一个，且在每一特定帧中左眼明瞳追踪组件和右眼明瞳追踪组件各自对应的光源也仅能点亮一个，降低两只眼睛出现光源相互干扰的情况，从而减小视线定位误差、提高追踪精度，为用户提供更完美的虚拟现实沉浸体验，进而解决目前头戴显示设备中两个眼球追踪模块的光源发出的光线容易相互干扰，影响视线追踪精度的技术问题。