眼动追踪方法、装置、设备、介质和程序与流程

本技术实施例涉及人工智能领域，尤其涉及一种眼动追踪方法、装置、设备、介质和程序。

背景技术：

1、扩展现实(extended reality，xr)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，xr也是虚拟现实(virtual reality，vr)、增强现实(augmentedreality，ar)和混合现实(mixed reality，mr)等多种技术的统称。通过将三者的视觉交互技术相融合，为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。

2、xr设备可以采用眼动追踪交互方式与用户交互，xr设备获取眼睛注视点坐标、注视方向等注视参数，根据注视参数控制扩展现实空间中的交互射线(例如手势射线或者手柄射线)移动，射线的起点跟随用户的注视点移动，实现用户眼睛看向哪里射线就指向哪里。但是，眼动追踪的准确性不高，一方面，用户自身的头部转动或者眼球转动的方向与实际方向有一定偏差，另外，设备提供的计算方法本身具有误差，人为误差和系统误差导致现有的眼动追踪交互方式的准确性低，用户交互体验不佳。

3、尤其是与扩展显示空间中的2d窗口进行交互时，2d窗口内可能包括多个控件和子窗口等组件，多个组件之间具有层级结构，且距离较近，从而为2d窗口内的组件的选择增加了难度，设备难以判断还用真实的交互意图。

技术实现思路

1、本技术实施例提供一种眼动追踪方法、装置、设备、介质和程序，根据用户的视线起点、视线方向和注视点确定一个碰撞检测区域，通过碰撞检测区域在2d交互面板中确定用户可能交互的多个候选组件，进而从多个选虚拟组件中确定用户最可能的交互组件，提高了对2d交互面板的眼动追踪的准确性。

2、第一方面，本技术实施例提供一种眼动追踪方法，所述方法包括：

3、获取用户的视线起点、视线方向、视线在扩展现实空间中的二维2d交互面板上的注视点以及位于所述交互面板上的碰撞检测区域的尺寸参数，所述碰撞检测区域为2d图形；

4、根据所述注视点的位置和所述碰撞检测区域的尺寸参数，确定所述碰撞检测区域的位置；

5、根据所述碰撞检测区域的位置和所述交互面板上的可交互的组件的位置，确定所述碰撞检测区域碰撞到的可交互的候选组件；

6、当所述交互面板中存在多个候选组件时，根据所述多个候选组件与所述视线起点、所述视线方向的位置关系，从所述多个候选组件中确定一个交互组件。

7、在一种可选实现方式中，根据所述碰撞检测区域的位置和所述交互面板上的可交互的组件的位置，确定所述碰撞检测区域碰撞到的可交互的候选组件，包括：

8、按照预设的采样方式在所述碰撞检测区域内确定多个采样点；

9、根据所述采样点的位置和所述可交互的组件的位置，确定包含采样点的可交互的组件为所述候选组件。

10、在一种可选实现方式中，所述碰撞检测区域的尺寸参数为球体半径；

11、所述根据所述注视点的位置和所述碰撞检测区域的尺寸参数，确定所述碰撞检测区域的位置，包括：

12、以所述注视点的位置为中心点，根据所述球体的半径确定一个圆形或者椭圆形的碰撞检测区域。

13、在一种可选实现方式中，所述碰撞检测区域为一个正方形或者长方形区域；

14、根据所述碰撞检测区域的位置和所述交互面板上的可交互的组件的位置，确定所述碰撞检测区域碰撞到的可交互的候选组件，包括：

15、根据所述正方形或者长方形的碰撞检测区域的位置和所述可交互的组件的位置，判断所述可交互的组件是否与所述正方形或者长方形的碰撞检测区域发生碰撞；

16、当所述可交互的组件与所述正方形或者长方形的碰撞检测区域发生碰撞时，确定所述可交互的组件为所述候选组件。

17、在一种可选实现方式中，所述碰撞检测区域的尺寸参数为球体半径；

18、所述根据所述注视点的位置和所述碰撞检测区域的尺寸参数，确定所述碰撞检测区域的位置，包括：

19、根据所述球体的半径，以及所述视线方向与所述交互面板的夹角，确定所述球体投影到所述交互面板上形成的椭圆的长轴的长度或者圆形的直径；

20、以所述注视点的位置为中心点，根据所述椭圆的长轴的长度或者圆形的直径，确定所述正方形或者长方形的碰撞检测区域。

21、在一种可选实现方式中，当所述交互面板中存在多个候选组件时，根据所述多个候选组件与所述视线起点、所述视线方向的位置关系，从所述多个候选组件中确定一个交互组件之前，还包括：

22、根据所述交互面板中组件的层级关系，对所述多个候选组件进行过滤。

23、在一种可选实现方式中，所述根据所述交互面板中组件的层级关系，对所述多个候选组件进行过滤，包括：

24、当根据所述交互面板中组件的层级关系确定所述多个候选组件的层级关系为嵌套关系时，过滤掉位于底层的候选组件。

25、在一种可选实现方式中，根据所述多个候选组件与所述视线起点、所述视线方向的位置关系，从所述多个候选组件中确定一个交互组件，包括：

26、确定所述多个候选组件的碰撞点，所述碰撞点为候选组件上距离所述视线方向最近的点；

27、根据所述每个候选组件的碰撞点与所述视线起点、所述视线方向以及所述每个候选组件的中心点的位置关系，确定所述每个候选组件的交互打分；

28、根据所述每个候选组件的交互打分，从所述多个候选组件中确定所述交互组件。

29、在一种可选实现方式中，确定所述多个候选组件的碰撞点，包括：

30、遍历所述多个候选组件，当所述注视点位于当前候选组件内时，确定所述注视点为所述当前候选组件的碰撞点；

31、当所述注视点位于所述当前候选组件外时，确定所述当前候选组件中距离所述视线方向最近的第一点；

32、确定所述第一点为所述当前候选组件的碰撞点。

33、在一种可选实现方式中，确定所述第一点为所述当前候选组件的碰撞点，包括：

34、如果所述视线方向与所述第一点的距离小于或等于第一距离阈值，则确定所述第一点为所述当前候选组件的碰撞点，其中，所述第一距离阈值是根据所述碰撞检测区域的尺寸确定的；

35、如果所述视线方向与所述第一点的距离大于所述第一距离阈值，则过滤掉所述当前候选组件。

36、在一种可选实现方式中，所述确定所述当前候选组件中距离所述视线方向最近的第一点，包括：

37、如果所述当前候选组件被第一候选组件遮挡时，根据所述第一候选组件的位置确定所述当前候选组件未被遮挡部分的边界；

38、确定所述当前候选组件未被遮挡部分距离所述视线方向最近的第一点。

39、在一种可选实现方式中，根据所述每个候选组件的碰撞点与所述视线起点、所述视线方向以及所述每个候选组件的中心点的位置关系，确定所述每个候选组件的交互打分，包括：

40、根据所述视线起点的位置和所述每个候选组件的碰撞点的位置，计算所述每个候选组件的碰撞点与所述视线起点之间的第一距离；

41、以所述视线起点为起点，所述每个候选组件的碰撞点为终点，确定所述每个候选组件的碰撞方向，确定所述每个候选组件的碰撞方向与所述视线方向之间的第一夹角；

42、根据所述每个候选组件的碰撞点的位置和中心点的位置，计算所述每个候选组件的碰撞点与中心点之间的第二距离；

43、以所述视线起点为起点，所述每个候选组件的中心点为终点，确定所述每个候选组件的中心方向，确定所述每个候选组件的中心方向与所述视线方向之间的第二夹角；

44、根据所述每个候选组件的所述第一距离、所述第一夹角、所述第二距离和所述第二夹角进行加权运算，得到所述每个候选组件的交互打分。

45、在一种可选实现方式中，获取用户的视线起点、视线方向、视线在扩展现实空间中的2d交互面板上的注视点以及位于所述交互面板上的碰撞检测区域的尺寸参数之前，还包括：

46、根据眼动参数选中所述交互面板。

47、在一种可选实现方式中，根据所述注视点的位置和所述碰撞检测区域的尺寸参数，确定所述碰撞检测区域的位置之后，还包括：

48、根据所述碰撞检测区域的位置，显示所述碰撞检测区域。

49、在一种可选实现方式中，所述碰撞检测区域悬浮于所述交互面板上，且所述碰撞检测区域呈半透明状。

50、第二方面，本技术实施例提供一种眼动追踪装置，所述装置包括：

51、获取模块，用于获取用户的视线起点、视线方向、视线在扩展现实空间中的二维2d交互面板上的注视点以及位于所述交互面板上的碰撞检测区域的尺寸参数，所述碰撞检测区域为2d图形；

52、确定模块，用于根据所述注视点的位置和所述碰撞检测区域的尺寸参数，确定所述碰撞检测区域的位置；

53、碰撞检测模块，用于根据所述碰撞检测区域的位置和所述交互面板上的可交互的组件的位置，确定所述碰撞检测区域碰撞到的可交互的候选组件；

54、选择模块，用于当所述交互面板中存在多个候选组件时，根据所述多个候选组件与所述视线起点、所述视线方向的位置关系，从所述多个候选组件中确定一个交互组件。

55、第三方面，本技术实施例提供一种xr设备，所述xr设备包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行如上述第一方面所述的方法。

56、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序使得计算机执行如上述第一方面所述的方法。

57、第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

58、本技术实施例提供的眼动追踪方法、装置、设备、介质和程序，所述方法包括：获取用户的视线起点、视线方向、2d交互面板上的注视点以及碰撞检测区域的尺寸参数，碰撞检测区域为2d图形；根据注视点的位置和碰撞检测区域的尺寸参数，确定碰撞检测区域的位置；根据碰撞检测区域的位置和交互面板上的可交互的组件的位置，确定碰撞检测区域碰撞到的可交互的候选组件；当交互面板中存在多个候选组件时，根据多个候选组件与视线起点、视线方向的位置关系，从多个候选组件中确定一个交互组件。该方法根据用户的视线起点、视线方向和注视点确定一个碰撞检测区域，通过碰撞检测区域在2d交互面板中确定用户可能交互的多个候选组件，进而从多个候选组件中确定用户最可能交互的组件，提高了对2d交互面板的眼动追踪的准确性。