通用型眼动追踪方法及系统与流程

本发明涉及数据分析处理，具体为一种通用型眼动追踪方法及系统。

背景技术：

1、眼动追踪和凝视估计技术近年来取得了重大进展。然而，仍然存在一些不足和缺陷，限制了其效果和适用性。以下是在背景技术和当前方法中观察到的一些主要不足和缺陷：

2、1：硬件限制：现有的眼动追踪和凝视估计系统通常依赖于特定的硬件配置，如专用摄像头或专用传感器。这些硬件依赖性限制了眼动追踪技术在各种设备和应用程序中的广泛采用和集成。这为需要眼动追踪功能但无法轻松将专用硬件集成到系统中的开发人员、制造商和用户造成了障碍。

3、2：有限的兼容性：许多当前的眼动追踪解决方案仅针对特定平台或操作系统设计，使其与其他系统或设备不兼容。这种缺乏跨平台兼容性妨碍了眼动追踪技术在不同硬件和软件环境中的无缝集成和互操作性。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种通用型眼动追踪方法及系统，以解决上述背景技术中提出的问题。

3、(二)技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：一种通用型眼动追踪方法，包括如下步骤：

5、s100：通过电子设备采集一个周期的面部数据；

6、s200：基于采集的面部特征通过深度学习模型检测面部数据并确定面部特征点，使用深度估计模型获取面部深度信息；

7、s300：基于面部特征点和深度信息数据解析出3d面部特征点；

8、s400：将3d面部特征点和深度信息数据输入3d引擎，将相机位置、旋转数据、屏幕尺寸、位置和旋转数据输入到3d引擎中，完成数字孪生环境的设置；

9、s500：利用标准化面部模型和采集的面部特征点计算头部的旋转以及平移向量，并通过使用规范化面部模型和从面部特征点提取的眼部特征点，确定眼睛的旋转以及相应的平移向量；

10、s600：使用头部和眼睛的旋转和平移向量作为输入，通过神经网络模型进行计算得到的参数确定用户的凝视位置。

11、作为本实施例的优选，所述s3的步骤包括：

12、s301：基于五官确定人脸特征点位置

13、s302：通过边缘提取算法，提取面部边缘轮廓和特征点轮廓；

14、s303：通过采用pfld作为人脸关键点检测算法，不断迭代优化其损失函数来训练神经网络，提取人脸特征向；

15、s304：基于人脸特征向量、面部边缘轮廓和特征点轮廓确定3d面部特征点。

16、作为本实施例的优选，所述s500中通过使用规范化面部模型和从面部特征点提取的眼部特征点，确定眼睛的旋转以及相应的平移向量的过程包括：

17、m501：利用深度学习模型检测和估计眼部特征点，采用深度估计模型获取深度信息，通过眼部特征点和深度信息数据，获得3d眼部特征点；

18、m502：将3d眼部特征点和深度数据输入到3d引擎中，以及将世界摄像头视频输入到3d引擎中，通过提供相机位置和旋转数据给3d引擎，完成数字孪生环境的设置；

19、m503：利用规范化眼部模型和眼部特征点，计算出每只眼睛的旋转以及平移向量。

20、作为本实施例的优选，所述s600中通过神经网络模型进行计算得到的参数确定用户的凝视位置前还需校准，校准具体过程如下：

21、电子设备处理摄捕捉的面部图像，检测和定位眼睛，使用图像滤波、边缘检测和特征提取等技术来识别关键的眼部特征；

22、让用户在屏幕上集中注意特定点或按照特定模式移动眼睛，并记录他们的眼动，然后使用这些校准数据来创建一个个性化模型，将眼动映射到凝视位置。

23、作为本实施例的优选，所述眼部特征包括膜、瞳孔和眼角。

24、作为本实施例的优选，所述600中确定用户的凝视位置的流程包括：利用眼动追踪数据或参数使用数学模型来确定凝视方向，根据确定的眼动凝视方向映射到屏幕上。

25、作为本实施例的优选，一种通用型眼动追踪系统，包括电子设备，所述电子设备包括存储器和处理器，所述存储器与所述处理器耦合，所述存储器用于存储计算机程序，所述计算机程序被所述电子设备执行时，使得所述电子设备执行如下操作：

26、通过电子设备采集一个周期的面部数据；

27、基于采集的面部特征通过深度学习模型检测面部数据并确定面部特征点，使用深度估计模型获取面部深度信息；

28、基于面部特征点和深度信息数据解析出3d面部特征点；

29、将3d面部特征点和深度信息数据输入3d引擎，将相机位置、旋转数据、屏幕尺寸、位置和旋转数据输入到3d引擎中，完成数字孪生环境的设置；

30、利用标准化面部模型和采集的面部特征点计算头部的旋转以及平移向量，并通过使用规范化面部模型和从面部特征点提取的眼部特征点，确定眼睛的旋转以及相应的平移向量；

31、使用头部和眼睛的旋转和平移向量作为输入，通过神经网络模型进行计算得到的参数确定用户的凝视位置。

32、作为本实施例的优选，一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上所述的通用型眼动追踪方法。

33、(三)有益效果

34、本发明提供了一种通用型眼动追踪方法及系统，具备以下有益效果：

35、1、无需校准操作：与传统的眼动追踪系统需要耗时的校准过程不同，系统可以在任何设备上立即运行，无需为每个用户进行个别校准，简化了设置过程，节省时间，并可立即在各种环境中使用和部署。

36、2、减少对硬件的依赖：该系统减少了对特定眼动追踪硬件或传感器的依赖，通过利用计算机视觉技术、深度学习模型和3d几何计算的优势，系统可以利用设备上的现有相机或近眼摄像头进行眼动追踪和凝视估计，这消除了对专用硬件的需求，使技术更易获取、具有成本效益，并且可以轻松部署在各种设备上。

37、3、改善用户体验：系统提供准确且无需校准的眼动追踪和凝视估计，从多个方面改善了用户体验，它使用户能够使用凝视来直观、自然地与数字内容进行交互，使用户能够通过凝视控制应用程序或系统，这可以提高可访问性、效率和虚拟现实环境的沉浸感，此外，系统与各种设备的兼容性确保了不同平台上一致的用户体验。

技术特征：

1.一种通用型眼动追踪方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种通用型眼动追踪方法，其特征在于：所述s3的步骤包括：

3.根据权利要求1所述的一种通用型眼动追踪方法，其特征在于：所述s500中通过使用规范化面部模型和从面部特征点提取的眼部特征点，确定眼睛的旋转以及相应的平移向量的过程包括：

4.根据权利要求1所述的一种通用型眼动追踪方法，其特征在于：所述s600中通过神经网络模型进行计算得到的参数确定用户的凝视位置前还需校准，校准具体过程如下：

5.根据权利要求4所述的一种通用型眼动追踪方法，其特征在于：所述眼部特征包括膜、瞳孔和眼角。

6.根据权利要求5所述的一种通用型眼动追踪方法，其特征在于：所述600中确定用户的凝视位置的流程包括：利用眼动追踪数据或参数使用数学模型来确定凝视方向，根据确定的眼动凝视方向映射到屏幕上。

7.一种通用型眼动追踪系统，其特征在于：包括电子设备，所述电子设备包括存储器和处理器，所述存储器与所述处理器耦合，所述存储器用于存储计算机程序，所述计算机程序被所述电子设备执行时，使得所述电子设备执行如下操作：

8.一种计算机程序产品，其特征在于：当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至7中任一项所述的通用型眼动追踪方法。

技术总结
本发明属于数据分析处理技术领域，提供一种通用型眼动追踪方法，包括通过电子设备采集一个周期的面部数据，基于采集的面部特征通过深度学习模型检测面部数据并确定面部特征点，使用深度估计模型获取面部深度信息，基于面部特征点和深度信息数据解析出3D面部特征点，将3D面部特征点和深度信息数据输入3D引擎，将相机位置、旋转数据、屏幕尺寸、位置和旋转数据输入到3D引擎中，完成数字孪生环境的设置，利用标准化面部模型和采集的面部特征点计算头部的旋转以及平移向量，本发明系统可以在任何设备上立即运行，无需为每个用户进行个别校准，简化了设置过程，节省时间，并可立即在各种环境中使用和部署。

技术研发人员：蔡啸谷,底马可,阿金卡,崔煜,胡浩,萨米克沙,海娜
受保护的技术使用者：北京诺瞳奕目医疗科技有限公司
技术研发日：
技术公布日：2024/1/15