一种基于移动计算设备的眼动追踪方法与流程

文档序号:34913695发布日期:2023-07-27 22:42阅读:来源:国知局

技术特征:

1.一种基于移动计算设备的眼动追踪方法,所述移动计算设备具有摄像头和屏幕,其特征在于:所述眼动追踪方法包括如下步骤:

2.根据权利要求1所述的一种基于移动计算设备的眼动追踪方法,其特征在于:所述移动计算设备的移动计算平台采用android、鸿蒙和ios中的之一系统;在用户自然手持设备的情况下,实现低于1度视角的追踪准确度。

3.根据权利要求1所述的一种基于移动计算设备的眼动追踪方法,其特征在于:

4.根据权利要求3所述的一种基于移动计算设备的眼动追踪方法,其特征在于:在所述步骤s3中,所述应用编程接口为后台服务程序并包括:所述注视点预测模型,所述注视点预测模型的个体化校准和验证程序,以及所述注视点预测模型输出的调用函数。

5.根据权利要求4所述的一种基于移动计算设备的眼动追踪方法,其特征在于:所述注视点预测模型主要负责对输入的面部图像信息进行处理并输出模型预测的注视点位置;所述校准和验证模块的主要功能为用个体的眼球运动数据对注视点预测模型进行校准并对校准后的模型预测准确度进行验证;所述注视点模型输出的调用模块将所述注视点预测模型输出,以被其他应用实时读取和调用。

6.根据权利要求5所述的一种基于移动计算设备的眼动追踪方法,其特征在于:在步骤s4中,对注视点预测模型进行个体化校准,通过采集不多于30s面部数据提高模型预测的注视点的准确性,所述个体化校准基于所述步骤s2中注视点预测模型输出的中间层特征和所述移动计算设备采集的面部数据。

7.根据权利要求6所述的一种基于移动计算设备的眼动追踪方法,其特征在于:所述个体化校准包括三个模块:1)个体化数据采集;2)基于机器学习算法的模型校准;3)校准结果的验证。

8.根据权利要求7所述的一种基于移动计算设备的眼动追踪方法,其特征在于:个体化数据采集使用步骤s4中的移动计算设备端校准程序完成,该程序在屏幕上呈现目标,所述目标沿事先设定的轨迹运动,用户注视所述目标完成设定的用户任务,在所述目标运动的过程中记录用户的面部图像。

9.根据权利要求8所述的一种基于移动计算设备的眼动追踪方法,其特征在于:从记录的所述面部图像中选取部分作为注视点预测模型的输入,以提取模型的第一层fc(fully-connected layer)特征;使用机器学习算法建立fc特征与目标位置之间的对应关系,完成模型的个体化校准;校准完成以后,用户可以使用所述校准和验证模块对校准的效果进行验证,该模块会在屏上呈现按预设轨迹运动的目标刺激并采集用户面部图像,用户分别注视各个点,然后根据步骤s4中的个体化校准过程完成注视点预测模型的个体化校准,验证模块会调用经过个体校准的模型的输出来预测用户的注视位置,在屏幕上呈现目标并将其与经过个体化校准的注视点预测模型进行比较,为注视点预测模型的误差进行直观的量化,评定并以图示的方式向用户反馈屏幕各区域的注视点预测准确性。

10.根据权利要求3所述的一种基于移动计算设备的眼动追踪方法,其特征在于:在步骤s1中,在移动计算设备端的屏幕上提供移动标识点,获取眼睛随标识点移动时的面部图像数据以及移动标识点位置;在所述高精度眼动仪数据服务器端,采用网络通信协议(tcp/udp)广播个体的实时注视位置;在所述移动计算设备端将所述面部图像数据与眼动仪广播的实时眼动数据同时记录;建立大样本的所述专用面部图像数据集。

11.根据权利要求10所述的一种基于移动计算设备的眼动追踪方法,其特征在于:每一数据样本包括样本的人脸图像、样本人脸图像对应的注视点标注信息,以及采集面部图像所采用的移动计算设备信息;所述每一数据样本中的每张人脸图像都以相应的注视位置进行标注,标注信息由同时采集的眼动仪提供的注视点信息进行检验以确保标定注视点位置是可靠的。

12.根据权利要求3所述的一种基于移动计算设备的眼动追踪方法,其特征在于:在所述步骤s2中,所述注视点预测模型是基于混合注意力机制的卷积神经网络模型;所述基于混合注意力机制的卷积神经网络包括第一网络模块、第二网络模块、第三网络模块和第四网络模块;所述第一网络模块用于提取人脸特征,所述第二网络模块用于提取眼睛区域的特征,所述第三网络模块用于提取眼睛和人脸相对坐标的位置特征,所述第四网络模块用于融合以上三个网络模块特征回归出眼睛的注视点。

13.根据权利要求12所述的一种基于移动计算设备的眼动追踪方法,其特征在于:注视点预测模型的构建包括训练阶段和预测阶段,在所述训练阶段,同时基于混合注意力机制的卷积神经网络模型输入:使用预先设定人脸检测算法获取的人脸图像、使用预先设定人脸关键点算法检测出的左右眼睛图像、通过人脸关键点算法计算出的人脸眼睛坐标的相对坐标和尺度信息;其中需要向第二网络模块同时输入左右眼睛区域的图像,具体实现是第二网络模块进行权重共享复用,将其一个用于输入左眼图像,另一个输入右眼图像;最后网络输出眼睛的注视点位置信息,使用眼动仪获取的标签,使用常用l1或者l2损失函数进行监督训练;

14.根据权利要求3所述的一种基于移动计算设备的眼动追踪方法,其特征在于:在所述步骤s2中,所述注视点预测模型的训练包括基础模型训练和模型参数微调两个步骤,所述注视点预测模型的训练方法为下列方法之一:

15.根据权利要求3所述的一种基于移动计算设备的眼动追踪方法,其特征在于:在移动计算平台的部署包括如下三个模块:1)注视点预测模块;2)图像采集和预处理模块;3)模型输出的参照系转换模块;所述三个模块的工作流程如下:图像采集和预处理模块调用移动计算设备摄像头采集面部图像数据,然后对图像进行预处理,识别出人脸、眼睛等区域,并据此生成注视点模型可接受的特征输入,包括人脸图像、左眼图像、右眼图像以及人脸框和眼睛框的左上角和右下角坐标;注视点预测模块对这些数据输入进行处理,输出为模型预测的注视点位置。

16.根据权利要求15所述的一种基于移动计算设备的眼动追踪方法,其特征在于:模型输出的注视点位置的参照原点为移动计算设备的摄像头,单位为厘米。

17.根据权利要求16所述的一种基于移动计算设备的眼动追踪方法,其特征在于:为了便于设备间的一致性,接收到模型的输出以后,模型输出的参照系转换模块会把注视点位置坐标转换成以移动计算设备屏幕为参照系,以像素为单位的注视位置,所述注视点预测模型的注视点输出为x和y坐标,以便于移动计算设备端的其他软件调用注视点预测模型的输出。

18.根据权利要求3所述的一种基于移动计算设备的眼动追踪方法,其特征在于:在步骤s4中,提供通用的移动端注视点预测模型应用编程接口,允许第三方应用调用实时眼动数据进行应用开发。


技术总结
本发明公开一种基于移动计算设备的眼动追踪方法,所述移动计算设备具有摄像头和屏幕,包括S1:使用高精度眼动仪并采用与所述高精度眼动仪同步的面部数据采集方法,构建具有用可靠注视位置标定的专用面部图像数据集;S2:基于所述专用面部图像数据集和公共数据集,训练基于面部图像的注视点预测模型;S3:将所述注视点预测模型部署在移动计算设备上面,建立移动设备端的的注视点等眼球运动数据的应用编程接口;S4:基于所述应用编程接口,在所述移动计算设备上对所述注视点预测模型进行个体化校准,由校准后的模型输出可供其他应用调用的高准确度眼动数据。

技术研发人员:王治国,李永凯,张帅,朱干成
受保护的技术使用者:盛大认知(上海)科技发展有限公司
技术研发日:
技术公布日:2024/1/13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1