一种眼球追踪校准方法及相关设备与流程

文档序号:24941157发布日期:2021-05-04 11:33阅读:77来源:国知局
一种眼球追踪校准方法及相关设备与流程

本申请涉及电子技术领域,尤其涉及一种眼球追踪校准方法及相关设备。



背景技术:

眼球追踪是一种机器视觉技术,通过设备捕捉用户眼部图像,然后采用算法进行分析,最后得到用户注视位置的技术。用户在首次使用眼球追踪相关设备时,需要对用户注视点进行校正,以保证在使用过程中注视点定位的准确性。现有的眼球追踪设备采用的校准方法是在显示界面中预先设置几个定位点,让用户注视这几个定位点的同时采集眼睛图像进行校准。

然而,现有的眼球追踪校准方法在校准过程中,无法保证用户能够准确注视预先设置的定位点,导致一次校准耗时很长;同时,如果盲目判别准确注视通过,导致对后续使用过程眼球追踪精度产生不利影响。



技术实现要素:

本申请实施例提供一种眼球追踪校准方法及相关设备,通过于反馈机制来强化眼球追踪的校准,以及通过有互动性保证校准时用户准确注视,从而减少眼球追踪校准时间,提升眼球追踪准确度和精确度。

第一方面,本申请实施例提供一种眼球追踪校准方法,应用于电子设备,所述方法包括:

在启用初始校准过的眼球追踪服务的过程中,检测到用户点击多个预设图标中的其中一个,所述预设图标为在所述电子设备的显示界面上显示的用于用户眼球注视并同时点击的定位点;

获取所述用户当前点击的预设图标的坐标,以及获取所述用户当前的眼球追踪数据;

根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准。

第二方面,本申请实施例提供一种眼球追踪校准装置,其特征在于,应用于电子设备,所述装置包括:

检测单元,用于在启用初始校准过的眼球追踪服务的过程中,检测到用户点击多个预设图标中的其中一个,所述预设图标为在所述电子设备的显示界面上显示的用于用户眼球注视并同时点击的定位点;

获取单元,用于获取所述用户当前点击的预设图标的坐标,以及获取所述用户当前的眼球追踪数据;

校准单元,用于根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准。

第三方面,本申请实施例提供一种电子设备,该电子设备包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。

第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质用于存储计算机程序,其中,上述计算机程序被处理器执行,以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。

第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出,在本申请实施例中,首先在启用初始校准过的眼球追踪服务的过程中,检测到用户点击多个预设图标中的其中一个,所述预设图标为在所述电子设备的显示界面上显示的用于用户眼球注视并同时点击的定位点;然后获取所述用户当前点击的预设图标的坐标,以及获取所述用户当前的眼球追踪数据;再根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准。因此,通过于反馈机制来强化眼球追踪的校准,以及通过有互动性保证校准时用户准确注视,从而减少眼球追踪校准时间,提升眼球追踪准确度和精确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种电子设备硬件的结构示意图;

图2是本申请实施例提供的一种眼球追踪校准方法的软件架构图;

图3是本申请实施例提供的一种眼球追踪校准方法的流程示意图;

图4是本申请实施例提供的另一种眼球追踪校准方法的流程示意图;

图5是本申请实施例提供的一种电子设备的结构示意图;

图6是本申请实施例提供的一种眼球追踪校准装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

以下分别进行详细说明。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本说明书中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本说明书所描述的实施例可以与其它实施例相结合。

以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。

电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或通信连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(userequipment,ue),移动台(mobilestation,ms),终端设备(terminaldevice)等等。为方便描述,上面提到的设备统称为电子设备。

请参阅图1,图1是本申请实施例提供的一种电子设备硬件的结构示意图。该电子设备包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(randomaccessmemory,ram)、摄像头、传感器和红外灯(infraredlightsource,ir)等等。其中,存储器、信号处理器、显示屏、扬声器、麦克风、ram、摄像头、传感器、ir与处理器连接,收发器与信号处理器连接。

其中,显示屏可以是液晶显示器(liquidcrystaldisplay,lcd)、有机或无机发光二极管(organiclight-emittingdiode,oled)、有源矩阵有机发光二极体面板(activematrix/organiclightemittingdiode,amoled)等。

其中,该摄像头可以是普通摄像头、也可以是红外摄像,在此不作限定。该摄像头可以是前置摄像头或后置摄像头,在此不作限定。

其中,传感器包括以下至少一种:光感传感器、陀螺仪、红外接近传感器、指纹传感器、压力传感器等等。其中,光感传感器,也称为环境光传感器,用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中,光敏元件用于将采集的光信号转换为电信号,模数转换器用于将上述电信号转换为数字信号。可选的,光线传感器还可以包括信号放大器,信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。

其中,处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器内的软体程序和/或模块,以及调用存储在存储器内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。

其中,处理器可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器中。

其中,存储器用于存储软体程序和/或模块,处理器通过运行存储在存储器的软件程序和/或模块,从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的软体程序等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中,ir用于照射眼睛,在眼睛上产生亮斑(glint),摄像头用于拍摄眼睛,得到包括亮斑和瞳孔(pupil)的图像。

请参阅图2,图2是本申请实施例提供的一种眼球追踪校准方法的软件架构图。该软件架构图包括以下四层:

第一层为眼球追踪应用,包括电子书、浏览器、启动器、系统、解锁、移动支付、兴趣点跟踪等应用。其中,oeyetrackersdk是为应用提供的sdk接口,负责为普通应用提供获取注视点以及输入的api,形式为jar/aar包。

第二层为眼球追踪服务(oeyetrackerservice),包括眼球追踪授权(oeyetrackerauthentication)、眼球追踪策略(oeyetrackerstrategy)、眼球追踪核心算法(oeyetrackeralgo)、眼球追踪参数(oeyetrackerparams)和眼球校准(oeyecali)等。其中,第二层的眼球追踪服务(oeyetrackerservice)通过眼球追踪应用sdk(oeyetrackersdk)接口与第一层的应用连接起来;第二层还包括相机ndk界面(camerandkinterface)、相机服务(cameraservice),并且二者相互连接;同时,相机ndk界面(camerandkinterface)与眼球追踪服务(oeyetrackerservice)连接。

其中,眼球追踪核心算法(oeyetrackeralgo)包含两部分:一部分是标定算法,另一部分是估计注视点算法。

其中,眼球追踪策略(oeyetrackerstrategy)与算法后处理相关,如滤波、注视点跳动、注视点转监听、注视点输入等。

其中,眼球追踪授权(oeyetrackerauthentication)是鉴权换成输入动作,回调各模块,负责鉴权请求者是否被允许。

其中,眼球追踪参数(oeyetrackerparams)是参数配置模块,负责解析配置和热更新配置。

其中,眼球校准(oeyecali)根据第一次采集图像生成初始眼球校准参数后,后续在使用过程中通过回传的坐标信息强化校准参数。

第三层包括谷歌hal界面(googlehalinterface)、高通hal界面(qualcommhalinterface)、camx、chi-cdk等,googlehalinterface与第二层的cameraservice连接,qualcommhalinterface与googlehalinterface连接,camx分别与qualcommhalinterface和chi-cdk连接。

第四层包括rgb传感器(rgbsensor)、数字信号处理器(dsp)、红外传感器(irsensor)、激光(laser)和发光二极管(led)等,irsensor与第三层的camx连接。oeyetrackerservice与oeyetrackersdk之间的连接、cameraservice与camerandkinterface之间的连接以及googlehalinterface与cameraservice之间的连接均通过binder架构。

请参阅图3,图3是本申请实施例提供的一种眼球追踪校准方法的流程示意图。如图3所示,所述眼球追踪校准方法应用于电子设备,包括如图1所示的电子设备;其还可应用于如图2所示的软件架构。其中,所述眼球追踪校准方法包括:

s301、在启用初始校准过的眼球追踪服务的过程中,检测到用户点击多个预设图标中的其中一个,所述预设图标为在所述电子设备的显示界面上显示的用于用户眼球注视并同时点击的定位点。

其中,可以理解的是,所述多个预设图标可以是在所述电子设备的显示界面上随机分布,也可以是在所述电子设备的显示界面上规则分布,比如多个预设图标在显示界面上组成一个圆形或者方形。

其中,需要指出的是,所述多个预设图标可以是一直显示在所述电子设备的显示界面上的;也可以是在用户没有触碰到屏幕时,所述多个预设图标是隐藏的,当用户触碰到屏幕时,所述多个预设图标才显示在所述显示界面上。

s302、获取所述用户当前点击的预设图标的坐标,以及获取所述用户当前的眼球追踪数据。

其中,所述电子设备包括摄像头,所述获取所述用户当前的眼球追踪数据,包括:通过所述摄像头获取所述用户当前的第二眼睛图像;根据所述第二眼睛图像运行所述眼球追踪服务,得到所述用户当前的眼球追踪数据。

其中,所述眼球追踪数据包括眼球注视位置信息、瞳孔中心位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等等。

其中,可以理解的是,可以在所述电子设备的显示界面上建立平面直角坐标系,在所述显示界面上的每个点对应一个坐标(x,y)。假设预先设置的n个图标,它们的坐标位置分别是(x1,y1)、(x2,y2)、(x3,y3)......(xn,yn),当用户点击到n个预设图标中的一个(xk,yk)时,所述电子设备立刻获取点击出的图标坐标(xk,yk),并且同时获取用户当前的眼球追踪数据。

s303、根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准。

其中,所述用户当前的眼球追踪数据包括所述用户当前的眼球注视位置坐标,所述根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准,包括:分别以所述用户当前的眼球注视位置坐标和所述用户当前点击的预设图标的坐标为圆心,以一预设值为半径,构建两个圆;计算所述两个圆重合部分的面积;若所述两个圆重合部分的面积大于预设面积阈值,则根据所述用户当前的眼球注视位置坐标和所述用户当前点击的预设图标的坐标对当前的眼球追踪校准参数进行强化校准。

其中,所述根据所述用户当前的眼球注视位置坐标和所述用户当前点击的预设图标的坐标对当前的眼球追踪校准参数进行强化校准,包括:计算所述两个圆重合部分的面积占所述两个圆不重合部分面积之和的比例;若所述比例大于预设比例阈值,则计算所述两个圆上的两个交点之间的距离;根据所述两个交点之间的距离对所述当前的眼球追踪校准参数进行强化校准。

可以看出,在本申请实施例中眼球追踪校准方法中,首先在启用初始校准过的眼球追踪服务的过程中,检测到用户点击多个预设图标中的其中一个,所述预设图标为在所述电子设备的显示界面上显示的用于用户眼球注视并同时点击的定位点;然后获取所述用户当前点击的预设图标的坐标,以及获取所述用户当前的眼球追踪数据;再根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准。因此,通过于反馈机制来强化眼球追踪的校准,以及通过有互动性保证校准时用户准确注视,从而减少眼球追踪校准时间,提升眼球追踪准确度和精确度。

在一个可能的实例中,所述电子设备包括摄像头,所述眼球追踪服务的初始校准过程包括以下步骤:当接收到眼球追踪校准指令时,开启所述眼球追踪服务,并将m个预设图标显示在所述电子设备的显示界面上;当检测到用户点击所述m个预设图标时,获取所述m个预设图标的坐标;通过所述摄像头获取所述用户点击所述m个预设图标时的眼睛图像,得到m张第一眼睛图像,所述m个预设图标的坐标与所述m张第一眼睛图像一一对应;根据所述用户的点击结果从所述m个预设图标的坐标中选出n个有效预设图标的坐标;从所述m张第一眼睛图像中选出与所述n个有效预设图标的坐标对应的眼睛图像,得到n张有效第一眼睛图像;根据所述n张有效第一眼睛图像运行所述眼球追踪服务,得到n条有效眼球追踪数据;根据所述n个有效预设图标的坐标和所述n条有效眼球追踪数据确定初始眼球追踪校准参数;根据所述初始眼球追踪校准参数对所述眼球追踪服务进行初始校准。

可见,在本示例中,在眼球追踪初始校准过程中增加用户与电子设备的界面互动来提升眼球注视的准确性,在初始校准时要求用户点击预设图标,并且也要求用户点击预设图标时眼球须注视该预设图标,采集用户注视该预设图标的眼睛图像,从用户的眼睛图像中追踪到眼球注视位置,通过预设图标的位置坐标和眼球注视位置坐标来进行初始校准,从而有利于减少眼球追踪校准时间,提升眼球追踪准确度和精确度。

在一个可能的实例中,所述根据所述用户的点击结果从所述m个预设图标的坐标中选出n个有效预设图标的坐标,包括:获取所述用户实际点击位置的坐标,得到m个实际点击位置的坐标,所述m个实际点击位置的坐标与所述m个预设图标的坐标一一对应;根据所述m个预设图标的坐标和所述m个实际点击位置的坐标计算每个预设图标与其对应的实际点击位置的坐标距离;将坐标距离小于预设距离阈值对应的预设图标的坐标选出,作为所述n个有效预设图标的坐标。

可见,在本示例中,对眼球追踪初始校准的过程中采集到的用于校准的多个校准数据进行筛选,从中选出有效的校准数据用于初始校准,从而有利于提升校准的准确性,保证眼球追踪服务在后续应用中的准确度和精确度。

在一个可能的实例中,所述n条有效眼球追踪数据包括n个眼球注视位置坐标,所述根据所述n个有效预设图标的坐标和所述n条有效眼球追踪数据确定初始眼球追踪校准参数,包括:将坐标距离小于预设距离阈值对应的实际点击位置的坐标从所述m个实际点击位置的坐标选出,得到n个有效实际点击位置的坐标,所述n个眼球注视位置坐标、所述n个有效预设图标的坐标、所述n个有效实际点击位置的坐标一一对应;根据所述n个眼球注视位置坐标、所述n个有效预设图标的坐标、所述n个有效实际点击位置的坐标对应构建三角形,得到n个三角形;分别对所述n个三角形构建外接圆,得到n个外接圆;计算所述n个外接圆的半径,并计算所述n个外接圆的半径的均方差;根据所述n个外接圆的半径的均方差确定所述初始眼球追踪校准参数。

可见,在本示例中,根据用户点击的有效预设图标的坐标、有效实际点击位置的坐标和用户点击预设图标时的眼球注视位置坐标进行眼球追踪初始校准,从而保证预设图标、眼球注视位置和点击位置三者一致,提升初始校准的准确性。

请参阅图4,图4是本申请实施例提供的另一种眼球追踪校准方法的流程示意图。如图4所示,所述眼球追踪校准方法应用于电子设备,包括如图1所示的电子设备;其还可应用于如图2所示的软件架构。其中,所述电子设备包括眼球追踪应用、眼球追踪服务、相机、摄像头,所述眼球追踪校准方法包括:

s401、所述眼球追踪应用启动时,电子设备自动启动所述眼球追踪服务,所述眼球追踪应用向眼球追踪服务请求获取眼球注视位置信息。

s402、所述眼球追踪服务接收到所述获取眼球注视位置信息的请求,并向所述相机发送获取眼睛图像的请求。

s403、所述相机接收到来自眼球追踪服务的获取眼睛图像的请求之后,向所述摄像头发送采集眼睛图像的请求。

s404、所述摄像头根据采集眼睛图像的请求采集眼睛图像,并将采集到的眼睛图像数据向所述相机发送。

s405、所述相机接收到所述摄像头发送的眼睛图像数据后,将所述眼睛图像数据向所述眼球追踪服务发送。

s406、所述眼球追踪服务根据所述眼睛图像获取所述用户的眼球注视位置信息,并将所述眼球注视信息发送至所述眼球追踪应用。

在一个可能的实例中,所述眼球追踪服务包括眼球追踪核心算法模块和眼球追踪校准模块,若在眼球追踪服务启用过程中,电子设备检测到所述用户点击到多个预设图标中的其中一个,所述眼球追踪校准方法还包括:

s407、所述相机获取所述用户点击到多个预设图标中的其中一个时的第一眼睛图像;

s408、所述眼球追踪服务通过所述眼球追踪核心算法模块根据所述第一眼睛图像获取所述用户的第一眼球注视位置坐标,并将所述第一眼球注视位置坐标传输至所述眼球追踪校准模块。

s409、所述眼球追踪应用获取所述用户点击到的预设图标的第一坐标,将所述第一坐标传输所述眼球追踪校准模块。

s410、所述眼球追踪校准模块根据所述第一眼球注视位置坐标和所述第一坐标强化校准当前的眼球追踪校准参数。

其中,需要说明的是,本实施例的术语含义可参见其他实施例所做的解释,在此不再叙述。

可以看出,在本申请实施例提供的眼球追踪校准方法,眼球追踪服务启用过程中,当检测到所述用户点击到多个预设图标中的其中一个,将所述用户点击的预设图标的坐标以及所述用户点击所述预设图标时的眼球注视位置的坐标传输给眼球追踪校准模块,眼球追踪校准模块根据所述两个坐标对当前的眼球追踪校准参数进行更新。因此,通过眼球追踪服务使用过程中获取的信息对眼球追踪校准参数进行动态校准,有利于提升眼球追踪准确度和精确度。

与上述图3、图4所示的实施例一致的,请参阅图5,图5是本申请实施例提供的一种电子设备的结构示意图。如图5所示,所述电子设备500包括应用处理器510、存储器520、通信接口530以及一个或多个程序521,其中,所述一个或多个程序521被存储在上述存储器520中,且被配置由上述应用处理器510执行,所述一个或多个程序521包括用于执行上述方法实施例中任一步骤的指令。

在一个可能的实例中,所述程序521中的指令用于执行以下操作:在启用初始校准过的眼球追踪服务的过程中,检测到用户点击多个预设图标中的其中一个,所述预设图标为在所述电子设备的显示界面上显示的用于用户眼球注视并同时点击的定位点;获取所述用户当前点击的预设图标的坐标,以及获取所述用户当前的眼球追踪数据;根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准。

可以看出,在本申请实施例提供的电子设备,首先在启用初始校准过的眼球追踪服务的过程中,检测到用户点击多个预设图标中的其中一个,所述预设图标为在所述电子设备的显示界面上显示的用于用户眼球注视并同时点击的定位点;然后获取所述用户当前点击的预设图标的坐标,以及获取所述用户当前的眼球追踪数据;再根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准。因此,通过于反馈机制来强化眼球追踪的校准,以及通过有互动性保证校准时用户准确注视,从而减少眼球追踪校准时间,提升眼球追踪准确度和精确度。

在一个可能的示例中,所述用户当前的眼球追踪数据包括所述用户当前的眼球注视位置坐标,在根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准方面,所述程序521还包括用于执行以下操作的指令:分别以所述用户当前的眼球注视位置坐标和所述用户当前点击的预设图标的坐标为圆心,以一预设值为半径,构建两个圆;计算所述两个圆重合部分的面积;若所述两个圆重合部分的面积大于预设面积阈值,则根据所述用户当前的眼球注视位置坐标和所述用户当前点击的预设图标的坐标对当前的眼球追踪校准参数进行强化校准。

在一个可能的示例中,在根据所述用户当前的眼球注视位置坐标和所述用户当前点击的预设图标的坐标对当前的眼球追踪校准参数进行强化校准方面,所述程序521还包括用于执行以下操作的指令:计算所述两个圆重合部分的面积占所述两个圆不重合部分面积之和的比例;若所述比例大于预设比例阈值,则计算所述两个圆上的两个交点之间的距离;根据所述两个交点之间的距离对所述当前的眼球追踪校准参数进行强化校准。

在一个可能的示例中,所述电子设备包括摄像头,在眼球追踪服务的初始校准过程方面,所述程序521还包括用于执行以下操作的指令:当接收到眼球追踪校准指令时,开启所述眼球追踪服务,并将m个预设图标显示在所述电子设备的显示界面上;当检测到用户点击所述m个预设图标时,获取所述m个预设图标的坐标;通过所述摄像头获取所述用户点击所述m个预设图标时的眼睛图像,得到m张第一眼睛图像,所述m个预设图标的坐标与所述m张第一眼睛图像一一对应;根据所述用户的点击结果从所述m个预设图标的坐标中选出n个有效预设图标的坐标;从所述m张第一眼睛图像中选出与所述n个有效预设图标的坐标对应的眼睛图像,得到n张有效第一眼睛图像;根据所述n张有效第一眼睛图像运行所述眼球追踪服务,得到n条有效眼球追踪数据;根据所述n个有效预设图标的坐标和所述n条有效眼球追踪数据确定初始眼球追踪校准参数;根据所述初始眼球追踪校准参数对所述眼球追踪服务进行初始校准。

在一个可能的示例中,在根据所述用户的点击结果从所述m个预设图标的坐标中选出n个有效预设图标的坐标方面,所述程序521还包括用于执行以下操作的指令:获取所述用户实际点击位置的坐标,得到m个实际点击位置的坐标,所述m个实际点击位置的坐标与所述m个预设图标的坐标一一对应;根据所述m个预设图标的坐标和所述m个实际点击位置的坐标计算每个预设图标与其对应的实际点击位置的坐标距离;将坐标距离小于预设距离阈值对应的预设图标的坐标选出,作为所述n个有效预设图标的坐标。

在一个可能的示例中,所述n条有效眼球追踪数据包括n个眼球注视位置坐标,在根据所述n个有效预设图标的坐标和所述n条有效眼球追踪数据确定初始眼球追踪校准参数方面,所述程序521还包括用于执行以下操作的指令:将坐标距离小于预设距离阈值对应的实际点击位置的坐标从所述m个实际点击位置的坐标选出,得到n个有效实际点击位置的坐标,所述n个眼球注视位置坐标、所述n个有效预设图标的坐标、所述n个有效实际点击位置的坐标一一对应;根据所述n个眼球注视位置坐标、所述n个有效预设图标的坐标、所述n个有效实际点击位置的坐标对应构建三角形,得到n个三角形;分别对所述n个三角形构建外接圆,得到n个外接圆;计算所述n个外接圆的半径,并计算所述n个外接圆的半径的均方差;根据所述n个外接圆的半径的均方差确定所述初始眼球追踪校准参数。

在一个可能的示例中,所述电子设备包括摄像头,在获取所述用户当前的眼球追踪数据方面,所述程序521还包括用于执行以下操作的指令:通过所述摄像头获取所述用户当前的第二眼睛图像;根据所述第二眼睛图像运行所述眼球追踪服务,得到所述用户当前的眼球追踪数据。

其中,需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述各个步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

图6是本申请实施例提供的一种眼球追踪校准装置的功能单元组成框图。该眼球追踪校准装置600应用于支持眼球跟踪控制的电子设备,所述眼球追踪校准装置600包括:

检测单元601,用于在启用初始校准过的眼球追踪服务的过程中,检测到用户点击多个预设图标中的其中一个,所述预设图标为在所述电子设备的显示界面上显示的用于用户眼球注视并同时点击的定位点;

获取单元602,用于获取所述用户当前点击的预设图标的坐标,以及获取所述用户当前的眼球追踪数据;

校准单元603,用于根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准。

可以看出,在本申请实施例提供的眼球追踪校准装置,首先在启用初始校准过的眼球追踪服务的过程中,检测到用户点击多个预设图标中的其中一个,所述预设图标为在所述电子设备的显示界面上显示的用于用户眼球注视并同时点击的定位点;然后获取所述用户当前点击的预设图标的坐标,以及获取所述用户当前的眼球追踪数据;再根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准。因此,通过于反馈机制来强化眼球追踪的校准,以及通过有互动性保证校准时用户准确注视,从而减少眼球追踪校准时间,提升眼球追踪准确度和精确度。

在一个可能的示例中,所述用户当前的眼球追踪数据包括所述用户当前的眼球注视位置坐标,在根据所述用户当前点击的预设图标的坐标和所述用户当前的眼球追踪数据对当前的眼球追踪校准参数进行强化校准方面,校准单元603具体用于:分别以所述用户当前的眼球注视位置坐标和所述用户当前点击的预设图标的坐标为圆心,以一预设值为半径,构建两个圆;计算所述两个圆重合部分的面积;若所述两个圆重合部分的面积大于预设面积阈值,则根据所述用户当前的眼球注视位置坐标和所述用户当前点击的预设图标的坐标对当前的眼球追踪校准参数进行强化校准。

在一个可能的示例中,在根据所述用户当前的眼球注视位置坐标和所述用户当前点击的预设图标的坐标对当前的眼球追踪校准参数进行强化校准方面,校准单元603具体用于:计算所述两个圆重合部分的面积占所述两个圆不重合部分面积之和的比例;若所述比例大于预设比例阈值,则计算所述两个圆上的两个交点之间的距离;根据所述两个交点之间的距离对所述当前的眼球追踪校准参数进行强化校准。

在一个可能的示例中,所述电子设备包括摄像头,在眼球追踪服务的初始校准过程方面,校准单元603具体用于:当接收到眼球追踪校准指令时,开启所述眼球追踪服务,并将m个预设图标显示在所述电子设备的显示界面上;当检测到用户点击所述m个预设图标时,获取所述m个预设图标的坐标;通过所述摄像头获取所述用户点击所述m个预设图标时的眼睛图像,得到m张第一眼睛图像,所述m个预设图标的坐标与所述m张第一眼睛图像一一对应;根据所述用户的点击结果从所述m个预设图标的坐标中选出n个有效预设图标的坐标;从所述m张第一眼睛图像中选出与所述n个有效预设图标的坐标对应的眼睛图像,得到n张有效第一眼睛图像;根据所述n张有效第一眼睛图像运行所述眼球追踪服务,得到n条有效眼球追踪数据;根据所述n个有效预设图标的坐标和所述n条有效眼球追踪数据确定初始眼球追踪校准参数;根据所述初始眼球追踪校准参数对所述眼球追踪服务进行初始校准。

在一个可能的示例中,在根据所述用户的点击结果从所述m个预设图标的坐标中选出n个有效预设图标的坐标方面,校准单元603具体用于:获取所述用户实际点击位置的坐标,得到m个实际点击位置的坐标,所述m个实际点击位置的坐标与所述m个预设图标的坐标一一对应;根据所述m个预设图标的坐标和所述m个实际点击位置的坐标计算每个预设图标与其对应的实际点击位置的坐标距离;将坐标距离小于预设距离阈值对应的预设图标的坐标选出,作为所述n个有效预设图标的坐标。

在一个可能的示例中,所述n条有效眼球追踪数据包括n个眼球注视位置坐标,在根据所述n个有效预设图标的坐标和所述n条有效眼球追踪数据确定初始眼球追踪校准参数方面,校准单元603具体用于:将坐标距离小于预设距离阈值对应的实际点击位置的坐标从所述m个实际点击位置的坐标选出,得到n个有效实际点击位置的坐标,所述n个眼球注视位置坐标、所述n个有效预设图标的坐标、所述n个有效实际点击位置的坐标一一对应;根据所述n个眼球注视位置坐标、所述n个有效预设图标的坐标、所述n个有效实际点击位置的坐标对应构建三角形,得到n个三角形;分别对所述n个三角形构建外接圆,得到n个外接圆;计算所述n个外接圆的半径,并计算所述n个外接圆的半径的均方差;根据所述n个外接圆的半径的均方差确定所述初始眼球追踪校准参数。

在一个可能的示例中,所述电子设备包括摄像头,在获取所述用户当前的眼球追踪数据方面,获取单元602具体用于:通过所述摄像头获取所述用户当前的第二眼睛图像;根据所述第二眼睛图像运行所述眼球追踪服务,得到所述用户当前的眼球追踪数据。

可以理解的是,由于方法实施例与装置实施例为相同技术构思的不同呈现形式,因此,本申请中方法实施例部分的内容应同步适配于装置实施例部分,此处不再赘述。

本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:read-onlymemory,简称:rom)、随机存取器(英文:randomaccessmemory,简称:ram)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1