一种采用六点法分块模糊加权的人眼视线追踪定位方法与流程

本发明涉及视线跟踪领域，具体涉及一种采用模糊加权的视线追踪定位的方法。

背景技术：

眼睛是人重要的信息获取通道，大约有80％～90％的信息来自于视觉。眼睛可以反映出人体生理和心理的变化，对于眼动的研究被认为是视觉信息加工研究中最有效的手段。

视线追踪是利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术。

通过对视觉的跟踪，可以获得人在观察外景和相关信息时的扫视选择和注视过程，从而可以研究人的视觉感知和信息加工模式，最终可以获得人的认知模式。而且在执行不同任务的情景下，对于不同位置、大小、颜色等目标的眼动敏感度、延迟、反映速度等具体特性有深入细致的了解，而且能够反映人的疲劳、任务负荷程度等相关指标。

目前视线追踪方法中人眼视线方向标定应用较多的是九点法与最小二乘相结合的方法，该方法计算量较大，而且采用最小二乘时，容易出现矩阵接近奇异，而使得解算结果不令人满意的情况。

技术实现要素：

本发明的目的在于提供一种采用六点法分块模糊加权的人眼视线追踪定位方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的解算计算量大与结果全局适应性不好的问题。

为解决上述问题，本发明提供一种采用采用六点法分块模糊加权的人眼视线追踪定位方法，包括以下步骤：

步骤s10，屏幕区域分割；

步骤s20，图像预处理与瞳孔角膜向量提取；

步骤s30，单个区域的六点瞳孔角膜向量解算；

步骤s40，视线追踪位置的初步标定与第一个区域标定因子向量求解；

步骤s50，全部区域的标定因子向量求解；

步骤s60，求取瞳孔角膜误差向量；

步骤s70，建立模糊系统，求解模糊相关度；

步骤s80，模糊加权标定；

步骤s90，实时定位解算与视线追踪。

特别的，所述步骤s10具体实施方法如下：将屏幕区域分割为n部分，每部分记作si，其中i＝1,2,l,n，并在每个区域si选取6个点，记作aij，其中j＝1,2,3,4,5,6，每个点的坐标分别记为(aijx,aijy)，其中aijx为屏幕水平方向坐标、aijy为屏幕垂直方向的坐标。

特别的，所述步骤s20具体实施方法如下：首先让受试者眼睛注视屏幕区域si的aij点，采用眼动跟踪摄像系统，拍摄人眼局部的高清图像，记作b1；然后对高清人眼局部图像b1进行滤波预处理，去处图像中的噪声，得到滤波后的图像，记作b2；最后通过亮斑检测与瞳孔检测方法，提取瞳孔角膜向量，记为(xei,yei)。特别的，所述步骤s30具体实施方法如下：让受试者眼睛依次注视屏幕区域si的六个点；重复步骤s20，得到六个点的瞳孔角膜向量。

特别的，所述步骤s40具体实施方法如下：根据上述屏幕上六点的位置坐标与瞳孔-角膜向量坐标，进行如下方程解算，得到初步的标定公式，具体解算过程如下：

首先根据六点瞳孔角膜向量，构造非线性齐次瞳孔角膜矩阵c，其定义如下：

上述c阵的特点在于除了第一列为1外，后两列均为形式，且p>0,q>0,p+q＝1，p、q取值较大时，会使得整个解算结果不均匀，数据相关性不好；

其次，根据屏幕上六点的位置坐标，构造屏幕坐标向量dx与dy，其中dx与dy的构成如下：

dx＝[a11xa12xa13xa14xa15xa16x]^t，

dy＝[a11ya12ya13ya14ya15ya16y]^t；

最后，求解非线性齐次瞳孔角膜矩阵c的逆矩阵c^-1，解算出标定因子向量eix、eiy，求解方法如下式所示：

eix＝c^-1dx、eiy＝c^-1dx。

特别的，所述步骤s50具体实施方法如下：依次选取屏幕区域s2、s3直至sn，重复上述步骤s10至s40，得到标定因子向量eix、eiy(i＝1,2,l,n)。

特别的，所述步骤s60具体实施方法如下：针对某一区域si的六个基准点得到的瞳孔角膜向量(xe1,ye1)、(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)与(xe6,ye6)，求取平均值，记作其计算方法为：

采用同样算法得到区域s2至sn的六个基准点得到的瞳孔角膜向量的平均值

针对实时瞳孔角膜向量(xe,ye)，与上述平均值求差，其中i＝1,2,3,l,n，得到瞳孔角膜误差向量(exi,eyi)，瞳孔角膜误差向量半径为其中

特别的，所述步骤s70具体实施方法如下：首先定义输入变量ri的模糊概念，主要分为以下五个模糊概念，即：

ri＝{hbmso}

上述中h表示输入变量ri很大、b表示输入变量ri较大、m表示输入变量ri为中等、s表示输入变量ri较小、o表示输入变量ri接近0；

求取区域si的面积，记作sai，在设计中选取：

当时，认为ri很大；

当时，认为ri较大；

当时，认为ri中等；

当时，认为ri较小；

当时，认为ri接近0；

其次定义输出关联度di(ri)的模糊概念，同样分为以下五个模糊概念，即

di(ri)＝{h'b'm's'o'},i＝1,2,3,l,n

即h'表示输出关联度di(ri)很大、b'表示输出关联度di(ri)较大、m'表示输出关联度di(ri)为中等、s'表示输出关联度di(ri)较小、o'表示输出关联度di(ri)接近0；

在设计中选取：

当0.8<|di(ri)|<1时，认为为模糊系统输出di(ri)很大；

当0.6<|di(ri)|<0.8时，认为为模糊系统输出di(ri)较大；

当0.4<|di(ri)|<0.6时，认为为模糊系统输出di(ri)中等；

当0.2<|di(ri)|<0.4时，认为为模糊系统输出di(ri)较小；

当0<|di(ri)|<0.2时，认为为模糊系统输出di(ri)几乎为0；

最后定义模糊规则如下：

当输入变量ri很大时，认为输出关联度di(ri)几乎为0；

当输入变量ri一般大时，认为输出关联度di(ri)较小；

当输入变量ri为中等，认为输出关联度di(ri)中等；

当输入变量ri较小时，认为输出关联度di(ri)较大；

当输入变量ri几乎为0时，认为输出关联度di(ri)很大。

特别的，所述步骤s80具体实施方法如下：根据双数模糊系统所得到的关联系数di(ri)，求解各区域的权系数ci，其解算过程为：

整体标定向量为：

最终给出通过瞳孔角膜向量(xe,ye)计算得到屏幕上视线注视点坐标(ax,ay)的公式如下：

其中ex(i)与ey(i)分别是上述标定向量ex与ey的第i(i＝1,2,3,4,5,6)个分量。

特别的，所述步骤s90具体实施方法如下：通过眼动跟踪摄像系统，实时拍摄人眼局部的高清图像，经过步骤s20滤波与处理，得到瞳孔角膜向量(xes,yes)，并采用上述公式实时计数得到屏幕区域点的实时视线跟踪坐标(axs,ays)，从而实现视线跟踪的全过程，(axs,ays)计算公式如下：

本发明提供一种采用采用六点法分块模糊加权的人眼视线追踪定位方法来进行视线标定，不仅使得单区域的解算简单，而且多区域的模糊加权又使得整体解算结果具有更好的鲁棒性与全区域适应性；克服了由于现有相关技术的限制和缺陷而导致的解算计算量大与结果全局适应性不好的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种采用六点法分块模糊加权的人眼视线追踪定位方法流程图；

图2是本发明实施例所提供方法的屏幕区域分割图；

图3是本发明实施例所提供方法的区域1的六点分布图；

图4是本发明实施例所提供方法的人眼局部图像；

图5是本发明实施例所提供方法的人眼局部图像滤波后图像；

图6是本发明实施例所提供方法的瞳孔角膜向量坐标提取；

图7是本发明实施例所提供方法的瞳孔角膜误差向量大小的模糊度量图；

图8是本发明实施例所提供方法的的模糊度量图；

图9是本发明实施例所提供方法的注视点的解算与定位显示。

具体实施方式

现在将参考附图基础上更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。

本发明提供了一种通过六点法确定视线跟踪的标定向量信息，并与非线性奇次函数一起组合给出了视线注视点在屏幕上坐标的计算方法，并采用多区域分割与模糊加权的方式来综合整定标定向量信息。该方法一方面是较传统的九点法更为直接，解算更为方便，另一方面是多区域综合整定的方法使得最终结果具有更好的全局适应性，从而具有很高的工程应用价值。

下面，将结合附图对本发明的六点法分块模糊加权标定的人眼视线追踪方法，进行进一步的解释以及说明。请参阅图1，该六点法分块模糊加权标定的人眼视线追踪方法，包括以下步骤：

步骤s10，首先对屏幕s进行区域分割，具体通过以下方法实施：将屏幕区域分割为n部分，每部分记作si(i＝1,2,l,n)，并在每个区域si选取6个点，记作aij(j＝1,2,3,4,5,6)，每个点的坐标分别记为(aijx,aijy)，其中aijx为屏幕水平方向坐标、aijy为屏幕垂直方向的坐标。

步骤s20，图像预处理与瞳孔角膜向量提取，具体通过以下方法实施：首先让受试者眼睛注视屏幕区域s1的a11点，采用眼动跟踪摄像系统，拍摄人眼局部的高清图像，记作b1。然后对高清人眼局部图像b1进行滤波预处理，去处图像中的噪声，得到滤波后的图像，记作b2。最后通过亮斑检测与瞳孔检测方法，提取瞳孔角膜向量，记为(xe1,ye1)；

步骤s30，图像预处理与瞳孔角膜向量提取，具体通过以下方法实施：让受试者眼睛依次注视屏幕区域s1的a12、a13、a14、a15与a16点；重复步骤s20，得到瞳孔角膜向量(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)与(xe6,ye6)。

步骤s40，视线追踪位置的初步标定，具体通过以下方法实施：

根据上述屏幕上六点的位置坐标(a1jx,a1jy)(j＝1,2,3,4,5，6)与瞳孔-角膜向量坐标(xei,yei)(i＝1，2,3,4,5，6)，进行如下简单的方程解算，得到初步的标定公式。

即首先根据六点瞳孔角膜向量，构造非线性齐次瞳孔角膜矩阵c，其定义如下：

上述c阵的特点在于除了第一列为1外，其它五列均为形式，且p>0,q>0,p+q＝1。而p、q取值较大时，会使得整个解算结果不均匀，数据相关性不好。

其次，根据屏幕上六点的位置坐标，构造屏幕坐标向量dx与dy，其中dx与dy的构成如下：

dx＝[a11xa12xa13xa14xa15xa16x]^t，

dy＝[a11ya12ya13ya14ya15ya16y]^t

最后，求解非线性齐次瞳孔角膜矩阵c的逆矩阵c^-1，解算出标定因子向量eix、eiy，求解方法如下式所示：

eix＝c^-1dx、eiy＝c^-1dx。

步骤s50，全部区域的标定因子向量求解，具体通过以下方法实施：依次选取屏幕区域s2、s3直至sn，重复上述步骤s10至s40，得到标定因子向量eix、eiy(i＝1,2,l,n)。

步骤s60，求取瞳孔角膜误差向量，具体通过以下方法实施：针对第一个区域s1的六个基准点得到的瞳孔角膜向量(xe1,ye1)、(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)与(xe6,ye6)，求取平均值，记作其计算方法为

采用同样算法得到区域s2至sn的六个基准点得到的瞳孔角膜向量的平均值

针对实时瞳孔角膜向量(xe,ye)，与上述平均值求差，得到瞳孔角膜误差向量(exi,eyi)。定义瞳孔角膜误差向量半径为其中

步骤s70，建立模糊系统，求解区域si的模糊相关度，具体通过以下方法实施：首先定义输入变量ri的模糊概念，主要分为以下五个模糊概念，即

ri＝{hbmso}

即h表示输入变量ri很大、b表示输入变量ri较大、m表示输入变量ri为中等、s表示输入变量ri较小、o表示输入变量ri接近0。

求取区域si的面积，记作sai，在设计中选取：

当时，认为ri很大；

当时，认为ri较大；

当时，认为ri中等；

当时，认为ri较小；

当时，认为ri接近0；

其次定义输出关联度di(ri)的模糊概念，同样分为以下五个模糊概念，即

di(ri)＝{h'b'm's'o'},i＝1,2,3,l,n

即h'表示输出关联度di(ri)很大、b'表示输出关联度di(ri)较大、m'表示输出关联度di(ri)为中等、s'表示输出关联度di(ri)较小、o'表示输出关联度di(ri)接近0；

在设计中选取：

当0.8<|di(ri)|<1时，认为为模糊系统输出di(ri)很大；

当0.6<|di(ri)|<0.8时，认为为模糊系统输出di(ri)较大；

当0.4<|di(ri)|<0.6时，认为为模糊系统输出di(ri)中等；

当0.2<|di(ri)|<0.4时，认为为模糊系统输出di(ri)较小；

当0<|di(ri)|<0.2时，认为为模糊系统输出di(ri)几乎为0；

最后定义模糊规则如下：

当输入变量ri很大时，认为输出关联度di(ri)几乎为0；

当输入变量ri一般大时，认为输出关联度di(ri)较小；

当输入变量ri为中等，认为输出关联度di(ri)中等；

当输入变量ri较小时，认为输出关联度di(ri)较大；

当输入变量ri几乎为0时，认为输出关联度di(ri)很大。

特别的，所述步骤s80具体实施方法如下：根据双数模糊系统所得到的关联系数di(ri)，求解各区域的权系数ci，其解算过程为：

整体标定向量为：

最终给出通过瞳孔角膜向量(xe,ye)计算得到屏幕上视线注视点坐标(ax,ay)的公式如下：

其中ex(i)与ey(i)分别是上述标定向量ex与ey的第i(i＝1,2,3,4,5,6)个分量。

步骤s90，实时定位解算与实现追踪，具体通过以下方法实施：通过眼动跟踪摄像系统，实时拍摄人眼局部的高清图像，经过步骤s20滤波与处理，得到瞳孔角膜向量(xes,yes)，并采用上述公式实时计数得到屏幕区域点的实时视线跟踪坐标(axs,ays)，从而实现视线跟踪的全过程，(axs,ays)计算公式如下：

最终，通过采用眼动跟踪拍摄设备与上述步骤以及公式，实现视线注视屏幕区域点坐标的实时跟踪计算。

以下通过实施例对本发明进行进一步的解释以及说明。

实施例

一种六点法分块模糊加权标定的人眼视线追踪方法，包括以下步骤：

步骤s10，首先对屏幕s进行区域分割，如图2所示，对屏幕区域进行分割，分割为6小块，记作s1、s2、s3、s4、s5、s6。

步骤s20，首先让受试者眼睛注视屏幕区域s1的a11点，如图3所示，采用眼动跟踪摄像系统，拍摄人眼并截取局部的高清图像，记作b1，如图4所示；

然后对高清人眼局部图像b1进行滤波预处理，去处图像中的噪声，得到滤波后的图像，记作b2，如图5所示；

最后通过亮斑检测与瞳孔检测方法，提取瞳孔角膜向量，记为(xe1,ye1)，如图6中‘+’所示；

步骤s30，让受试者眼睛依次注视屏幕区域s1的a12、a13、a14与a15点；重复步骤s20，得到瞳孔角膜向量(xe2,ye2)、(xe3,ye3)、(xe4,ye4)与(xe5,ye5)。

步骤s40，视线追踪位置的初步标定

步骤s50，依次选取屏幕区域s2、s3直至s6，重复上述步骤s10至s40，得到标定因子向量eix、eiy(i＝1,2,l,6)。

步骤s60中求取角膜向量(xe,ye)以及误差向量、瞳孔角膜误差向量半径

步骤s70，建立模糊系统，求解区域si的模糊相关度：

首先定义输入变量ri的模糊隶属度图形，如图7所示，输出关联度di(ri)的模糊隶属度图形，如图8所示；

步骤s80，模糊加权标定；

步骤s90，通过眼动跟踪摄像系统，实时拍摄一个人眼局部的高清图像，经过步骤s20滤波与处理，得到一个瞳孔角膜向量(xes,yes)，并采用上述公式实时计数得到屏幕区域点的实时视线跟踪坐标(axs,ays)，如图9星形位置所示，与参加实验的受试者注视点基本吻合。至此，完成了定位标定设计，实现了视线追踪。

值得说明的是，上述步骤s20中，有关图像滤波预处理与瞳孔角膜向量提取的方法，有很多专利与文献专门对这两项技术展开了研究，因此不是本发明的关注点与核心技术，在此不作过多的说明。

本发明提供的方法主要通过对屏幕区域进行分割与人眼局部图像的滤波预产期提取瞳孔角膜向量，再对单个区域的六个基准点依次提取瞳孔角膜向量，通过六点坐标构造非线性齐次瞳孔角膜矩阵，进行视线追踪位置的初步标定，得到单个区域的标定因子向量。然后对全部区域进行初步标定，得到每个区域的标定因子向量。再根据实时的瞳孔角膜向量，求取相对各区域的瞳孔角膜误差向量，并建立模糊系统，根据误差向量越大，相关度越小的原则，得到实时的瞳孔角膜向量相对各区域的相关因子，最后根据相关因子进行模糊加权标定，最终实现实时定位解算与视线追踪。该发明采用了六点式解算方法，简化了传统的九点式或更多点的数据处理方法，同时非线性齐次瞳孔角膜矩阵的构造，也使得在解算过程中也避免了数据奇异问题，增加了解算精度。同时采用了多区域分割与模糊加权的方法，能够使得加权算法对整个屏幕区域具有更好的全局适应性，也使得整个算法具有良好的精度，因此本发明在人眼视线数据处理与跟踪领域具有很高的实用价值与经济价值。

本领域技术人员在考虑说明书及实践这类的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未指明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。