一种眼动反应信息检测方法、装置、移动终端及存储介质与流程

本发明涉及眼部信息获取技术领域，尤其涉及的是一种眼动反应信息检测方法、装置、移动终端及存储介质。

背景技术：

目前的瞳孔定位技术主要都是使用传统图像处理方法，譬如梯度向量法、局部hough变换检测圆心、椭圆拟合法等。这些传统图像处理方法，例如梯度向量法易受图像模糊的干扰，定位的鲁棒性较差；局部hough变换对时间和空间的消耗都非常大，无法满足实时性等，均存在图像质量要求高、定位精确度不高的问题。而一些基于学习的方法，通过对瞳孔特征建模，并大量学习带标记的眼部区域图像得到模型参数，之后利用得到的模型去做瞳孔定位，但这种方法需要花大量时间进行模型训练和学习，同时复杂度高，不能满足实时性的要求。可见，现有技术中利用的瞳孔定位技术来检测眼动反应时，实现较为复杂，且定位精度不高。

因此，现有技术还有待改进和发展。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种眼动反应信息检测方法、装置、移动终端及存储介质，旨在解决现有技术中利用的瞳孔定位技术来检测眼动反应时，实现较为复杂，且定位精度不高的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本发明实施例提供一种眼动反应信息检测方法，其中，所述方法包括：

分别获取相邻两帧的人脸正面图像，并分别确定出相邻两帧的所述人脸正面图像中的人脸区域；

标记所述人脸区域中的眼眶位置，并确定出所述人脸区域中的眼部区域图像；

分别将所述人脸区域中确定出的眼部区域图像输入至预设的神经网络模型中进行参数计算，分别得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息,所述眼部特征点坐标信息包括瞳孔中心点以及内眼角的坐标信息；

根据相邻两帧的所述人眼部区域图像所对应的眼部特征点坐标信息，确定眼动反应信息，所述眼动反应信息用于反映瞳孔在相邻两帧的眼部区域图像中的变化。

在一种实施方式中，所述眼动反应信息包括：眨眼频率、当前视线方向、眼动反应时间，所述眼动反应时间是通过结合测试任务来对被试者进行监测得到的。

在一种实施方式中，所述结合测试任务来对被试者进行监测包括：依据认知心理学方法的简单测试，在主动提供刺激的情况下，对被试者的眼动行为进行分析。

在一种实施方式中，所述分别确定出相邻两帧的所述人脸正面图像中的人脸区域分别确定出相邻两帧的所述人脸正面图像中的人脸区域，包括：

利用opencv库的haar级联人脸分类器分别对相邻两帧的所述人脸正面图像进行特征筛选，确定出相邻两帧的所述人脸正面图像中的人脸区域。

在一种实施方式中，所述标记所述人脸区域中的眼眶位置，并确定出所述人脸区域中的眼部区域图像，包括：

获取所述人脸区域中的眼眶位置，并标记所述眼眶位置上的多个特征点；

获取所述多个特征点所围成的区域，并根据所述多个特征点所围成的区域确定所述人脸区域中的眼部区域图像；

并标记所述眼眶位置上的多个特征点标的方式包括：利用dlib库的68特征点检测器检测人眼眼眶上多个特征点。

在一种实施方式中，所述神经网络模型是预先创建并存储的，创建方式包括：

获取眼部区域图像，并标记所述眼部区域图像中的眼眶位置以及对应的眼部特征点坐标信息，形成具有所述眼部区域图像与所述眼部特征点坐标信息的对应关系的图像样本；

对所述图像样本进行数据扩增，并将已经过数据扩增的所述图像样本按照预设的比例分成两个部分，其中一部分为训练集，另一部分为测试集；

将所述训练集输入至一网络模型中进行迭代训练，得到所述神经网络模型；所述眼部区域图像为单只眼睛的图像。

在一种实施方式中，所述数据扩增包括：对所述图像样本进行随机角度的旋转、颜色转换、gamma变换、几何变换以及镜像操作。

第二方面，本实施例还提供一种眼动反应信息检测装置，其中，所述装置包括：

图像获取模块，用于分别获取相邻两帧的人脸正面图像，并分别确定出相邻两帧的所述人脸正面图像中的人脸区域；

区域确定模块，用于标记所述人脸区域中的眼眶位置，并确定出所述人脸区域中的眼部区域图像；

坐标确定模块，用于分别将所述人脸区域中确定出的眼部区域图像输入至预设的神经网络模型中进行参数计算，得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息；

信息确定模块，用于根据相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息，确定眼动反应信息，所述眼动反应信息用于反映瞳孔在相邻两帧的眼部区域图像中的改变。

第三方面，本发明实施还提供一种移动终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的眼动反应信息检测方法。

第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的眼动反应信息检测方法。

本发明的有益效果：本发明通过分别获取相邻两帧的人脸正面图像，并从人脸区域中的眼眶位置并确定出眼部区域图像，然后输入至预设的神经网络模型中进行参数计算，得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息；根据相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息，确定眼动反应信息，根据所述眼动反应信息即可确定出瞳孔在相邻两帧的眼部区域图像中的变化，从而实现对眼部的精确定位，实现对眼部运动状态的精确检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的眼动反应信息检测方法的流程示意图。

图2是本发明实施例提供的眼动反应信息检测方法中眼眶位置上的特征点示意图。

图3是本发明实施例提供的眼动反应信息检测方法中的神经网络模型示意图。

图4是利用本发明实施例提供的眼动反应信息检测方法进行眼动反应检测结果示意图。

图5是本发明实施例提供的眼动反应信息检测装置的原理框图。

图6是本发明实施例提供的移动终端的内部结构原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

为了解决现有技术中利用的瞳孔定位技术来检测眼动反应时，实现较为复杂，且定位精度不高的问题，本发明通过分别获取相邻两帧的人脸正面图像，并从人脸区域中的眼眶位置并确定出眼部区域图像，然后输入至预设的神经网络模型中进行参数计算，得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息；根据相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息，确定眼动反应信息，根据所述眼动反应信息即可确定出瞳孔在相邻两帧的眼部区域图像中的变化，从而实现对眼部的精确定位，实现对眼部运动状态的精确检测。

示例性方法

如图1中所示，本发明实施例提供一种眼动反应信息检测方法，所述眼动反应信息检测方法可以应用于移动终端。在本发明实施例中，所述方法包括如下步骤：

步骤s100、分别获取相邻两帧的人脸正面图像，并分别确定出相邻两帧的所述人脸正面图像中的人脸区域；

步骤s200、标记所述人脸区域中的眼眶位置，并确定出所述人脸区域中的眼部区域图像；

步骤s300、分别将所述人脸区域中确定出的眼部区域图像输入至预设的神经网络模型中进行参数计算，分别得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息，所述眼部特征点坐标信息包括瞳孔中心点以及内眼角的坐标信息；

步骤s400、根据相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息，确定眼动反应信息，所述眼动反应信息用于反映瞳孔在相邻两帧的眼部区域图像中的变化。

具体实施时，本实施例首先利用摄像头采集到人脸正面图像，在采集到的人脸正面图像中获取相邻的两帧图像，然后分别确定出相邻两帧的所述人脸正面图像中的人脸区域。在确定人脸区域时，本实施例可以利用opencv库的haar级联人脸分类器分别对相邻两帧的所述人脸正面图像进行特征筛选，分别确定出相邻两帧的所述人脸正面图像中的人脸区域。具体地，opencv是计算机视觉领域常用的开源工具包，其通过模式匹配技术实现了haar级联人脸分类器。具体地，利用一个子窗口在图像中不断的移位滑动，子窗口每到一个位置并计算出该区域的特征后(即对人脸正面图像中的人脸区域进行框选)，使用级联分类器对该特征进行筛选(即实现对人脸区域的筛选)，一旦该特征通过了所有强分类器的筛选，则判定该区域为人脸区域。过程中将图像等比例缩小以加快运算速度。本实施例中，opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉库，可以运行在linux、windows、android和macos操作系统上。它轻量级而且高效--由一系列c函数和少量c++类构成，同时提供了python、ruby、matlab等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

进一步地，当检测出相邻两帧的人脸区域后，获取所述人脸区域中的眼眶位置，具体地，利用dlib库的68特征点检测器标记所述眼眶位置上的多个特征点；然后获取所述多个特征点的坐标，并根据所述多个特征点所围成的区域分割出所述人脸区域中的眼部区域图像。此外，本实施例在人脸区域中确定眼眶位置，确定眼眶位置的方式还可以通过图像对比的方式来实现。例如设置一标准图像，该标准图像中存在眼眶，通过将标准图像与人脸区域进行比对后就可以确定出人脸区域中的眼眶位置，然后进一步获取眼部区域图像。

具体如图2中所示，本实施例在利用dlib库的68特征点检测器标记的眼眶位置处设置多个特征点，以6个特征点为例，录下6个点的坐标用于参数计算(见图2，记为pi，i＝1,2,...,6)。这一过程可通过dlib库的68特征点检测器通过一种基于回归树的人脸对齐算法来实现。这种方法通过建立一个级联的残差回归树来使人脸形状从初始预测形状一步一步靠近真实形状。每一个残差回归树的每一个叶子节点上都存储着一个残差回归量，当输入落到一个节点上时，就将其加上残差，起到回归的目的，最终将所有残差叠加在一起，就完成了人脸对齐的目的。

进一步地，本实施例将所述人脸区域中确定出的眼部区域图像输入至预设的神经网络模型中进行参数计算，得到相邻两帧的所述人脸正面图像所对应的眼部特征点坐标信息。在一种实施方式中，本实施例中的所述神经网络模型是预先创建并存储的，创建方式包括：首先通过摄像头获取眼部区域图像，并通过标记特征点的方式标记所述眼部区域图像中的眼眶位置以及对应的眼部特征点坐标信息，比如瞳孔中心点以及内眼角的坐标信息，形成具有所述眼部区域图像与眼部特征点坐标信息(比如瞳孔中心点以及内眼角的坐标信息)的对应关系的图像样本。优选地，所述图像样本存储为csv文件。然后对所述图像样本进行数据扩增，并将已经过数据扩增的所述图像样本按照预设的比例分成两个部分，其中一部分为训练集，另一部分为测试集；再将所述训练集输入至一网络模型中进行迭代训练，得到所述神经网络模型，如图3中所示,图3中给出了所述神经网络模型中各个层之间的关系。

优选地，本实施例中的数据扩增包括：对所述图像样本进行随机角度的旋转、颜色转换、gamma变换、几何变换以及镜像操作。并且，本实施例在对图像样本进行数据扩增时，增加的数据样本中需要存在与原来的图像样本中用于标记眼眶位置的特征点一一对应的特征点，以保证扩增后的图像样本的完整性，提高模型训练的精度。

具体地，本实施例中的神经网络可以为多种形式，以基于u-net的深度神经网络为例，具体的网络结构如表1所示：

表1

表1中，第一列表示深度神经网络每一层的类型，输入通道数量表示对应的神经网络层的输入的特征图的通道数，输出通道数量表示对应的神经网络层的输出的特征图的通道数，核大小表示所使用卷积核的长、宽，步长为卷积核在所输入的特征图中每次滑动的步长，填充表示对图像边缘进行填充的方式，0为不填充，1为填充1层像素边缘。神经网络模型包括28个卷积层、27个归一化层、27个激活层、5个池化层、5个上采样层以及1个全连接层。每经过一个池化层，特征图的尺寸缩小为原来的一半，得到一个新的尺度。通过5个池化层逐步减少特征图的空间维度。每经过一个上采样层，特征图的尺寸放大为原来的2倍。通过5个上采样层逐步修复特征图的细节和空间维度。将经上采样层处理后的特征图与经池化层处理后得到的对应尺度的特征图进行拼接融合，实现了神经网络对图像特征的多尺度特征识别。过程中，不断使用卷积层提取特征，并通过激活层加入非线性因素。最后，全连接层的神经元分别与上一层的所有神经元相连，整合所提取的特征，将特征图映射成特征向量。

使用训练集对所建立的神经网络模型进行训练。损失函数为l1损失(平均绝对误差，mae)，即计算预测结果xi和真实坐标yi之间误差的绝对值大小。若误差大于期望值，则将误差传回网络，从后往前计算每层网络的误差，更新权值，当训练的loss值不再减少即收敛时，使用测试集测试神经网络模型检测眼部特征点坐标信息(比如瞳孔中心点以及内眼角的坐标信息)的准确度。其损失函数为：

当将所述人脸区域中确定出的眼部区域图像输入至本实施例中已经建立好的神经网络模型后，该神经网络模型就会分别对相邻两帧的所述眼部区域图像进行参数计算，得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息。然后根据相邻两帧的所述人脸正面图像所对应的眼部特征点坐标信息，确定眼动反应信息，所述眼动反应信息用于反映瞳孔在相邻两帧的眼部区域图像中的变化，如图4中所体现的图像可以看出瞳孔的运动变化。

优选地，本实施例中的所述眼动反应信息包括：眨眼频率、当前视线方向、眼动反应时间。当根据相邻两帧的所述人脸正面图像所对应的眼部特征点坐标信息，就可以得到上述眼动反应信息。其中，眨眼频率＝眨眼次数/时间，若检测到一次闭眼后在较短时间内恢复为睁眼状态，记为一次眨眼。由图2中的用于标记眼眶位置的6个特征点根据以下计算眼宽比(eyeaspectratio,ear，如下式)，若ear小于0.2则判断为闭眼，否则为睁眼。

对于当前视线方向，需通过视线看向屏幕正中时的瞳孔中心点和眼部区域图像的特征点的位置对当前瞳孔中心点的坐标进行校正后，即可判断得到。若横坐标大于0，视线偏左，否则偏右；若纵坐标大于0，视线偏下，否则偏上。由此可确定被试者当前大致的视线方向。反应时间是为简单测试任务提供的参数，以跟随左右随机出现的小球这一任务为例，若当前视线方向与小球出现方向一致，记录该时刻为t，则反应时间＝t-小球出现的时刻t0。通过结合简单测试任务对被试者施加刺激，监测被试者对刺激作出反应的时间、速度等，根据提供的参数评估被试者的认知状态。本实施例可在移动终端设备上实现，依据一些认知心理学方法的简单测试，在主动提供刺激的情况下，对被试者的眼动行为进行分析。

可见，本实施例通过分别获取相邻两帧的人脸正面图像，并从人脸区域中的眼眶位置并确定出眼部区域图像，然后输入至预设的神经网络模型中进行参数计算，分别得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息；根据相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息，确定眼动反应信息，根据所述眼动反应信息即可确定出瞳孔在相邻两帧的眼部区域图像中的变化，从而实现对眼部的精确定位，实现对眼部运动状态的精确检测。

示例性设备

如图5中所示，本发明实施例提供一种眼动反应信息检测装置，该装置包括：图像获取模块510、区域确定模块520、坐标确定模块530以及信息确定模块540。具体地，所述图像获取模块510，用于分别获取相邻两帧的人脸正面图像，并分别确定出相邻两帧的所述人脸正面图像中的人脸区域。所述区域确定模块520，用于标记所述人脸区域中的眼眶位置，并确定出所述人脸区域中的眼部区域图像，所述坐标确定模块530，用于分别将所述人脸区域中确定出的眼部区域图像输入至预设的神经网络模型中进行参数计算，得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息。所述信息确定模块540，用于根据相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息，确定眼动反应信息，所述眼动反应信息用于反映瞳孔在相邻两帧的眼部区域图像中的改变。

基于上述实施例，本发明还提供了一种移动终端，其原理框图可以如图6所示。该移动终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该移动终端的处理器用于提供计算和控制能力。该移动终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该移动终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种眼动反应信息检测方法。该移动终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该移动终端的温度传感器是预先在移动终端内部设置，用于检测内部设备的运行温度。

本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的移动终端的限定，具体的移动终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种移动终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取相邻两帧的人脸正面图像，并分别确定出相邻两帧的所述人脸正面图像中的人脸区域；

分别获取相邻两帧的人脸正面图像，并分别确定出相邻两帧的所述人脸正面图像中的人脸区域；

标记所述人脸区域中的眼眶位置，并确定出所述人脸区域中的眼部区域图像；

分别将所述人脸区域中确定出的眼部区域图像眼部区域图像输入至预设的神经网络模型中进行参数计算，分别得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息，所述眼部特征点坐标信息包括瞳孔中心点以及内眼角的坐标信息；

根据相邻两帧的所述人眼部区域图像所对应的眼部特征点坐标信息，确定眼动反应信息，所述眼动反应信息用于反映瞳孔在相邻两帧的眼部区域图像中的变化。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

综上所述，本发明公开了一种眼动反应信息检测方法、装置、移动终端及存储介质，所述方法包括：分别获取相邻两帧的人脸正面图像，并分别确定出相邻两帧的所述人脸正面图像中的人脸区域；标记所述人脸区域中的眼眶位置，并确定出所述人脸区域中的眼部区域图像；分别将所述人脸区域中确定出的眼部区域图像输入至预设的神经网络模型中进行参数计算，分别得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息；根据相邻两帧的所述人眼部区域图像所对应的眼部特征点坐标信息，确定眼动反应信息，所述眼动反应信息用于反映瞳孔在相邻两帧的眼部区域图像中的变化。本发明可以实现对眼动反应进行检测，准确获取到了眼动反应信息，提高检测精度。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。