眼疲劳状态检测方法及装置与流程

本发明涉及计算机技术领域，尤其是涉及一种眼疲劳状态检测方法及装置。

背景技术：

目前，随着信息技术和互联网技术的发展，电脑已普及到千家万户，给人们在生活和工作中带来了很多便利。但是，部分自控能力较差的用户(又称电脑族)，会因受电脑上信息的吸引，久坐在电脑前不肯离去；或者，很多电脑工作者需要长期在电脑前伏案工作；再或者，使用电脑进行学习的儿童，长时间学习损伤眼睛。

电脑族久坐电脑前，看东西较近，一方面，迫使眼睫状肌处于收缩紧张状态，从而使晶体变凸以适应视近物，眼睛长期处于紧张状态而得不到休息就会导致近视。另一方面，视觉的过度疲劳会引起房水运行受阻，进而成为青光眼、干眼症、白内障等眼病的根源。

如果能够在处于电脑前疲劳状态时，对电脑族进行必要提醒，使其离开电脑，则能够避免对眼睛健康造成不利。

但是，目前主要是通过闭眼时间长短来判断是不是使用者眼疲劳，但是该种方式误判率较高，用户体验差。

技术实现要素：

本发明的目的在于提供一种眼疲劳状态检测方法及装置，以缓解了现有技术中存在的误判率高的技术问题。

第一方面，本发明实施例提供一种眼疲劳状态检测方法，应用于用户设备，方法包括：

获取用户设备屏幕前的目标对象的图像；

基于目标对象的图像，识别目标对象的眨眼指标的数据以及微表情的数据；

基于目标对象的眨眼指标的数据以及微表情的数据，确定目标对象的眼疲劳程度；

当目标对象的眼疲劳程度超过阈值时，执行降疲劳操作。

在可选的实施方式中，基于目标对象的图像，识别目标对象的眨眼指标的数据的步骤，包括：

基于目标对象的图像，确定眼部的水平标定点和垂直标定点；

基于水平标定点和垂直标定点的确定眼睛纵横比；

基于眼睛纵横比确定目标对象的眨眼指标的数据。

在可选的实施方式中，眨眼指标的数据包括眨眼频率和眨眼次数。

在可选的实施方式中，基于目标对象的图像,识别目标对象的微表情的数据的步骤，包括：

基于目标对象的图像，确定目标对象的人脸特征标定点；

确定目标对象的人脸特征标定点确定多个表情特征，并判断每个表情特征是否超过对应的预先确定的疲劳表情阈值；

确定超过对应的预先确定的疲劳表情阈值的表情特征所对应的表情为目标对象的微表情的数据。

在可选的实施方式中，眨眼指标包括至少一个，微表情包括至少一个，每一个微表情和每个眨眼指标分别对应一个权重；

基于目标对象的眨眼指标的数据以及微表情的数据,确定目标对象的眼疲劳程度的步骤，包括：

基于目标对象的眨眼指标的数据、微表情的数据以及每一个微表情和每个眨眼指标对应的权重，确定目标对象的得分，得分用于表征眼疲劳程度。

第二方面，本发明实施例提供一种眼疲劳状态检测装置，应用于用户设备，装置包括：

获取模块，用于获取用户设备屏幕前的目标对象的图像；

识别模块，用于基于目标对象的图像，识别目标对象的眨眼指标的数据以及微表情的数据；

确定模块，用于基于目标对象的眨眼指标的数据以及微表情的数据，确定目标对象的眼疲劳程度；

执行模块，用于当目标对象的眼疲劳程度超过阈值时，执行降疲劳操作。

在可选的实施方式中，识别模块具体用于：

基于目标对象的图像，确定眼部的水平标定点和垂直标定点；基于水平标定点和垂直标定点的确定眼睛纵横比；基于眼睛纵横比确定目标对象的眨眼指标的数据；

以及，基于目标对象的图像，确定目标对象的人脸特征标定点；确定目标对象的人脸特征标定点确定多个表情特征，并判断每个表情特征是否超过对应的预先确定的疲劳表情阈值；确定超过对应的预先确定的疲劳表情阈值的表情特征所对应的表情为目标对象的微表情的数据。

在可选的实施方式中，眨眼指标包括至少一个，微表情包括至少一个，每一个微表情和每个眨眼指标分别对应一个权重；确定模块具体用于：

基于目标对象的眨眼指标的数据、微表情的数据以及每一个微表情和每个眨眼指标对应的权重，确定目标对象的得分，得分用于表征眼疲劳程度。

第三方面，本发明实施例提供一种用户设备，包括体温计、存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述前述实施方式任一项的方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行前述实施方式任一项的方法。

本发明提供的一种眼疲劳状态检测方法及装置，通过获取用户设备屏幕前的目标对象的图像；基于目标对象的图像，识别目标对象的眨眼指标的数据以及微表情的数据；基于目标对象的眨眼指标的数据以及微表情的数据，确定目标对象的眼疲劳程度；当目标对象的眼疲劳程度超过阈值时，执行降疲劳操作。可以结合眨眼数据和微表情综合判断眼疲劳程度，使得对于眼疲劳程度的判断准确度更高，提升了用户体验。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种眼疲劳状态检测方法流程示意图；

图2为本申请实施例提供的一种眼疲劳状态检测方法的一个示例；

图3为本申请实施例提供的一种眼疲劳状态检测方法的另一个示例；

图4为本申请实施例提供的一种眼疲劳状态检测方法中标定点的一个示例；

图5为本申请实施例提供的一种眼疲劳状态检测装置结构示意图；

图6为本申请实施例提供的一种用户设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种眼疲劳状态检测方法流程示意图。如图1所示，该方法可以应用于用户设备，例如学习机等电脑，该方法具体可以包括如下步骤：

s110，获取用户设备屏幕前的目标对象的图像。

对于眼疲劳主要是由于用户长时间观看屏幕造成的，屏幕前的目标对象可以理解为正在使用用户设备观看屏幕的目标对象，该目标对象可以为儿童、学生或者网民。例如，该用户设备可以为学习机，此时该目标对象可以为使用学习机进行学习的学生。

该用户设备可以包括前置摄像头，该摄像头可以包括一个或多个；通过该前置摄像头可以获取到目标对象的图像。

其中，该目标对象的图像包括目标对象的人脸图像，在确定目标对象的图像后，可以进行人脸区域识别，切分出人脸区域。基于该人脸区域可以进行眼部动作以及面部动作的识别。

在本发明实施例中，对于人脸区域的切分，可以包多种实现方式，例如，可以确定该人脸图像的灰度图，然后基于灰度图中的各个像素点的灰度值，进行人脸区域的识别，再例如，该人脸区域的识别还可以通过神经网络实现。

s120，基于目标对象的图像，识别目标对象的眨眼指标的数据以及微表情的数据。

其中，该眨眼指标的数据可以包括眨眼频率和眨眼次数。该微表情的数据可以为皱眉、噘嘴等能够体现抗拒的表情的数据。

对于眨眼指标的数据以及微表情的数据的识别可以对应有多种实现方式，具体在后文会详细论述，此处不再赘述。

s130，基于目标对象的眨眼指标的数据以及微表情的数据，确定目标对象的眼疲劳程度。

例如，该眨眼指标可以包括至少一个，该微表情可以包括至少一个，每一个微表情和每个眨眼指标分别对应一个权重；基于此，该步骤具体可以通过如下步骤实现：基于目标对象的眨眼指标的数据、微表情的数据以及每一个微表情和每个眨眼指标对应的权重，确定目标对象的得分，该得分用于表征眼疲劳程度。

举例来说，眨眼指标可以包括眨眼频率和眨眼次数，微表情可以包括皱眉和噘嘴；对于眨眼频率，可以包括一个目标值，如果眨眼频率在该目标值以上，可以为100分，如果眨眼频率在该目标值以下，对应具体频率的大小得分为小于100分，频率越小得分越高；对于对于眨眼次数，也可以包括一个目标值，如果眨眼次数在该目标值以上，可以为100分，如果眨眼次数在该目标值以下，对应具体次数的大小得分为小于100分，次数越小得分越高；对于微表情，当出现该微表情时，可以记为100分，当未出现该微表情时，可以记为0分，将各个微表情的得分分别乘以各自权重、以及各个眨眼指标的得分分别乘以各自权重后进行累加，得到综合得分，根据该综合得分可以确定该目标对象的眼疲劳程度，其中，得分越高越疲劳。

另外，对于微表情和眨眼指标对应的所有权重可以进行归一化处理。

s140，当目标对象的眼疲劳程度超过阈值时，执行降疲劳操作。

该阈值可以包括多种实现方式，具体可以根据实际需要确定。例如，该降疲劳操作可以包括多种，每一个均对应一个阈值，该降疲劳操作效果越显著，对应的阈值可以越高。

其中，该降疲劳操作可以包括降低屏幕亮暗度、语音文字提醒、或者直接退出当前学习的内容等方式。

通过本发明实施例，可以结合眨眼数据和微表情综合判断眼疲劳程度，使得对于眼疲劳程度的判断准确度更高，提升了用户体验。

在一些实施例中，对于上述步骤s120中眨眼指标的数据以及微表情的数据的识别可以有多种实现方式。下面结合具体示例进行详细介绍。

作为一个示例，眼睛的长宽比在眼睛张开的时候大致是恒定的，但是在发生眨眼时会迅速下降到零，依靠眼睛地标距离的比例来可以确定一个人是否眨眼，基于此，上述步骤s120中基于目标对象的图像，识别目标对象的眨眼指标的数据的步骤，如图2所示，具体可以通过如下步骤实现：

s210，基于目标对象的图像，确定眼部的水平标定点和垂直标定点；

该眼部可以包括6个(x，y)坐标对应的标定点，从眼睛的左角开始，然后围绕该区域的其余部分顺时针显示：这些坐标的宽度和高度之间有一个关系。其中，位于眼睛的左角和眼睛的右角的为水平标定点，位于眼睛上边缘和眼睛下边缘的4个坐标为两组垂直标定点。

s220，基于水平标定点和垂直标定点的确定眼睛纵横比；

例如，可以基于公式(一)可以确定眼睛纵横比(ear)：

其中p1至p6为目标对象的图像中眼部的标定坐标。

该公式(一)的分子是计算垂直标定点之间的距离，而分母是计算水平标定点之间的距离，因为只有一组水平标定点，但是有两组垂直标定点，所以分母进行加权。

s230，基于眼睛纵横比确定目标对象的眨眼指标的数据。

基于该眼睛纵横比可以确定当前图像中眼睛的状态，基于周期内多帧连续的图像中眼睛的状态，可以确定眨眼的次数以及眨眼的频率等等指标数据。

作为另一个示例，如图3所示，对于表情的识别也可以通过标定点来实现，基于此，上述步骤s120中基于目标对象的图像,识别目标对象的微表情的数据的步骤，包括：

s310，基于目标对象的图像，确定目标对象的人脸特征标定点；

其中，如图4所示，人脸可以对应有68个标定点，该68个标定点分别用于标定脸的轮廓、嘴型、眼部轮廓、眉型以及鼻型。

s320，确定目标对象的人脸特征标定点确定多个表情特征，并判断每个表情特征是否超过对应的预先确定的疲劳表情阈值。

基于该68个标定点，可以确定出脸的轮廓、嘴型、眼部轮廓、眉型以及鼻型，进而确定出该目标对象的微表情，例如，基于嘴型可以确定出是否噘嘴，基于眉形可以确定是否皱眉，以及基于嘴型和脸的轮廓可以确定是否打哈欠等等。

可以预先确定各个疲劳表情的阈值，然后基于该阈值确定是否出现相应的疲劳表情，其中该疲劳表情可以指能体现眼疲劳的微表情。例如，对于打哈欠表情，可以设置嘴张开的阈值，当嘴张开超过该阈值时，确定为打哈欠。该嘴张开的大小可以根据嘴部各个标定点围城的面积确定。

s330，确定超过对应的预先确定的疲劳表情阈值的表情特征所对应的表情为目标对象的微表情的数据。

在本发明实施例中，可以统计出现的微表情，以便用于确定目标对象是否存在用眼疲劳。

在一些实施例中，对于上述的标定点的识别，可以通过预先训练的标记模型进行识别，例如，可以使用“face_landmark_detection.py”模型。利用opencv进行图像化处理，在人脸上画出68个点，并标明序号，实现68个特征点标定。

其中，对于标记模型可以使用早晨时刻的图像作为训练样本进行训练，早晨一般为眼睛状态最好的时刻。

另外，还可以针对不同的使用者，根据其自身的特点配置不同的基准值。

例如，可以对使用者早上的面部进行监测，确定此事使用者的眨眼指标的数据和微表情的数据，该状态下的眨眼指标的数据和微表情的数据可以作为基准值。在其他时刻，对目标对象进行监测后，得到的眨眼指标的数据以及微表情的数据可以与基准值进行比较，如果超过一定的阈值范围，则确定目标对象用眼疲劳，以此，可以根据每个对象的状态不同个性化定制模型，更加精准的检测出对象的用眼疲劳程度，提高产品的用户体验。

图5为本发明实施例提供的一种眼疲劳状态检测装置结构示意图。应用于用户设备，如图5所示，该装置包括：

获取模块501，用于获取用户设备屏幕前的目标对象的图像；

识别模块502，用于基于目标对象的图像，识别目标对象的眨眼指标的数据以及微表情的数据；

确定模块503，用于基于目标对象的眨眼指标的数据以及微表情的数据，确定目标对象的眼疲劳程度；

执行模块504，用于当目标对象的眼疲劳程度超过阈值时，执行降疲劳操作。

在一些实施例中，识别模块502具体用于：

基于目标对象的图像，确定眼部的水平标定点和垂直标定点；基于水平标定点和垂直标定点的确定眼睛纵横比；基于眼睛纵横比确定目标对象的眨眼指标的数据；

以及，基于目标对象的图像，确定目标对象的人脸特征标定点；确定目标对象的人脸特征标定点确定多个表情特征，并判断每个表情特征是否超过对应的预先确定的疲劳表情阈值；确定超过对应的预先确定的疲劳表情阈值的表情特征所对应的表情为目标对象的微表情的数据。

在一些实施例中，眨眼指标包括至少一个，微表情包括至少一个，每一个微表情和每个眨眼指标分别对应一个权重；确定模块503具体用于：

基于目标对象的眨眼指标的数据、微表情的数据以及每一个微表情和每个眨眼指标对应的权重，确定目标对象的得分，得分用于表征眼疲劳程度。

本申请实施例提供的眼疲劳状态检测装置，与上述实施例提供的眼疲劳状态检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

如图6所示，本申请实施例提供的一种用户设备700，包括：处理器701、存储器702、摄像头703和总线，存储器702存储有处理器701可执行的机器可读指令，当用户设备700运行时，处理器701与存储器702之间通过总线通信，处理器701执行机器可读指令，以执行如上述眼疲劳状态检测方法的步骤。

具体地，上述存储器702和处理器701能够为通用的存储器和处理器，这里不做具体限定，当处理器701运行存储器702存储的计算机程序时，能够执行上述眼疲劳状态检测方法。

对应于上述眼疲劳状态检测方法，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行上述眼疲劳状态检测方法的步骤。

本申请实施例所提供的眼疲劳状态检测装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台用户设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例移动控制方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。