对象被关注的识别方法、装置、设备及存储介质与流程

本申请涉及人工智能技术领域，尤其涉及一种对象被关注的识别方法、装置、设备及存储介质。

背景技术：

随着社会信息化的不断深化，人们在生活中随处可以看到投放各种信息(广告、通知等)的信息投放装置，例如电子广告屏，这些信息投放装置会统计行人对投放信息的关注度。对行人关注度的计算方法很多，目前大多是以人脸识别技为主。通过在广告屏一侧设置拍摄装置，比如摄像头，利用摄像头采集的图像进行人脸检测，将获得人脸角度信息与阈值比较进行判断，确定行人对广告屏的关注状态，根据行人的关注状态对投放信息是否有效进行标定。

但将人脸角度信息与设置的阈值的比较结果作为是否关注的判断依据，会对行人关注度产生误判或漏检的情况，造成行人关注度统计不准确的问题，进而影响对投放信息是否有效的标定。

技术实现要素：

本申请提供了一种对象被关注的识别方法、装置、设备及存储介质，用以解决行人关注度统计过程中存在的误判或漏检的问题，提高对象被关注的识别准确性。

第一方面，本申请实施例提供了一种对象被关注的识别方法，包括：

获取从对象的方向拍摄得到的包含人脸的待识别图像；

检测所述待识别图像中人脸偏航角和人脸俯仰角，以及检测所述待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角；

根据所述左眼偏航角、所述人脸偏航角、所述左眼俯仰角和所述人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果；

根据所述右眼偏航角、所述人脸偏航角、所述右眼俯仰角和所述人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果；

根据所述第一判断结果和所述第二判断结果，获得所述对象是否被关注的检测结果。

可选的，所述根据所述第一判断结果和所述第二判断结果，获得所述对象是否被关注的检测结果，包括：

若所述第一判断结果为所述左眼为有效关注，所述第二判断结果为所述右眼为有效关注，根据左眼置信度确定左眼投票分数，根据右眼置信度确定右眼投票分数，根据所述左眼投票分数和所述右眼投票分数，获得所述对象是否被关注的检测结果；

若所述第一判断结果为所述左眼为有效关注，所述第二判断结果为所述右眼不是有效关注，根据所述左眼置信度确定左眼投票分数，根据所述左眼投票分数，获得所述对象是否被关注的检测结果；

若所述第一判断结果为所述左眼不是有效关注，所述第二判断结果为所述右眼为有效关注，根据所述右眼置信度确定右眼投票分数，根据所述右眼投票分数，获得所述对象是否被关注的检测结果；

若所述第一判断结果为所述左眼不是有效关注，所述第二判断结果为所述右眼不是有效关注，获得所述对象没有被关注的检测结果。

可选的，所述根据所述左眼投票分数和所述右眼投票分数，获得所述对象是否被关注的检测结果，包括：

判断是否满足所述左眼投票分数大于第一预设分数，且所述右眼投票分数大于所述第一预设分数，若是，获得所述对象被关注的检测结果，否则，获得所述对象没有被关注的检测结果；

所述根据所述左眼投票分数，获得所述对象是否被关注的检测结果，包括：

判断是否满足所述左眼投票分数大于第二预设分数，若是，获得所述对象被关注的检测结果，否则，获得所述对象没有被关注的检测结果；

所述根据所述右眼投票分数，获得所述对象是否被关注的检测结果，包括：

判断是否满足所述右眼投票分数大于所述第二预设分数，若是，获得所述对象被关注的检测结果，否则，获得所述对象没有被关注的检测结果；

其中，所述第二预设分数不小于所述第一预设分数。

可选的，所述检测所述待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，包括：

检测所述待识别图像中的眼部图像；

对所述眼部图像进行视线检测，确定左眼虹膜中心坐标、左眼眼球中心坐标、右眼虹膜中心坐标、右眼眼球中心坐标和眼球半径；

根据所述左眼虹膜中心坐标、所述左眼眼球中心坐标和所述眼球半径，计算得到所述左眼偏航角和所述左眼俯仰角；

根据所述右眼虹膜中心坐标、所述右眼眼球中心坐标和所述眼球半径，计算得到所述右眼偏航角和所述右眼俯仰角。

可选的，所述根据所述左眼偏航角、所述人脸偏航角、所述左眼俯仰角和所述人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果，包括：

计算所述左眼偏航角与所述人脸偏航角的和，得到第一和值，计算所述左眼俯仰角与所述人脸俯仰角的和，得到第二和值；

判断是否同时满足所述第一和值小于预设左眼偏航角上限阈值且大于预设左眼偏航角下限阈值，所述第二和值小于预设左眼俯仰角上限阈值且大于预设左眼俯仰角下限阈值，若是，获得所述第一判断结果为所述左眼为有效关注，否则，获得所述第一判断结果为所述左眼为无效关注。

可选的，所述根据所述右眼偏航角、所述人脸偏航角、所述右眼俯仰角和所述人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果，包括：

计算所述右眼偏航角与所述人脸偏航角之和，得到第三和值，计算所述右眼俯仰角与所述人脸俯仰角之和，得到第四和值；

判断是否同时满足所述第三和值小于预设右眼偏航角上限阈值且大于预设右眼偏航角下限阈值，所述第四和值小于预设右眼俯仰角上限阈值且大于预设右眼俯仰角下限阈值，若是，获得所述第二判断结果为所述右眼为有效关注，否则，获得所述第二判断结果为所述右眼为无效关注。

可选的，所述对所述眼部图像进行视线检测，确定所述眼球半径，包括：

根据所述眼部图像进行视线检测，获得原始眼球半径；

根据所述人脸偏航角、拍摄参数、预设眼球半径和预设瞳距，计算得到预估眼球半径；

根据所述预估眼球半径，对所述原始眼球半径进行修正，确定所述眼球半径。

可选的，所述根据所述人脸偏航角、拍摄参数、预设眼球半径和预设瞳距，计算得到预估眼球半径包括：

判断所述人脸偏航角的绝对值是否小于预设小角度阈值；

若是，获取所述眼部图像的瞳距成像距离所占像素数，根据所述人脸偏航角、所述预设眼球半径、所述预设瞳距和所述瞳距成像距离所占像素数，计算得到眼球半径成像距离所占像素数，将所述眼球半径成像距离所占像素数作为所述预估眼球半径；

若不是，根据所述人脸偏航角、所述预设眼球半径、所述预设瞳距和所述拍摄参数，利用光学成像原理和成像相似原理，计算得到所述预估眼球半径。

可选的，所述在检测所述待识别图像中人脸偏航角和人脸俯仰角后，在检测所述待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角之前包括：

根据所述人脸偏航角和人脸俯仰角判断是否检测所述待识别图像中的人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角。

第二方面，本申请实施例提供了一种对象被关注的识别装置，包括：

第一获取模块，用于获取从对象的方向拍摄得到的包含人脸的待识别图像；

检测模块，用于检测所述待识别图像中人脸偏航角和人脸俯仰角，以及所述待检测图中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角；

第一判断模块，用于根据所述左眼偏航角、所述人脸偏航角、所述左眼俯仰角和所述人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果；

第二判断模块，用于根据所述右眼偏航角、所述人脸偏航角、所述右眼俯仰角和所述人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果；

第二获取模块，用于根据所述第一判断结果和所述第二判断结果，获得所述对象是否被关注的检测结果。

第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器中所存储的程序，实现如上述第一方面所述的对象被关注的识别方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的对象被关注的识别方法。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，通过检测待识别图像中人脸偏航角和人脸俯仰角，以及检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，综合人脸偏航角、人脸俯仰角、左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，分别判断左眼和右眼是否为有效关注，基于判断左眼和右眼是否为有效关注的结果，确定对象是否被关注，实现了结合眼部的特征判断对象是否被关注的目的，解决了仅通过人脸角度判断行人关注度过程中存在的误判或漏检的问题，从而能够更准确的确定对象是否真正被关注，有效的提高了对象被关注的识别准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请第一实施例提供的一种对象被关注的识别方法的流程示意图；

图2为本申请第三实施例提供的检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角的流程示意图；

图3为本申请第四实施例提供的确定眼球半径的流程示意图；

图4为本申请第四实施例提供的计算得到预估眼球半径的流程示意图；

图5为本申请第六实施例中提供的一种对象被关注识别的具体实施方法的流程示意图；

图6为本申请第七实施例中对象被关注的识别装置的结构示意图；

图7为本申请第八实施例中电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中提供了一种对象被关注的识别方法，用以识别对象是否被关注，该方法可以直接以软件模块的形式集成在电子设备中，该电子设备可以直接是该对象本身，也可以是与该对象建立通信连接的其他电子设备，该电子设备可以是任意一种形式的终端或者服务器。

本申请第一实施例中，参照图1所示，识别对象是否被关注的具体过程主要包括：

s101、获取从对象的方向拍摄得到的包含人脸的待识别图像。

其中，待识别图像可以是与对象处于同一位置的摄像头从任意一个方向拍摄获得。或者，待识别图像可以是与对象不在同一位置的摄像头，朝向该摄像头与该对象连线的延长线方向拍摄获得。

在本实施例中，假设对象为设置有摄像头的投放装置，即摄像头和投放装置为一体设计，通过摄像头从投放装置的方向对行人拍摄，投放装置的方向指从投放装置的正面引出的任意一个方向。

s102、检测待识别图像中人脸偏航角和人脸俯仰角，以及检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角。

在本实施例中，人脸偏航角指人脸中心相对于地面垂直方向左右偏转的角度，其中，人脸烦人偏转方向用正负数表示，向左偏转用负数表示，向右偏转用正数表示。人脸俯仰角指人脸中心相对于地面水平方向所成的夹角，人脸相对于地面水平方向向上为仰角，用正数表示，人脸相对于地面水平方向向下为俯角，用负数表示。其中人脸中心可以根据人脸检测算法确定，人脸中心位置可以用人脸下巴中心表示，也可以用鼻尖中心表示。

左眼偏航角指左眼虹膜中心视线所在的水平平面内，左眼眼球水平中心相对于左眼虹膜中心垂直线左右偏转的角度，其中左眼眼球中心向左偏转用负数表示，左眼眼球中心向右偏转用正数表示。

左眼俯仰角指左眼虹膜中心视线所在的垂直平面内，左眼眼球中心相对于左眼虹膜中心水平线所成的角。其中，左眼眼球中心在左眼虹膜中心水平线上方时所成的角为左眼仰角，用正数表示，左眼眼球中心在左眼虹膜中心水平线下方时所成的角为左眼俯角，用负数表示。

同样，右眼偏航角与左眼偏航角在本实施例中表示的含义、右眼俯仰角与左眼俯仰角在本实施例中表示的含义类似，右眼偏航角指右眼虹膜中心视线所在的水平平面内，右眼眼球水平中心相对于右眼虹膜中心垂直线左右偏转的角，其中右眼眼球中心向左偏转用负数表示，右眼眼球中心向右偏转用正数表示。

右眼俯仰角指右眼虹膜中心视线所在的垂直平面内，右眼眼球中心相对于右眼虹膜中心水平线所成的角。其中，右眼眼球中心在右眼虹膜中心水平线上方时所成的角为右眼仰角，用正数表示，右眼眼球中心在右眼虹膜中心水平线下方时所成的角为右眼俯角，用负数表示。

对待识别图像进行人脸检测时，对待识别图像的人脸、左眼和右眼等关键特征进行标注，标注点可以为多个，根据人脸的各个特征标注点确定人脸中心，根据地面垂直方向和地面水平方向确定人脸偏航角和人脸俯仰角，根据左眼的各个特征标注点确定左眼虹膜中心和左眼眼球中心，从而确定左眼偏航角和左眼俯仰角，根据右眼的各个特征标注点确定右眼虹膜中心和右眼眼球中心，从而确定右眼偏航角和右眼俯仰角。

s103、根据左眼偏航角、人脸偏航角、左眼俯仰角和人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果。

在本实施例中，根据左眼偏航角和人脸偏航角判断左眼偏航角是否为有效关注，根据左眼俯仰角和人脸俯仰角判断左眼俯仰角是否有效关注，将左眼偏航角的判断结果与左眼俯仰角的判断结果进行综合判断，判断左眼是否为有效关注。若判断左眼偏航角和左眼俯仰角均有效，则获得第一判断结果为：左眼为有效关注，否则获得第一判断结果为：左眼为无效关注。

除采用上述实施例获得第一判断结果外，还可以采用以下实施例获得第一判断结果：将左眼偏航角、人脸偏航角、左眼俯仰角和人脸俯仰角与预设左眼有效关注阈值进行判断，确定左眼是否为有效关注，获得第一判断结果，具体过程包括：计算左眼偏航角与人脸偏航角的和，得到第一和值，计算左眼俯仰角与人脸俯仰角的和，得到第二和值；判断是否同时满足第一和值小于预设左眼偏航角上限阈值且大于预设左眼偏航角下限阈值，第二和值小于预设左眼俯仰角上限阈值且大于预设左眼俯仰角下限阈值，若是，获得第一判断结果为左眼为有效关注，否则，获得第一判断结果为左眼为无效关注。

用公式可以表示为：

lefteyeleftthreshold<faceyawangel+lefteyeyawangel<lefteyerightthreshold且

lefteyetopthreshold<facepicthangel+lefteyepicthangel<lefteyebottomthreshold，满足则获得第一判断结果为：左眼为有效关注，否则获得第一判断结果为：左眼为无效关注。

其中，lefteyeleftthreshold表示预设左眼偏航角下限阈值，lefteyerightthreshold表示预设左眼偏航角上限阈值，faceyawangel+lefteyeyawangel表示人脸偏航角与左眼偏航角之和，即第一和值。

lefteyetopthreshold表示预设左眼俯仰角下限阈值，lefteyebottomthreshold表示预设左眼俯仰角上限阈值，facepicthangel+lefteyepicthangel表示人脸俯仰角与左眼俯仰角之和，即第二和值。

s104、根据右眼偏航角、人脸偏航角、右眼俯仰角和人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果。

本实施例中，根据右眼偏航角和人脸偏航角判断右眼偏航角是否为有效关注，根据右眼俯仰角和人脸俯仰角判断右眼俯仰角是否为有效关注，将右眼偏航角的判断结果与右眼俯仰角的判断结果进行综合判断，判断右眼是否为有效关注。若判断右眼偏航角和右眼俯仰角均有效，则获得第二判断结果为：右眼为有效关注，否则获得第二判断结果为：右眼为无效关注。

除采用上述获得第二判断结果的实施例外，还可以采用以下实施例获得第二判断结果：将右眼偏航角、人脸偏航角、右眼俯仰角和人脸俯仰角与预设右眼有效关注阈值进行判断，判断右眼是否为有效关注，获得第二判断结果。具体过程包括：计算右眼偏航角与人脸偏航角之和，得到第三和值，计算右眼俯仰角与人脸俯仰角之和，得到第四和值。判断是否同时满足第三和值小于预设右眼偏航角上限阈值且大于预设右眼偏航角下限阈值，第四和值小于预设右眼俯仰角上限阈值且大于预设右眼俯仰角下限阈值，若是，获得第二判断结果为右眼为有效关注，否则，获得第二判断结果为右眼为无效关注。

用公式可以表示为：

righteyeleftthreshold<faceyawangel+righteyeyawangel<righteyerightthreshold且

righteyetopthreshold<facepicthangel+righteyepicthangel<righteyebottomthreshold，满足则获得第二判断结果为：右眼为有效关注，否则获得第二判断结果为：右眼为无效关注。

其中，righteyeleftthreshold表示预设右眼偏航角下限阈值，righteyerightthreshold表示预设右眼偏航角上限阈值，faceyawangel+righteyeyawangel表示人脸偏航角与右眼偏航角之和，即第三和值。

righteyetopthreshold表示右眼俯仰角下限阈值，righteyebottomthreshold表示预设右眼俯仰角上限阈值，facepicthangel+righteyepicthangell表示人脸俯仰角与右眼俯仰角之和，即第四和值。

s105、根据第一判断结果和第二判断结果，获得对象是否被关注的检测结果。

在本实施例中，若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注，获得对象被关注的检测结果。若第一判断结果和第二判断结果中有一个为有效关注，获得对象被关注的检测结果。若第一判断结果为左眼为无效关注，第二判断结果为右眼为无效关注，获得对象没有被关注的检测结果。

本申请实施例所提供的关注识别方法，相对于现有技术中，基于人脸识别的行人关注度统计方法，可以显著提高识别准确性。

分析可知，基于人脸识别的行人关注度统计方法中，通过将识别到的人脸角度与设置的阈值角度进行比较，阈值角度的大小会对检测判断结果有很大影响，存在很多漏检和误判的现象。

其一，行人面目正视广告屏或有一定小夹角，但人眼始终没有关注广告屏时，如侧视看同旁聊天经过广告屏，图像检测出人脸，误判为关注状态。例如，将判断阈值设置25度，检测的人脸角度小于阈值25度，为关注状态，检测的人脸角度大于阈值25度，为非关注状态，会忽略大于25度但眼神侧目确实关注屏幕的状态。

其二，行人侧脸经过广告屏，人眼侧视有关注广告屏时，没有检测出人脸，误判为未关注状态。例如，将判断阈值设置为50度，将人脸角度小于50度判断为关注状态，会误判人脸角度小于50度但实际是经过屏幕并没有关注屏幕的状态。

而本申请实施例所提供的对象被关注的识别方法，在人脸角度的基础上考虑了左眼和右眼的角度，得到最终对象被关注的识别结果，避免了通过人脸角度判断行人是否在关注对象过程中存在的误判或漏检的问题，并且，基于左眼和右眼是否是有效关注，判断对象是否被关注，从而能够更准确的确定对象是否被关注，有效的提高了对象被关注的识别准确性。

本申请第二实施例中，对第一实施例中的步骤s105，提出了另一种具体实现，该具体实现中，引入了置信度的概念。

置信度表示检测的准确程度，置信度的判断可以根据待识别图像与预设图像模型进行判断得到。如检测左眼置信度，将待识别图像中左眼图像信息与预设图像模型中的左眼图像信息进行比较，从而确定左眼置信度。左眼图像信息可以包括左眼图像的角度信息和左眼图像的质量信息。待识别图像中的左眼图像的角度信息是根据视线检测算法得到的，待识别图像的左眼图像的质量信息是根据拍摄时得到的图像质量得到的。预设图像模型中的左眼图像信息是根据实验采集的大量左眼检测图像进行预存储得到的。例如左眼置信度可以为0.9，即识别得到的左眼准确度为0.9。

同样右眼置信度，将待识别图像中的右眼图像信息与预设图像模型中的右眼图像信息进行比较，确定右眼置信度，右眼图像信息可以包括右眼图像的角度信息和右眼图像的质量，例如右眼置信度可以为0.85，即识别得到的右眼准确度为0.9。图像质量越高，置信度越高。置信度的检测为人脸检测中现有算法，因此对于置信度的确定在此不进行过多赘述。

该实施例中，在获得第一判断结果和第二判断结果之后，判断对象是否被关注可有几下几种情况：

情况一，若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注，根据左眼置信度确定左眼投票分数，根据右眼置信度确定右眼投票分数，根据左眼投票分数和右眼投票分数，获得对象是否被关注的检测结果。

其中，获得对象是否被关注的检测结果，至少可以采用以下两种实施方式中的一种：

方式a，若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注时，对应得到左眼置信度和右眼置信度，将左眼置信度作为左眼投票分数，将右眼置信度作为右眼投票分数。例如，得到左眼置信度为0.9，右眼置信度为0.85，根据左眼置信度0.9确定左眼投票分数为0.9，根据右眼置信度确定右眼投票分数为0.85，根据左眼投票分数0.9和右眼投票分数0.85，对对象是否被关注进行判断，获得对象是否被关注的检测结果。

方式b，若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注，将左眼有效关注进行设定数值计数，得到左眼计数，计算左眼置信度和左眼计数的乘积，得到左眼投票分数，将右眼有效关注进行设定数值计数，得到右眼计数，计算右眼置信度和右眼计数的乘积，得到右眼投票分数，然后根据左眼投票分数和右眼投票分数获得被关注的检测结果。

例如，左眼置信度为0.9，右眼置信度为0.85，将有效关注计数的设定数值设定为1，得到左眼有效关注计数为1，左眼计数1和左眼置信度0.9相乘，得到左眼投票分数0.9。同样得到右眼有效关注计数为1，右眼计数1和右眼置信度0.85相乘，得到右眼投票分数0.85，也可以将设定数值取值为2、3或者5等，并不仅限于取值为1。

具体地，在方式a和方式b中，判断是否满足左眼投票分数大于第一预设分数，且右眼投票分数大于第一预设分数，若是，获得对象被关注的检测结果，否则，获得对象没有被关注的检测结果。

第一预设分数是根据第一判断结果和第二判断结果得到的，若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注，可以将第一预设分数设定为0.65。其中，第一预设分数设定为0.65为列举数值，也可以将第一预设分数设定为0.7，0.75等，在此不对第一预设分数的具体取值进行限定，可根据实际进行设定。

例如，左眼投票分数为0.9，右眼投票分数为0.85，第一预设分数设定为0.65，判断左眼投票分数0.9大于第一预设分数0.65，且右眼投票分数0.85大于第一预设分数0.65，得到对象被关注的检测结果。若在第一判断结果为左眼有效关注，第二判断结果为右眼有效结果的情况下，左眼投票分数和右眼投票分数中有任一投票分数小于第一预设分数，或左眼投票分数和右眼投票分数均小于第一预设分数，则获得对象没有被关注的检测结果。

情况二，若第一判断结果为左眼为有效关注，第二判断结果为右眼不是有效关注，根据左眼置信度确定左眼投票分数，根据左眼投票分数，获得对象是否被关注的检测结果。

其中，根据左眼置信度确定左眼投票分数的具体实施过程，可参见情况一中关于左眼投票分数的实施过程，此处不再详述。

具体地，判断是否满足左眼投票分数大于第二预设分数，若是，获得对象被关注的检测结果，否则，获得对象没有被关注的检测结果。

第二预设分数是根据第一判断结果和第二判断结果得到的，若第一判断结果和第二判断结果中有一个为有效关注，另一个为无效关注，可以将第二预设分数设定为0.8，第二预设分数在设定时不小于第一预设分数。同样，第二预设分数设定为0.8为列举数值，也可以设定为0.85、0.9等，在此不对第二预设分数的取值进行限定，可根据需要进行设定。

例如，设定第二预设分数为0.8，左眼投票分数为0.9，将左眼投票分数0.9与第二预设分数0.8进行判断，判断满足左眼投票分数0.9大于第二预设分数0.8，获得对象被关注的检测结果。若在第一判断结果为左眼有效关注的情况下，左眼投票分数小于第二预设分数，得到对象没有被关注的检测结果。

情况三，若第一判断结果为左眼不是有效关注，第二判断结果为右眼为有效关注，根据右眼置信度确定右眼投票分数，根据右眼投票分数，获得对象是否被关注的检测结果。

其中，根据右眼置信度确定右眼投票分数的具体实施过程，可参见情况一中关于右眼投票分数的实施过程，此处不再详述。

具体地，判断是否满足右眼投票分数大于第二预设分数，若是，获得对象被关注的检测结果，否则，获得对象没有被关注的检测结果。

例如，右眼投票分数为0.85时，设定第二预设分数为0.8，将右眼投票分数0.85与第二预设分数0.8进行判断，判断满足右眼投票分数大于第二预设分数，获得对象被关注的检测结果。若在第二判断结果为右眼有效关注的情况下，右眼投票分数小于第二预设分数，得到对象没有被关注的检测结果。

情况四，若第一判断结果为左眼不是有效关注，第二判断结果为右眼不是有效关注，获得对象没有被关注的检测结果。

在本实施例中，与现有技术相比，解决了由于行人经过投放装置时，因与投放装置的距离不同的，拍摄得到的眼部图像质量存在差异，而造成的识别对象被关注的准确低的问题。通过检测左右眼是否为有效关注的基础上加入了与图像质量有关的置信度的判断，在左右眼为有效关注前提下，以置信度为系数，得到投票分数，通过判断左右眼投票分数最终得到对象是否被关注的检测结果，避免了因图像不清晰置信度低，出现实际未关注而误判为关注的结果，极大的提高了对象被关注的识别准确性。

本申请第三实施例中，对第一实施例中的步骤s102，提出了一种具体实现，参照图2所示，该具体实现中，检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，包括：

s201、检测待识别图像中的眼部图像。

检测待识别图像中的眼部关键点坐标，根据眼部关键点坐标确定原始眼部图像区域，对原始眼部图像区域和眼部关键点进行放大，得到眼部图像区域。

例如，根据眼部关键点坐标计算出眼部图像区域rectangle的原始横坐标点x、原始纵坐标点y、原始宽度width和原始高度height；然后将原始横坐标和原始纵坐标膨胀扩充指定的系数：如2倍扩充，2倍扩充后的横坐标x、纵坐标y，和扩充后的宽度width和高度height与原始坐标点的关系表示为：

x＝x-width/2；y＝y-height；

width＝width×2；height＝height×2。

检查扩充后的新坐标x、y、width、height是否越界并适当调整包括：基于眼部图像区域，根据眼部关键点坐标检测眼部是否超过眼部图像区域边界，若超过，对眼部图像进行调整，使眼部落在眼部图像区域内。

s202、对眼部图像进行视线检测，确定左眼虹膜中心坐标、左眼眼球中心坐标、右眼虹膜中心坐标、右眼眼球中心坐标和眼球半径。

眼球半径包括左眼眼球半径和右眼眼球半径。

在检测待识别图像中的眼部图像之后，对眼部图像进行视线检测之前，包括将眼部图像进行图像分割，得到左眼图像和右眼图像。对左眼图像视线检测，根据左眼虹膜关键点坐标确定左眼虹膜中心坐标，根据左眼眼球关键点坐标确定左眼眼球中心坐标和左眼眼球半径。对右眼图像进行视线检测，根据右眼虹膜关键点坐标确定得到右眼虹膜中心坐标，根据右眼眼球关键点坐标确定右眼眼球中心坐标和右眼眼球半径。

s203、根据左眼虹膜中心坐标、左眼眼球中心坐标和眼球半径，计算得到左眼偏航角和左眼俯仰角。

左眼虹膜中心坐标包括左眼虹膜中心横坐标和左眼虹膜中心纵坐标，左眼眼球中心坐标包括左眼眼球中心横坐标和左眼眼球中心纵坐标。

对此，对左眼偏航角的计算可以根据公式：

lefteyepicthangel＝asin((lefteyeirisx-lefteyeballx)/eyeballradius)计算得到。

其中，lefteyepicthangel表示左眼偏航角，a表示系数，lefteyeirisx表示左眼虹膜中心横坐标，lefteyeballx表示左眼眼球中心横坐标，eyeballradius表示眼球半径。

对左眼俯仰角的计算可以根据公式：

lefteyeyawangel＝asin((lefteyeirisy-lefteyebally)/eyeballradius)得到。

其中，lefteyeyawangel表示左眼俯仰角，a表示系数，lefteyeirisy表示左眼虹膜中心纵坐标，lefteyebally表示左眼眼球中心纵坐标，eyeballradius表示眼球半径。

s204、根据右眼虹膜中心坐标、右眼眼球中心坐标和眼球半径，计算得到右眼偏航角和右眼俯仰角。

右眼虹膜中心坐标包括右眼虹膜中心横坐标和右眼虹膜中心纵坐标，右眼眼球中心坐标包括右眼眼球中心横坐标和右眼眼球中心纵坐标。

对此，右眼偏航角的计算可以根据公式：

righteyepicthangel＝asin((righteyeirisx-righteyeballx)/eyeballradius)得到。

其中，righteyepicthangel表示右眼偏航角，a表示系数，righteyeirisx表示右眼虹膜中心横坐标，righteyeballx表示右眼眼球中心横坐标，eyeballradius表示眼球半径。

对右眼俯仰角的计算可以根据公式：

righteyeyawangel＝asin((righteyeirisy-eyebally)/righteyeballradius)得到。

其中，righteyeyawangel表示右眼俯仰角，a表示系数，righteyeirisy表示右眼虹膜中心纵坐标，righteyebally表示右眼眼球中心纵坐标，eyeballradius表示眼球半径。

本申请第四实施例中，对第三实施例中的步骤s202，提出了一种具体实现，该具体实现中，在进行视线检测时，根据视线检测算法直接得到的眼球半径，因人脸偏航角的存在可能出现检测不准确，因此在根据视线检测得到的原始眼球半径的基础上，对原始眼球半径进行修正，修正了检测眼球半径的误差，使得得到的眼球半径更精确。参照图3所示，对眼部图像进行视线检测，确定眼球半径，包括：

s301、根据眼部图像进行视线检测，获得原始眼球半径，原始眼球半径包括原始左眼眼球半径和原始右眼眼球半径。

原始眼球半径是根据视线检测算法直接获取得到的，可以根据视线检测的眼球特征点进行确定，分别得到原始左眼眼球半径和原始右眼眼球半径。

s302、根据人脸偏航角、拍摄参数、预设眼球半径和预设瞳距，计算得到预估眼球半径。

根据人脸偏航角、拍摄参数、预设眼球半径和预设瞳距根据光学成像原理和成像相似原理计算得到。

参照图4所示，对计算得到预估眼球半径的过程可以包括：

步骤401，判断人脸偏航角的绝对值是否小于预设小角度阈值，若判断是，执行步骤402，否则，执行步骤403。

步骤402，获取眼部图像的瞳距成像距离所占像素数，根据人脸偏航角、预设眼球半径、预设瞳距和瞳距成像距离所占像素数，计算得到眼球半径成像距离所占像素数，将眼球半径成像距离所占像素数作为预估眼球半径。

其中，基于男女瞳距的差异，预设瞳距包括预设男性瞳距和预设女性瞳距，上述在获得原始眼球半径之后，对预估眼球半径进行计算之前包括：根据人脸检测确定性别，根据性别确定预设男女瞳距。预设男性瞳距为60毫米到73毫米之间，预设女性瞳距在53毫米到68毫米之间，预设眼球半径为12毫米。

瞳距成像距离所占像素数根据检测的眼部图像上的瞳距乘以拍摄装置的像素数得到。

可以根据简单评估，对眼球的半径进行计算，可以采用公式：

es＝(12×ps)/p×cos(faceyawangel))

其中，es为眼球半径成像距离所占像素数，12为预设眼球半径，ps为瞳距成像距离所占像素数，p为预设瞳距，faceyawangel为人脸偏航角。

步骤403，根据人脸偏航角、预设眼球半径、预设瞳距和拍摄参数，利用光学成像原理和成像相似原理，计算得到预估眼球半径。

拍摄参数包括拍摄装置镜头的焦距。预估眼球半径的计算可以根据公式：

光学成像公式：1/f＝1/u+1/v，得到：u＝fv/(v-f)。

其中，f表示拍摄装置镜头的焦距，为已知量；u表示眼瞳物距，即眼瞳到拍摄装置光心的距离，可以根据眼瞳像距与拍摄装置像素数得到；v表示眼瞳像距，即包含有眼瞳的眼部图像到拍摄装置光心的距离，眼瞳像距为检测时可以得到的已知量。

成像相似公式：s/w＝v/u，可以得到：v＝su/w。

将公式v＝su/w代入到公式u＝fv/(v-f)中，可以得到：u＝f+fw/s。

其中，w表示预设有效瞳距，s为眼球半径成像像高，s＝像素数量×像素大小，其中像素数量为两眼之间距离成像的像素数，像素大小为摄像头传感器固定参数，为已知量。u表示眼瞳物距，v表示眼瞳像距。

当有人脸偏航角的存在时，根据光学成像相似公式，基于人脸偏航角确定预设瞳距在光轴垂直方向的预设有效瞳距长度w，用公式表示为：

w＝pcos(faceyawangel)(1/2+u/(2(u+psin(faceyawangel))))；计算得到。

其中，p表示预设瞳距，faceyawangel表示人脸偏航角，u表示眼瞳物距。

由成像相似公式根据预设有效瞳距、眼瞳物距和眼瞳像距得到眼球半径成像距离所占像素数，眼球半径成像距离所占像素数即为预估眼球半径。

s303、根据预估眼球半径，对原始眼球半径进行修正，确定眼球半径。

原始眼球半径包括原始左眼眼球半径和原始右眼眼球半径，眼球半径包括左眼眼球半径和右眼眼球半径。根据预估眼球半径，对原始左眼眼球半径进行修正，得到左眼眼球半径，对原始右眼眼球半径修正，得到右眼眼球半径。

如果计算的原始眼球半径偏离预估眼球半径上下限的15％，则将预估眼球半径确定为眼球半径进行后续计算。

本实施例与现有技术相比，解决了现有技术中，由于拍摄的包含人脸的图像质量不佳，或者行人侧脸，戴眼镜等诸多因素，造成直接输出原始眼球半径不准确，对象被识别的检测结果偏差大的问题。本实施例在人脸偏航角为小角度时，依据瞳距成像距离所占像素数与人脸偏航角的关系，根据男女瞳距的差异，计算得到预估眼球半径；当人脸偏航角大于预设小角度时，即人脸朝向与屏幕所成大角度时，采用光学成像和成像相似公式计算得到预估眼球半径，根据预估眼球半径对原始眼球半径进行修正，极大的提高了识别眼球半径的准确度，将精确的眼球半径进行后续对象被关注识别的检测中，从而提高了识别对象被关注的准确性。

在本申请第五实施例中，对第一实施例的步骤s102中，在检测待识别图像中人脸偏航角和人脸俯仰角之后，在检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角之前，根据人脸偏航角和人脸俯仰角判断是否对人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角进行检测。

根据人脸偏航角和人脸俯仰角判断是否满足关注条件，若满足，则不对待检测识别图像进行眼部检测，若不满足，则对人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角进行检测，继续执行步骤s103。

关注条件为：人脸偏航角和人脸俯仰角之和小于人脸关注阈值。

本实施例，与现有技术相比，通过以人脸检测技术和视线检测技术相结合，解决了由于行人在距离屏幕近侧目观看时，存在的人眼注视方向和人脸朝向不一致造成误判和漏判的问题。

当人脸朝向与屏幕所成小角度时，即，人脸偏航角小于人脸关注第一阈值且人脸俯仰角小于人脸关注第二阈值时，以人脸角度判定对象是否被关注；人脸朝向与屏幕朝向大角度时，即，人脸偏航角大于人脸关注第一阈值或人脸俯仰角大于人脸关注第二阈值时，综合眼部特征判断对象是否被关注，有效解决了单独依靠人脸角度检测，存在人眼注视方向和人脸朝向不一致存在误判和漏判的问题，优化了对象被关注的识别过程，通过先根据人脸角度判断对象是否被关注，判断未被关注时通过人脸角度叠加眼部角度进行检测，节省了检测时间，提高了对象被关注的识别效率。

本申请第六实施例中，提供了一种对象被关注识别的具体实施方式，参照图5所示，具体实施可参见上述第一至第五实施例部分的描述。

对象被关注识别的具体过程如下：

s501、获取包含人脸的待识别图像。

s502、检测待识别图像中人脸偏航角和人脸俯仰角，以及检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角。

s503、根据人脸偏航角和人脸俯仰角判断是否满足关注条件，若不满足，则执行s504和s506，若满足，则判断为关注。

s504、检测待识别图像中的眼部图像，得到左眼眼部图像和右眼眼部图像。

s505、对左眼眼部图像进行视线检测，确定左眼虹膜中心坐标、左眼眼球中心坐标和左眼眼球半径；对右眼眼部图像进行视线检测，确定右眼虹膜中心坐标、右眼眼球中心坐标和右眼眼球半径。

s506、判断人脸偏航角的绝对值是否小于预设小角度，若是，则执行s507，否则，执行s508。

s507、获取眼部图像的瞳距成像距离所占像素数，根据人脸偏航角、预设眼球半径、预设瞳距和瞳距成像距离所占像素数，计算得到眼球半径成像距离所占像素数，将眼球半径成像距离所占像素数作为预估眼球半径。

s508、根据人脸偏航角、预设眼球半径、预设瞳距和拍摄参数，利用光学成像原理和成像相似原理，计算得到预估眼球半径。

s509、根据预估眼球半径，对原始眼球半径进行修正，确定眼球半径；原始眼球半径包括原始左眼眼球半径和原始右眼眼球半径。

s510、根据左眼虹膜中心坐标、左眼眼球中心坐标和眼球半径，计算得到左眼偏航角和左眼俯仰角；根据右眼虹膜中心坐标、右眼眼球中心坐标和眼球半径，计算得到右眼偏航角和右眼俯仰角。

s511、根据左眼偏航角、人脸偏航角、左眼俯仰角和人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果；根据右眼偏航角、人脸偏航角、右眼俯仰角和人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果。

s512、若第一判断结果为左眼为有效关注，第二判断结果为右眼为有效关注，根据左眼置信度确定左眼投票分数，根据右眼置信度确定右眼投票分数。

判断是否满足左眼投票分数大于第一预设分数，且右眼投票分数大于第一预设分数；

或，若第一判断结果为左眼为有效关注，判断是否满足左眼投票分数大于第二预设分数；

或，若第二判断结果为右眼为有效关注，判断是否满足右眼投票分数大于第二预设分数，若是，则判断为关注，否则，判断为未关注。

本实施例的所能达到的技术效果具体可参见上述第一至第五实施例技术效果的描述。

基于同一构思，本申请第七实施例中提供了一种对象被关注的识别装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，参照图6所示，该装置主要包括：

第一获取模块601，用于获取从对象的方向拍摄得到的包含人脸的待识别图像；

检测模块602，用于检测待识别图像中人脸偏航角和人脸俯仰角，以及待检测图中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角；

第一判断模块603，用于根据左眼偏航角、人脸偏航角、左眼俯仰角和人脸俯仰角，判断左眼是否为有效关注，获得第一判断结果；

第二判断模块604，用于根据右眼偏航角、人脸偏航角、右眼俯仰角和人脸俯仰角，判断右眼是否为有效关注，获得第二判断结果；

第二获取模块605，用于根据第一判断结果和第二判断结果，获得对象是否被关注的检测结果。

本申请实施例通过检测模块检测待识别图像中人脸偏航角和人脸俯仰角，以及检测待识别图像中人脸的左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，通过第一判断模块和第二判断模块综合人脸偏航角、人脸俯仰角、左眼偏航角、左眼俯仰角、右眼偏航角和右眼俯仰角，分别判断左眼和右眼是否为有效关注，第二获取模块基于判断左眼和右眼是否为有效关注的结果，获取对象是否被关注的结果，实现了结合眼部的特征判断对象是否被关注的目的，解决了仅通过人脸角度判断行人关注度过程中存在的误判或漏检的问题，从而能够更准确的确定对象是否真正被关注，有效的提高了对象被关注的识别准确性。

基于同一构思，本申请第八实施例中还提供了一种电子设备，如图7所示，该电子设备主要包括：处理器701、通信接口702、存储器703和通信总线704，其中，处理器701、通信接口702和存储器703通过通信总线704完成相互间的通信。其中，存储器703中存储有可被至处理器701执行的程序，处理器701执行存储器703中存储的程序，实现如上述第一至第六实施例描述的对象被关注的识别方法步骤。

上述电子设备中提到的通信总线704可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该通信总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口702用于上述电子设备与其他设备之间的通信。

存储器703可以包括随机存取存储器(randomaccessmemory，简称ram)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器701的存储装置。

上述的处理器701可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等，还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请的第九实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述一种对象被关注的识别方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以时通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如dvd)或者半导体介质(例如固态硬盘)等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。