注意力判定装置、注意力判定系统、注意力判定方法和程序与流程

本发明涉及注意力判定装置、注意力判定系统、注意力判定方法和程序。

背景技术：

已提出如下的信息提示装置：从人的面部图像中检测飞跃眼球运动，根据检测到的飞跃眼球运动的发生频度来判定该人的注意力水平(也简称作“注意力”)(例如专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开平11-276461号公报

技术实现要素：

发明要解决的课题

专利文献1记载的信息提示装置检测作为高速的眼球运动的扫视，根据检测到的扫视的发生频度来判定操作者的注意力水平。但是，为了拍摄扫视这种高速的眼球运动，需要能够高帧率地进行拍摄的摄像机。其结果是，信息提示装置的成本增加。

本发明正是为了解决上述问题而完成的，其目的在于，使用低帧率地拍摄到的图像来判定人的注意力。

用于解决课题的手段

本发明的一个方式的注意力判定装置使用拍摄到的包含人的第1眼球和第2眼球的图像，其中，所述注意力判定装置具有：图像处理部，其在所述拍摄到的图像内设定与所述第1眼球有关的第1基准坐标和与所述第2眼球有关的第2基准坐标，计算所述第1眼球的瞳孔在所述图像内的坐标即第1瞳孔坐标和所述第2眼球的瞳孔在所述图像内的坐标即第2瞳孔坐标，输出所述第1基准坐标、所述第2基准坐标、所述第1瞳孔坐标和所述第2瞳孔坐标；瞳孔距离计算部，其计算所述第1瞳孔坐标相对于所述第1基准坐标的至少1个位置分量和所述第2瞳孔坐标相对于所述第2基准坐标的至少1个位置分量；斜位检测部，其输出使用所述第1瞳孔坐标的所述至少1个位置分量和所述第2瞳孔坐标的所述至少1个位置分量表示所述第1眼球和所述第2眼球的状态的斜位检测结果；以及注意力判定部，其根据所述斜位检测结果判定所述人的注意力。

本发明的另一个方式的注意力判定装置使用拍摄到的包含人的第1眼球和第2眼球的图像，其中，所述注意力判定装置具有：图像处理部，其在所述拍摄到的图像内设定与所述第1眼球有关的第1基准坐标和与所述第2眼球有关的第2基准坐标，计算所述第1眼球的瞳孔在所述图像内的坐标即第1瞳孔坐标和所述第2眼球的瞳孔在所述图像内的坐标即第2瞳孔坐标，输出所述第1基准坐标、所述第2基准坐标、所述第1瞳孔坐标和所述第2瞳孔坐标；瞳孔距离计算部，其计算所述第1瞳孔坐标相对于所述第1基准坐标的至少1个位置分量和所述第2瞳孔坐标相对于所述第2基准坐标的至少1个位置分量；瞳孔距离校正部，其对所述第1瞳孔坐标的所述至少1个位置分量和所述第2瞳孔坐标的所述至少1个位置分量进行归一化，输出归一化而得到的值作为瞳孔距离校正值；斜位检测部，其输出使用所述瞳孔距离校正值表示所述第1眼球和所述第2眼球的状态的斜位检测结果；以及注意力判定部，其根据所述斜位检测结果判定所述人的注意力。

本发明的另一个方式的注意力判定系统具有所述注意力判定装置。

本发明的另一个方式的注意力判定方法使用包含人的第1眼球和第2眼球的拍摄图像判定所述人的注意力，其中，在所述拍摄图像内设定与所述第1眼球有关的第1基准坐标和与所述第2眼球有关的第2基准坐标，计算所述第1眼球的瞳孔在所述拍摄图像内的坐标即第1瞳孔坐标和所述第2眼球的瞳孔在所述拍摄图像内的坐标即第2瞳孔坐标，输出所述第1基准坐标、所述第2基准坐标、所述第1瞳孔坐标和所述第2瞳孔坐标，计算所述第1瞳孔坐标相对于所述第1基准坐标的至少1个位置分量和所述第2瞳孔坐标相对于所述第2基准坐标的至少1个位置分量，输出使用所述第1瞳孔坐标的所述至少1个位置分量和所述第2瞳孔坐标的所述至少1个位置分量表示所述第1眼球和所述第2眼球的状态的斜位检测结果，根据所述斜位检测结果判定所述人的注意力。

本发明的另一个方式的注意力判定方法使用包含人的第1眼球和第2眼球的拍摄图像判定所述人的注意力，其中，在所述拍摄图像内设定与所述第1眼球有关的第1基准坐标和与所述第2眼球有关的第2基准坐标，计算所述第1眼球的瞳孔在所述拍摄图像内的坐标即第1瞳孔坐标和所述第2眼球的瞳孔在所述拍摄图像内的坐标即第2瞳孔坐标，输出所述第1基准坐标、所述第2基准坐标、所述第1瞳孔坐标和所述第2瞳孔坐标，计算所述第1瞳孔坐标相对于所述第1基准坐标的至少1个位置分量和所述第2瞳孔坐标相对于所述第2基准坐标的至少1个位置分量，对所述第1瞳孔坐标的所述至少1个位置分量和所述第2瞳孔坐标的所述至少1个位置分量进行归一化，输出归一化而得到的值作为瞳孔距离校正值，输出使用所述瞳孔距离校正值表示所述第1眼球和所述第2眼球的状态的斜位检测结果，根据所述斜位检测结果判定所述人的注意力。

本发明的另一个方式的程序使计算机执行注意力判定方法，该注意力判定方法使用包含人的第1眼球和第2眼球的拍摄图像判定所述人的注意力，其中，在所述拍摄图像内设定与所述第1眼球有关的第1基准坐标和与所述第2眼球有关的第2基准坐标，计算所述第1眼球的瞳孔在所述拍摄图像内的坐标即第1瞳孔坐标和所述第2眼球的瞳孔在所述拍摄图像内的坐标即第2瞳孔坐标，输出所述第1基准坐标、所述第2基准坐标、所述第1瞳孔坐标和所述第2瞳孔坐标，计算所述第1瞳孔坐标相对于所述第1基准坐标的至少1个位置分量和所述第2瞳孔坐标相对于所述第2基准坐标的至少1个位置分量，输出使用所述第1瞳孔坐标的所述至少1个位置分量和所述第2瞳孔坐标的所述至少1个位置分量表示所述第1眼球和所述第2眼球的状态的斜位检测结果，根据所述斜位检测结果判定所述人的注意力。

本发明的另一个方式的程序使计算机执行注意力判定方法，该注意力判定方法使用包含人的第1眼球和第2眼球的拍摄图像判定所述人的注意力，其中，在所述拍摄图像内设定与所述第1眼球有关的第1基准坐标和与所述第2眼球有关的第2基准坐标，计算所述第1眼球的瞳孔在所述拍摄图像内的坐标即第1瞳孔坐标和所述第2眼球的瞳孔在所述拍摄图像内的坐标即第2瞳孔坐标，输出所述第1基准坐标、所述第2基准坐标、所述第1瞳孔坐标和所述第2瞳孔坐标，计算所述第1瞳孔坐标相对于所述第1基准坐标的至少1个位置分量和所述第2瞳孔坐标相对于所述第2基准坐标的至少1个位置分量，对所述第1瞳孔坐标的所述至少1个位置分量和所述第2瞳孔坐标的所述至少1个位置分量进行归一化，输出归一化而得到的值作为瞳孔距离校正值，输出使用所述瞳孔距离校正值表示所述第1眼球和所述第2眼球的状态的斜位检测结果，根据所述斜位检测结果判定所述人的注意力。

发明效果

根据本发明，能够使用低帧率地拍摄到的图像判定人的注意力。

附图说明

图1是概略地示出本发明的实施方式1的注意力判定系统的结构的框图。

图2是示出实施方式1中的注意力判定方法的步骤的一例的流程图。

图3是示出人的第1眼球、第2眼球和鼻子的位置与拍摄图像内的这些要素的位置之间的对应关系的图。

图4是示出瞳孔距离的计算方法的图。

图5的(a)～(d)是示出人的双眼的眼球运动的例子的图。

图6的(a)～(d)是示出人的单眼的眼球运动具体而言为斜位状态的例子的图。

图7的(a)是示出注意力判定装置的硬件结构的一例的图，(b)是示出注意力判定装置100的硬件结构的另一例的图。

图8是概略地示出本发明的实施方式2的注意力判定系统的结构的框图。

图9是示出实施方式2中的注意力判定方法的步骤的一例的流程图。

具体实施方式

实施方式1

图1是概略地示出本发明的实施方式1的注意力判定系统101的结构的框图。

注意力判定系统101具有摄像部10和注意力判定装置100，该注意力判定装置100使用由摄像部10拍摄到的包含人h的第1眼球s1和第2眼球s2的图像。

注意力判定装置100具有图像处理部20、瞳孔距离计算部30、斜位检测部40和注意力判定部50。注意力判定装置100使用包含第1眼球s1和第2眼球s2的图像判定人h的注意力。注意力判定装置100也可以还具有输出装置70。

由摄像部10拍摄到的图像例如是包含人h的面部的图像。摄像部10拍摄至少包含人h的第1眼球s1和第2眼球s2的图像。即，由摄像部10拍摄到的包含人h的面部的图像是至少包含人h的第1眼球s1和第2眼球s2的图像。在本实施方式中，第1眼球s1是人h的右眼，第2眼球s2是人h的左眼。由摄像部10拍摄到的图像可以是静态图像或动态图像。

通常，摄像部10拍摄包含人h的第1眼球s1、第2眼球s2和鼻子s3的图像。该情况下，由摄像部10拍摄到的包含人h的面部的图像是包含人h的第1眼球s1、第2眼球s2和鼻子s3的图像。

第1眼球s1和第2眼球s2是由注意力判定部50判定的对象。

将由摄像部10拍摄到的图像称作“拍摄图像a1”。摄像部10输出拍摄图像a1。在本实施方式中，摄像部10周期性地或连续地拍摄包含人h的面部的图像，周期性地或连续地输出拍摄图像a1。

摄像部10也可以具有存储拍摄图像a1的存储器。该情况下，摄像部10能够将拍摄图像a1存储于存储器，能够输出存储器中存储的拍摄图像a1。

从摄像部10输出的拍摄图像a1被输入到图像处理部20。

图2是示出上述注意力判定系统101中的判定人h的注意力的注意力判定方法的步骤的一例的流程图。

在步骤st1中，在拍摄图像a1内设定与第1眼球s1有关的第1基准坐标和与第2眼球s2有关的第2基准坐标。

在步骤st2中，计算第1眼球s1的瞳孔24(也称作第1瞳孔或右瞳孔)在拍摄图像a1内的坐标即第1瞳孔坐标和第2眼球s2的瞳孔25(也称作第2瞳孔或左瞳孔)在拍摄图像a1内的坐标即第2瞳孔坐标。

在步骤st3中，输出第1基准坐标、第2基准坐标、第1瞳孔坐标和第2瞳孔坐标。

在步骤st4中，计算第1瞳孔坐标相对于第1基准坐标的至少1个位置分量和第2瞳孔坐标相对于第2基准坐标的至少1个位置分量。

在步骤st5中，输出使用第1瞳孔坐标的至少1个位置分量和第2瞳孔坐标的至少1个位置分量表示第1眼球s1和第2眼球s2的状态的斜位检测结果。

在步骤st6中，根据斜位检测结果判定人h的注意力。

在步骤st7中，输出注意力状态e1。

下面，对上述注意力判定方法进行具体说明。

图像处理部20取得拍摄图像a1。图像处理部20使用拍摄图像a1生成输出坐标b1，输出生成的输出坐标b1。输出坐标b1是包含由图像处理部20计算出的至少1个坐标的数据。输出坐标b1例如包含至少1个基准坐标、第1瞳孔坐标re(也称作右瞳孔坐标)和第2瞳孔坐标le(也称作左瞳孔坐标)。输出坐标b1也可以还包含鼻子坐标nt等其他坐标。

图3是示出人h的第1眼球s1、第2眼球s2和鼻子s3的位置与拍摄图像a1内的这些要素的位置之间的对应关系的图。

在图3所示的直角坐标系中，x轴方向(x轴)表示拍摄图像a1内的横向，y轴方向(y轴)表示拍摄图像a1内的与x轴方向垂直的方向即纵向。

在步骤st1中，图像处理部20在拍摄到的图像(即拍摄图像a1)内设定至少1个基准坐标。在本实施方式中，在拍摄图像a1内设定与第1眼球s1有关的基准坐标(也称作第1基准坐标)和与第2眼球s2有关的基准坐标(也称作第2基准坐标)。

在本实施方式中，图像处理部20选择第1眼球s1的内眼角26的坐标作为与第1眼球s1有关的基准坐标，将与第1眼球s1有关的基准坐标设定成第1内眼角坐标rc。同样，图像处理部20选择第2眼球s2的内眼角27的坐标作为与第2眼球s2有关的基准坐标，将与第2眼球s2有关的基准坐标设定成第2内眼角坐标lc。

在本实施方式中，使用第1内眼角坐标rc作为与第1眼球s1有关的基准坐标，但是，也可以使用其他坐标作为与第1眼球s1有关的基准坐标。同样，使用第2内眼角坐标lc作为与第2眼球s2有关的基准坐标，但是，也可以使用其他坐标作为与第2眼球s2有关的基准坐标。也可以使用相同的坐标作为与第1眼球s1和第2眼球s2有关的基准坐标。

第1内眼角坐标rc是第1眼球s1的内眼角26在拍摄图像a1内的坐标，第2内眼角坐标lc是第2眼球s2的内眼角27在拍摄图像a1内的坐标。

第1内眼角坐标rc例如用坐标(rcx，rcy)表示，第2内眼角坐标lc例如用坐标(lcx，lcy)表示。rcx表示内眼角26的x坐标即内眼角26在x轴上的位置。rcy表示内眼角26的y坐标即内眼角26在y轴上的位置。lcx表示内眼角27的x坐标即内眼角27在x轴上的位置。lcy表示内眼角27的y坐标即内眼角27在y轴上的位置。

在步骤st2中，图像处理部20计算第1瞳孔坐标re和第2瞳孔坐标le。第1瞳孔坐标re是第1眼球s1的瞳孔24在拍摄图像a1内的坐标。第2瞳孔坐标le是第2眼球s2的瞳孔25在拍摄图像a1内的坐标。鼻子坐标nt是鼻子s3的鼻尖端28在拍摄图像a1内的坐标。鼻尖端28是鼻子s3在y轴方向上的前端部。

第1瞳孔坐标re例如用坐标(rex，rey)表示，第2瞳孔坐标le例如用坐标(lex，ley)表示，鼻子坐标nt例如用坐标(ntx，nty)表示。rex表示瞳孔24的x坐标即瞳孔24在x轴上的位置。rey表示瞳孔24的y坐标即瞳孔24在y轴上的位置。lex表示瞳孔25的x坐标即瞳孔25在x轴上的位置。ley表示瞳孔25的y坐标即瞳孔25在y轴上的位置。ntx表示鼻尖端28的x坐标即鼻尖端28在x轴上的位置。nty表示鼻尖端28的y坐标即鼻尖端28在y轴上的位置。

在步骤st3中，图像处理部20输出至少1个瞳孔坐标和至少1个基准坐标作为输出坐标b1。在本实施方式中，图像处理部20输出第1瞳孔坐标re、第2瞳孔坐标le、第1基准坐标和第2基准坐标。

例如，在图像处理部20设定作为第1基准坐标的第1内眼角坐标rc和作为第2基准坐标的第2内眼角坐标lc的情况下，图像处理部20输出第1瞳孔坐标re、第2瞳孔坐标le、第1内眼角坐标rc和第2内眼角坐标lc作为输出坐标b1。该情况下，输出坐标b1例如表示成一维数组(即，b1＝[rex，rey，lex，ley，rcx，rcy，lcx，lcy])。

图4是示出瞳孔距离的计算方法的图。

输出坐标b1被输入到瞳孔距离计算部30。瞳孔距离计算部30使用输出坐标b1计算瞳孔距离31(也称作第1瞳孔距离)、瞳孔距离32(也称作第2瞳孔距离)、瞳孔距离33(也称作第3瞳孔距离)、瞳孔距离34(也称作第4瞳孔距离)、瞳孔距离35(也称作第5瞳孔距离)和瞳孔距离36(也称作第6的瞳孔距离)。

瞳孔距离计算部30周期性地计算瞳孔距离31、32、33、34、35、36。由此，在瞳孔距离计算部30中计算出时序数据。

具体而言，瞳孔距离计算部30周期性地计算第1瞳孔坐标re相对于拍摄图像a1内的第1基准坐标的至少1个位置分量和第2瞳孔坐标le相对于拍摄图像a1内的第2基准坐标的至少1个位置分量。在本实施方式中，第1瞳孔坐标re的位置分量是瞳孔距离31、33、35，第2瞳孔坐标le的位置分量是瞳孔距离32、34、36。

瞳孔距离31是从第1基准位置到瞳孔24的距离。在拍摄图像a1内，瞳孔距离31是从作为第1基准坐标的第1内眼角坐标rc到第1瞳孔坐标re的距离。在本实施方式中，将从拍摄图像a1内的第1内眼角坐标rc到第1瞳孔坐标re的距离设为r。

瞳孔距离32是从第2基准位置到瞳孔25的距离。在拍摄图像a1内，瞳孔距离32是从作为第2基准坐标的第2内眼角坐标lc到第2瞳孔坐标le的距离。在本实施方式中，将从拍摄图像a1内的第2内眼角坐标lc到第2瞳孔坐标le的距离设为l。

瞳孔距离33是横向上的从第1基准位置到瞳孔24的距离。在拍摄图像a1内，瞳孔距离33是拍摄图像a1内的横向上的从作为第1基准坐标的第1内眼角坐标rc到第1瞳孔坐标re的距离。在本实施方式中，将拍摄图像a1内的横向上的从第1内眼角坐标rc到第1瞳孔坐标re的距离设为rh。

瞳孔距离34是横向上的从第2基准位置到瞳孔25的距离。在拍摄图像a1内，瞳孔距离34是拍摄图像a1内的横向上的从作为第2基准坐标的第2内眼角坐标lc到第2瞳孔坐标le的距离。在本实施方式中，将拍摄图像a1内的横向上的从第2内眼角坐标lc到第2瞳孔坐标le的距离设为lh。

瞳孔距离35是纵向上的从第1基准位置到瞳孔24的距离。在拍摄图像a1内，瞳孔距离35是拍摄图像a1内的纵向上的从作为第1基准坐标的第1内眼角坐标rc到第1瞳孔坐标re的距离。在本实施方式中，将拍摄图像a1内的纵向上的从第1内眼角坐标rc到第1瞳孔坐标re的距离设为rv。

瞳孔距离36是纵向上的从第2基准位置到瞳孔25的距离。在拍摄图像a1内，瞳孔距离36是拍摄图像a1内的纵向上的从作为第2基准坐标的第2内眼角坐标lc到第2瞳孔坐标le的距离。在本实施方式中，将拍摄图像a1内的纵向上的从第2内眼角坐标lc到第2瞳孔坐标le的距离设为lv。

在图像处理部20分别选择第1内眼角坐标rc和第2内眼角坐标lc作为第1基准坐标和第2基准坐标的情况下，距离rh用|rcx-rex|表示，距离lh用|lcx-lex|表示，距离rv用|rcy-rey|表示，距离lv用|lcy-ley|表示。

该情况下，距离r使用距离rh和距离rv如式(1)那样表示，距离l使用距离lh和距离lv如式(2)那样表示。

【数学式1】

【数学式2】

在步骤st4中，瞳孔距离计算部30输出计算出的距离rh、lh、rv、lv、r、l作为瞳孔距离输出c1。瞳孔距离输出c1例如表示成一维数组(即，c1＝[rh，lh，rv，lv，r，l])。

瞳孔距离输出c1被输入到斜位检测部40。斜位检测部40使用第1瞳孔坐标re的至少1个位置分量和第2瞳孔坐标le的至少1个位置分量，计算预定的期间内的瞳孔24的位置变动和瞳孔25的位置变动。进而，斜位检测部40使用瞳孔24的位置变动和瞳孔25的位置变动的计算结果判定人h的眼球运动。

即，斜位检测部40使用作为时序数据的瞳孔距离输出c1的分量变动，判定人h的眼球运动。瞳孔距离输出c1的分量是距离rh、lh、rv、lv、r、l。

具体而言，斜位检测部40使用瞳孔距离输出c1的分量变动，判定人h的双眼的状态是人h的双眼的眼球运动(也称作双眼球运动状态)还是单眼的眼球运动(例如斜位状态)。例如，在瞳孔24的位置变动和瞳孔25的位置变动双方为阈值以上或阈值以下时，斜位检测部40判定为人h的双眼的状态处于双眼球运动状态。另一方面，在瞳孔24的位置变动和瞳孔25的位置变动中的一方为阈值以上且另一方小于阈值时，斜位检测部40判定为第1眼球s1和第2眼球s2中的一方处于斜位状态(即眼位偏移)。斜位检测部40使用的阈值可以是1个阈值，也可以是2个以上的阈值。

瞳孔距离输出c1的分量变动例如用方差表示。

斜位检测部40判定是双眼球运动状态还是斜位状态，因此，能够根据该判定结果来判定人h的注意力。

图5的(a)～图5的(d)是示出人h的双眼的眼球运动(即双眼球运动状态)的例子的图。

图5的(a)示出固视状态。固视状态是左右眼球被固定的状态，是人h注视着视觉对象的状态。

图5的(b)是示出横向上的视线移动状态的图。

例如，在距离rh增加且距离lh减小时，判定为人h的视线朝向右方。另一方面，在距离rh减小且距离lh增加时，判定为人h的视线朝向左方。

图5的(c)是示出纵向上的视线移动状态的图。

例如，在距离rv和距离lv增加时，判定为人h的视线朝向上方。另一方面，在距离rv和距离lv增加时，判定为人h的视线朝向下方。在距离r和距离l增加时，判定为人h的视线朝向斜方。

图5的(d)是示出辐辏运动状态的图。

辐辏运动是使双眼靠近鼻子侧的运动。即，辐辏运动状态是人h的双眼正在进行辐辏运动的状态。例如，在距离rh和距离lh减小时，判定为人h的双眼的状态是辐辏运动状态。

人h的双眼的眼球运动不限于图5的(a)～图5的(d)所示的例子。例如，在距离rh和距离lh增加时，判定为人h的双眼正在进行散开运动。散开运动是使双眼靠近耳朵侧的运动。

图6的(a)～图6的(d)是示出人h的单眼的眼球运动具体而言为斜位状态的例子的图。

一般而言，作为人的眼位，例如存在双眼视觉的眼位、融像去除眼位、生理学安静位和绝对安静位。在双眼视觉的眼位，使外眼肌和内眼肌紧张，双眼视觉功能发挥作用。在融像去除眼位，去除用于对输入到左右眼球的像进行融像的融像性辐辏。生理学安静位例如在深度睡眠下可见，眼肌的受到刺激的状态成为最小限度。绝对安静位例如在死后可见，从全部刺激中解放眼肌。

斜位是指，通常使眼肌紧张而具有双眼视觉功能，但是潜在地具有融像去除眼位，是指在眼肌的紧张变得不充分的情况下暂时接近融像去除眼位的状态。在从双眼视觉功能发挥作用的状态起失去融像性辐辏时，在单眼看到眼位偏移作为斜位，视线的方向因人而异。

例如，在距离r的方差值即方差值σr小于阈值tr且距离l的方差值即方差值σl为tl以上时，斜位检测部40能够判定为人h(即第1眼球s1和第2眼球s2)处于图6的(a)～图6的(d)所示的斜位状态之一。

图6的(a)示出外斜位状态。外斜位状态是第1眼球s1的瞳孔和第2眼球s2的瞳孔中的一方靠近耳朵侧的状态。例如，如图6的(a)所示，在距离rh固定且距离lh增加时，判定为第1眼球s1和第2眼球s2处于外斜位状态。同样，在距离rh增加且距离lh固定时，判定为第1眼球s1和第2眼球s2处于外斜位状态。

图6的(b)示出内斜位状态。内斜位状态是第1眼球s1的瞳孔和第2眼球s2的瞳孔中的一方靠近鼻子侧的状态。例如，如图6的(b)所示，在距离rh固定且距离lh减小时，判定为第1眼球s1和第2眼球s2处于内斜位状态。同样，在距离rh减小且距离lh固定时，判定为第1眼球s1和第2眼球s2处于内斜位状态。

图6的(c)示出上斜位状态。上斜位状态是第1眼球s1的瞳孔和第2眼球s2的瞳孔中的一方靠近上侧的状态。例如，如图6的(c)所示，在距离rv固定且距离lv增加时，判定为第1眼球s1和第2眼球s2处于上斜位状态。同样，在距离rv增加且距离lv固定时，判定为第1眼球s1和第2眼球s2处于上斜位状态。

图6的(d)示出下斜位状态。下斜位状态是第1眼球s1的瞳孔和第2眼球s2的瞳孔中的一方靠近下侧的状态。例如，如图6的(d)所示，在距离rv固定且距离lv减小时，判定为第1眼球s1和第2眼球s2处于下斜位状态。同样，在距离rv减小且距离lv固定时，判定为第1眼球s1和第2眼球s2处于下斜位状态。

斜位状态不限于图6的(a)～图6的(d)所示的例子。例如，在同时产生外斜位状态和内斜位状态中的一方以及上斜位状态和下斜位状态中的一方时，判定为第1眼球s1和第2眼球s2处于倾斜方向的斜位。

在斜位检测部40判定人h的双眼的状态的情况下，斜位检测部40例如使用时序数据计算瞳孔距离输出c1中包含的各分量的方差值σrh、σlh、σrv、σlv、σr、σl。该情况下，时序数据是周期性地输入到斜位检测部40的瞳孔距离输出c1。

方差值σrh是在预定的期间内输入到斜位检测部40的距离rh的方差值。方差值σlh是在预定的期间内输入到斜位检测部40的距离lh的方差值。方差值σrv是在预定的期间内输入到斜位检测部40的距离rv的方差值。方差值σlv是在预定的期间内输入到斜位检测部40的距离lv的方差值。方差值σr是在预定的期间内输入到斜位检测部40的距离r的方差值。方差值σl是在预定的期间内输入到斜位检测部40的距离l的方差值。

斜位检测部40对各分量的方差值和与该方差值对应的预定的阈值(也称作“变动阈值”)进行比较。

与方差值σrh对应的阈值是阈值trh。与方差值σlh对应的阈值是阈值tlh。与方差值σrv对应的阈值是阈值trv。与方差值σlv对应的阈值是阈值tlv。与方差值σr对应的阈值是阈值tr。与方差值σl对应的阈值是阈值tl。

阈值trh、tlh、trv、tlv、tr、tl分别是预定的值。例如，作为各阈值，可以使用预定的期间内的瞳孔距离输出c1中包含的各分量的方差值，也可以使用对从固视状态下的时序数据得到的方差值赋予权重而得到的值。

例如，斜位检测部40判定与第1眼球s1有关的数据是否满足第1条件(即σrh<trh、σrv<trv且σr<tr)，判定与第2眼球s2有关的数据是否满足第2条件(即σlh<tlh、σlv<tlv且σl<tl)。

在第1条件(即σrh<trh、σrv<trv且σr<tr)的情况下，斜位检测部40判定为人h的第1眼球s1处于固视状态。

另一方面，在不满足第1条件的情况下，斜位检测部40判定为人h的第1眼球s1不处于固视状态。即，斜位检测部40判定为第1眼球s1向任意的方向运动。

在第2条件(即σlh<tlh、σlv<tlv且σl<tl)的情况下，斜位检测部40判定为人h的第2眼球s2处于固视状态。

另一方面，在不满足第2条件的情况下，斜位检测部40判定为人h的第1眼球s1不处于固视状态。即，斜位检测部40判定为第2眼球s2向任意的方向运动。

在与第1眼球s1和第2眼球s2有关的数据不满足第1条件和第2条件双方时，斜位检测部40判定为第1眼球s1和第2眼球s2正在进行朝向上下方向的视线移动、朝向左右方向的视线移动、辐辏运动或散开运动等双眼球运动。换言之，在与第1眼球s1和第2眼球s2有关的数据不满足第1条件和第2条件双方时，斜位检测部40判定为第1眼球s1和第2眼球s2的状态处于双眼球运动状态。

在与第1眼球s1和第2眼球s2有关的数据仅满足第1条件和第2条件中的一方时，斜位检测部40判定为人h的单眼产生眼位偏移。该情况下，斜位检测部40判定为人h的状态处于斜位状态。换言之，斜位检测部40判定为第1眼球s1和第2眼球s2中的一方处于斜位状态。

通过判定人h的双眼的举动，能够判定第1眼球s1和第2眼球s2处于双眼球运动状态，还是第1眼球s1和第2眼球s2中的一方处于斜位状态。

斜位检测部40只要判定第1眼球s1和第2眼球s2处于双眼球运动状态，还是第1眼球s1和第2眼球s2中的一方处于斜位状态即可。斜位检测部40中的上述判定方法只是一例，也可以组合各种判定条件。

在步骤st5中，斜位检测部40输出判定结果作为斜位检测结果d1。斜位检测结果d1表示第1眼球s1和第2眼球s2的状态。例如，斜位检测结果d1表示第1眼球s1和第2眼球s2处于双眼球运动状态，还是第1眼球s1和第2眼球s2中的一方处于斜位状态。

斜位检测结果d1被输入到注意力判定部50。在步骤st6中，注意力判定部50根据斜位检测结果d1判定人h的注意力，生成判定结果作为注意力状态e1。

注意力状态e1例如是注意力降低状态或注意力维持状态。该情况下，注意力降低状态是人h的注意力低的状态，注意力维持状态是人h的注意力高的状态。

例如，在斜位检测结果d1表示双眼球运动状态的情况下，注意力判定部50判定为人h处于注意力维持状态，生成表示注意力维持状态的信号即注意力状态e1。另一方面，在斜位检测结果d1表示斜位状态的情况下，注意力判定部50判定为人h处于注意力降低状态，生成表示注意力降低状态的信号即注意力状态e1。

在步骤st7中，注意力判定部50输出注意力状态e1。注意力状态e1例如被输入到监视器、平视显示器、扬声器或振动器等输出装置70。输出装置70例如根据注意力状态e1，至少输出图像(例如静态图像或动态图像)、声音和振动中的一方。在注意力状态e1不是注意力降低状态的情况下，输出装置70也可以不进行任何输出。

图7的(a)是示出注意力判定装置100的硬件结构的一例的图。

图7的(b)是示出注意力判定装置100的硬件结构的另一例的图。

注意力判定装置100例如由至少1个处理器108a和至少1个存储器108b构成。处理器108a例如是执行存储器108b中存储的程序的centralprocessingunit(cpu：中央处理单元)。该情况下，注意力判定装置100的功能通过软件、固件或软件和固件的组合来实现。软件和固件能够作为程序存储于存储器108b。由此，用于实现注意力判定装置100的功能(例如本实施方式中说明的注意力判定方法)的程序由计算机来执行。

存储器108b是计算机能读取的记录介质，例如是ram(randomaccessmemory：随机存取存储器)和rom(readonlymemory：只读存储器)等易失性存储器、非易失性存储器或易失性存储器和非易失性存储器的组合。

注意力判定装置100也可以由单一电路或复合电路等作为专用硬件的处理电路108c构成。该情况下，注意力判定装置100的功能通过处理电路108c来实现。

如上所述，实施方式1中的注意力判定装置100检测人h是否产生眼位偏移。因此，注意力判定装置100能够使用低帧率地拍摄到的图像判定注意力。由此，与检测作为高速眼球运动的扫视的装置相比，注意力判定装置100不需要cpu的高处理能力。其结果是，能够降低注意力判定装置100的制造成本。

实施方式1的注意力判定系统101具有注意力判定装置100。因此，注意力判定系统101具有与上述注意力判定装置100的优点相同的优点。

实施方式2

图8是概略地示出本发明的实施方式2的注意力判定系统201的结构的框图。

图9是示出上述注意力判定系统201中的判定人h的注意力的注意力判定方法的步骤的一例的流程图。

在步骤st1中，在拍摄图像a1内设定与第1眼球s1有关的第1基准坐标和与第2眼球s2有关的第2基准坐标。

在步骤st2中，计算第1眼球s1的瞳孔在拍摄图像a1内的坐标即第1瞳孔坐标和第2眼球s2的瞳孔在拍摄图像a1内的坐标即第2瞳孔坐标。

在步骤st3中，输出第1基准坐标、第2基准坐标、第1瞳孔坐标和第2瞳孔坐标。

在步骤st4中，计算第1瞳孔坐标相对于第1基准坐标的至少1个位置分量和第2瞳孔坐标相对于第2基准坐标的至少1个位置分量。

在步骤st5中，对第1瞳孔坐标的至少1个位置分量和第2瞳孔坐标的至少1个位置分量进行归一化。

在步骤st6中，输出归一化而得到的值作为瞳孔距离校正值。

在步骤st7中，输出使用瞳孔距离校正值表示第1眼球s1和第2眼球s2的状态的斜位检测结果。

在步骤st8中，根据斜位检测结果判定人h的注意力。

在步骤st9中，输出注意力状态e1。

在实施方式2中，主要对与实施方式1不同的结构和动作进行说明。

实施方式2的注意力判定系统201具有注意力判定装置200以代替注意力判定装置100。在实施方式2中，注意力判定装置200使用由摄像部10拍摄到的包含人h的第1眼球s1、第2眼球s2和鼻子s3的图像。

注意力判定装置200具有摄像部10、图像处理部20、瞳孔距离计算部30、斜位检测部40、注意力判定部50和瞳孔距离校正部60。即，实施方式2的注意力判定装置200在实施方式1中说明的摄像部10、图像处理部20、瞳孔距离计算部30、斜位检测部40和注意力判定部50的基础上，还具有瞳孔距离校正部60。注意力判定装置200也可以还具有输出装置70。

注意力判定装置200使用包含第1眼球s1、第2眼球s2和鼻子s3的图像判定人h的注意力。

注意力判定装置200的硬件结构也可以与实施方式1中说明的硬件结构相同。该情况下，注意力判定装置200的硬件结构是图7的(a)或图7的(b)所示的硬件结构。

在步骤st2中，图像处理部20在第1瞳孔坐标re和第2瞳孔坐标le的基础上，还计算第1眼球s1的第1内眼角坐标rc、第2眼球s2的第2内眼角坐标lc和鼻子坐标nt。

在步骤st3中，图像处理部20输出至少1个瞳孔坐标、鼻子坐标nt和至少1个基准坐标作为输出坐标b2。在本实施方式中，图像处理部20输出第1瞳孔坐标re、第2瞳孔坐标le、鼻子坐标nt、第1基准坐标和第2基准坐标作为输出坐标b2。

例如，与实施方式1同样，在图像处理部20设定作为第1基准坐标的第1内眼角坐标rc和作为第2基准坐标的第2内眼角坐标lc的情况下，图像处理部20输出第1瞳孔坐标re、第2瞳孔坐标le、鼻子坐标nt、第1内眼角坐标rc和第2内眼角坐标lc作为输出坐标b2。该情况下，输出坐标b2例如表示成一维数组(即，b2＝[rex，rey，lex、ley，rcx，rcy，lcx，lcy，ntx，nty])。

输出坐标b2被输入到瞳孔距离计算部30。在步骤st4中，瞳孔距离计算部30使用输出坐标b2，在瞳孔距离31、32、33、34、35、36的基础上，还周期性地计算内眼角距离37和鼻梁距离38。由此，在瞳孔距离计算部30中计算出时序数据。

内眼角距离37是第1眼球s1与第2眼球s2之间的距离。具体而言，内眼角距离37是第1眼球s1的内眼角26与第2眼球s2的内眼角27之间的距离。在拍摄图像a1内，内眼角距离37是从第1内眼角坐标rc到第2内眼角坐标lc的距离。在本实施方式中，将拍摄图像a1内的从第1内眼角坐标rc到第2内眼角坐标lc的距离设为d。

鼻梁距离38是内眼角距离37的中点p1与鼻尖端28之间的距离。在拍摄图像a1内，鼻梁距离38是从中点p1到鼻子坐标nt的距离。在本实施方式中，将拍摄图像a1内的从中点p1到鼻子坐标nt的距离设为n。

距离d如式(3)那样表示。

【数学式3】

距离n如式(4)那样表示。

【数学式4】

瞳孔距离计算部30输出计算出的距离rh、lh、rv、lv、r、l、d、n作为瞳孔距离输出c2。瞳孔距离输出c2例如表示成一维数组(即，c2＝[rh，lh，rv，lv，r，l，d，n])。

进而，瞳孔距离计算部30也可以输出计算出的距离d、n作为基准值输出g。基准值输出g例如表示成一维数组(即，g＝[d，n])。

瞳孔距离输出c2和基准值输出g被输入到瞳孔距离校正部60。在步骤st5中，瞳孔距离校正部60使用至少1个任意的值，对瞳孔距离即第1瞳孔坐标re的至少1个位置分量和第2瞳孔坐标le的至少1个位置分量进行归一化。

在本实施方式中，瞳孔距离校正部60使用内眼角距离37(即距离d)或鼻梁距离38(即距离n)，对瞳孔距离即第1瞳孔坐标re的至少1个位置分量和第2瞳孔坐标le的至少1个位置分量进行归一化。

具体而言，瞳孔距离校正部60使用内眼角距离37对瞳孔距离33和瞳孔距离34进行归一化。例如，瞳孔距离33通过rh/d来归一化，瞳孔距离34通过lh/d来归一化。

瞳孔距离校正部60使用鼻梁距离38对瞳孔距离35和瞳孔距离36进行归一化。例如，瞳孔距离35通过rv/n来归一化，瞳孔距离36通过lv/n来归一化。

瞳孔距离校正部60使用归一化而得到的瞳孔距离35对瞳孔距离31进行更新。例如，更新后的瞳孔距离31如式(5)那样表示。

【数学式5】

瞳孔距离校正部60使用归一化而得到的瞳孔距离36对瞳孔距离32进行更新。例如，更新后的瞳孔距离32如式(6)那样表示。

【数学式6】

在步骤st6中，瞳孔距离校正部60输出归一化而得到的值(即归一化而得到的位置分量)作为瞳孔距离校正值f。瞳孔距离校正值f例如表示成一维数组(即，f＝[rh/d，lh/d，rv/n，lv/n，r，l])。

瞳孔距离校正值f被输入到斜位检测部40。在步骤st7中，斜位检测部40输出使用瞳孔距离校正值f表示第1眼球s1和第2眼球s2的状态的斜位检测结果。具体而言，斜位检测部40使用瞳孔距离校正值f的变动判定人h的眼球运动即人h的双眼的状态。更具体而言，斜位检测部40使用瞳孔距离校正值f的变动判定人h的双眼的状态是人h的双眼的眼球运动还是单眼的眼球运动。斜位检测部40输出判定结果作为斜位检测结果。

在斜位检测部40判定人h的双眼的状态的情况下，斜位检测部40例如使用时序数据计算瞳孔距离校正值f中包含的各分量的方差值。该情况下，时序数据是周期性地输入到斜位检测部40的瞳孔距离校正值f。

斜位检测部40对各分量的方差值和与该方差值对应的预定的阈值(也称作“变动阈值”)进行比较。

如实施方式1中说明的那样，斜位检测部40判定与第1眼球s1有关的数据是否满足第1条件，判定与第2眼球s2有关的数据是否满足第2条件，输出判定结果作为斜位检测结果d1。

斜位检测结果d1被输入到注意力判定部50。进而，基准值输出g即内眼角距离37的时序数据和鼻梁距离38的时序数据被输入到注意力判定部50。在图8所示的例子中，基准值输出g从瞳孔距离计算部30输入到注意力判定部50。但是，基准值输出g也可以从瞳孔距离计算部30以外的结构要素(例如斜位检测部40或瞳孔距离校正部60)输入到注意力判定部50。

在步骤st8中，注意力判定部50使用内眼角距离37的时序数据计算内眼角距离37的方差值σd，使用鼻梁距离38的时序数据计算方差值σn。注意力判定部50将计算出的方差值与变动阈值进行比较。

具体而言，注意力判定部50对计算出的方差值σd和变动阈值td进行比较，对计算出的方差值σn和变动阈值tn进行比较。

变动阈值td是预定的值。例如，作为变动阈值td，可以使用预定的期间内的内眼角距离37的方差值，也可以使用对从固视状态下的时序数据得到的方差值赋予权重而得到的值。同样，变动阈值tn是预定的值。例如，作为变动阈值tn，可以使用预定的期间内的鼻梁距离38的方差值，也可以使用对从固视状态下的时序数据得到的方差值赋予权重而得到的值。

在时序数据(具体而言，与内眼角距离37有关的方差值σd和与鼻梁距离38有关的方差值σn)满足注意力条件(即σd<td且σn<tn)的情况下，人h的面部的朝向的变化小。因此，在时序数据满足注意力条件(即σd<td且σn<tn)的情况下，注意力判定部50判定为人h处于注意力降低状态，生成表示注意力降低状态的注意力状态e1。

另一方面，在方差值σd为变动阈值td以上的情况下，人h的面部的朝向在pitch方向(在图3中为y轴方向)上大幅移动。在方差值σn为变动阈值tn以上的情况下，人h的面部的朝向在yaw方向(在图3中为x轴方向)上大幅移动。

即，在时序数据(具体而言，与内眼角距离37有关的方差值σd和与鼻梁距离38有关的方差值σn)不满足注意力条件的情况下(即σd<td且σn<tn)，人h的面部的朝向在pitch方向和yaw方向上大幅移动。该情况下，注意力判定部50判定为人h正在充分地视觉辨认周围。因此，在时序数据不满足注意力条件的情况下，注意力判定部50判定为人h处于注意力维持状态，生成表示注意力维持状态的注意力状态e1。

在步骤st9中，注意力判定部50输出注意力状态e1。

实施方式2中的注意力判定装置200具有与实施方式1中的注意力判定装置100的优点相同的优点。

进而，实施方式2的注意力判定装置200使用内眼角距离37和鼻梁距离38判定人h的注意力。内眼角距离37和鼻梁距离38能够视为人h的固定指标。因此，利用内眼角距离37或鼻梁距离38对瞳孔距离(例如瞳孔距离33、34、35、36)进行归一化，由此，能够减轻由于人h的面部的朝向的微小变化而引起的瞳孔距离的变动的影响。其结果是，能够提高瞳孔距离(例如瞳孔距离33、34、35、36)的时序数据的分析精度。

具有注意力判定装置200的注意力判定系统201具有与上述注意力判定装置200的优点相同的优点。

以上说明的各实施方式中的特征能够彼此适当地组合。

标号说明

10：摄像部；20：图像处理部；30：瞳孔距离计算部；40：斜位检测部；50：注意力判定部；60：瞳孔距离校正部；70：输出装置；100、200：注意力判定装置；101、201：注意力判定系统。