电子设备、信息处理装置、清醒度计算方法以及清醒度计算程序与流程

电子设备、信息处理装置、清醒度计算方法以及清醒度计算程序
1.相关申请的相互参照
2.本技术主张2020年7月17日在日本进行专利申请的日本特愿2020-123234的优先权，在此引入该在先申请的所有公开内容作为参照。
技术领域
3.本发明涉及电子设备、信息处理装置、清醒度计算方法以及清醒度计算程序。


背景技术：

4.移动体的安全驾驶要求驾驶者的注意力。因此，正在研究观察驾驶者的注意力，并在注意力下降的情况下，向驾驶者发出警告或进行驾驶的支援。作为对注意力的观察，提出了一种计算视线相对于本车的周边的对向车等对象物的重合程度的累计值即累计视认度，并将其与基准值进行比较的方案(参照专利文献1)。另外，提出了一种推定监视对象者是否视觉辨认到应该视觉辨认的对象物的注意力推定系统(参照专利文献2)。
5.现有技术文献
6.专利文献
7.专利文献1：国际公开2008-029802号
8.专利文献2：日本特开2015-207163号公报。


技术实现要素：

9.为了解决上述的各个课题，第一观点的电子设备具有：
10.拍摄部，通过拍摄生成与场景对应的图像；
11.视线检测部，检测对象者相对于所述场景的视线；以及
12.控制部，基于所述图像以及所述视线推定所述对象者的清醒度，
13.所述控制部作为第一推定部发挥功能，该第一推定部通过对学习用图像和学习用对象者相对于该学习用图像的清醒度在第一范围内时的视线之间的关系进行机器学习而得到的学习数据构建，并能够基于所述图像，推定表示所述清醒度在所述第一范围内时的构成该图像的各位置处的所述视线的概率的第一热图，
14.所述控制部基于所述第一热图以及所述对象者的视线，计算该对象者的清醒度。
15.第二观点的信息处理装置具有：
16.获取部，获取与场景对应的图像、以及对象者相对于所述场景的视线；
17.控制部，基于所述图像以及所述视线推定所述对象者的清醒度；以及
18.输出部，输出所述清醒度，
19.所述控制部作为第一推定部发挥功能，该第一推定部通过对学习用图像和学习用对象者相对于该学习用图像的清醒度在第一范围内时的视线之间的关系进行机器学习而得到的学习数据构建，并能够基于所述图像，推定表示所述清醒度在所述第一范围内时的
构成该图像的各位置处的所述视线的概率的第一热图，
20.基于所述第一热图以及所述对象者的视线，计算该对象者的清醒度。
21.第三观点的清醒度计算方法包括：
22.拍摄工序，通过拍摄生成与场景对应的图像；
23.视线检测工序，检测对象者相对于所述场景的视线；以及
24.推定工序，基于所述图像以及所述视线推定所述对象者的清醒度，
25.在所述推定工序中，通过对学习用图像和学习用对象者相对于该学习用图像的清醒度在第一范围内时的视线之间的关系进行机器学习而得到的学习数据，基于所述图像，推定表示所述清醒度在所述第一范围内时的构成该图像的各位置处的所述视线的概率的第一热图，
26.在所述推定工序中，基于所述第一热图以及所述对象者的视线，计算该对象者的清醒度。
27.第四观点的清醒度计算程序使计算机作为以下各部发挥功能：
28.拍摄部，通过拍摄生成与场景对应的图像；
29.视线检测部，检测对象者相对于所述场景的视线；以及
30.控制部，基于所述图像以及所述视线，推定所述对象者的清醒度，
31.所述控制部作为第一推定部发挥功能，该第一推定部通过对学习用图像和学习用对象者相对于该学习用图像的清醒度在第一范围内时的视线之间的关系进行机器学习而得到的学习数据构建，并能够基于所述图像，推定表示所述清醒度在所述第一范围内时的构成该图像的各位置处的所述视线的概率的第一热图，
32.所述控制部基于所述第一热图以及所述对象者的视线来计算该对象者的清醒度。
附图说明
33.图1是表示第一实施方式的电子设备的概略结构的框图。
34.图2是用于说明视线检测部检测的视线与图像的关系的图。
35.图3是表示第一推定部针对图像推定的第一热图(heatmap)的具体例子的图。
36.图4是用于说明在第一实施方式中图1的控制部执行的推定处理的流程图。
37.图5是表示第二实施方式的电子设备的概略结构的框图。
38.图6是说明在第二实施方式中控制部执行的计算相似度的算法的第一图。
39.图7是说明在第二实施方式中控制部执行的计算相似度的算法的第二图。
40.图8是将设定的权重与视线的概率建立关联的表格。
41.图9是用于说明在第二实施方式中图5的控制部执行的推定处理的流程图。
42.图10是在第一实施方式的变形例中第一推定部推定的热图的概念图。
43.图11是表示在第一实施方式的变形例中推定的热图的数据结构的图。
44.图12是用于说明在第二实施方式的变形例中控制部作为多个推定部发挥功能来分别推定热图的结构的概念图。
45.图13是表示作为第一实施方式以及第二实施方式的变形例的信息处理装置的概略结构的框图。
具体实施方式
46.以下，参照附图对应用了本发明的电子设备的实施方式进行说明。此外，以下的说明兼有应用了本发明的信息处理装置、清醒度计算方法以及清醒度计算程序的说明。
47.本发明的第一实施方式的电子设备例如设置于移动体。移动体例如可以包括车辆、船舶、以及航空器等。车辆例如可以包括汽车、工业车辆、铁道车辆、生活车辆、以及行驶在跑道上的固定翼飞机等。汽车例如可以包括乘用车、卡车、公共汽车、二轮车、以及无轨电车等。工业车辆例如可以包括面向农业以及建设的工业车辆等。工业车辆例如可以包括叉车以及高尔夫球车等。农业用的工业车辆例如可以包括拖拉机、耕种机、移栽机、捆扎机、联合收割机、以及割草机等。建设用的工业车辆例如可以包括推土机、铲运机、挖掘机、起重机、翻斗车、以及压路机等。车辆可以包括靠人力行使的车辆。车辆的分类并不限定于上述的例子。例如，汽车也包括能够在道路上行驶的工业车辆。在多个分类中可以包括相同的车辆。船舶例如可以包括海上喷气飞机、小船、以及油轮等。航空器例如可以包括固定翼飞机以及旋转翼飞机等。
48.如图1所示，本发明的第一实施方式的电子设备10构成为包括：拍摄部11、视线检测部12、存储器13、以及控制部14。
49.拍摄部11例如以能够拍摄移动体的前进方向的场景的方式设置于移动体。拍摄部11例如是能够以30fps的速度进行拍摄的摄像头。拍摄部11通过拍摄生成与场景对应的图像。
50.视线检测部12例如以能够检测就坐于移动体的驾驶席的对象者的视线的方式设置于移动体。视线检测部12例如是接触式的眼动仪(eye tracker)以及非接触式的眼动仪中的任意一个，检测对象者相对于场景的视线。如图2所示，视线ls例如被表示为在与由拍摄部11拍摄生成的图像im相同的坐标系中的与位置pe相当的视线的方向。
51.视线检测部12也可以检测时间序列的视线的视线数据作为视线数据。更具体而言，视线检测部12也可以在各个时间在图像上检测视线的位置，并将该一系列的时间序列的视线的位置作为视线数据而输出。视线检测部12也可以以比拍摄部11更高的速度，换言之以更高的频度来检测视线，并将检测到的该一系列的时间序列的视线的位置作为一个图像的视线的路径进行累计并输出。
52.存储器13例如包括ram(random access memory：随机存取存储器)以及rom(read only memory：只读存储器)等任意的存储设备。存储器13存储使控制部14发挥作用的各种程序以及控制部14使用的各种信息。
53.控制部14包括一个以上的处理器以及存储器。处理器可以包括读取特定的程序以执行特定的功能的通用处理器以及专门进行特定的处理的专用处理器。专用处理器可以包括专用集成电路(asic：application specific integrated circuit)。处理器可以包括可编程逻辑器件(pld：programmable logic device)。pld可以包括现场可编程逻辑门阵列(fpga：field-programmable gate array)。控制部14也可以是一个或者多个处理器协作的soc(system-on-a-chip：片上系统)以及sip(system in a package：系统级封装)中的任意一个。控制部14控制电子设备10的各结构要素的动作。
54.在通常时，控制部14使拍摄部11例如以30fps等的速度执行连续的拍摄，并连续地获取图像im作为信息。控制部14使视线检测部12检测拍摄部11执行拍摄时的对象者的视线
ls，并获取与图像im的拍摄时刻实质上相同的时期的视线ls作为信息。与图像im的拍摄时刻实质上相同的时期可以包括单一的检测时刻，也可以包括从图像im的最近的拍摄的前一个拍摄时刻到最近的拍摄时刻之间的多个检测时刻。与图像im的拍摄时刻实质上相同的时期在包括视线的单一的检测时刻的情况下，可以不是严格意义上的相同时刻，可以包括在与图像拍摄相同的周期的视线检测中最接近于拍摄时的时刻的检测时刻。控制部14将图像im和在与该图像im的拍摄时刻实质上相同的时期检测到的视线ls建立关联地存储在存储器13中。
55.控制部14可以对获取的图像im实施图像处理。在利用如语义分割图像等那样的对通常的拍摄图像im实施了规定的图像处理的图像进行后述的推定部的学习的结构中，控制部14对获取的图像im实施该规定的图像处理，并与视线ls建立关联地存储在存储器13中。语义分割图像是将标签或类别与图像内的全部像素建立关联的图像。
56.控制部14基于拍摄时刻和检测时期实质上相同的图像im以及视线ls，推定对象者的清醒度。更具体而言，控制部14通过作为第一推定部15发挥功能，来推定对象者的清醒度。
57.第一推定部15基于图像im，推定对象者的清醒度在第一范围时的第一热图。如图3所示，第一热图mp1是指在构成与特定的场景对应的图像im的各位置处表示在一般的对象者的清醒度包含在第一范围内的情况下针对该场景注视各个位置的概率、即与视线ls重叠的概率的二维图。第一范围是能够判别为对象者处于疏忽大意状态的范围。例如，在将从0％至33％以下的范围视为低清醒度，将大于33％且在66％以下的范围视为正常清醒度，将大于66％且在100％以下的范围视为高清醒度的情况下，第一范围例如是在0％以上且33％以下的范围内设定的任意的范围。第一范围并不限定于上述范围，可以适当确定。
58.第一推定部15例如由多层结构的神经网络(neural network)构成。如后所述，第一推定部15通过实施机器学习构建。另外，在本发明中，以下说明的第一推定部15可以由多层结构的神经网络构成。
59.如后所述，控制部14在通过使用了连续地拍摄的多个学习用图像的学习构建第一推定部15的结构中，可以基于连续地拍摄的多个图像im以及针对该多个图像im中的每一个的视线ls、换言之与多个图像im中的每一个建立关联的视线ls，推定单一的第一热图mp1。控制部14例如可以基于从最新的图像im起以规定的时间间隔回溯的范围内的帧的图像im，推定单一的第一热图mp1。
60.控制部14基于第一推定部15推定出的第一热图mp1以及对象者的视线ls，计算对象者的清醒度。控制部14例如确定与对象者的视线ls对应的第一热图mp1的位置，或者包括该位置的区域。控制部14进一步根据第一热图mp1的位置处的概率或者区域中的概率的平均值或加权平均值等来计算清醒度。控制部14例如通过函数或者表格，以概率越大则清醒度越低的方式计算清醒度。控制部14例如也可以以概率越大则对象者的清醒度越接近第一范围内的平均值、最大值、最小值等特定的值的方式计算清醒度。控制部14也可以使用第一推定部15推定出的单一的第一热图mp1上的对象者的视线ls的路径中的概率的累计值等计算清醒度。
61.控制部14可以基于根据连续地拍摄的多个图像im分别推定出的多个第一热图mp1、以及在多个第一热图mp1中分别与针对该多个图像im中的每一个的视线ls的位置对应
的概率的累计值，计算对象者的清醒度。控制部14例如可以基于分别与从最新的图像im起以规定的时间间隔回溯的范围内的帧的图像im对应的第一热图mp1，计算清醒度。
62.如后所述，控制部14在通过使用了在连续地拍摄的多个学习用图像中视线ls的移动速度小于阈值的学习用图像的学习构建第一推定部15的结构中，在连续地拍摄的多个图像im以及针对该多个图像im的视线ls中，在视线ls的移动速度为阈值以上的情况下，可以将该视线ls以及与该视线ls建立关联的图像im的组合排除来整体地推定对象者的清醒度。更具体而言，在任意检测时的视线ls相对于刚刚之前检测时的视线ls的移动量超过阈值的情况下，控制部14可以将该任意检测时的视线ls、以及与检测该视线ls时建立关联的图像im的组合排除。换言之，控制部14也可以将扫视(saccade)中的信息排除。排除的理由是，扫视是移动到下一个注视点的中途的动作，扫视中的视线的位置不具有作为注视点的意义。控制部14也可以根据视线的位置的移动速度等来判定是否正在进行扫视。
63.例如，在基于与多个图像im中的每一个建立关联的视线ls推定单一的第一热图mp1的结构中，可以排除上述的组合推定单一的第一热图mp1，并基于该第一热图mp1和视线ls计算清醒度。另外，在基于在多个第一热图mp1中分别与针对多个图像im中的每一个的视线ls的位置对应的概率的累计值计算对象者的清醒度的结构中，也可以推定排除了上述的组合的多个第一热图mp1，并基于与排除了上述的组合的视线ls对应的概率的累计值计算清醒度。
64.另外，控制部14在通过使用了包含在单一的学习用图像内的视线ls的移动速度小于阈值的部分的路径的学习构建第一推定部15的结构中，在视线ls的路径中，可以将视线ls的移动速度为阈值以上的部分排除来整体地推定对象者的清醒度。
65.控制部14将计算出的清醒度输出至外部设备16。外部设备16是基于清醒度进行规定动作的装置。外部设备16例如是基于清醒度向对象者发出警告的警告装置、基于清醒度辅助移动体的驾驶的驾驶辅助装置、以及基于清醒度进行移动体的驾驶的驾驶装置等。
66.第一推定部15通过对学习用图像和学习用对象者相对于该学习用图像的清醒度在第一范围内时的该学习用对象者的实际的视线之间的关系进行机器学习而得到的学习数据构建。用于学习的、学习用对象者的清醒度根据与从学习用对象者检测的清醒度相关的生物体信息来计算。与清醒度相关的生物体信息是计算或推定清醒度的生物体信息。计算或推定清醒度的信息例如包括心跳、脑电波、眨眼的次数、perclos(percent of eyelid closure：眼睑闭合度)等中的至少一个。
67.第一推定部15基于学习用图像与清醒度在第一范围内时的学习用对象者的视线ls之间的关系，针对构成任意的图像im的、每个像素或由多个像素构成的每个区域推定与视线ls重叠的概率。第一推定部15生成二维状地表示清醒度在第一范围内时的、构成任意的图像im的每个位置的该概率的第一热图mp1。
68.第一推定部15还可以通过机器学习连续地拍摄的多个学习用图像以及学习用对象者相对于与多个学习用图像中的每一个对应的场景的、清醒度在第一范围内时的实际的视线构建。更具体而言，可以针对连续地拍摄的多个学习用图像中的每一个，基于清醒度在第一范围内的学习用对象者的视线的位置，针对构成任意的单一的图像im的、每个像素或由多个像素构成的每个区域推定与视线ls重叠的概率。第一推定部15还可以通过视线相对于连续地拍摄的多个学习用图像的移动速度小于阈值的学习用图像以及视线构建。
69.接下来，使用图4的流程图说明在第一实施方式中控制部14执行的推定处理。推定处理在控制部14每次获取1帧的图像im以及视线ls时开始。
70.在步骤s100中，控制部14通过与刚刚之前获取的视线ls的位置pe进行比较来计算所获取的视线ls的移动速度。在计算后，处理进入到步骤s101。
71.在步骤s101中，控制部14判别在步骤s101中计算出的移动速度是否为阈值以上。在阈值以上的情况下，处理进入到步骤s102。在不是阈值以上的情况下，处理进入到步骤s103。
72.在步骤s102中，控制部14废弃在推定处理开始时获取的图像im以及视线ls。在废弃后，处理进入到步骤s104。
73.在步骤s103中，控制部14将在推定处理开始时获取的图像im和视线ls相互建立关联地存储在存储器13中。在存储后，处理进入到步骤s104。
74.在步骤s104中，控制部14从存储器13中读取在以规定的时间间隔回溯的范围内存储的图像im和视线ls的组合中的图像im。在读取后，处理进入到步骤s105。
75.在步骤s105中，控制部14基于在步骤s104中读取的组合中所包含的多个图像im，通过作为第一推定部15发挥功能来推定第一热图mp1。在推定后，处理进入到步骤s106。
76.在步骤s106中，控制部14基于在步骤s105中推定的多个第一热图mp1和在步骤s104中读取的组合中所包含的视线ls，确定清醒度包含在第一范围内时的视线ls的概率。而且，控制部14基于确定的概率，计算清醒度。在计算后，处理进入到步骤s107中。
77.在步骤s107中，控制部14将在步骤s106中计算出的清醒度输出至外部设备16。在输出后，推定处理结束。
78.在以上那样的结构的第一实施方式的电子设备10中，控制部14作为第一推定部15发挥功能，第一推定部15能够基于图像im，推定表示清醒度在第一范围内时的构成该图像im的各位置处的视线ls的概率的第一热图mp1的，控制部14基于推定出的第一热图mp1和视线ls，推定对象者的清醒度。例如，对于高速道路、市区、郊外、住宅区等各种场景，注视的对象以及方向等一般会发生变化。因此，仅仅通过检测视线ls移动，难以提高推定清醒度的精度。另一方面，通过上述那样的结构，由于电子设备10已经学习了人在清醒度较低的情况下针对各种场景所注视的对象物的倾向，因此能够基于与当时的场景对应的图像im和视线ls，高精度地推定清醒度。由于人的注意力受到清醒度的影响，因此电子设备10能够提高推定各种状况下的对象者的注意力的精度。
79.另外，第一实施方式的电子设备10基于连续地拍摄的多个图像im以及针对该多个图像im中的每一个的视线ls，计算对象者的清醒度。通过这样的结构，由于电子设备10已经学习了因清醒度的不同而导致的视线ls在各种场景下的变动，因此能够基于与当时的场景对应的图像im和视线ls，进一步地高精度地计算清醒度。
80.另外，第一实施方式的电子设备10在连续地拍摄的多个图像im以及针对该多个图像im中的每一个的视线ls中，排除视线ls的移动速度超过阈值的视线ls和图像im的组合，计算对象者的清醒度。可以认为在场景中对象者注视的物体是对清醒度产生较大影响的因素。因此，认为如扫视中那样，在视线ls从任意的物体快速地转移到其他物体的期间的视线ls对清醒度产生的影响较低。因此，由于上述结构的电子设备10排除了被认为对清醒度影响较低的图像im和视线ls的组合，因此能够计算出精度更高的清醒度。
81.接下来，对本发明的第二实施方式的电子设备10进行说明。在第二实施方式中，控制部14的一部分功能与第一实施方式不同。以下，以与第一实施方式不同的点为中心对第二实施方式进行说明。此外，对具有与第一实施方式相同的结构的部位标注相同的附图标记。
82.如图5所示，第二实施方式的电子设备10构成为包括：拍摄部11、视线检测部12、存储器13、以及控制部14。第二实施方式中的拍摄部11、视线检测部12、以及存储器13的结构和功能与第一实施方式相同。第二实施方式中的控制部14的结构与第一实施方式相同。
83.在第二实施方式中，控制部14与第一实施方式不同，通过作为第一推定部15以及第二推定部17发挥功能，基于拍摄时和检测时实质上为相同时刻的图像im和视线ls，推定对象者的清醒度。第二实施方式中，第一推定部15的功能以及学习方法与第一实施方式相同。
84.第二推定部17基于图像im，推定对象者的清醒度在第二范围时的第二热图。与第一热图mp1相似，第二热图是指在构成与特定的场景对应的图像im的各位置处表示在一般的对象者的清醒度包含在第二范围的情况下对特定的场景注视各个位置的概率、即与视线ls重叠的概率的二维图。第二范围是能够判别对象者处于正常状态的范围。例如，在将上述的范围视为低清醒度、正常清醒度、以及高清醒度的情况下，第二范围例如是在33％以上且100％以下的范围内设定的任意的范围。第二范围并不限定于上述范围，也可以适当地确定。
85.第二推定部17例如由多层结构的神经网络构成。如后所述，第二推定部17通过实施机器学习构建。
86.在第二实施方式中，控制部14与第一实施方式不同，基于第一推定部15推定出的第一热图mp1、第二推定部17推定出的第二热图、以及对象者的视线ls，计算对象者的清醒度。在第二实施方式中，控制部14例如基于对象者的视线ls、第一热图mp1以及第二热图，计算与第一清醒度及第二清醒度的相似度，并基于计算出的相似度，计算清醒度。相似度是表示对象者的视线ls与清醒度在第一范围的一般的对象者的视线或者清醒度在第二范围的一般的对象者的视线的相似程度的指标。以下例示地说明相似度的计算方法。
87.控制部14例如在针对单一的图像im推定出的第一热图mp1以及第二热图mp2中，计算对象者的视线ls的位置的概率作为相似度。另外，控制部14例如将第一推定部15推定的第一热图mp1上的对象者的视线ls的路径上的概率的累计值和第二推定部17推定的第二热图mp2上的对象者的视线ls的路径上的概率的累计值进行比较，使用值更大的累计值来计算相似度。
88.参照图6、7说明基于视线ls的路径进行的相似度的计算。图6、7是用于说明在第二实施方式中控制部14执行的计算相似度的算法的图。如上所述，针对单一的图像im，第一推定部15推定第一热图mp1，第二推定部17推定第二热图mp2。
89.控制部14基于针对单一的图像im的视线ls的路径rt，读取该路径rt在第一热图mp1以及第二热图mp2中的每一个中所经过的各位置的概率。控制部14例如计算路径rt在第一热图mp1以及第二热图mp2中的每一个中所经过的各位置的概率的累计值，换言之，如图7所示，计算在路径rt的起点以及终点处的视线ls的位置的检测时刻之间的间隔的面积。控制部14可以计算该面积作为相似度。或者，控制部14可以计算根据该面积而增大的值作为
相似度。例如，控制部14可以计算根据视线的概率而增大的加权的概率的累计值作为相似度。
90.如图8所示，存储器13存储将权重与视线ls的概率建立关联的表格。控制部14在计算视线ls的概率的加权累计值的情况下，从存储器13中读取表格。
91.例如，在该表格中，在能够通过学习推定的概率为整数的结构中，对于80％以上且100％以下的范围的概率，权重被设定为1.5。另外，在该表格中，对于60％以上且79％以下的范围的概率，权重被设定为1.0。另外，在该表格中，对于40％以上且59％以下的范围的概率，权重被设定为0.5。另外，在该表格中，对于0％以上且39％以下的范围的概率，权重被设定为0.3。但是，可以适当地确定相对于概率的值的权重以外的设定。
92.这样，控制部14基于与视线ls的概率对应的加权累计值计算相似度，从而能够增大可靠度高的概率的比重，提高推定清醒度的精度。此外，在上述的第一实施方式中，控制部14也可以使用该图8所示那样的表格，基于与视线ls的概率对应的加权累计值，增大可靠度高的概率的比重，提高推定清醒度的精度。
93.另外，控制部14也可以计算出上述的概率的累计值的每单位时间的平均值或者加权平均值等作为相似度。
94.而且，控制部14例如可以计算出根据相似度对第一范围内的平均值、最大值、最小值等特定的值和第二范围内的平均值、最大值、最小值等特定的值进行加权而得到的平均值作为清醒度。
95.在第二实施方式中，控制部14与第一实施方式相同，将计算出的清醒度输出至外部设备16。
96.第二推定部17通过对学习用图像和学习用对象者相对于该学习用图像的清醒度在第二范围内时的该学习用对象者的实际的视线之间的关系进行机器学习而得到的学习数据构建。第二推定部17基于学习用图像和清醒度在第二范围内时的学习用对象者的视线之间的关系，针对构成任意的图像im的每个像素或者由多个像素构成的每个区域，推定与视线ls重叠的概率。第二推定部17生成二维状地表示清醒度在第二范围内时的、构成任意的图像im的每个位置的该概率的第二热图。
97.接下来，使用图9的流程图说明在第二实施方式中控制部14执行的推定处理。推定处理在控制部14每次获取1帧的图像im以及视线ls时开始。
98.在步骤s200至s204中，控制部14执行与第一实施方式的推定处理相同的控制。在步骤s204中，读取组合中的图像im之后，处理进入到步骤s105。
99.在步骤s205中，控制部14基于在步骤s204中读取的组合中所包含的多个图像im，通过作为第一推定部15发挥功能来推定第一热图mp1。另外，控制部14基于在步骤s204中读取的组合中所包含的多个图像im，通过作为第二推定部17发挥功能来推定第二热图。在推定后，处理进入到步骤s206。
100.在步骤s206中，控制部14基于在步骤s205中推定出的多个第一热图mp1和多个第二热图、以及在步骤s204中读取的组合中所包含的视线ls，计算清醒度。在计算后，处理进入到步骤s207。
101.在步骤s207中，控制部14将在步骤s206中计算出的清醒度输出至外部设备16。在输出后，推定处理结束。
102.在以上那样的结构的第二实施方式的电子设备10中，控制部14还作为第二推定部17发挥功能，第二推定部17能够基于图像im，推定表示清醒度在第二范围内时的构成该图像im的各位置处的视线ls的概率的第二热图，控制部14基于推定出的第一热图mp1、第二热图、以及视线ls，推定对象者的清醒度。通过上述那样的结构，电子设备10不仅使用清醒度在第一范围内情况下的第一热图，还使用在第二范围内情况下的第二热图来推定对象者的清醒度，因此能够得到可靠性更高，换言之精度更高的清醒度。
103.只要是本领域技术人员就容易基于本发明对本发明的内容进行各种变形或修正。因此，这些变形或修正包含在本发明的范围中。例如，在各实施方式中，各功能部、各方法、各步骤等能以在逻辑上不矛盾的方式追加到其他实施方式中或替换为其他实施方式的各功能部、各方法、各步骤等。另外，在各实施方式中，可以将多个各功能部、各方法、各步骤等组合成一个或分割。另外，对于上述本发明的各实施方式，不限定于忠实地实施各自说明的各实施方式，能够适当组合各特征或省略一部分来实施。
104.例如，在第一实施方式中，控制部14是作为第一推定部15发挥功能的结构。但是，控制部14并不限定于这样的结构。例如，第一推定部15可以推定清醒度在第一范围以外的多个范围中的每一个范围的热图。
105.以下简单地说明推定多个范围中的每一个范围的热图的结构。控制部14也可以使用三维矩阵针对单一的图像输出多个不同范围的热图。参照图10说明第一实施方式的变形例的电子设备10。图10是在第一实施方式的变形例的电子设备10中推定的热图的概念图。
106.如图10所示，在变形例的电子设备10中，第一推定部15推定清醒度的多个范围中的每一个范围的热图。参照图11说明变形例的电子设备10中的第一推定部15推定的多个范围中的每一个范围的热图。图11是变形例中的第一推定部15的动作的概念图。如图11所示，第一推定部15推定将多个清醒度坐标轴追加到由纵像素
×
横像素的二维坐标系表示的图像im中的三维状的热图并进行输出。
107.例如，三维状的热图包括：与清醒度的第一范围对应的热图、与清醒度的第二范围对应的热图、与清醒度的第三范围对应的热图、以及与清醒度的第四范围对应的热图。与清醒度的第一范围对应的热图包括：a[0][0][0]、a[0][1][0]、
…
、以及a[0][1][2]。其中，a[s][i][j]表示清醒度的编号为s，x坐标为i，y坐标为j的视线ls的位置上的、与清醒度的编号为s的清醒度对应的概率。与清醒度的第二范围对应的热图包括：a[1][0][0]、a[1][1][0]、
…
、以及a[1][1][2]。与清醒度的第三范围对应的热图包括：a[2][0][0]、a[2][1][0]、
…
、以及a[2][1][2]。与清醒度的第四范围对应的热图包括：a[3][0][0]、a[3][1][0]、
…
、以及a[3][1][2]。上述的三维状的热图以各值连续的方式被排列，并被依次存储在存储器13中。
[0108]
虽然上述的例子中的三维状的热图是包含四个清醒度的范围的结构，但可以任意地设定清醒度的范围的数量。另外，该三维状的热图是各范围包括2
×
3大小的矩阵状的热图的结构，但大小也可以任意地设定。
[0109]
另外，在第二实施方式中，控制部14是作为第一推定部15以及第二推定部17这两个推定部发挥功能的结构，但推定部的数量并不限定于两个，控制部14也可以作为多个推定部发挥功能。如图12所示，例如，控制部14作为第一推定部15、第三推定部22、以及第四推定部23这三个推定部发挥功能。如第一实施方式那样，第一推定部15推定对象者的清醒度
在第一范围时的第一热图mp1。第三推定部22推定对象者的清醒度在正常程度、例如清醒度在33％以上且66％以下的范围时的第三热图mp3。第四推定部23推定对象者在高清醒度、例如清醒度在超过66％且在100％以下的范围时的第四热图mp4。
[0110]
这样，在第二实施方式的变形例中，各推定部推定热图。这样，在第二实施方式的变形例中，由于各推定部的作用被限定为推定与各自的清醒度对应的热图，因此能够发挥推定适当的热图等较高的性能。
[0111]
而且，控制部14可以基于第一热图mp1、多个热图、以及对象者的视线ls，计算清醒度。该多个热图可以通过对学习用图像和学习用对象者相对于该学习用图像的清醒度分别在上述的多个范围中的每一个范围的学习用对象的视线之间的关系进行机器学习而得到的学习数据构建。
[0112]
另外，在第一实施方式以及第二实施方式中，电子设备10具有拍摄部11以及视线检测部12，并且控制部14获取用于推定清醒度的图像im以及视线ls，但并不限定于这样的结构。如图13所示，例如，云服务器等的信息处理装置18与电子设备10类似地，可以基于图像im以及视线ls，推定清醒度。在这样的结构中，信息处理装置18可以经由获取部20从搭载有拍摄部11以及视线检测部12的移动体19中获取到图像im以及视线ls作为信息。信息处理装置18也可以经由输出部21将推定出的清醒度输出至该移动体19中的外部设备16。
[0113]
本发明内容的许多方面被示出为由能够执行程序指令的计算机系统等硬件执行的一系列动作。计算机系统等硬件例如包括：通用计算机、pc(个人计算机)、专用计算机、工作站、pcs(personal communications system：个人移动通信系统)、移动(蜂窝)电话机、具有数据处理功能的移动电话机、rfid接收机、游戏机、电子记事本、笔记本电脑、gps(global positioning system：全球定位系统)接收机或其他可编程数据处理装置。应当注意的是，在各实施方式中，各种动作通过利用程序指令(软件)实现的专用电路(例如，为了执行特定功能而相互连接的单独的逻辑门)、或由一个以上的处理器执行的逻辑块、程序模块等来执行。执行逻辑块或程序模块等一个以上的处理器例如包括：一个以上的微处理器、cpu(中央运算处理单元)、asic(application specific integrated circuit：专用集成电路)、dsp(digital signal processor)、pld(programmable logic device：可编程逻辑器件)、fpga(field-programmable gate array：现场可编程逻辑门阵列)、处理器、控制器、微控制器、微处理器、电子设备、被设计成能够执行在此记载的功能的其他装置和/或它们中的任意组合。这里所示的实施方式例如可以通过硬件、软件、固件、中间件、微代码或它们的任意组合来实现。指令也可以是用于执行所需的任务的程序代码或代码段。并且，指令能够存储在机器可读的非暂时存储介质或其他介质上。代码段可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类或指令、数据结构或程序代码中的任意组合。代码段与其他代码段或硬件电路进行信息、数据自变量、变量或存储内容的发送和/或接收，由此代码段与其他代码段或硬件电路连接。
[0114]
另外，应当注意的是，在此公开了作为具有执行特定功能的各种模块和/或单元的系统，这些模块和单元是为了简略地说明其功能性而示意性地示出的，并不一定表示特定的硬件和/或软件。在该意义上，这些模块、单元或其他构成要素只要是以实质上执行在此说明的特定功能的方式安装的硬件和/或软件即可。不同的构成要素的各种功能既可以是硬件和/或软件的任意的组合或分离的功能，也可以分别单独地或者任意组合地使用。这
样，本发明内容的各个方面可以以许多不同的方式来实施，并且这些方式都包括在本发明的范围内。
[0115]
附图标记的说明：
[0116]
10 电子设备
[0117]
11 拍摄部
[0118]
12 视线检测部
[0119]
13 存储器
[0120]
14 控制部
[0121]
15 第一推定部
[0122]
16 外部设备
[0123]
17 第二推定部
[0124]
18 信息处理装置
[0125]
19 获取部
[0126]
20 移动体
[0127]
21 输出部
[0128]
22 第三推定部
[0129]
24 第四推定部
[0130]
25 第五推定部
[0131]
im 图像
[0132]
ls 视线
[0133]
mp1 第一热图
[0134]
pe与视线的方向相当的位置
[0135]
rt视线的路径