使用热图检测驾驶员注意力的制作方法

1.本技术大体上涉及驾驶员分心，具体涉及监控驾驶员在驾驶车辆时的注意力。


背景技术：

2.驾驶员分心正日益成为交通事故的主要原因，特别是随着移动设备等设备的日益普及，使驾驶员的注意力不再集中在道路上。监控和避免驾驶员分心不仅对于确保分心的驾驶员的安全驾驶环境至关重要，而且对于附近可能受到该分心的驾驶员影响的其他驾驶员也至关重要。具有监控驾驶员功能的车辆使得车辆能够采取措施来防止或协助防止因驾驶员分心而发生的事故。例如，可以启用预警系统来提醒驾驶员已经分心了，或者可以启用自动功能(如制动和转向)来控制车辆，直到驾驶员不再分心。这些预警和预防性监控系统可以使用驾驶员的头部姿势和注视角度评估当前状态，从而检测驾驶员分心。但是，此类系统通常会逐帧分析数据，并且通常不会考虑路况、驾驶员意图等其它信息。


技术实现要素：

3.根据本技术的一个方面，提供了一种用于监控车辆中驾驶员注意力的计算机实现的方法，包括：从在路线上行驶的所述车辆收集车辆数据和场景信息，其中，所述车辆数据和所述场景信息被处理以生成参考热图；捕获驾驶员的注视，以跟踪所述驾驶员在所述路线上驾驶所述车辆时的注视方向和持续时间，其中，所述注视方向和持续时间被处理以生成驾驶员注视热图；分析所述驾驶员注视热图和所述参考热图，以确定所述车辆中所述驾驶员的驾驶员分心水平；根据所述驾驶员分心水平，向所述车辆的所述驾驶员输出建议。
4.可选地，在上述任一方面中，还包括：使用包括一个或多个卷积层和至少一个全连接层的卷积神经网络(convolutional neural network，cnn)从所述场景信息和所述车辆数据生成所述参考热图，其中，所述参考热图标识所述场景信息中需要驾驶员注意安全驾驶的一个或多个区域；根据所述驾驶员在驾驶所述车辆时的所述注视方向和持续时间生成所述驾驶员注视热图，其中，所述驾驶员注视热图标识所述场景信息中所述驾驶员在所述持续时间期间观看的一个或多个区域。
5.可选地，在上述任一方面中，跟踪所述注视方向和持续时间包括：所述一个或多个传感器捕获所述驾驶员在所述持续时间内的图像序列；根据从所述图像序列中提取的所述注视估计所述驾驶员的所述注视方向；将所述注视方向叠加到所述场景信息，以形成所述驾驶员注视热图。
6.可选地，在上述任一方面中，收集所述车辆数据包括：记录所述车辆在所述路线上行驶期间的位置；从数据库检索代表预定时间段内所述车辆数据的历史车辆数据；收集所述场景信息包括：从所述一个或多个传感器或在线地图实时获取街道图像。
7.可选地，在上述任一方面中，所述车辆数据包括车速数据、转弯指示数据、灯光状况数据、制动使用数据、方向盘使用数据、全球定位系统(global positioning system，gps)数据、油门踏板使用数据和导航路线数据中的至少一个；所述场景信息包括场景图像、
在线街道地图、雷达地图、天气、交通和路况中的至少一个。
8.可选地，在上述任一方面中，还包括将所述参考热图与所述驾驶员注视热图合并以形成驾驶员注视热图，其中，所述驾驶员注意力热图用于确定所述驾驶员分心水平是否满足或超过阈值注意力水平。
9.可选地，在上述任一方面中，当满足或超过所述阈值时，所述建议是根据与所述一个或多个区域中的每个区域相关联的值将所述驾驶员的所述注视方向聚焦在所述驾驶员注视热图的一个或多个区域上的预警，其中，所述值表示所述驾驶员对所述一个或多个区域中的每个区域所需的注意力水平。
10.可选地，在上述任一方面中，所述一个或多个处理器位于所述车辆中或通信耦合到所述车辆。
11.根据本技术的另一个方面，提供了一种用于监控车辆中驾驶员注意力的系统，包括一个或多个车辆传感器，用于：从在路线上行驶的所述车辆收集车辆数据和场景信息，其中，所述车辆数据和所述场景信息被处理以生成参考热图；捕获驾驶员的注视，以跟踪所述驾驶员在所述路线上驾驶所述车辆时的注视方向和持续时间，其中，所述注视方向和持续时间被处理以生成驾驶员注视热图；一个或多个处理器，用于：分析所述驾驶员注视热图和所述参考热图，以确定所述车辆中所述驾驶员的驾驶员分心水平；根据所述驾驶员分心水平，向所述车辆的所述驾驶员输出建议。
12.根据本技术的又一个方面，提供了一种非瞬时性计算机可读介质，存储用于监控车辆中驾驶员注意力的计算机指令，所述计算机指令在由一个或多个处理器执行时，使所述一个或多个处理器执行以下步骤：从在路线上行驶的所述车辆收集车辆数据和场景信息；处理所述车辆数据和场景信息以生成参考热图；捕获驾驶员的注视，以跟踪所述驾驶员在所述路线上驾驶所述车辆时的注视方向和持续时间，其中，所述注视方向和持续时间被处理以生成驾驶员注视热图；分析所述驾驶员注视热图和所述参考热图，以确定所述车辆中所述驾驶员的驾驶员分心水平；根据所述驾驶员分心水平，向所述车辆的所述驾驶员输出建议。
13.提供本发明内容是为了以简化的形式介绍在以下具体实施方式中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决背景技术中所指出的任何或所有缺点的实现方式。
附图说明
14.本技术的各方面通过示例的方式示出，并且不由附图限制，附图中相同的附图标记表示相同的元件。
15.图1a示出了根据本技术的实施例的驾驶员分心系统。
16.图1b示出了根据图1a的驾驶员分心系统的详细示例。
17.图2示出了根据本技术的实施例的获取驾驶员分心信息的示例性流程图。
18.图3a示出了根据图2创建参考热图的示例。
19.图3b示出了根据图3a的实施例的示例性cnn。
20.图4示出了根据车辆驾驶员的注视方向和持续时间生成驾驶员注视热图的示例性
实施例。
21.图5示出了使用根据图3a和图4的参考热图和驾驶员注视热图的驾驶员注意力网络。
22.图6示出了向驾驶员发出预警的示例性舱室内车辆设置。
23.图7a至图7c示出了根据本技术实施例的用于监控车辆中驾驶员注意力的示例性流程图。
24.图8示出了可以实现本技术实施例的计算系统。
具体实施方式
25.现在参考附图描述本技术，本技术大体上涉及驾驶员注意力检测。
26.该技术涉及监控驾驶员驾驶车辆时的注意力，以避免或减少驾驶员分心。通过一个或多个车辆传感器收集场景信息和车辆数据，并根据收集的信息和数据生成参考热图。参考热图指示场景信息中驾驶员应注意的区域，以增强安全驾驶。在一个实施例中，车辆数据用于确定驾驶员的意图。例如，驾驶员的意图可以通过分析导航程序、速度、方向盘角度、油门踏板/制动踏板等车辆状态来确定。在另一个实施例中，确定驾驶员的注视方向和持续时间，并生成注视轨迹。因为注视轨迹与场景信息相关，所以注视轨迹可以表示实际驾驶员注意力区域，注视轨迹可以以驾驶员注视热图的形式生成。使用深度学习方法或基于规则的方法同时处理参考热图和驾驶员注视热图，以确定车辆中驾驶员的注意力。如果系统确定驾驶员分心(例如，不注意高风险区域或需要注意的区域)，则通过预警或建议提醒驾驶员注意周围环境或路况。
27.应理解，本技术实施例可以以多种不同方式实现，并且权利要求的范围不应被解释为局限于本文中阐述的实施例。相反，提供这些实施例是为了使本技术透彻和完整，并且向本领域技术人员充分传达本技术实施例概念。事实上，本技术旨在覆盖包括在由所附权利要求书限定的本技术的精神和范围内的这些实施例的替代物、修改和等同物。此外，在以下对本技术实施例的详细描述中，为了提供透彻的理解，阐述了许多具体细节。但是，本领域普通技术人员很清楚，可以在没有这些具体细节的情况下实施本技术实施例。
28.图1a示出了根据本技术的实施例的驾驶员分心系统。驾驶员分心系统106被示为安装或以其它方式包括在车辆101内，车辆101还包括驾驶员102可以坐在其中的舱室。驾驶员分心系统106或其一个或多个部分可以由舱室内计算机系统和/或移动计算设备实现，移动计算设备例如但不限于智能手机、平板电脑、笔记本电脑、膝上型电脑，和/或类似物。
29.根据本技术的一些实施例，驾驶员分心系统106从一个或多个传感器获取(或收集)车辆101的驾驶员102的当前数据。在其它实施例中，驾驶员分心系统106还从一个或多个数据库140获取(或收集)关于驾驶员102的附加信息，这是因为所述附加信息与驾驶员的面部特征、历史头部姿势和眼睛注视信息等特征相关。驾驶员分心系统106分析车辆101的驾驶员102的当前数据和/或附加信息，从而标识驾驶员的头部姿势和眼睛注视。在一个实施例中，驾驶员分心系统106还监控和收集车辆数据和场景信息，如以下所描述。此类分析可以使用一个或多个计算机实现的神经网络和/或一些其它计算机实现的模型来执行，如以下所解释。
30.如图1a所示，驾驶员分心系统106通信地耦合到捕获设备103，捕获设备103可用于
获取车辆101的驾驶员的当前数据以及车辆数据和场景信息。在一个实施例中，捕获设备103包括用于获取车辆101的驾驶员102的当前数据的传感器和其它设备。捕获的数据可以由处理器104处理，处理器104包括用于检测和跟踪驾驶员移动、头部姿势和注视方向的硬件和/或软件。如下面参考图1b详细描述的，捕获设备可以另外包括一个或多个摄像头、麦克风或其它传感器来捕获数据。在另一个实施例中，捕获设备103可以捕获车辆行驶的路线上前面的场景(例如，周围环境和/或场景信息)。前面的传感器可以包括雷达传感器、激光传感器、激光雷达传感器、光学成像传感器等。应理解，传感器还可以覆盖车辆101的侧面、后部和顶部(向上和向下)。
31.在一个实施例中，根据具体的实现方式，捕获设备103可以在驾驶员分心系统106的外部(如图1a所示)或者可以作为驾驶员分心系统106的一部分包括在内。下面参考图1b描述根据本技术的一些实施例的驾驶员分心系统106的附加细节。
32.仍然参考图1a，驾驶员分心系统106还被示为通信地耦合到包括在车辆101内的各种不同类型的车辆相关传感器105。此类传感器105可以包括但不限于速度计、全球定位系统(gps)接收器和时钟。驾驶员分心系统106还被示为通信地耦合到一个或多个通信网络130，所述一个或多个通信网络130使得能够对一个或多个数据库140和/或其它类型的数据存储器进行访问。数据库140和/或其它类型的数据存储器可以存储车辆101的车辆数据。此类数据的示例包括但不限于驾驶记录数据、驾驶性能数据、驾驶执照类型数据、驾驶员面部特征、驾驶头部姿势、驾驶员注视等。此类数据可以存储在位于车辆101内的本地数据库或其它数据存储器中。但是，数据可能存储在一个或多个数据库140或远离车辆101的其它数据存储器中。因此，此类数据库140或其它数据存储器可以通过一个或多个通信网络130通信地耦合到驾驶员分心系统。
33.通信网络130可以包括数据网络、无线网络、电话网络或其任何组合。可以设想，数据网络可以是任何局域网(local area network，lan)、城域网(metropolitan area network，man)、广域网(wide area network，wan)、公共数据网络(例如互联网)、短程无线网络或任何其它合适的分组交换网络。此外，无线网络可以是蜂窝网络等，并且可以采用各种技术，包括全球演进增强数据速率(enhanced data rates for global evolution，edge)、通用分组无线服务(general packet radio service，gprs)、全球移动通信系统(global system for mobile communications，gsm)、互联网协议多媒体子系统(internet protocol multimedia subsystem，ims)、通用移动通信系统(universal mobile telecommunications system，umts)等，以及采用任何其它合适的无线介质，例如全球微波接入互操作性(worldwide interoperability for microwave access，wimax)、长期演进(long term evolution，lte)网络、码分多址(code division multiple access，cdma)、宽带码分多址(wideband code division multiple access，wcdma)、无线保真(wireless fidelity，wi-fi)、无线lan(wireless lan，wlan)、蓝牙、互联网协议(internet protocol，ip)数据广播、卫星、移动自组织网络(mobile ad-hoc network，manet)等，或其任何组合。通信网络130可以通过通信设备102(图1b)等使驾驶员分心系统106与数据库140和/或其它数据存储器之间能够进行通信。
34.虽然图1a的实施例参考车辆101进行描述，但应理解，所公开的技术可以在广泛的技术领域采用，并且不限于车辆。例如，除了车辆之外，所公开的技术还可以用于虚拟或增
强现实设备或模拟器中，其中，可能需要头部姿势和注视估计、车辆数据和/或场景信息。
35.现在参考图1b描述根据本技术的一些实施例的驾驶员分心系统106的附加细节。驾驶员分心系统106包括捕获设备103、一个或多个处理器108、车辆系统104、导航系统107、机器学习引擎109、输入/输出(input/output，i/o)接口114、存储器116、视觉/音频警报118、通信设备120和数据库140(其也可以是驾驶员分心系统的一部分)。
36.捕获设备103可以负责使用位于驾驶室内的一个或多个捕获设备，例如传感器103a、摄像头103b或麦克风103c，根据捕获的驾驶员运动和/或音频数据监控和标识驾驶员行为(包括分心)。在一个实施例中，捕获设备103被定位成可以捕获驾驶员头部和面部的运动，而在其它实现方式中，驾驶员躯干和/或驾驶员四肢和手的运动也可以被捕获。例如，检测和跟踪器108a、头部姿势估计器108b和注视方向估计器108c可以监控捕获设备103捕获的驾驶员运动，以检测特定姿势，例如头部姿势，或者人是否正在朝特定方向观看。
37.又一些实施例包括通过麦克风103c捕获音频数据，连同或独立于驾驶员移动数据。捕获的音频例如可以是麦克风103c捕获的驾驶员102的音频信号。可以分析音频以检测可能根据驾驶员状态而变化的各种特征。此类音频特征的示例包括驾驶员语音、乘客语音、音乐等。
38.尽管捕获设备103被示为具有多个部件的单个设备，但应理解，每个部件(例如传感器、摄像头、麦克风等)可以是位于车辆101的不同区域中的单独部件。例如，传感器103a、摄像头103b、麦克风103c和深度传感器103d可以各自位于车辆驾驶室的不同区域中。在另一个示例中，捕获设备103的各个部件可以是另一个部件或设备的一部分。例如，摄像头103b和视觉/音频118可以是放置在车辆驾驶室中的移动电话或平板电脑(未示出)的一部分，而传感器103a和麦克风103c可以单独位于车辆驾驶室中的不同位置。
39.检测和跟踪器108a监控捕获设备103捕获的驾驶员102的面部特征，然后这些特征可以在检测驾驶员的面部之后被提取。术语面部特征包括但不限于围绕眼睛、鼻子和嘴区域的点，以及概述检测到的驾驶员102的面部的轮廓部分的点。根据所监控的面部特征，可以检测驾驶员102的眼球的一个或多个眼睛特征的初始位置。眼睛特征可以包括虹膜和眼球的第一眼角和第二眼角。因此，例如，检测一个或多个眼睛特征中的每一个的位置包括检测虹膜的位置、检测第一眼角的位置和检测第二眼角的位置。
40.头部姿势估计器108b使用所监控的面部特征来估计驾驶员102的头部姿势。如本文所使用的，术语“头部姿势”描述了涉及驾驶员头部相对于捕获设备103的平面的相对方向的角度。在一个实施例中，头部姿势包括驾驶员头部相对于捕获设备平面的偏航和俯仰角。在另一个实施例中，头部姿势包括驾驶员头部相对于捕获设备平面的偏航、俯仰和侧倾角度。
41.注视方向估计器108c估计驾驶员的注视方向(和注视角度)。在注视方向估计器108c的操作中，捕获设备103可以捕获(例如车辆驾驶员的)图像或图像组。捕获设备103可以将图像发送到注视方向估计器108c，其中，注视方向估计器108c从图像检测面部特征并跟踪(例如，随着时间的推移)驾驶员的注视。其中一种注视方向估计器是的眼睛跟踪系统。
42.在另一个实施例中，注视方向估计器108c可以从捕获的图像检测眼睛。例如，注视方向估计器108c可以依靠眼睛中心来确定注视方向。简言之，可以假定驾驶员相对于他或
area network，can)总线、可以传送气候控制相关信息的气候控制can总线，以及可以在车辆中的多媒体部件之间传送多媒体数据的多媒体数据网络)传播的数字信号。例如，车辆系统104可以从发动机can总线检索由车轮传感器估计的车辆的当前速度、经由车辆的电池和/或配电系统的车辆的功率状态、车辆的点火状态等。
49.车辆101的导航系统107可以生成和/或接收导航信息，例如位置信息(例如，通过gps传感器和/或其它传感器105)、路线引导、交通信息、兴趣点(point-of-interest，poi)标识，和/或为驾驶员提供其它导航服务。在一个实施例中，导航系统或导航系统的一部分远离车辆101并通信地耦合到车辆101。
50.输入/输出接口114支持使用各种输入/输出设备向用户和/或其它部件或设备提供信息。输入设备的示例包括键盘、麦克风、触摸功能实体(例如，用于检测物理触摸的电容或其它传感器)、摄像头(例如，其可以使用可见或非可见波长，例如红外频率，以将运动标识为不涉及触摸的手势)等。输出设备的示例包括视觉/音频警报118，例如显示器、扬声器等。在一个实施例中，i/o接口114从捕获设备103接收驾驶员102的驾驶员运动数据和/或音频数据。驾驶员运动数据可以与驾驶员102的眼睛和脸等相关，可以由处理器108分析。
51.驾驶员分心系统106收集的数据可以存储在数据库140、存储器116或其任何组合中。在一个实施例中，收集的数据来自车辆101外部的一个或多个源。存储的信息可以是与驾驶员分心和安全相关的数据，例如捕获设备103捕获的信息。在一个实施例中，存储在数据库140中的数据可以是为车辆101的一个或多个驾驶员收集的数据的集合。在一个实施例中，收集的数据是车辆101的驾驶员的头部姿势数据。在另一个实施例中，收集的数据是车辆101的驾驶员的注视方向数据。收集的数据还可用于生成数据集和信息，所述数据集和信息可用于训练用于机器学习的模型，例如机器学习引擎109。
52.在一个实施例中，存储器116可以存储可由处理器108、机器学习引擎109执行的指令，以及可由处理器108加载和执行的程序或应用程序(未示出)。在一个实施例中，机器学习引擎109包括存储在存储器116中的可由处理器108执行的可执行代码，并选择存储在存储器116(或数据库140)中的一个或多个机器学习模型。机器模型可以使用众所周知的和传统的机器学习和深度学习(例如卷积神经网络(cnn)实现方式)技术来开发，下面将详细描述。
53.图2示出了根据本技术的实施例的获取驾驶员分心信息的示例性流程图。在实施例中，流程图可以是至少部分由各个图中所示的以及如本文所描述的硬件和/或软件部件执行的计算机实现的方法。在一个实施例中，所公开的过程可以由图1a和图1b中公开的驾驶员分心系统106执行。在一个实施例中，由一个或多个处理器(例如处理器108或处理器802)执行的软件部件执行所述过程的至少一部分。
54.获取驾驶员分心信息(结果)的过程被示为分为两个部分-部分201a描述了捕获驾驶员102信息以生成驾驶员注视热图，部分201b描述了场景信息和车辆数据的收集以生成参考热图。为了便于描述，将该过程分为两个部分，但在实现期间，这两个部分可以并行或同时实现。
55.在部分201a中描述的过程中，在步骤202，使用一个或多个捕获设备103捕获驾驶员的视觉信息(例如，驾驶员的图像)，以确定头部姿势和注视估计。捕获设备103可以包括但不限于面向驾驶员的传感器(例如红外传感器、超声波传感器、图像传感器、深度传感器
等)、摄像头、麦克风等。驾驶员的视觉信息从捕获设备103提取，并被发送到处理器108，用于通过检测和跟踪器108a检测和跟踪，通过头部姿势估计器108b估计头部姿势和/或通过注视方向估计器108c估计注视方向，其中，估计注视方向(角度)和持续时间。
56.在一个实施例中，驾驶员的注视方向和持续时间被实时监控，并且可以被解释为三维(three-dimensional，3d)向量或水平和垂直角度。但是，可以使用任何数量的方法(例如几何方法或深度学习方法)来估计注视方向。几何方法使用近红外光与近红外光在驾驶员虹膜和眼睛中心上的反射之间的几何关系来获得注视方向。示例包括使用近红外(near infrared，nir)照明创建角膜反射并相对于瞳孔中心跟踪它们，以估计注视向量的二维(two-dimensional，2d)模型和3d模型。这些方法需要眼睛的多项式或几何近似值，以获得注视方向或注视点。另一种技术包括基于外观的方法，该方法从眼睛区域图像提取内容信息，如眼睛区域的局部特征、形状和纹理，以估计注视方向。此外，深度学习方法使用神经网络，如卷积神经网络(cnn)，以从外观信息中提取信息。cnn能够通过基于梯度下降的优化使用标记的示例学习输入数据(例如，人脸图像)的多层次非线性变换。cnn包括完全参数化(可训练)并对输入进行卷积以生成特征图的滤波器、非线性层、对特征图进行下采样的池化层/下采样层，以及全连接层。
57.使用以上所描述的技术中的任何技术(或本领域中已知的技术)来估计驾驶员注视方向和持续时间，在步骤204，可以生成热图。下面参考图3b解释热图的生成
58.在部分201b中示出的过程使用一个或多个捕获设备103来捕获场景信息和车辆数据。在一个实施例中，在步骤206a，收集场景信息。场景信息可能包括从车辆周围环境获得的信息，如路况(例如，铺路、泥土、坑洞、山丘、积雪、积水等)、街道(例如，街道名称、交叉路口、十字路口等)、周围环境的地图和景观(例如，由图像或在线地图、雷达地图等确定)、天气(例如，热、冷、雪、雨、干燥等)、一天中的时间(例如，早晨或晚上等)、光照条件(例如，阳光、黑暗等)、通过跟踪或导航系统(例如，gps等)获得的信息等。用于捕获场景信息的捕获设备103可以包括但不限于激光雷达传感器、摄像头、红外传感器、雷达传感器、激光测距仪、视频传感器等。
59.在一个实施例中，在步骤206b，收集车辆数据。车辆数据包括但不限于速度、位置、方向、轮胎压力、转弯数据量、行程持续时间数据、先前车辆数据(或历史数据)、前照灯使用情况、变道数据、转向数据、转向信号信息。用于捕获车辆数据的捕获设备103可以包括但不限于指南针、导航系统、位置和方向传感器、图像传感器、地理信息传感器、方向盘传感器、制动传感器、踏板传感器、速度计、日期和时间传感器、遥测传感器等。在一个实施例中，在步骤206b，收集的车辆数据206b可以指示驾驶员意图或动作。例如，如果方向盘传感器提供指示方向盘快速转动的输出，且制动传感器指示制动器正在被紧紧地按压，则该组合可以指示驾驶员尝试通过制动和围绕物体转弯来避免撞到物体。
60.驾驶员“意图”或“动作”也可以基于一段时间内收集的驾驶员的历史数据(例如，单个驾驶员或多个不同驾驶员的信息)、实时车辆数据和/或实时车辆数据与历史数据的组合，或从这些数据进行学习。收集的历史数据可以标识在执行各种动作时或一些活动期间指示或反映驾驶员意图的模式或动作序列。历史数据还可包括有关驾驶员经验年限、经验类型、交通事故历史、雇佣人员记录中的条目、超速和/或其它交通违规历史、之前标识的各种驾驶员行为发生的数量、严重程度和长度的信息。在一个实施例中，驾驶员分心系统106
可以收集特定驾驶员的驾驶简档并将其存储在数据库140或存储器116中，作为驾驶员历史的一部分。例如，驾驶员的简档还可以包括驾驶员加速或减速的速度，夜间驾驶、雨或雪中驾驶等特定驾驶条件下的通常速度，驾驶员转弯或越过中心线的频率等。在一个实施例中，历史数据可以从数据库140或存储器116检索，例如从驾驶员的保险公司的数据库检索。历史数据还可以包括关于一条或多条驾驶路线的信息，例如道路轮廓、道路拓扑、与驾驶路线相关联的停车次数、与驾驶路线相关联的转弯次数等。
61.在步骤206a，捕获设备103收集场景信息，在步骤206b，捕获设备103收集车辆数据。收集之后，场景信息和车辆数据被提取，并可以被发送到车辆系统104、导航系统107和处理器108中的至少一个。在一个实施例中，提取的图像可以由图像校正器108d校正，视频增强器108e增强的视频和视频场景分析器108f分析的视频场景用于附加处理。收集场景信息和车辆数据之后，就可以生成参考热图(步骤208)。参考热图将在下面详细讨论，包括与安全驾驶相关、需要较低驾驶员注意力的区域，以及与分心驾驶相关、需要较高驾驶员注意力的区域。在一个实施例中，权重或分数与区域相关联。
62.例如，在恶劣天气或高峰时段或夜间，周围环境中的各个区域比在天气好、非高峰时段和白天周围环境中的区域需要更高的驾驶员注意力。这些区域可被视为可能会发生较低水平的驾驶员分心的安全驾驶区域，和可能发生较高水平的驾驶员分心的分心驾驶区域。在另一个示例中，驾驶员在沿着蜿蜒的道路或高速公路行驶时可能比沿着笔直道路或死胡同行驶时需要更高的注意力。在这种情况下，沿着蜿蜒的道路或高速公路行驶的驾驶员可能会有较高驾驶员分心水平的区域，而沿着笔直道路或死胡同行驶的驾驶员可能会有较低驾驶员分心水平的区域。这些驾驶员注意力区域可在参考热图中标识，如下所述。
63.在步骤210，至少一个处理器，例如处理器108，处理在步骤204生成的驾驶员注视热图和在步骤208生成的参考热图。在一个实施例中，驾驶员注视热图和参考热图可以被合并(或融合)和处理，以标识需要(或不需要)驾驶员注意的区域。例如，驾驶员注视热图和参考热图可以被输入深度学习网络(例如编码器-解码器网络)处理，以生成参考热图。下面参考图3a和图3b描述了深度学习网络和参考热图。
64.在步骤210中处理驾驶员注视热图和参考热图的输出产生了步骤212中表示驾驶员分心水平的结果。根据所述结果，驾驶员的注意力可能会转移到所述输出的不同区域。在一个实施例中，所述结果可以作为视觉和/或音频建议或预警输出。例如，可以打开视觉预警，如挡风玻璃下的发光二极管(light emitting diode，led)，或者可以在屏幕上显示道路场景，建议驾驶员注意突出显示的区域。另一个示例包括声音建议或预警。此类建议或预警可以包括通过扬声器发出哔哔声或口头公告，指示驾驶员应注意的地方。下面详细描述驾驶员分心结果。
65.图3a示出了根据图2创建参考热图的示例。在一个实施例中，参考热图208是使用收集的场景信息206a和由深度学习网络(例如cnn 306)处理的车辆数据206b的组合生成的。在一个实施例中，cnn 306是编码器-解码器类型cnn。cnn 306的编码器部分(在其中接收输入—在这种情况下，所述输入为场景信息和车辆数据)从低级图像信息(如纯色像素)中提取高级信息(汽车、人行横道、交通灯等物体)。特别地，编码器-解码器类型cnn 306可以包括三种类型的网络：卷积、池化和批处理标准化。卷积层提取局部特征，池化层对特征图进行下采样，并将特殊的不变特征传播到更深层，批量归一化层对训练数据的分布进行
归一化，以加速学习。编码完成时，提取原始场景中的特征图，并调整输出，得到特征向量。为了从车辆数据中获取驾驶员的意图，将车辆数据(作为向量收集)级联到特征向量(与全连接层级联)。之后，再次调整特征向量，得到特征图。编码之后，解码器部分(在其中生成输出—在这种情况下，参考热图)接收高级信息，并将其映射成另一个中级信息，以将信息改造成具有相同大小的图像，使得具有相同标签的物体也被分配相同的颜色(对于热图)。具体地，解码器将图像上采样到与输入到编码器部分的图像相同的大小，并执行另一个卷积。此卷积将几何细节添加到特征图中，以弥补编码期间池化层的任何损失，从而获得更平滑、较少锯齿的输出。下面参考图3b进一步描述cnn 306。
66.参考热图208可以实时生成，并使用不同的颜色、指示符(例如，数字、指针等)或其它标识技术标识区域。在参考热图208上标识的这些区域可以对应于需要不同水平或程度的驾驶员注意力的区域。例如，热图208可以包括具有加权的驾驶员注意力水平的区域，其中，具有正值的区域指示需要较多的驾驶员注意力，而具有负值的区域需要较少的驾驶员注意力。(应理解，在所示出的实施例中，使用灰度代替颜色)。在一个示例中，色标308a可以使用红色指示需要较高驾驶员注意力水平的区域，可以使用绿色指示需要较低驾驶员注意力水平的区域。由于特定区域需要的注意力不同，参考热图208上的颜色和/或指示符可以改变以反映代表驾驶员的必要注意力水平或程度。例如，包括交通灯的区域可以变成红色，或具有指示符(例如箭头)，该指示符转移了驾驶员的注意力，以在预定的时间内观察交通灯。在另一个示例中，当行人穿过街道时，驾驶员的注意力会被转移到跟随该行人。行人正在行走的区域可以使用颜色(例如红色)突出显示，也可以使用指示符突出显示。类似地，需要较低驾驶员注意力水平的区域，例如标志或广告牌，可以使用绿色突出显示。在一些情况下，驾驶员注意力水平或程度可以基于用户简档或车辆正在行驶的路线。在其它情况下，驾驶员注意力水平或程度可以由通常需要驾驶员注意力的已知或公认的区域(如人行横道、蜿蜒道路等)决定。
67.用于收集场景信息206a的传感器测量包括车辆101周围环境的图像或视频(例如，图像集)。图像或视频可以由从车辆101的前部(例如，通过前挡风玻璃、安装在车辆外部等)朝外的摄像头等捕获。摄像头的视野包括车辆101前方的全部或部分道路(例如，车辆前方的前景、车辆正行驶的车道、相邻车道等)，并且可以可选地包括车辆101的侧面(例如，驾驶员侧、乘客侧)区域、车辆101后方区域、车辆101上方(例如，通过天窗)区域，或包括车辆101外部环境的任何其它合适部分。在一个实施例中，图像可用于光学标识和/或跟踪车辆在环境中的位置(例如，定位车辆)、车辆在车道内的位置、车辆在相对于其它物体(例如，车辆、行人等)的位置等。图像还可用于确定驾驶环境，例如车辆101前方或旁边是否存在物体，道路是否为山地道路或具有弯道等。图像还可用于确定、验证和/或证实其它因素，例如在道路的车道内漂移，尽管这些信息也可以通过车辆数据获得。
68.图像和视频可以由任何数量的不同传感器以任何数量的不同形式捕获。例如，图像可以是视觉光谱图像、高光谱图像、ir图像，或者以任何其它合适的波长采样。图像可以使用环境光、光发射器发射的光(例如，led闪光灯发射的光等)或使用任何其它合适的光源记录。图像可以是立体图像(例如，由立体摄像机记录)、单个图像或任何其它合适的图像。如上所述，图像还可以组合为图像序列以形成视频。在所示出的示例中，图像(由收集的场景信息206a表示)是由连接到车辆101的朝前的摄像头捕获的道路和建筑物的街道场景。在
捕获的图像中，街道场景还包括人行道上的人(道路两侧)、交通灯、标志和人行横道。图像可以表示对应于地图的街道场景，例如导航系统107生成的在线地图302。在一个实施例中，导航系统107将导航信息叠加到图像上。例如，图像可以是在线地图302上的位置的视图(在地图上表示为黑点)，并且转向信号(通过弯曲箭头表示)可以叠加到图像。
69.在一个实施例中，传感器测量包括由车辆101上的传感器收集的车辆数据206b。车辆数据206b可以通过车辆数据总线从车辆101接收，从车辆101无线传送，或以其它方式从车辆101接收。车辆数据206b可以包括但不限于控制面板信号(例如，收音机是否正在改变、用户界面是否正在使用等)、方向盘信号(例如，方向盘上的触摸次数、高压力区域、高温区域)、座椅传感器信号(例如，驾驶员的重量分布或随时间的变化等)或任何其它合适的测量集。传感器测量还可以包括从车辆计算机或通信/网络总线和/或设置在车辆101上的一个或多个传感器(例如，制动传感器、踏板传感器、定位传感器、里程表传感器、速度传感器、轮胎压力传感器、车道偏离传感器、跟车距离传感器、侧倾稳定性传感器)以及上述传感器获取的任何其它车辆信息。
70.图3b示出了根据图3a的实施例的示例性cnn。在所示出的示例中，cnn 306a包括cnn层3081、3082……
308n，特征图3101、3102……
310n和1
×
1cnn层312，其耦合到像素下采样器312和热图生成器316或包括像素下采样器312和热图生成器316。之前已经训练过的cnn 306接收一个或多个图像305以检测每个图像305内的各种空间和/或物体的位置区域。图像305由cnn 306a接收。例如，图像可以包括场景，例如图3a中的场景信息206a，其具有道路、建筑物和其它可标识物体(例如，其它汽车、人、动物等)。cnn 306a通过卷积层3081、3082……
308n执行卷积计算，以生成特征图3101、3102……
310n。特征图3101、3102……
310n被提取并输出，得到特征向量。向量级联到包括车速、转弯状态、制动状态、导航指令等的特征向量，调整特征向量，得到特征图3101、3102……
310n。随后，1
×
1卷积层312将特征图3101、3102……
310n缩小至基于每个像素的单个决策点，本文称为每像素决策点。分类器(未示出)使用每像素决策点来确定特定像素是否属于特定目标类，例如“人行横道”目标类别。
71.在一个实施例中，使用像素下采样器314减少要评估的每像素决策点的数量。像素下采样器314对每像素决策点进行下采样，例如4
×
下采样。然后，对于被向下采样(例如，4
×
)的每个像素，热图生成器316确定下采样的每像素决策点是否属于特定目标类别。接着，热图生成器316生成热图318，该热图318在每像素的基础上标识图像305中包括与目标类别相对应的物体的区域。在一个实施例中，评估热图318以标识对应于不同物体(例如，行人、道路、人行横道、交通灯、车辆等)的区域。因此，可以在图像305的区域中标识不同物体类型的不同图像目标类别。例如，参考热图208上的区域可以具有确定为对应于行人的第一目标类别和对应于道路上的人行横道的第二目标类别的每像素点。
72.图4示出了根据车辆驾驶员的注视方向和持续时间生成驾驶员注视热图的示例性实施例。如图所示，环境402(例如由场景信息表示的街道场景)由耦合到车辆101的捕获设备103捕获。可以在驾驶员102沿着路线驾驶车辆101时监控驾驶员注视方向和持续时间。例如，可以使用检测和跟踪器108a、头部姿势估计器108b和/或注视方向估计器108c来处理捕获的注视方向和持续时间。如上所述，任何不同数量的注视估计技术都可用于跟踪驾驶员的注视方向和持续时间。
73.在一个实施例中，处理后的注视方向和持续时间可以生成注视轨迹(由实心黑线
表示)，该注视轨迹表示车辆101的驾驶员102观察到的环境402中的区域。例如，可以跟踪对应于一个或多个广义区域(例如，向上、向下等)的驾驶员的注视方向，以及注视广义区域所花费的时间，并用于生成注视轨迹。更具体地，注视方向和持续时间可以根据以下公式表示：g
t
＝[(x,y),t]，其中(x,y)表示环境402中注视的二维(2d)位置，t表示收集注视方向期间的时间戳。使用该信息，可以在从时间t1到时间t2的一段时间(持续时间)期间相对于环境402绘制注视轨迹。应理解，当车辆101沿着路线行驶时，可以在不同的时间段和不同的环境中收集驾驶员102的多个注视方向和持续时间信息。可选地，在一个实施例中，可以使用卡尔曼滤波器、移动平均滤波器等从环境402对注视轨迹进行滤波而去噪，以生成滤波后的注视轨迹404。然后，滤波后的注视轨迹可以应用于环境402，以生成驾驶员注视热图406。在一个实施例中，对于注视轨迹中的每个注视方向和持续时间，使用高斯(或正态)分布累积注视方向和持续时间，并记录在注视热图上。因此，驾驶员102可以将具有更多注视轨迹的区域指定为需要多观看的位置。
[0074]
驾驶员注视热图406提供关于驾驶员注视方向在一段时间(持续时间)内的统计信息。例如，驾驶员注视热图406可以指示驾驶员在驾驶时观看的持续时间内的驾驶员注视的区域(其可以与特定类别或物体相关联)。在一个实施例中，驾驶员注视热图406是环境(例如，街道场景)的视觉表示，其中突出显示的区域(以灰度显示)示出了接收驾驶员102最多注意力的位置。这些突出显示的区域可以采取传统热图的形式，其中，例如，红色、橙色等颜色示出较高驾驶员注意力水平的区域，而蓝色、绿色等颜色示出较低驾驶员注意力水平的区域。但是，可以使用任何形式的视觉表示，例如形状、标志、图像等。在其它实施例中，突出显示的区域可以用指示驾驶员注意力水平的值加权。应理解，与参考热图208不同，参考热图208中的区域表示需要驾驶员特定注意力水平的位置，驾驶员注视热图406中的区域基于注视方向和持续时间表示驾驶员注意力水平。
[0075]
图5示出了使用根据图3a和图4的参考热图和驾驶员注视热图的驾驶员注意力网络。驾驶员注意力网络500将参考热图208和驾驶员注视热图406作为输入，并通过使用深度学习网络(例如siamese神经网络)合并输入来生成驾驶员注意力结果(注意力结果)508。siamese神经网络确定两个可比输入之间的相似性—在这种情况下为参考热图208与驾驶员注视热图406之间的相似性。
[0076]
siamese神经网络有两个可比的子网502a和502b，其中，子网具有相同的参数和权重。参考热图208被输入到第一子网502a中，第一子网502a包括卷积层、池化层、全连接层和特征向量r的序列。特征向量r表示输入(即，参考热图)的编码。在一个实施例中，参考热图208用作地面真值。类似地，驾驶员注视热图406被输入到第二子网502b中，第二子网502b包括卷积层、池化层、全连接层和特征向量g的序列。特征向量g表示输入(即，驾驶员注视热图)的编码。然后，可以使用损失函数等评估两个特征向量r和g，以确定两个编码之间的距离。如上所述，将结果合并或融合，以形成驾驶员注意力热图506，并且siamese网络500输出驾驶员注意力结果508。koch等人在多伦多大学计算机科学系的“用于一次性图像标识的siamese神经网络”中描述了siamese神经网络的一个示例。
[0077]
驾驶员注意力结果508通常标识驾驶员是专注地驾驶还是分心地驾驶。根据驾驶员注意力结果508，驾驶员分心系统106可以继续进一步监控驾驶员102和/或提供预警或建议。在一个实施例中，如果注意力结果508指示驾驶员正在专注地驾驶，则驾驶员分心系统
106可以继续监控车辆的驾驶员102(步骤512)，直到驾驶完成。在另一个实施例中，如果注意力结果508指示驾驶员102驾驶分心，则可以向驾驶员102发出预警或建议(步骤514)，如图6的示例所示。预警或建议可使用视觉预警和/或音频预警信号来吸引驾驶员的注意力。灯闪烁或显示器602上的书面消息等视觉预警开启时，驾驶员应注意这些预警。其它视觉预警也可以通过箭头、指针或任何其它指示符等各种其它形式显示。视觉预警可以在任何数量的不同介质上显示，例如在平视显示器上或在移动设备的显示器上显示。也可以单独播放音频预警，或音频预警与视觉预警一起播放，以吸引驾驶员的注意力。例如，用于在车辆中播放的扬声器可以播放较大的声音或宣布类似于酒店火灾警报的建议。
[0078]
在一个实施例中，驾驶员分心水平可以根据分数或评分量表测量。例如，驾驶员分心水平可以基于1到100的等级确定。分数1可以指示驾驶员102没有分心或正专注地驾驶，而分数100可以指示驾驶员102完全分心或不注意环境中已经被确定为需要高水平驾驶员注意力的位置的区域。1到100之间的分数可量化为低度、中度、重度驾驶员注意力或分心指示。
[0079]
在另一个实施例中，分数可以根据驾驶员的注视与环境中的物体(由驾驶员在车辆中观看)的重叠量或根据驾驶员的预期注视与环境中物体的预期位置的重叠来确定。在一个示例中，驾驶员分心系统106可以标识车辆周围环境中的物体，确定驾驶员的注视方向和持续时间，可选地确定驾驶员的视野(field of view，fov)，并根据驾驶员的注视量或视野与标识的物体的重叠确定分心分数。在另一个示例中，分数可以根据驾驶员注视物体和持续时间的变化速率确定。例如，可以根据低于阈值水平的速率增加分数，这表示驾驶员在操作车辆时没有充分扫视环境，而是注视着固定点(例如，可能会因思考而走神)。
[0080]
在一个实施例中，分数(或评分量表)可以基于特定驾驶员的简档和/或历史数据。例如，特定驾驶员应知道在弯曲的道路上以高速驾驶时可能会遇到问题，也应知道在停车标志处小心停车。其它实施例可以简单地根据情景事件或环境进行评分。例如，如果交通灯是红色的，并且驾驶员分心系统106确定驾驶员102正注视车辆101的后舱室，则高分可以与驾驶员注意力结果508相关联，使得向驾驶员102提供预警，以在交通灯处停车。在又一些实施例中，分数可以根据收集的场景信息、车辆数据和实时事件或之前活动的注视方向和持续时间进行更新。
[0081]
图7a至图7c示出了根据本技术实施例的用于监控车辆中驾驶员注意力的示例性流程图。在实施例中，流程图可以是至少部分由各个图中所示的以及如本文所描述的硬件和/或软件部件执行的计算机实现的方法。在一个实施例中，所公开的过程可以由图1a和图1b中公开的驾驶员分心系统106执行。在一个实施例中，由一个或多个处理器(例如处理器108或处理器802)执行的软件部件执行所述过程的至少一部分。
[0082]
参考图7a，在步骤702，驾驶员分心系统106使用一个或多个传感器收集场景信息206a和车辆数据206b，以监控驾驶员的注意力和分心。场景信息表示沿路线行驶时车辆周围的环境。例如，环境可以包括耦合到车辆的摄像头捕获的场景或当前路况。在一个实施例中，在步骤702a，处理收集的场景信息206a和车辆数据206b，以生成参考热图208。参考热图208可以使用具有一个或多个卷积层和至少一个全连接层的cnn从场景信息206a和车辆数据206b生成，使得参考热图206a标识场景信息206a中需要驾驶员注意安全驾驶的一个或多个区域。
[0083]
在步骤704，驾驶员分心系统106还捕获车辆101的驾驶员102的视觉信息202(例如，驾驶员姿势和/或注视方向和持续时间)。在一个实施例中，在步骤704a，处理注视方向和持续时间，以生成驾驶员注视热图406。驾驶员注视热图406可以根据驾驶员102在驾驶车辆101时的注视方向和持续时间生成，使得驾驶员注视热图406标识场景信息中驾驶员在持续时间期间观看的一个或多个区域。
[0084]
在步骤706，驾驶员分心系统106分析参考热图208和驾驶员注视热图406，以确定车辆101中驾驶员102的驾驶员分心(或注意力)水平。在一个实施例中，在步骤706a，将参考热图208和驾驶员注视热图406合并或融合，以形成驾驶员注意力热图506。
[0085]
然后，在步骤708，分析驾驶员注意力热图506，以根据驾驶员分心水平向车辆101的驾驶员102输出预警或建议。
[0086]
转向图7b，描述了收集场景信息206a和车辆数据206b的子过程。在步骤702b，在沿着路线行驶时记录车辆101的位置。车辆101的位置可以使用任何数量的不同技术确定，例如使用可以包括gps的导航系统107确定。然后，在步骤702c，可以从数据库中检索代表预定时间段内的车辆数据的历史车辆数据，在步骤702d，可以收集场景信息。在一个实施例中，收集场景信息包括从一个或多个传感器或在线地图实时收集街道图像。
[0087]
在图7c中，描述了捕获驾驶员姿势和注视的子过程。在步骤704b，跟踪驾驶员102的注视方向和持续时间包括捕获驾驶员102在持续时间(例如，时间段)内的图像序列。在一个实施例中，车辆中的一个或多个传感器，例如摄像头，用于捕获驾驶员图像。在步骤704c，根据从图像序列提取的姿势和注视来估计驾驶员102的注视方向，在步骤704d，将注视方向叠加到场景信息206a，以形成注视热图406。
[0088]
图8示出了可以实现本技术实施例的计算系统。计算系统800可以被编程(例如，通过计算机程序代码或指令)，以使用本文所述的驾驶员行为(例如分心)检测进一步保障驾驶员的安全，并包括用于在计算机系统800的其它内部部件和外部部件之间传递信息的通信机制，例如总线810。在一个实施例中，计算机系统800是图1a的系统100。计算机系统800或其一部分构成用于执行用于使用驾驶员分心检测进一步保障驾驶员的安全的一个或多个步骤的装置。
[0089]
总线810包括用于传输信息的一个或多个并行导体，使得信息在耦合到总线810的设备之间快速传输。用于处理信息的一个或多个处理器802与总线810耦合。
[0090]
一个或多个处理器802对计算机程序代码指定的信息(或数据)执行一组操作，所述计算机程序代码涉及使用驾驶员分心检测进一步保障驾驶员的安全。计算机程序代码是一组指令或语句，为处理器和/或计算机系统的操作提供指令，以执行指定功能。例如，代码可以用编译成处理器的本机指令集的计算机编程语言编写。代码也可以直接使用本机指令集(例如，机器语言)编写。该组操作包括从总线610引入信息并将信息加载到总线810上。处理器可以执行的操作集中的每个操作都由称为指令(例如一个或多个数字的操作码)的信息向处理器表示。将由处理器802执行的操作序列(例如操作码序列)构成处理器指令，也称为计算机系统指令或简称为计算机指令。
[0091]
计算机系统800还包括耦合到总线810的存储器804。存储器804，例如随机存取存储器(random access memory，ram)或任何其它动态存储设备，存储包括处理器指令的信息，用于使用驾驶员分心检测进一步保障驾驶员的安全。计算机系统800可以改变存储在动
态存储器中的信息。ram支持存储在称为内存地址的位置的信息单元独立于相邻地址的信息存储和检索。处理器802还在处理器指令执行期间使用存储器804存储临时值。计算机系统800还包括只读存储器(read only memory，rom)806或耦合到总线810的用于存储静态信息的任何其它静态存储设备。磁盘、光盘或闪存卡等非易失性(持久)存储设备808也耦合到总线810，用于存储包括指令的信息。
[0092]
在一个实施例中，从外部输入设备812将包括用于使用头部姿势和注视估计器进一步保障分心的驾驶员的安全的指令的信息提供给总线810，供处理器使用，外部输入设备812为由人类用户操作的键盘、麦克风、红外(infrared，ir)遥控器、操纵杆、游戏板、手写笔、触摸屏、头戴式显示器或传感器等。传感器检测其附近的状况，并将这些检测转换为与用于表示计算机系统800中信息的可测量现象兼容的物理表达式。主要用于与人类交互的、耦合到总线810的其它外部设备包括：显示设备814，用于呈现文本或图像；定点设备816，例如鼠标、跟踪球、光标方向键或运动传感器，用于控制显示器814上呈现的小光标图像的位置，并发出与显示器814上呈现的图形元素相关联的命令；一个或多个摄像头884，用于捕获、记录和存储一个或多个静止图像和/或运动图像(例如，视频、电影等)，运动图像也可以包括录音。
[0093]
在所示实施例中，专用集成电路(application specific integrated circuit，asic)820等专用硬件耦合到总线810。专用硬件用于执行处理器802没有为专用目的快速执行的操作。
[0094]
计算机系统800还包括耦合到总线810的通信接口870。通信接口870提供到通过它们自己的处理器操作的各种外部设备的单向或双向通信耦合。通常，所述耦合是与连接到本地网络880的网络链路878进行耦合，服务器或数据库等各种外部设备可以连接到本地网络880。或者，链路878可以直接连接到互联网服务提供商(internet service provider，isp)884或网络890，例如互联网。网络链路878可以是有线的或无线的。例如，通信接口870可以是个人计算机上的并行端口或串行端口或通用串行总线(universal serial bus，usb)端口。在一些实施例中，通信接口870是集成服务数字网(integrated services digital network，isdn)卡或数字用户线(digital subscriber line，dsl)卡或电话调制解调器，其提供到对应类型的电话线的信息通信连接。在一些实施例中，通信接口870是电缆调制解调器，其将总线810上的信号转换为用于通过同轴电缆的通信连接的信号或转换为用于通过光纤电缆的通信连接的光信号。作为另一个示例，通信接口870可以是局域网(local area network，lan)卡，以提供到兼容lan(例如以太网)的数据通信连接。也可以实现无线链路。对于无线链路，通信接口870发送和/或接收电、声或电磁信号，包括红外和光信号，这些信号携带数字数据等信息流。例如，在无线手持设备中，像手机等手持电话中，通信接口870包括称为无线收发器的无线频段电磁发射器和接收器。在一些实施例中，移动电话或平板电脑等移动设备的通信接口870能够连接到通信网络，以使用头部姿势和注视估计器进一步保障分心的驾驶员的安全。
[0095]
网络链路878通常使用传输介质通过一个或多个网络向使用或处理信息的其它设备提供信息。例如，网络链路878可以通过本地网络880连接到主计算机882或isp操作的设备884。接着，isp设备884通过现在通常称为互联网890的网络的公共全球分组交换通信网络提供数据通信服务。
[0096]
连接到互联网的、称为服务器主机882的计算机托管响应于通过互联网接收到的信息提供服务的进程。例如，服务器主机882托管提供表示用于在显示器814上呈现的视频数据的信息的进程。可以设想，系统800的部件可以部署在其它计算机系统内的各种配置中，例如主机882和服务器882中。
[0097]
本技术的至少一些实施例涉及使用计算机系统800实现本文描述的一些或全部技术。根据本技术的一个实施例，这些技术由计算机系统800响应于处理器802执行存储器804中包含的一个或多个处理器指令的一个或多个序列而执行。此类指令，也称为计算机指令、软件和程序代码，可以从另一个计算机可读介质，如存储设备808或网络链路878读到存储器804中。执行存储器804中包含的指令序列，使处理器802执行本文描述的一个或多个方法步骤。
[0098]
应理解，本技术主题可以通过许多不同的方式实现，并且不应理解为限于本文所述的实施例。相反，提供这些实施例是为了使本主题完整无缺，并将本技术充分传达给本领域技术人员。实际上，本主题旨在涵盖包括在由所附权利要求书限定的本主题的范围和精神内的这些实施例的替代物、修改和等同物。而且，在以下本技术主题的详细描述中，阐述了许多特定细节以便提供本技术主题的透彻理解。但是，本领域普通技术人员很清楚，可以在没有这些具体细节的情况下实施本技术主题。
[0099]
本文结合本技术实施例提供的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本技术的各方面。应理解，流程图和/或框图的每个方框以及流程图和/或方框图中的方框的组合可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以生成机器，如此，通过计算机或其它可编程指令执行装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的机制。
[0100]
计算机可读非瞬时性介质包括各种类型的计算机可读介质，包括磁存储介质、光存储介质和固态存储介质，具体地，不包括信号。应理解，软件可以安装在设备中并随该设备销售。或者，可以获取软件并将其加载到设备中，包括经由光盘介质或从网络或分发系统的任何方式获取软件，包括例如从软件创建者拥有的服务器或从软件创建者不拥有但使用的服务器获取软件。例如，软件可以存储在服务器上，以便通过因特网分发。
[0101]
计算机可读存储介质不包括传播信号，可由计算机和/或处理器访问，并且包括易失性和非易失性的可移动和/或不可移动的内部和/或外部介质。对于计算机来说，各种类型的存储介质容纳任何合适的数字格式的存储数据。本领域的技术人员应理解，可以使用其它类型的计算机可读介质，例如压缩驱动器、固态驱动器、磁带、闪存卡、闪存驱动器、盒等，用于存储用于执行所公开架构的新颖方法(动作)的计算机可执行指令。
[0102]
本文中所用的术语仅仅是出于描述特定方面的目的，并不旨在限制本技术。除非上下文清楚说明，否则本文所使用的单数形式“一”、“一个”和“所述”包括复数含义。还应理解，本说明书中所使用的术语“包括”和/或“包含”用于说明存在所陈述的特征、整数、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或它们的组合。
[0103]
本技术的描述仅作为说明和描述目的而呈现，并非旨在详尽无遗或以任何所公开的方式限制本技术。在不脱离本技术的范围和精神的情况下，本领域普通技术人员将清楚
多种修改和改变。选择和描述本技术的各方面以便更好地解释本技术的原理和实际应用，并且使本领域普通技术人员能够理解本技术和适合预期特定用途的各种修改。
[0104]
为了本文的目的，与所公开技术相关联的每个流程可以由一个或多个计算设备连续地执行。流程中的每个步骤可以由与其它步骤中使用的相同或不同的计算设备执行，并且每个步骤不必由单个计算设备执行。
[0105]
尽管已经以结构特征和/或方法动作的特定语言描述了本主题，但应理解，所附权利要求书中限定的主题不必局限于上文所描述的具体特征或动作。相反，公开上述具体特征和动作作为实现权利要求的示例性方式。