情境驾驶员监控系统的制作方法

情境驾驶员监控系统
相关申请的交叉引用
1.本申请享有2018年6月26日提交的美国专利申请62/690,309、2018年11月8日提交的美国专利申请62/757,298和2019年4月16日提交的美国专利申请62/834,471优先权，通过引用将其全部内容合并在此。
技术领域
2.本公开的各方面和实施方式涉及数据处理，并且更具体地但不限于涉及情境驱动器监视。背景
3.为了安全地操作机动车，该机动车的驾驶员必须将他/她的注意力集中在行驶的道路或道路上。驾驶员的注意力可能会周期性地改变(例如，当看着车辆的后视镜时)。附图的简要说明
4.根据以下给出的详细描述以及本公开的各个方面和实施方式的附图，将更全面地理解本公开的方面和实施方式，然而，不应将其理解为将本公开限制为特定的方面或实施方式，但仅用于解释和理解。
5.图1示出了根据示例实施例的示例系统。
6.图2示出了根据示例实施例的示例系统的其他方面。
7.图3描绘了根据示例实施例的本文描述的示例场景。
8.图4是示出根据示例实施例的用于情境驾驶员监视的方法的流程图。
9.图5是示出根据示例实施例的用于情境驾驶员监视的方法的流程图。
10.图6是示出根据示例实施例的用于情境驾驶员监视的方法的流程图。
11.图7是示出根据示例实施例的用于情境驾驶员监视的方法的流程图。
12.图8是示出根据示例实施例的能够从机器可读介质读取指令并执行本文讨论的任何方法的机器组件的框图。详细说明
13.本公开的各方面和实施方式针对情境驾驶员监视。
14.可以理解，各种眼睛跟踪技术使得能够确定用户的目光(例如，用户的眼睛指向或聚焦的方向/位置)。然而，这样的技术要求在用户的一只或多只眼睛和另一个物体之间识别/确定相关性。例如，除了可以感知用户的眼睛的照相机之外，某些技术还利用向外指向第二个照相机(即，在用户注视的方向上)。然后必须使由各个摄像机捕获的图像(例如，反映用户注视的图像和描述用户正在注视的对象的图像)相关联。可替代地，其他解决方案在已知位置/设备处向用户呈现图标，指示符等。然后，用户必须查看引用的图标，然后才能执行校准。但是，两个引用的解决方案都具有许多缺点。例如，两种解决方案都需要附加的硬件，这些附加的硬件可能昂贵，难以安装/配置或无法实现。
15.因此，本文在各种实施方式中描述了用于驾驶员监视的系统，方法和相关技术。如本文所述，所公开的技术相对于现有解决方案提供了许多优点和改进。
16.因此，可以理解，所描述的技术针对并解决了多个技术领域中的特定技术挑战和长期缺陷，这些技术领域包括但不限于图像处理，眼睛跟踪和机器视觉。如本文中详细描述的，所公开的技术提供了针对所引用的技术挑战和所引用的技术领域中未满足的需求的特定的技术解决方案，并且在常规方法上提供了许多优点和改进。另外，在各种实施方式中，本文所引用的硬件元件，组件等中的一个或多个诸如以本文所描述的方式操作以启用，改进和/或增强所描述的技术。
17.图1示出了根据一些实施方式的示例系统100。如图所示，系统100包括传感器130，其可以是图像采集设备(例如，照相机)，图像传感器，ir传感器或本文所述的任何其他传感器。传感器130可以被定位或定向在车辆120内(例如，汽车，公共汽车，飞机，飞行车辆或用于运输的任何其他此类车辆)。在某些实施方式中，传感器130可以包括或集成一个或多个处理器132，该处理器132处理由传感器捕获的图像和/或其他这样的内容。在其他实施方式中，传感器130可以被配置为与其他设备连接和/或以其他方式通信(如本文所述)，并且这样的设备可以接收和处理参考图像。
18.车辆可以包括自动驾驶车辆，自动驾驶车辆，半自动驾驶车辆；在地面上行驶的车辆包括汽车，公共汽车，卡车，火车，与军队有关的车辆；飞行器，包括但不限于飞机，直升机，无人驾驶飞机，飞行“汽车的轴心仪”，半自动飞行器；具有或不具有电动机的车辆，包括自行车，四轴飞行器，个人车辆或非个人车辆；船舶，任何海上交通工具，包括但不限于船舶，游艇，滑水喷气式潜艇。
19.传感器130(例如，照相机)可以包括例如ccd图像传感器，cmos图像传感器，光传感器，ir传感器，超声传感器，接近传感器，短波红外(swir)图像传感器，反射率传感器，rgb相机，黑白相机或任何其他能够感应环境视觉特征的设备。此外，传感器130可以包括例如能够扫描区域的单个光电传感器或1
‑
d线传感器，2
‑
d传感器或包括例如多个2
‑
d图像传感器的立体传感器。在某些实施方式中，例如，照相机可以与用于将特定的光区域聚焦到图像传感器上的透镜相关联。镜头可以窄也可以宽。宽镜头可用于获得较宽的视野，但这可能需要高分辨率传感器才能获得良好的识别距离。或者，两个传感器可与视野重叠的较窄镜头配合使用；它们在一起提供了广阔的视野，但是两个这样的传感器的成本可能低于高分辨率传感器和宽透镜。
20.传感器130可以观察或感知例如锥形或金字塔形的空间。传感器130可以具有固定位置(例如，在车辆120内)。由传感器130捕获的图像可以被数字化并且输入到至少一个处理器132，或者可以以模拟形式被输入到至少一个处理器132并且由至少一个处理器数字化。
21.应当注意的是，如图1所示的传感器130包括传感器130。如图1所示，以及在其他图中描绘的和在此描述和/或引用的各种其他传感器可以包括例如图像传感器，该图像传感器被配置为获取三维(3
‑
d)观看空间的图像。图像传感器可以包括任何图像采集设备，包括例如照相机，光传感器，非生物(ir)传感器，超声波传感器，接近传感器，cmos图像传感器，短波红外(swir)中的一个或多个。图像传感器或反射率传感器，能够扫描区域的单个光电传感器或一维线传感器，ccd图像传感器，反射率传感器，包括3
‑
d图像传感器或两个或多个两个的深度视频系统
‑
尺寸(2
‑
d)立体图像传感器，以及能够感应环境视觉特征的任何其他设备。位于一个或多个传感器的观看空间中的用户或其他元素可能会出现在由一个或多个
传感器获得的图像中。传感器可以将2
‑
d或3
‑
d单色，彩色或ir视频输出到处理单元，该处理单元可以与传感器集成在一起或通过有线或无线通信连接到传感器渠道。
22.如图1中所描绘的至少一个处理器132包括：如图1所示，以及在其他图中描绘的和在此描述和/或引用的各种其他处理器可以包括例如对一个或多个输入执行逻辑运算的电路。例如，这样的处理器可以包括一个或多个集成电路，微芯片，微控制器，微处理器，中央处理单元(cpu)，图形处理单元(gpu)，数字信号处理器(dsp)的全部或部分，现场可编程门阵列(fpga)，专用集成电路(asic)或适合执行指令或执行逻辑运算的任何其他电路。至少一个处理器可以与诸如处理单元之类的处理单元重合或可以构成该处理单元的任何部分，该处理单元尤其可以包括处理器和可以用于存储由图像传感器获得的图像的存储器。该处理单元尤其可以包括处理器和存储器，该处理器和存储器可以用于存储由一个或多个传感器获得的图像。处理单元和/或处理器可以被配置为执行驻留在处理器和/或存储器中的一个或多个指令。这样的存储器(例如，图12中所示的存储器1230)可以包括例如永久性存储器，rom，eeprom，earom，sram，dram，ddr sdram，闪存设备，磁盘，磁光盘，cd
‑
rom，dvd
‑
rom，蓝光等，并且可以包含指令(即软件或固件)或其他数据。通常，至少一个处理器可以接收由存储器存储的指令和数据。因此，在一些实施例中，至少一个处理器通过对输入数据进行操作并生成输出来执行软件或固件以执行功能。然而，至少一个处理器也可以是例如专用硬件或专用集成电路(asic)，其通过对输入数据进行操作并生成输出来执行处理。至少一个处理器可以是专用硬件，一个或多个asic，一个或多个通用处理器，一个或多个dsp，一个或多个gpu或一个或多个其他能够处理数字信息的处理器的任意组合。
23.由传感器130捕获的图像可以由传感器130数字化并输入到处理器132，或者可以以模拟形式输入到处理器132并由处理器132数字化。传感器可以是接近传感器。示例性接近传感器可以包括电容传感器，电容位移传感器，激光测距仪，使用飞行时间(tof)技术的传感器，ir传感器，检测磁场的传感器中的一个或多个。变形或任何其他能够生成信息的传感器，该信息指示在接近传感器附近存在对象。在一些实施例中，由接近传感器生成的信息可以包括物体到接近传感器的距离。接近传感器可以是单个传感器，也可以是一组传感器。尽管在图1中示出了单个传感器130，但是系统100可以包括多种类型的传感器和/或相同类型的多种传感器。例如，多个传感器可以设置在单个设备内，例如容纳系统100的某些或所有组件的数据输入设备，在系统100的其他组件外部的单个设备中，或具有至少一个外部传感器的各种其他配置中。以及内置在系统100的另一个组件(例如，处理器132或显示器)中的至少一个传感器。
24.处理器132可以经由一个或多个有线或无线通信链路连接到传感器130或集成在传感器130内，并且可以从传感器130接收诸如图像的数据，或者能够由传感器130收集的任何数据，如本文所述。这样的传感器数据可以包括例如用户的头部，眼睛，面部等的传感器数据。图像可以包括以下一项或多项：传感器130捕获的模拟图像，传感器130捕获或确定的数字图像，传感器130捕获的数字或模拟图像的子集，处理器132进一步处理的数字信息，数学表示或与传感器130感测到的数据相关联的信息的变换，呈现为视觉信息的信息(例如，表示图像的频率数据)，概念信息(例如，传感器的视场中的对象的存在)等。图像还可包括指示在捕获图像期间传感器的状态和/或其参数的信息，例如图像。曝光，帧速率，图像分辨率，颜色位分辨率，深度分辨率，传感器130的视场，包括在捕获图像期间来自其他传感器的
信息，例如接近传感器信息，加速度传感器(例如，加速计)信息，描述进一步进行的处理以捕获图像的信息，捕获图像期间的照明条件，传感器130从数字图像提取的特征或与传感器数据相关联的任何其他信息由传感器130感测。此外，参考图像可以包括与静态图像，运动图像(即，视频)或任何其他基于视觉的数据相关联的信息。在某些实施方式中，从一个或多个传感器130接收的传感器数据可以包括运动数据，gps位置坐标和/或方向矢量，视线信息，声音数据以及可由各种传感器类型测量的任何数据类型。另外，在某些实施方式中，传感器数据可以包括通过分析来自两个或更多个传感器的数据的组合而获得的度量。
25.在某些实施方式中，处理器132可以经由一个或多个有线或无线通信链路从多个传感器接收数据。在某些实施方式中，处理器132还可以连接到显示器，并且可以将指令发送到显示器以显示一个或多个图像，例如本文描述和/或引用的图像。应当理解，在各种实施方式中，所描述的传感器，传感器，处理器和显示器可以被并入单个设备中，或者可以分布在具有传感器，处理器的各种组合的多个设备中和显示。
26.如上所述，在某些实施方式中，为了减少从传感器到嵌入式设备母板，处理器，应用处理器，gpu，由应用处理器控制的处理器或任何其他处理器的数据传输，系统可以是部分或全部集成到传感器中。在仅与传感器，isp或传感器模块进行部分集成的情况下，可以将提取对象特征(例如与预定义对象相关的特征)的图像预处理集成为传感器，isp或传感器模块的一部分。视频/图像和/或对象特征的数学表示可以通过专用的导线连接或总线在外部cpu上传输，以进行进一步处理。在将整个系统集成到传感器，isp或传感器模块中的情况下，可以将消息或命令(包括例如此处引用的消息和命令)发送到外部cpu。此外，在一些实施例中，如果系统结合了立体图像传感器，则可以通过在2d图像传感器或图像传感器isp中对视频/图像的图像预处理以及视频/图像的数学表示来创建环境的深度图。，对象的功能和/或其他简化信息可以在外部cpu中进一步处理。
27.如图1所示，传感器130可以被定位成捕获或以其他方式接收用户110(例如可以是车辆120的驾驶员或驾驶员的人类用户)的图像或其他这样的输入。可以以不同的帧频(fps)捕获此类图像。如本文所述，这样的图像可以反映例如用户110的各种生理特征或方面，包括但不限于用户的死者的位置，用户的视线或眼睛111的方向。110，用户110的脸部的位置(空间位置)和方向等。在一示例中，系统可以被配置为以不同的曝光率捕获图像以检测用户的凝视。在另一示例中，系统可以改变或调整所捕获的图像的fps以用于检测用户注视。在另一个示例中，该系统可以相对于检测戴眼镜的用户和/或眼镜的类型(观察眼镜，太阳镜等)来改变或调整曝光和/或帧频。
28.应当理解的是，图1中所描绘的场景是可替代的。通过示例的方式提供图1。因此，所描述的技术还可以以各种其他布置，配置等来配置或实现。例如，传感器130可以定位或定位在任何数量的其他位置中(例如，在车辆120内)。例如，在某些实施方式中，传感器130可以位于用户110上方，在用户110的前面(例如，定位在车辆110的仪表板上或集成在车辆110的仪表板内)，到用户110的侧面(以使得眼睛130用户从侧面对传感器是可见的/可视的，这可能是有利的并且克服了戴眼镜的用户造成的挑战以及在许多其他位置/位置。另外，在某些实施方式中，可以使用多个传感器(可以将其布置在不同的位置)来实施所描述的技术。
29.在某些实施方式中，可以在传感器130处捕获/接收图像，视频和/或其他输入，并
且对其进行处理(例如，使用面部检测技术)以检测用户110的眼睛111的存在。一旦检测到用户的眼睛，就可以确定用户的视线(例如，通过神经网络和/或利用一种或多种机器学习技术)。在某些实施方式中，可以使用诸如车辆120内的传感器130的位置之类的信息来确定用户的视线。在其他实施方式中，可以使用其他信息(例如，用户110的脸部在车辆内的位置(可能会根据用户的身高而变化)，用户的年龄，性别，脸部结构，来自其他传感器的输入，包括位于车辆不同位置的摄像头，提供用户面部3d信息的传感器(例如tof传感器)，ir传感器，物理传感器(例如位于座椅内的压力传感器)车辆，接近传感器等)。在其他实施方式中，可以由其他设备，系统等(例如，经由神经网络和/或利用一种或多种机器学习技术)识别，确定或提取用户的凝视或凝视方向，并进行传输/提供到所描述的系统。如本文所述，在检测/确定用户的凝视之后，可以进一步提取用户110的一只或多只眼睛111的各种特征。
30.所公开的系统和相关技术的各个方面可以包括或涉及机器学习。机器学习可以包括在处理设备上实现并运行的一种或多种技术，算法和/或模型(例如，数学模型)。在机器学习系统中实现的模型可以使系统根据其统计特征而不是根据人类专家的预定义规则从数据中学习和改进。机器学习专注于计算机程序的开发，该程序可以访问数据并使用其自身学习以执行特定任务。
31.可以根据受监督或不受监督的机器学习系统的结构，系统内的数据流，输入数据和外部触发器来调整机器学习模型。
32.机器学习可以与人工智能(ai)的应用相关，该人工智能为系统提供了无需明确编程即可自动从数据输入中学习和改进的功能。
33.机器学习可以应用于各种任务，例如特征学习，稀疏词典学习，异常检测，关联规则学习以及推荐系统的协作过滤。机器学习可用于特征提取，降维，聚类，分类，回归或度量学习。机器学习系统可以是有监督的和半监督的，无监督的，增强的。机器学习系统可以通过多种方式实现，包括线性和逻辑回归，线性判别分析，支持向量机(svm)，决策树，随机森林，蕨类，贝叶斯网络，增强，遗传算法，模拟退火或卷积神经网络(cnn)。
34.深度学习是机器学习系统的一种特殊实现。在一个示例中，深度学习算法发现了表示的多个级别或功能的层次结构，其中使用较低级别的功能提取了较高级别的，更抽象的功能。深度学习可以在各种前馈或递归架构中实现，包括多层感知器，卷积神经网络，深度神经网络，深度置信网络，自动编码器，长期短期记忆(lstm)网络，生成对抗网络和深度强化网络。
35.上面提到的架构不是互相排斥的，可以组合或用作实现其他类型的深度网络的构建块。例如，可以使用自动编码器来实现深度信任网络。反过来，可以使用多层感知器或卷积神经网络来实现自动编码器。
36.深度神经网络的训练可以看作是一个优化问题，它涉及到最小化预定义的目标(损失)函数，该函数是网络参数，其实际预测和所需预测的函数。目的是通过调整网络参数来最小化实际预测值与所需预测值之间的差异。这种优化过程的许多实现都是基于随机梯度下降方法，可以使用反向传播算法来实现。然而，对于某些操作方式，例如在在线学习场景中，随机梯度下降具有各种缺点，并且已经提出了其他优化方法。
37.深度神经网络可用于根据输入的传感器数据(例如静止图像，视频，声音和语音)预测各种人类特征，行为和动作。
38.在另一个实施示例中，基于视频，触觉传感器和gps等传感器数据的收集，深度递归lstm网络用于在驾驶员行为发生前几秒钟预测驾驶员的行为。
39.在一些实施例中，处理器可以被配置为实现一种或多种机器学习技术和算法，以促进对与用户行为相关的变量的检测/预测。术语“机器学习”是非限制性的，并且可以包括以下技术，包括但不限于计算机视觉学习，深度机器学习，深度学习和深度神经网络，神经网络，人工智能和在线学习，即学习在系统运行期间。机器学习算法可以检测所收集的传感器数据(例如图像数据，接近传感器数据以及来自本文公开的其他类型的传感器的数据)中的一个或多个模式。可以基于收集的传感器数据或保存的数据与感兴趣的用户行为相关变量之间的相关性，使用一个或多个框架数据集来训练由处理器实现的机器学习组件。保存数据可以包括由其他机器学习系统生成的数据，对传感器输入的预处理分析，与系统观察到的与对象相关联的数据。可以基于新的训练数据集和反馈循环来连续或定期更新机器学习组件。
40.机器学习组件可用于检测或预测手势，运动，身体姿势，与用户警觉性相关的特征，驾驶员警觉性，疲劳，对道路的关注程度，分心，与用户的表情或情绪相关的特征，与注视方向相关的特征用户，驾驶员或乘客。机器学习组件可用于检测或预测动作，包括说话，大喊，唱歌，开车，睡觉，休息，吸烟，阅读，发短信，握住移动设备，将移动设备靠在脸颊上，用手握住设备以发短信或扬声器通话，观看内容，玩数字游戏，使用智能眼镜，vr，ar等头戴式设备，学习设备，与车辆内的设备进行交互，固定安全带，系安全带，不正确系安全带，打开窗户，进出汽车，捡起物体，寻找物体，与其他乘客互动，固定眼镜，固定/放置目光接触，固定头发/衣服，将口红粘住，穿衣或脱衣服，参与性活动，参与暴力活动，照镜子，使用数字设备与另一个或多个人/系统/人工智能进行通信，与用户行为相关的功能，与用户的互动环境，与另一个人的互动，活动，情绪状态，对以下内容的情绪反应：内容，事件，更大的另一个人，一个或多个对象，学习车辆内部。
41.机器学习组件可用于检测面部表情，包括头部姿势，凝视，面部和面部表情3d位置，面部表情，面部标志，包括：嘴，眼，脖子，鼻子，眼睑，虹膜，瞳孔，配件，包括：眼镜/太阳镜，耳环，化妆；面部动作包括：说话，打哈欠，眨眼，瞳孔扩大，感到惊讶；用其他身体部位(例如手，手指)，用户握住的其他物体(帽子，食物，电话)，其他人(其他人的手)或物体(车辆的一部分)遮挡面部表达式(例如，图雷特综合症相关的表达式)。
42.机器学习系统可以使用来自车辆中一个或多个系统的输入，包括adas，汽车速度测量，左/右转向信号，方向盘运动和位置，方向盘，汽车运动路径，指示汽车周围环境的输入，sfm和3d重构。
43.机器学习组件可用于检测车厢的占用情况，检测并跟踪人和物体，并根据其存在，位置，姿势，身份，年龄，性别，身体尺寸，状态，情感，健康状况，头部姿势采取行动，注视，手势，面部特征和表情。机器学习组件可用于检测一个或多个人，人的识别/年龄/性别，人的种族，人的身高，人的体重，怀孕状态，姿势，姿势不正确(例如，双腿抬起，躺下等)。座椅有效性(安全带的可用性)，人的骨骼姿势，座椅安全带配件，物体，车辆中的动物身影，车辆中的一个或多个物体，学习车辆内部，异常情况，车辆中的儿童/婴儿座椅，车辆中的人数，车辆中的人数过多(例如，有4个儿童坐在后排座位上，但只允许3个孩子坐在座位上)，坐在他人膝盖上的人。
44.机器学习组件可用于检测或预测与用户行为，动作，与环境的交互，与另一个人的交互，活动，情绪状态，对以下内容的情绪响应相关的功能：内容，事件，触发另一个人，一个或多个对象，在所有成年人离开汽车后检测儿童在车中的存在，监视汽车的后座，识别攻击性行为，故意破坏，呕吐，身体或精神困扰，检测吸烟，饮食等行为，了解用户的意图通过他们的目光或其他身体特征。
45.应当理解，如本文所描述和/或引用的，“用户的视线”，“眼睛的视线”等可以指人类用户的眼睛被定位/聚焦的方式。例如，用户110的“凝视”或“眼睛凝视”可以指例如在特定情况下和/或在一段时间内用户110的一只或多只眼睛111朝着或聚焦的方向。作为进一步的示例，“用户的凝视”可以是或指代用户在特定时刻注视的位置。作为又一示例，“用户的凝视”可以是或指代用户在特定时刻注视的方向。
46.此外，在某些实施方式中，所描述的技术可以使用各种技术(例如，经由神经网络和/或利用一种或多种机器学习技术)来确定/提取用户的参考视线。例如，在某些实现中，传感器(例如，图像传感器，照相机，ir照相机等)可以捕获眼睛(例如，一只或两只人眼)的图像。然后可以处理这样的图像，例如以提取各种特征，例如眼睛的瞳孔轮廓，ir源的反射(例如闪烁)等。然后可以计算/输出注视或注视向量，其指示眼睛的注视点(其可以对应于特定的方向，位置，对象等)。
47.另外，在某些实施方式中，所描述的技术可以例如在某些情况下计算，确定用户的视线是针对(或可能针对)特定物品，对象等的。例如，如本文中所描述的，在其中确定用户正在高速公路上直行的情况下，可以确定用户110的注视如图3所示。1指向(或可能指向)前方/地平线。应该理解的是，这里所指的“朝前方的道路看”可以指诸如车辆驾驶员之类的用户，其视线/焦点对准/对准通过被驾驶车辆的前挡风玻璃可见的道路/路径。(向前行驶时)。
48.在各种附图中描述了所描述的系统的其他方面。例如，图1描绘了例如使用可包括相机在汽车中的位置，用户面部在车内的位置的信息来提取，确定用户(例如，汽车的驾驶员)的视线的方面。如本文所述，汽车(其可以根据用户身高而变化很大)，用户年龄，性别，面部结构等。如图1所示，驾驶员110可以坐在汽车120中(应当理解，所描述的系统实际上可以相对于任何车辆，例如，公共汽车等类似地采用)，以及眼睛的凝视/位置。可以基于由照相机130捕获的定位在汽车内的图像来确定用户位置的位置。还应注意，本文所用的“汽车”实际上是指用于运输的任何机动车辆，例如轮式，自供电机动车辆，飞行车辆等。
49.在其他情况下，所描述的技术可以确定用户110的注视如图2所示。图1中的箭头指向(或可能指向)诸如位于车辆外部的对象(例如，路标，车辆，地标等)的对象。在某些实施方式中，可以基于源自嵌入在车辆内的一个或多个传感器的输入和/或源自其他来源的信息来识别这种物体。
50.在其他场景中，所描述的技术可以确定用户(例如，车辆的驾驶员)的各种状态。这样的状态可以包括或反映与驾驶员的专心或知觉相关的方面或特征。在某些实施方式中，这样的状态可以对应于对象，例如车辆内部或外部的对象(例如，其他乘客，路标，地标，其他车辆等)。
51.在一些实施方式中，处理器132被配置为发起各种动作，诸如与在捕获或接收的图像内识别出的方面，特征，现象等相关联的那些动作。处理器执行的动作可以是例如消息的
生成或命令的执行(其可以与检测到的方面，特征，现象等相关联)。例如，所生成的消息或命令可以寻址到任何类型的目的地，包括但不限于操作系统，一个或多个服务，一个或多个应用程序，一个或多个设备，一个或多个远程应用程序，一个或多个。更多的远程服务，或一个或多个远程设备。
52.应当注意，如本文所使用的，“命令”和/或“消息”可以指针对和/或能够由任何类型的目的地接收/处理的指令和/或内容，包括但不限于，以下一项或多项：操作系统，一项或多项服务，一项或多项应用程序，一项或多项设备，一项或多项远程应用程序，一项或多项远程服务或一项或多项远程设备。
53.还应该理解，根据特定的实现方式，本文中引用的各种组件可以组合在一起或分离为其他组件。另外，在一些实施方式中，各种组件可以在单独的机器上运行或体现。此外，本文中更详细地描述和示出了某些组件的某些操作。
54.当前公开的主题还可以被配置为例如响应于对图形(或其他)元素的选择而能够与外部设备或网站进行通信。这样的通信可以包括向运行在外部设备上的应用程序，运行在外部设备上的服务，运行在外部设备上的操作系统，运行在外部设备上的进程，在一个处理器的处理器上运行的一个或多个应用程序发送消息。外部设备，在外部设备后台运行的软件程序或运行在外部设备上的一项或多项服务。另外，在某些实施方式中，可以将消息发送到设备上运行的应用程序，设备上运行的服务，设备上运行的操作系统，设备上运行的进程，设备的处理器上运行的一个或多个应用程序。设备，在设备后台运行的软件程序，或运行在设备上的一项或多项服务的软件程序。在某些实施方式中，设备被嵌入在车辆内部或外部。
55.如本文所使用的，“图像信息”可以是由传感器130捕获的模拟图像，由传感器130捕获或确定的数字图像，由传感器130捕获的数字或模拟图像的子集，由传感器130进一步处理的数字信息中的一个或多个。isp，与传感器130感测到的数据相关的信息的数学表示或变换，传感器130捕获的图像中的频率，概念信息(例如传感器130视场中物体的存在)，指示传感器130状态的信息捕获图像时的图像传感器或其参数(例如，曝光，帧速率，图像分辨率，颜色位分辨率，深度分辨率或图像传感器的视场)，当传感器130捕获图像时来自其他传感器的信息(例如，接近传感器信息或加速度计信息)，描述在捕获图像后进行的进一步处理的信息，捕获的图像，传感器130从数字图像中提取的特征或与传感器130感测到的数据相关的任何其他信息。此外，“图像信息”可以包括与静态图像，运动图像(即，视频)相关联的信息，或者由图像传感器捕获的任何其他信息。
56.除了传感器130之外，一个或多个传感器140可以集成在参考车辆内或相对于参考车辆配置。如本文所述，这样的传感器可以共享传感器130(例如，图像传感器)的各种特性。在某些实施方式中，参考传感器140可以与高级驾驶员辅助系统150(adas)或在驾驶时辅助车辆驾驶员的任何其他系统结合部署。adas可以是例如使车辆系统自动化，适应和增强的系统，以实现安全和更好的驾驶。adas还可以通过实施诸如接管车辆的控制措施来警告驾驶员潜在的问题和/或避免碰撞。在某些实施方式中，adas可以合并以下功能：照明自动化，自适应巡航控制和避免碰撞，向驾驶员警告其他车辆或危险，车道偏离警告，自动车道居中，显示盲区和/或连接到智能手机获取导航说明。
57.举例说明，在一种情况下，传感器140可以识别车辆外部的各种物体(例如，在车辆
行驶的道路上或周围)，而传感器130可以识别在车辆内部发生的现象(例如，驾驶员/乘客的行为等)。在各种实现中，可以在单个处理器(例如，处理器132)和/或在多个处理器(例如，作为adas 150的一部分并入的处理器)处处理源自各个传感器130、140的内容。
58.如本文中进一步详细描述的，所描述的技术可以被配置为利用和/或解释反映车辆外部存在的物体或现象的信息以及反映车辆驾驶员的状态的信息。这样做，可以针对驾驶员的注意力来计算各种确定(例如，经由神经网络和/或利用一种或多种机器学习技术)。例如，在某些实施方式中，可以计算驾驶员的当前注意力(例如，在行程/驾驶期间以一个或多个间隔)。在其他实施方式中，可以确定各种建议的和/或所需的专注度(例如，驾驶员必须在特定间隔或位置表现出一定程度的专注度以便安全地驾驶车辆)。
59.物体，例如在本文中可以称为“第一物体”，“第二物体”等，可以包括路标，交通信号灯，行驶中的车辆，停止的车辆，在车辆侧面的停止的车辆。道路，接近横截面或正方形的车辆，在人行道上或在人行道上行走或站立或横过马路的人或动物，骑自行车的人，开门的车辆，在路边停下的汽车，人沿着道路行走或奔跑，在道路上工作或站立的人和/或签名(例如警务人员或与交通有关的工人)，停车，驾驶员视野内的车辆红灯，旁边或旁边的物体在道路上的地标，建筑物，广告，向驾驶员发出信号的物体(例如，车道关闭，道路上的圆锥体，闪烁的灯光等)。
60.在某些实施方式中，所描述的技术可以被部署为驾驶员辅助系统。这样的系统可以被配置为检测驾驶员的意识，并且可以使用与各种环境/驾驶条件相关联的信息来进一步发起各种动作。
61.例如，在某些实施方式中，参考的建议的和/或所需的(一个或多个)专注度或水平可以被反映为一个或多个(一个或多个)专注度阈值。可以计算和/或调整这样的阈值以反映驾驶员为了安全地驾驶车辆而将具有/表现出的建议或要求的专心/意识(例如，基于/鉴于环境条件等)。阈值可以进一步用于实现动作或响应，例如通过提供刺激以提高驾驶员的意识(例如，基于驾驶员的意识水平和/或环境条件)。另外，在某些实施方式中，与驾驶员驾驶的先前实例相比，可以基于各种现象或状况(例如，道路状况的变化，道路结构的变化，例如新的出口或换乘处)来调整计算的阈值。道路和/或相对于驾驶员的目的地，驾驶员的注意力，驾驶员对导航系统指令的响应不足(例如，驾驶员未按照与遵循导航指令一致的方式操纵车辆)，其他行为或事件等。
62.应当注意，尽管在某些情况下向用户提供各种通知，警报等可能是有利的，但是在其他情况下提供太多警报可能会适得其反(例如，通过限制用户忽略此类警报或取消激活)系统)。另外，可以理解的是，相对于个人/特定用户，单个阈值可能不是准确或有效的。因此，在某些实施方式中，可以将所描述的阈值配置为动态的，从而防止在驾驶员可能不一定需要警报/通知的情况下提供警报/通知，而在其他情况下可能不需要警报/通知。必须提供给驱动程序(否则，当使用单个静态阈值时可能会出现)。如图。图2描绘了所描述的系统的其他方面。如图1所示。参照图2，所描述的技术可以包括或结合各种模块。例如，模块230a可以确定驾驶员的生理和/或身体状态，模块230b可以确定驾驶员的心理或情绪状态，模块230c可以确定驾驶员的行为，模块230d可以确定驾驶员的行为。驱动器，在此将对其进行详细描述。驾驶员状态模块可以确定驾驶员的状态，如在此详细描述的。如本文中详细描述的，模块23of可以确定驾驶员的注意力。如本文所述，模块230g可以确定环境条件和/或驾
驶等。
63.在某些实施方式中，模块可以接收输入和/或提供输出到各种外部设备，系统，资源等210，例如设备220a，应用220b，系统220c，数据(例如，来自“云”)220d，adas 220e，dms 220f，oms 220g等。另外，如本文所述，还可以利用与先前的驾驶间隔，驾驶模式，驾驶员状态等相关联的数据(例如，存储在储存库240中)。另外，在某些实施方式中，所引用的模块可以从各种传感器250接收输入，诸如图像传感器260a，生物传感器260b，运动传感器260c，环境传感器260d，位置传感器260e和/或其他传感器，如本文中详细描述的。
64.环境条件(用于确定参考注意力的各个方面)可以包括但不限于：道路条件(例如急转弯，驾驶员所行驶道路的视野受限或受阻)，这可能会限制驾驶员的能力观察由于转弯或其他现象，狭窄的道路，恶劣的道路状况，发生事故或其他事件的路段等而从道路的同一侧和/或另一侧接近的车辆或其他物体。)，天气条件(如雨，雾，风等)。
65.在某些实施方式中，所描述的技术可以被配置为分析道路状况，以确定：为了驾驶员安全驾驶所需的注意力水平或阈值。另外，在某些实施方式中，可以分析道路的路径(反射道路的曲线轮廓等)以确定(例如，经由神经网络和/或利用一种或多种机器学习技术)：最小/似然时间直到在道路上行驶的驾驶员可以首先看到在同一侧或另一侧行驶的汽车的持续时间或间隔，直到在道路上行驶的驾驶员可以减速/停止/操纵到该侧的最小持续时间或间隔在道路另一侧行驶的汽车不在其车道上行驶的情况下，或者驾驶员安全地驾驶道路的特定部分或路段所需的注意力水平。
66.另外，在某些实施方式中，可以将所描述的技术配置为分析道路路径，例如在道路的各个点，部分或路段上存在的急转弯，例如期望或确定驾驶员可能会在其上行驶的路段。将来继续行驶(例如，驾驶员当前正在行驶的那部分道路之前的一部分道路)。该分析可以说明道路或路径上转弯或弯道的存在(根据基于嵌入在车辆内的传感器的输入，地图/导航数据和/或其他信息确定)，这可能会影响或限制各种视图条件，例如驾驶员感知相反方向到达的汽车或同向行驶的汽车(无论是在道路的不同车道还是在同一车道)的能力，道路的狭窄路段，恶劣的道路状况或过去发生事故的道路。
67.通过进一步的说明，在某些实施方式中，可以将所描述的技术配置为分析环境/道路状况以确定建议/要求的关注水平，阈值等(例如，经由神经网络和/或利用一种或多种机器学习技术)，以便驾驶员安全地驾驶车辆。环境或道路状况可以包括但不限于：道路(例如，弯道等)，环境(例如，阻碍驾驶员视线的山脉，建筑物等的存在)和/或光照条件的变化(例如，朝着驾驶员的眼睛直射的阳光或车辆光，进入隧道时突然变暗等)。在确定驾驶员能够感知在同一侧或另一侧行驶的车辆所需的最小时间间隔和/或可能的时间时，可以考虑分析环境或道路状况。在这样的车辆存在于驾驶员接近的道路的一部分上但由于障碍物或急转弯而目前驾驶员不可见的情况下。作为进一步的示例，可以在确定驾驶员/车辆可能需要操纵(例如，减速，停止，移动到)的所需注意力和/或时间(例如，最小时间)时考虑条件。在另一侧行驶的车辆不在其车道上行驶，或者在同一方向和同一车道上行驶但速度要慢得多的车辆。
68.图3描绘了其中实现所描述的系统的示例场景。如图3所示，驾驶员(x)朝一个方向行驶，而另一辆汽车则沿相反方向行驶。山的存在(如图所示)会造成一种场景，在这种情况下，车辆“x”的驾驶员在驶入/驶过山时可能看不到车辆如图1所示。如图3所示，
在图3中，驾驶员可能首先在位置yi的对面车道上看到车辆y。在x2＝y2(如图所示)(即“汇合点”)的点/路段，如果车辆y进入驾驶员车道，驾驶员将拥有atm操纵车辆。因此，所描述的系统可以修改或调整驾驶员相对于atm的注意力阈值，例如，当atm较低时，驾驶员在xi处的所需注意力变得更高。因此，如本文所述，可以相对于环境条件修改所需的专注度阈值。如图1所示。如图3所示，车辆“x”的驾驶员的视线可能会受到山脉的限制，并且到达位置xi时(驾驶员必须在这个位置必须高度专注并在道路上注视)，可以提高驾驶员所需的注意力。为此，系统确定驾驶员注意力水平(xo)之前，并且在未达到到达位置xi所需的阈值的情况下，系统会采取措施(例如进行干预)以确保驾驶员到达位置xi时，注意力将高于所需的注意力阈值。
69.另外，在某些实施方式中，可以使用源自其他传感器的信息来确定环境条件，所述其他传感器包括但不限于雨水传感器，光传感器(例如，对应于朝驾驶员发光的阳光)，振动传感器(例如，反映道路状况或冰雪)，摄像头传感器，adas等。
70.在某些实施方式中，所描述的技术还可以确定和/或以其他方式说明指示或反映驾驶员的驾驶技能的信息，当前驾驶状态(例如，从adas中提取，反映出车辆正在向中间转向)或道路两侧)和/或车辆状态(包括速度，加速度/减速度，道路方向(例如，在转弯时，超车/越过另一辆车辆时)。
71.除了和/或代替利用源自车辆内的传感器的信息，在某些实施方式中，所描述的技术可以利用与从外部资源中提取的与所描述的环境条件有关的信息，这些外部资源包括：从互联网或“云”服务(例如，可以经由诸如因特网160之类的网络(如图1所示)访问的外部/云服务180，存储在本地设备(例如诸如智能手机之类的设备122)上的信息，如图1所示。1)，或存储在外部设备(例如，图1所示的设备170)中的信息。例如，可以从各种外部数据源(例如，提供天气或导航信息的第三方服务等)获得和/或接收反映天气状况，发生事故的道路的路段，急转弯等的信息。
72.另外，在某些实施方式中，所描述的技术可以在确定驾驶员意识时利用或考虑驾驶员表现出的各种现象(例如，经由神经网络和/或利用一种或多种机器学习技术)。例如，在某些实施方式中，可以考虑各种生理现象，例如驾驶员的头部的运动，驾驶员的眼睛的凝视，驾驶员的眼睛或眼睑展现的特征，驾驶员的方向。驾驶员的视线(例如，驾驶员是否朝着道路看)，驾驶员是否无聊或在做白日梦，驾驶员的姿势等。另外，在某些实施方式中，可以考虑其他现象，例如驾驶员的情绪状态，驾驶员是否过于放松(例如，与即将到来的状况(例如即将到来的急转弯或下一个路段的结冰)相关)，等等。
73.另外，在某些实施方式中，所描述的技术可以利用或解决各种行为或事件，例如驾驶员的行为。通过说明的方式，发生在车辆中的事件，驾驶员对乘客的注意，要求注意的乘客(例如，儿童)，与驾驶员/用户的设备有关的最近发生的事件(例如，接收到的事件)。sms，语音，视频消息等通知)可以指示驾驶员的注意力可能发生变化(例如，朝向设备)。
74.因此，如本文所述，所公开的技术可以被配置为确定所需/建议的注意力/专心水平(例如，经由神经网络和/或利用一种或多种机器学习技术)，以及警报，该警报将被提供给驾驶员和/或要启动的操作(例如，自动驾驶系统控制车辆)。在某些实施方式中，可以基于/鉴于以下方面来计算或发起这样的确定或操作：与驾驶员相关联的状态(例如，驾驶员注意力状态，生理状态，情绪状态等)，身份。或驾驶员的历史记录(例如，使用在线学习或其
他技术)，与道路相关的状态，临时驾驶条件(例如，天气，道路上的车辆密度等)，其他车辆，人，物体等例如，在道路上或道路附近(无论是否处于运动中，停放等)，与该路段有关的历史/统计信息(例如，与先前在道路某些部分发生的事故相对应的统计信息)，以及与此类事件相关的相关信息(如路况，天气信息等)等。
75.在一个示例实施方式中，所描述的技术可以在驾驶员正在交通密度高和/或天气条件差的道路上(例如，雨水或雾)行驶的环境或情况下，调整(例如，增加)所需的驾驶员注意力阈值多雾路段)。在另一个示例场景中，在道路上的交通流量低，道路的路段质量高，道路的路段直，有围栏的情况下，所描述的技术可以调整(例如，降低)所需的驾驶员注意力阈值和/或道路两侧之间的距离和/或道路上的能见度条件明确。
76.另外，在某些实施方式中，所需专注度阈值的确定可以进一步考虑或相对于驾驶员的情绪状态来计算。例如，在确定驾驶员更易受到情绪困扰的情况下，可以调整指示驾驶员对道路的注意力的参数(例如驾驶员凝视方向，驾驶员行为或动作)，例如，要求越过较高的阈值(反之亦然)。在某些实施方式中，可以通过神经网络和/或利用一种或多种机器学习技术来执行对驾驶员的专注力阈值或情绪状态的确定中的一项或多项。
77.此外，在某些实施方式中，可以从外部来源(例如“云”)获取或接收时间路况。这种临时道路状况的示例包括但不限于由于天气事件，前方道路上的冰，事故或其他事件(例如，前方道路)，车辆而导致的道路状况的变化。)向前停车，车辆则停在道路，建筑等的一侧。
78.图4是示出根据示例实施例的用于驾驶员辅助的方法400的流程图。该方法由处理逻辑执行，该处理逻辑可以包括硬件(电路，专用逻辑等)，软件(例如在诸如本文所述的计算设备上运行的软件)或两者的组合。在一个实施方式中，方法400(和本文描述的其他方法)由关于图4描绘和/或描述的一个或多个元件执行。如图1所示(包括但不限于设备传感器130和/或集成/连接的计算设备，如本文所述)。在一些其他实施方式中，图1的一个或多个框可以被包括。4可以由另一台机器执行。另外，在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来执行所描述的操作中的一项或多项。
79.为了简化说明，将方法描绘和描述为一系列动作。然而，根据本公开的动作可以以各种顺序和/或同时发生，并且具有本文未呈现和描述的其他动作。此外，可能不需要所有示出的动作来实现根据所公开的主题的方法。另外，本领域技术人员将理解并认识到，所述方法可以可替代地经由状态图或事件表示为一系列相互关联的状态。另外，应当理解，在本说明书中公开的方法能够被存储在制品上，以便于将这样的方法传输和转移到计算设备。本文所使用的术语“制品”旨在涵盖可从任何计算机可读设备或存储介质访问的计算机程序。
80.在操作410，接收一个或多个第一输入。在某些实施方式中，可以从传感器130和/或其他来源接收这样的输入。
81.在操作420，处理一个或多个第一输入(例如，在410接收的那些)。这样做，可以确定用户(例如，车辆内存在的驾驶员)的状态。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来执行对驾驶员/用户的状态的确定。
82.在某些实施方式中，“驾驶员/用户的状态”可以反映，对应和/或以其他方式说明各种标识，确定等。例如，在某些实施方式中，确定驾驶员的状态可以包括识别或确定(例
如，经由神经网络和/或利用一种或多种机器学习技术)驾驶员的头部的运动，特征。驾驶员的眼睛的状态，驾驶员的心理状态，驾驶员的情绪状态，驾驶员的心理状态，驾驶员的生理状态，驾驶员的身体状态等。
83.驾驶员/用户的状态可以涉及驾驶员的一种或多种行为，驾驶员的一种或多种心理或情绪状态，驾驶员的一种或多种生理或身体状态或一种或多种驾驶员正在或曾经参与的活动。
84.此外，驾驶员状态可以与驾驶员所在的环境有关。驾驶员所在的环境可以包括其他人/乘客的存在，一个或多个乘客的一种或多种活动或行为，一个或多个乘客的一种或多种心理或情绪状态，一个或多个乘客的一个或多个生理或身体状态，与一个或多个乘客的通信或一个或多个乘客之间的通信，车辆中动物的存在，车辆中一个或多个物体车辆(其中存在的一个或多个对象被定义为敏感对象，例如易碎对象，如显示器，玻璃等精细材料的对象，与艺术品相关的对象)，驾驶模式的阶段(手动驾驶，自动驾驶模式)驾驶，停车，进入/离开停车，驾驶，停车(带制动器)的阶段，车辆中的乘客人数，道路上一辆或多辆车辆的运动/驾驶方式，环境条件。此外，驾驶员状态可以与驾驶员的外观有关，包括理发，发型改变，衣服，佩戴配件(例如眼镜/太阳镜，耳环，穿孔，帽子)，化妆。
85.此外，驾驶员状态可能与面部特征和表情，姿势不正确(例如，双腿抬起，躺下等)，坐在另一个人的腿上的人，身体或精神困扰，与另一个人的互动，对另一个人的情感反应有关在车辆内或车辆外发生的内容或事件，
86.此外，驾驶员状态可能与年龄，性别，身体尺寸，健康状况，头部姿势，凝视，手势，面部特征和表情，身高，体重，怀孕状态，姿势，座椅有效性(安全带的可用性)以及与环境的相互作用有关。
87.驾驶员的心理或情绪状态可以是驾驶员的任何心理或情绪状态，包括但不限于喜悦，恐惧，幸福，愤怒，沮丧，无望，被逗乐，无聊，沮丧，压力或自怜的情绪，被打扰，处于饥饿或痛苦状态。心理或情绪状态可能与驾驶员在此之前的驾驶经历或当前驾驶过程中参与的事件有关，包括但不限于：活动(例如社交活动，体育活动，工作)相关活动，娱乐相关活动，与身体相关的活动(例如性，身体治疗或医疗活动)，在当前驾驶会话之前或之中发生的与驾驶员相关的通信(无论是被动还是主动)。作为进一步的示例，通信(在确定与驾驶员相关联的压力程度时被考虑)可以包括反映戏剧性，创伤性或令人失望的事件(例如，驾驶员被解雇了，学到的信息)的通信。亲密朋友/亲戚的去世，学习与家人或朋友相关的令人失望的新闻，学习令人失望的财经新闻等)。驾驶员之前参与的事件或驾驶员在当前驾驶会话期间发生的事件还可以包括对车辆中或车辆外部其他人的情绪响应，无论其内容是否呈现给驾驶员是在与一个或多个人进行通信或以其本质进行广播(例如广播)时进行的。心理状态可以与对与驾驶相关的事件(包括道路上的其他驾驶员)或天气状况的一种或多种情绪反应相关联。心理或情绪状态可能还与沉迷于自我观察，对个人/自我情绪状态(例如失望，沮丧)和个人/自我身体状态(饥饿，痛苦)过于敏感有关。
88.可以从图像传感器和/或外部源中提取心理或情感状态信息，包括能够测量或确定各种心理，情感或生理事件，现象等的信息(例如，驾驶员的心率，血液压力)和/或外部在线服务，应用程序或系统(包括来自“云”的数据)。
89.驾驶员的生理或身体状态可以包括：驾驶员在定义的时间间隔(例如，昨晚，过去24小时等)内从事的睡眠的质量和/或数量(例如，小时数)，身体姿势，骨骼姿势，情绪状态，驾驶员机警，对道路的疲劳或专心，与驾驶员相关的眼睛发红程度，与驾驶员相关的心率，与驾驶员相关的温度，由驾驶员产生的一种或多种声音司机。驾驶员的生理或身体状态可能进一步包括：与以下信息相关的信息：驾驶员的饥饿程度，驾驶员自上次进餐以来的时间，进餐量(进食量)，进餐性质(便餐，重餐，含肉/脂肪/糖的餐食，驾驶员是否遭受痛苦或身体压力，驾驶员正在哭泣，驾驶员在开车前进行过体育锻炼(例如健身房，跑步)，游泳，与他人玩体育游戏(例如足球或篮球)，活动的性质(活动的强度级别(例如轻度活动，中等强度或高强度的活动)，植入物的故障，压力眼睛周围的肌肉，头部运动，头部姿势，注视方向图，身体姿势。
90.可以从图像传感器和/或外部源中提取生理或身体状态信息，包括能够测量或确定各种生理事件，现象等(例如，驾驶员的心率，血压)的外部或外部信息，以及/或外部在线服务，应用程序或系统(包括来自“云”的数据)。
91.在其他实施方式中，“驾驶员/用户的状态”可以反映，对应于和/或以其他方式考虑到关于车辆内发生的事件的各种标识，确定等，驾驶员的注意对车辆内的乘客而言，由车辆内的乘客发起的事件，相对于车辆内存在的设备发生的事件，在车辆内存在的设备处接收的通知，事件反映驾驶员对车辆中存在的设备等的注意力变化的指示器。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来执行这些识别，确定等。
[0092]“驾驶员/使用者的状态”还可以反映，对应和/或以其他方式说明事件或发生，例如：乘客与驾驶员之间的通信，一个或多个乘客之间的通信，将座椅解开的乘客，安全带，乘客与与车辆相关联的设备进行交互，一个或多个乘客在车辆内的行为，由乘客发起的非语言交互或针对驾驶员的身体交互。
[0093]
另外，在某些实施方式中，“驾驶员/使用者的状态”可以反映，对应于和/或以其他方式说明驾驶员进入车辆之前和/或之后的状态。例如，可以识别与车辆驾驶员相关联的先前确定的状态，并且可以在确定(例如，经由神经网络和/或利用一种或多种机器学习技术)中利用这种先前确定的状态。)驱动程序的当前状态。这样的先前确定的状态可以包括例如在当前驾驶间隔期间(例如，驾驶员在当前行进期间)和/或其他间隔(例如，驾驶员是否有晚安)关联的先前确定的状态。睡眠或在启动当前驱动器之前已充分休息)。另外，在某些实施方式中，还可以考虑在当前驾驶会话期间相对于先前时间确定或检测的警觉或疲劳状态。
[0094]“驾驶员/使用者的状态”还可以反映，对应和/或说明车辆内部和/或外部存在的各种环境条件。
[0095]
在操作430，接收一个或多个第二输入。在某些实施方式中，可以从嵌入车辆内或相对于车辆配置的传感器(例如，如本文所述的传感器140)接收这样的第二输入。例如，这样的输入可以源自构成高级驾驶员辅助系统(adas)的adas或传感器子集。
[0096]
在操作440，可以处理一个或多个第二输入(例如，在430接收的那些)。这样做，可以确定或以其他方式识别与车辆相关联的一个或多个导航条件。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来执行这样的处理。此外，导航条件可以源自外部来源(例如，另一台设备，“云”服务等)。
[0097]
在某些实施方式中，“导航条件”可以反映，对应于和/或以其他方式考虑与车辆正在行驶的区域或区域相关的道路条件(例如，临时道路条件)，环境条件。车辆附近，其他车辆附近，从外部来源收到的临时道路状况，由于天气事件导致的道路状况变化，车辆前方道路上冰的存在，车辆前方道路上的事故，车辆前方停止的车辆，车辆在路边停下的车辆，道路上是否存在建筑物，车辆正在行驶的道路，车辆行驶的道路上的曲线，相对于车辆行驶的道路是否存在山峰，相对于车辆行驶的道路是否存在建筑物或改变照明条件。
[0098]
在其他实施方式中，导航条件可以反映，对应和/或以其他方式说明驾驶员的各种行为。
[0099]
驾驶员的行为可能与一个或多个动作，一个或多个身体手势，一个或多个姿势，一个或多个活动有关。驾驶员行为可能与汽车中发生的一个或多个事件，对一个或多个乘客的注意力，后面的一个或多个孩子的注意力有关。此外，驾驶员的行为可能与攻击性行为，故意破坏或呕吐有关。
[0100]
活动可以是驾驶员在当前驾驶间隔期间或在驾驶间隔之前从事的活动，也可以是驾驶员参与的活动，并且可以包括驾驶员在当前驾驶会话期间和/或在驾驶过程中驾驶的时间。在定义的时间间隔内(例如，过去的24小时)，驾驶员从事驾驶的频率与驾驶员当前参与的驾驶会话的持续时间相当。
[0101]
身体姿势可以与驾驶员在驾驶过程中的任何身体姿势有关，包括法律上定义为不适合驾驶的身体姿势(例如将腿放在仪表板上)，或增加发生事故风险的身体姿势发生。
[0102]
身体手势与驾驶员通过一个或多个身体部位执行的任何手势有关，包括由手，头或眼睛执行的手势。
[0103]
驾驶员的行为可以是一个或多个动作，一个或多个身体手势，一个或多个姿势或一个或多个活动的组合。例如，在吸烟时操作电话，在寻找行李中的物品时与后面的乘客交谈，或者在寻找落在车辆地板上的物品时打开车内照明灯与驾驶员交谈。
[0104]
动作包括进食或喝水，触摸脸部，刮擦脸部，调整用户佩戴的眼镜的位置，打哈欠，固定用户的头发，伸展，用户搜索其包或其他容器，调整位置或放置在汽车中的镜子的方向，移动与用户相关联的一个或多个手持对象，操作诸如智能手机或平板电脑之类的手持设备，调整安全带，扣紧或解开安全带，修改车内参数例如温度，空调，扬声器音量，挡风玻璃雨刮器设置，调整汽车座椅位置或加热/冷却功能，激活车窗除霜装置以清除车窗上的雾气，驾驶员或前排座椅乘客朝前排后方驶向物体在后排座椅中，操纵一个或多个操纵杆以激活转向信号，说话，大喊，唱歌，驾驶，睡觉，休息，吸烟，吃饭，喝酒，阅读，发短信，移动与用户相关联的一个或多个手持对象，操作诸如智能手机或平板电脑之类的手持设备，握住移动设备，将移动设备靠在脸颊上或用手握住以发短信或处于免提模式，观看内容，观看视频/电影，正在观看的视频/电影的性质，听音乐/广播，操作设备，操作数字设备，操作车载多媒体设备，操作设备或数字控制车辆(例如打开车窗或空调)，修改车内参数(例如温度，空调，扬声器音量，雨刷设置)，调整汽车座椅位置或加热/冷却功能，激活车窗除霜装置清除窗户上的雾气，手动移动手臂和手以擦去/去除窗户上的雾气或其他障碍物，驾驶员或乘客抬起腿并将其放在仪表板上，驾驶员或乘客向下看，驾驶员或其他乘客换座位，将婴儿放在婴儿座椅中，将婴儿从婴儿座椅中取出，将儿童放入儿童座椅中，将儿童从儿童座椅中取出，将移动设备连接至车辆或到车辆的多媒体系统，放置移动设备(例如车载通讯座中的手
机，在移动设备或车载多媒体系统中运行应用程序，通过语音命令和/或通过触摸数字设备和/或通过使用车载i/o模块来运行应用程序(例如按钮)，操作在驱动程序前面的头戴式显示器中输出其显示内容的应用程序/设备，操作流式应用程序(例如spotify或youtube)，操作导航应用程序或服务，操作输出视觉效果的应用程序输出(例如在地图上的位置)，拨打电话/视频电话，参加会议/电话会议，在电话会议中讲话/回应被寻址，搜索车辆中的设备，搜索移动电话/车辆中的通信设备，在车辆地板上搜索物体，在行李袋中搜索物体，从后座抓住物体/行李袋，用双手操作物体，操作放置在驾驶室中的物体腿，参与与饮食相关的活动，例如从袋子/外卖盒中取出食物，与一个或多个与食物相关的物体互动，例如打开三明治/汉堡包的盖子或在上面放上调味料(番茄酱)食物，用一只手，两只手或一只手或两只手与其他身体部位(例如牙齿)的组合操作一个或多个对象，查看正在食用的食物或与之相关的对象(例如酱汁)，餐巾纸等)，参与与饮酒有关的活动，打开一个罐子，将一个罐子放在两腿之间以打开它，用一只手或两只手与与饮酒有关的物体进行交互，喝一杯热饮料，以一种方式活动干扰了道路视线，被食物/饮料，饮酒，吸烟物质损害或影响了驾驶能力，协助后座乘客，对设备/数字设备的手势等干扰一个物体，朝着或进入杂物箱，打开车门/车顶，将物体扔到窗外，与车外某人交谈，看广告，看交通信号灯，看一个人/车外的动物，查看物体/建筑物/路牌，搜索路牌(位置j/停车位，查看方向盘上的i/o按钮(控制音乐/驾驶模式等)，控制座椅的位置/位置，操作/固定车辆的一个或多个后视镜，向后排座椅上的其他乘客/乘客提供一个物体，看着后视镜与后座上的乘客通信，转身进行通信让乘客坐在后座上，伸展身体部位，伸展身体部位以释放疼痛(例如颈部疼痛)，吃药，与车辆中的宠物/动物互动/一起玩耍，呕吐，在座位上“跳舞”，数字游戏，操作一个或多个数字显示/智能窗口，更改车辆中的灯光，控制扬声器的音量，使用诸如智能眼镜，vr，ar的头戴式设备，设备学习，与车辆中的设备进行交互，固定安全带，系安全带，不正确系安全带，系安全带，打开车窗，将手或其他身体部位放在车窗外，进出车辆，捡拾物体，寻找物体，与其他乘客互动，固定/清洁眼镜，固定/放入隐形眼镜，固定头发/衣服，戴口红，穿衣服或脱衣服，参与性活动，参与暴力活动，看镜子，交流或使用数字设备与一个或多个乘客互动，使用数字设备与一个或多个人/系统/ai通信，与用户行为，与环境的交互，活动，情感反应(例如对内容或事件的情感反应)相关的功能)，与一个或多个对象有关的活动，操作车辆中可由驾驶员或乘客控制或使用的任何接口设备。
[0105]
动作可以包括驾驶员/乘客对其身体进行的动作或活动，包括：与面部有关的动作/活动，例如打哈欠，眨眼，瞳孔散大，感到惊讶；用其他身体部位(例如手，手指)对着脸做出手势，用驾驶员持有的物体(帽，食物，电话)对着脸做出手势，其他人/乘客做出的手势朝向驾驶员/用户(例如，由不是驾驶员/用户的手的手执行的手势)，固定眼镜的位置，戴上/脱下眼镜或将其位置固定在面部上，用面部特征(对于驾驶员注意力的检测可能至关重要的特征，例如驾驶员的眼睛)；或一只手相对于另一只手的手势，以预测涉及与驾驶无关的两只手的活动(例如，打开饮水罐或瓶子，搬运食物)。在另一种实现方式中，靠近用户的其他对象可以包括控制多媒体系统，朝向放置在用户旁边的移动设备的手势，朝向在数字设备上运行的应用程序的手势，朝向汽车后视镜的手势，或固定后视镜。
[0106]
动作也可以包括其任何组合。
[0107]
导航条件还可以反映，对应于和/或以其他方式考虑先前相对于车辆的当前位置
发生的相对于先前相对于投影的一个或多个事件发生的事件。车辆的后续位置。
[0108]
在操作450，可以计算和/或调整阈值，例如驾驶员注意力强度阈值。在某些实施方式中，可以基于/鉴于一个或多个导航条件(例如，在440确定的那些)来计算这样的阈值。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来执行这样的计算。这样的驾驶员注意力阈值可以反映，对应于和/或以其他方式考虑与驾驶员(例如，当前驾驶车辆的用户)和/或与附近其他车辆的一个或多个其他驾驶员相关联的确定的注意力水平。到驾驶员的车辆或其他预计接近驾驶员的车辆。在某些实施方式中，定义接近度或投影接近度可以基于但不限于在限定的时间内在车辆与驾驶员的车辆之间一定距离以下或在车辆与驾驶员的车辆之间一定距离以下窗户。
[0109]
可以基于/鉴于一种或多种因素(例如，经由神经网络和/或利用一种或多种机器学习技术)来进一步确定/计算参考的驾驶员注意力阈值。例如，在某些实施方式中，可以基于/鉴于以下内容来计算参考驾驶员专注度阈值：直到驾驶员可以看见另一车辆与该车辆在道路的同一侧上存在的预计/估计时间，该预计/估计时间直到驾驶员可以看到与道路相对的另一辆车辆在道路对面，直到驾驶员可以调节车辆的速度以说明存在另一辆车辆为止的预计时间/估计时间，等等。
[0110]
在操作460，可以发起一个或多个动作。在某些实施方式中，可以基于/鉴于驾驶员的状态(例如，如在420处确定的)和/或驾驶员的注意力阈值(例如，如在450处计算的)来发起这样的动作。动作可以包括改变与车辆或驾驶相关的参数，例如：控制汽车的灯(例如，打开/关闭车辆的前大灯，打开/关闭警告灯或转向灯)。车辆，请降低/提高车辆的速度)。
[0111]
图5是示出根据示例实施例的用于驾驶员辅助的方法500的流程图。该方法由处理逻辑执行，该处理逻辑可以包括硬件(电路，专用逻辑等)，软件(例如在诸如本文所述的计算设备上运行的软件)或两者的组合。在一个实施方式中，方法500(和本文描述的其他方法)由关于图5描绘和/或描述的一个或多个元件执行。如图1所示(包括但不限于设备传感器130和/或集成/连接的计算设备，如本文所述)。在一些其他实施方式中，图1的一个或多个框可以被包括。5可以由另一台机器执行。另外，在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来执行所描述的操作中的一项或多项。
[0112]
在操作510，接收一个或多个第一输入。在某些实施方式中，可以从嵌入车辆内或相对于车辆配置的传感器(例如，如本文所述的传感器140)接收这样的输入。例如，这样的输入可以源自adas或构成高级驾驶员辅助系统(adas)的一个或多个传感器。例如，图1描绘了集成或包括为adas 150的一部分的传感器140。
[0113]
在操作520，一个或多个第一输入(例如，在510接收的那些)被处理(例如，经由神经网络和/或利用一个或多个机器学习技术)。这样做，可以识别出第一对象。在某些实施方式中，可以相对于车辆(例如，用户/驾驶员正在其中行驶的车辆)识别这样的对象。对象的示例包括但不限于道路标志，道路结构等。
[0114]
在操作530，接收一个或多个第二输入。
[0115]
在操作540，处理一个或多个第二输入(例如，在530接收的那些)。这样做，可以确定车辆的用户/驾驶员的专注状态。在某些实现中，可以相对于对象(例如，在520处标识的对象)确定这种专注状态。另外，在某些实施方式中，可以基于/鉴于先前确定的与车辆的驾驶员相关联的(例如，相对于与第一物体相关联的一个或多个)物体的专注度状态，来确定
注意力的状态。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来执行对用户/驾驶员的注意力状态的确定。
[0116]
在某些实施方式中，先前确定的注意力状态可以是关于当前驾驶间隔(例如，在相同的行程，驾驶等期间)和/或先前驾驶间隔()期间在先实例确定的那些状态。s)(例如，在之前的旅行/驾驶/飞行中)。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定先前确定的注意力状态。
[0117]
另外，在某些实施方式中，先前确定的专注度状态可以反映，对应于和/或以其他方式说明由与活动相关联的先前确定的专注度状态所反映的动态或其他这种模式，弯曲或倾向。车辆驾驶员关于与第一物体(例如，在520处识别的物体)相关联的物体的信息。这样的动态可以反映先前确定的(一个或多个)舒适性状态，包括例如：驾驶员看着第一对象(例如，在520处识别的对象)的频率，驾驶员看着第二对象的频率。(例如，另一物体)，驾驶员看一个或多个物体的一个或多个环境，驾驶员不看一个或多个物体的一个或多个环境，一个或多个环境条件等。
[0118]
通过进一步的说明，动态可以反映，对应于和/或以其他方式说明驾驶员注视某些物体(例如，路标，挡板灯，行驶中的车辆，停止的车辆，停止的车辆)的频率。在路边，接近十字路口或广场的车辆，在人行道上或在人行道上或在人行道上行走或站立的人或动物，在道路上或过马路的人，在路边工作或站立的人和/或在路标上签名(例如，警察或交通拥堵者相关人员)，停车，驾驶员视野中的车辆红灯，道路旁或道路上的物体，地标，建筑物，广告，向驾驶员发出信号的任何物体(例如指示车道关闭，道路上的圆锥形，闪烁的灯光等)，驾驶员注视着什么物体，驾驶员注视着什么标志，驾驶员正在注视的情况驾驶员注视某些物体(例如，在已知路径上行驶时，驾驶员并未注视由于他熟悉路标的信息，道路和周围环境，所以要保持路标(例如停车标志或限速标志)，在不熟悉的道路上行驶时，驾驶员在限速标志处的比率/频率为80％，停车标志的92％比率/频率)，驾驶员的驾驶方式(例如，驾驶员看标志的比率/频率与汽车的速度，道路状况，天气状况，一天中的时间等有关)，等等。
[0119]
另外，在某些实施方式中，动态可以反映，对应和/或以其他方式考虑驾驶员的生理状态和/或其他相关信息。例如，在确定驾驶员的行为时，可以考虑驾驶员(例如，在一天中的不同时间)表现出的先前的驾驶或行为模式和/或与驾驶员的注意力有关的其他模式(例如，关于各种物体)。驾驶员当前的注意力和/或计算本文所述的各种其他确定。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定驾驶员的当前注意力。
[0120]
此外，在某些实施方式中，先前确定的注意力状态可以反映，对应于和/或以其他方式解释由与车辆驾驶员相关联的一种或多种先前确定的注意力状态所反映的动态的统计模型，例如，关于与第一对象相关联的对象(例如，在520处标识的对象)。
[0121]
在某些实施方式中，确定当前注意力状态可以进一步包括将与车辆的驾驶员和第一物体相关联的先前确定的注意力状态与一个或多个第二输入(例如，在530处接收的那些)相关联。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定驾驶员的当前注意力。
[0122]
另外，在某些实施方式中，可以将所描述的技术配置为基于/鉴于反映或对应于驾驶员的驾驶的数据以及驾驶员对各种线索或物体表现出的注意力的各个方面来确定驾驶
员的注意力((例如路标)在之前的驾驶会话中。例如，使用与驾驶员正在看着某些对象的实例相对应的数据，可以将反映驾驶员当前对此类对象的注意力的动态，图案等与动态相关联。)是根据之前的驾驶会话计算的。应当理解，动态可以包括或反映驾驶员的注意力的多个方面，例如：驾驶员注视某些物体(例如，道路标志)的频率，什么物体(例如，什么)(例如，驾驶员正在注视的标志，地标等)，驾驶员正在注视此类物体的情况下(例如，在已知道路上行驶时，驾驶员可能经常不注意限速标志，道路标志等等，由于驾驶员对道路的熟悉程度，当在不熟悉的道路上行驶时，驾驶员可能会以80％的频率/频率查看限速标志，并以92％的频率查看停车标志)驾驶员的模式(例如，驾驶员看标志的速度/频率与汽车速度，道路状况，天气状况，一天中的时间等有关)等。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定驾驶员的注意力。
[0123]
另外，在某些实施方式中，可以基于/鉴于驾驶员注视第一物体(例如，在520处识别的物体)的频率，驾驶员注视的频率，进一步确定驾驶员的注意力状态。在第二个目标处，关于驾驶相关信息包括驾驶模式，与驾驶员相关联的驾驶模式，所述驾驶相关信息包括但不限于导航指令，环境条件或一天中的时间。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定驾驶员的注意力状态。
[0124]
在某些实施方式中，可以基于/考虑以下至少一项来进一步确定驾驶员的专心状态：驾驶员对所行驶的道路的熟悉程度，所行驶的道路的行驶频率，自上次行驶以来经过的时间。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定驾驶员的注意力状态。
[0125]
此外，在某些实施方式中，可以基于/鉴于驾驶员的心理状态，生理状态来进一步确定驾驶员的注意力状态(例如，经由神经网络和/或利用一种或多种机器学习技术)。驾驶员的状态，确定驾驶员已从事的睡眠量，确定驾驶员已参与的驾驶量，与驾驶员相关的眼睛发红程度等。例如，驾驶员的注意力状态(反映驾驶员对道路和/或其他周围环境的注意程度)可以通过将与驾驶员的生理特征相关联的数据相关联来确定(例如，接收，获得，或以其他方式根据源自传感器的信息来计算)以及与驾驶员相关的其他生理信息(例如，从应用程序或外部数据源(例如“云”)接收或获得的信息)。如本文所述，生理特征，信息等可以包括与驾驶员相关联的疲劳，压力，健康/疾病等方面。
[0126]
另外，在某些实施方式中，可以利用生理特性，信息等来定义和/或调整驾驶员专注度阈值，例如以上关于图4所描述的阈值。例如，从图像传感器和/或外部源(例如，其他传感器，另一个应用程序，从“云”等)接收或获得的生理数据可以用于定义和/或调整阈值，反映出所需或足够的专心程度(例如，驾驶员安全驾驶)和/或其他程度或程度的疲劳，专心，压力，健康/不适等。
[0127]
通过进一步的说明，所描述的技术可以基于/鉴于反映程度的信息或其他确定，来确定(例如，经由神经网络和/或利用一种或多种机器学习技术)驾驶员的注意力状态。或与驾驶员相关的疲劳程度。在某些实施方式中，可以基于源自其他来源或系统的信息从(例如，经由神经网络和/或利用一种或多种机器学习技术)获得或接收和/或以其他方式确定这种疲劳程度。这样的信息或确定可以包括，例如，在限定的时间间隔(例如，昨晚，过去24小时等)期间，驾驶员从事的睡眠的质量和/或数量(例如，小时数)，驾驶员在当前驾驶会话期间和/或在定义的时间间隔内(例如，过去的24小时)驾驶的时间，即驾驶员从事驾驶的时
间与驾驶者的持续时间相当的时间驾驶员当前正在参加的驾驶会话等。另外，在某些实施方式中，所描述的技术可以进一步将与驾驶员的注意力状态相关联的确定与从图像传感器(例如，捕捉驾驶员的图像的传感器)提取和/或产生的信息相关联。能够测量或确定各种生理事件，现象等(例如驾驶员的心律)和/或外部在线服务，应用程序或系统(例如驾驶员监视系统(dms)或占用监视系统(oms))的传感器。
[0128]
dms是一个跟踪驾驶员并根据驾驶员检测到的状态，身体状况，情绪状况，动作，行为，驾驶表现，注意力或机敏性采取行动的系统。dms可以包括检测或预测手势，运动，身体姿势，与用户警觉性相关的特征，驾驶员警觉性，疲劳，对道路的注意力，分心，与用户的表情或情绪相关联的特征或与注视方向相关联的特征的模块。用户，驾驶员或乘客。其他模块检测或预测驾驶员/乘客的动作和/或行为。
[0129]
在另一个实施方式中，dms可以检测包括头部姿势，凝视，面部和面部属性，三维位置，面部表情，面部元素(包括嘴，眼，脖子，鼻子，眼睑，虹膜，瞳孔)在内的面部属性，包括：眼镜/太阳镜，耳环，化妆；面部动作包括：说话，打哈欠，眨眼，瞳孔扩大，感到惊讶；用其他身体部位(例如手或手指)，用户握住的其他物体(帽子，食物，电话)，另一个人(另一个人的手)或物体(车辆的一部分)挡住面部，或用户特有的表达式(例如，与tourette综合征相关的表达式)。
[0130]
oms是一种系统，用于监控车辆驾驶室的占用情况，检测并支持人员和物体，并根据其存在，位置，姿势，身份，年龄，性别，身体尺寸，状态，情感，健康状况，头部姿势，目光采取行动，手势，面部特征和表情。oms可以包括检测一个或多个人和/或身份，年龄，性别，种族，身高，体重，怀孕状态，姿势，姿势不正确(例如，腿抬起，躺下等)，座位的模块。人的有效性(安全带的可用性)，骨骼姿势或安全带系带；车辆中是否存在物体，动物或一个或多个物体；学习车辆内部；异常车辆中的儿童/婴儿座椅，车辆中的人数，车辆中的人员过多(例如，后排座位上有4个孩子，但最多只能允许3个孩子)或坐在他人膝盖上的人。
[0131]
oms可以包括检测或预测与用户行为，动作，与环境的交互，与另一个人的交互，活动，情绪状态，对以下内容的情绪响应相关的功能的模块：内容，事件，挖掘另一个人，一个或多个对象，检测所有成年人都离开汽车后，监视汽车后座，识别攻击性行为，故意破坏，呕吐，身体或精神困扰，检测吸烟，进食和饮水等行为或了解意图后，儿童在汽车中的存在通过他们的凝视或其他身体特征来吸引用户。
[0132]
在某些实施方式中，可以基于/考虑与驾驶员关于在一天的不同时间观看特定对象而表现出的行为模式相关的信息，来进一步确定驾驶员的注意力状态。另外，在某些实施方式中，可以基于/鉴于生理数据或相对于驾驶员的确定，例如驾驶员的疲劳，压力，疾病等，进一步确定驾驶员的注意力状态。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定驾驶员的注意力状态。
[0133]
另外，在某些实施方式中，可以基于源于信息的信息从(例如，经由神经网络和/或利用一种或多种机器学习技术)获得或接收和/或以其他方式确定反映或对应于疲劳的量度或程度的方面或从中确定这些方面。在其他来源或系统。这样的信息或确定可以包括，例如，在限定的时间间隔(例如，昨晚，过去24小时等)期间，驾驶员从事的睡眠的质量和/或数量(例如，小时数)，驾驶员在当前驾驶会话期间和/或在定义的时间间隔内(例如，过去的24小时)驾驶的时间，即驾驶员从事驾驶的时间与驾驶者的持续时间相当的时间驾驶员当前
正在参加的驾驶会话等另外，在某些实施方式中，所描述的技术可以进一步将与驾驶员的注意力状态相关联的确定与从图像传感器(例如，捕获驾驶员的图像的传感器)中提取/产生的信息相关联。能够测量或确定各种生理事件，现象等(例如，驾驶员的心率)的传感器(例如，构成驾驶员监视系统和/或乘员监视系统的传感器)。
[0134]
另外，在某些实施方式中，所描述的技术可以基于/鉴于与驾驶员有关的信息和/或相对于驾驶员获得的信息来确定驾驶员的注意力状态和/或驾驶员的疲劳程度，例如该信息。关于眼睛，眼睑，瞳孔，眼睛发红程度(例如，与正常水平相比)，眼睛周围肌肉的压力，头部运动，头部姿势，凝视方向模式，身体姿势等可以在计算所描述的确定时考虑驾驶员。此外，在某些实施方式中，该确定可以进一步与先前的确定相关联(例如，将当前检测到的驾驶员的身体姿势与在先前的驾驶会话中检测到的驾驶员的身体姿势相关联)。在某些实施方式中，可以通过神经网络和/或利用一种或多种机器学习技术来确定驾驶员的注意力状态和/或驾驶员的疲劳程度。
[0135]
可以基于/鉴于源自其他信息的信息，从(例如，经由神经网络和/或利用一种或多种机器学习技术)获得或接收和/或以其他方式确定反映或对应于压力的量度或程度的方面。源或系统。这样的信息或确定可以包括例如与驾驶员相关的生理信息，与驾驶员表现出的行为相关的信息，与驾驶员在当前驾驶会话之前或之中进行的事件相关的信息，与驾驶相关的通信相关的数据。在当前驾驶会话之前或之中发生的驾驶员(无论是被动驾驶员还是主动驾驶员)等。作为进一步的示例，通信(在确定与驾驶员相关联的压力程度时被考虑)可以包括反映戏剧性，创伤性或令人失望的事件(例如，驾驶员被解雇了，学到的信息)的通信。亲密朋友/亲戚的去世，学习与家人或朋友相关的令人失望的新闻，学习令人失望的财经新闻等)。可以基于/鉴于源自其他来源或系统(例如，来自“云”，源自设备，外部服务和/或能够确定用户的压力水平的应用的)信息来计算或确定压力确定。等等。)。
[0136]
可以理解的是，当驾驶员正经历压力或其他情绪时，各种驾驶模式或行为可以改变。例如，驾驶员可能不那么注意周围的提示或物体(例如，道路标志)，而仍然不注意(或过度聚焦)在道路本身上。可以在确定(例如，经由神经网络和/或利用一种或多种机器学习技术)在各种条件下驾驶员的注意力水平时考虑该(和其他)现象。
[0137]
另外，在某些实施方式中，所描述的技术可以基于/鉴于反映驾驶员健康状况的信息或其他确定，来确定驾驶员的注意力状态(例如，经由神经网络和/或利用一种或多种机器学习技术)。一个司机。例如，可以基于/鉴于从图像传感器和/或其他传感器中提取的数据来确定驾驶员的疾病程度或水平(例如，驾驶员当前正患感冒的严重程度)。测量各种生理现象(例如，驾驶员的体温，驾驶员发出的声音，例如咳嗽或打喷嚏等)。如所指出的，可以基于/鉴于源自其他来源或系统(例如，来自“云”，源自设备，外部服务和/或能够确定健康的应用的信息)的信息来计算或确定健康/疾病确定。用户级别等在某些实施方式中，可以通过神经网络和/或利用一种或多种机器学习技术来确定驾驶员的健康/疾病。
[0138]
所描述的技术还可以被配置为确定驾驶员的注意力状态(例如，经由神经网络和/或利用一种或多种机器学习技术)和/或基于/鉴于各种观点来执行其他相关的计算/操作。驾驶员表现出的其他活动，行为等。例如，驾驶员看待各种物体(例如，道路标志等)的方式的各个方面可以与驾驶员表现出的其他活动或行为相关联，例如驾驶员是否在通话中参与对话。，收听广播/音乐等。这样的确定可以进一步与与其他活动或事件相关的信息或参数
相关，例如车辆中其他乘客表现出的行为(例如，这些乘客是否在说话，大喊，哭泣等)和/或车辆的其他环境条件(例如，音乐/声音的级别)。此外，在某些实施方式中，确定可以进一步与对应于其他环境条件(例如，车辆外部)的信息相关，例如天气条件，光/照明条件(例如，雾，雨，日光的存在)从可能会妨碍驾驶员视力的物体方向出发等)。另外，在某些实施方式中，确定可以进一步与对应于或反映各种道路状况，车辆速度，道路行驶状况，其他汽车运动(例如，如果另一辆汽车突然停止或快速更改方向)，一天中的时间，对象上方存在的灯光/照明(例如，道路标志或地标的照明程度)等。通过进一步说明，可以识别或计算各种复合行为，例如，反映出与驾驶员相对于一个或多个参数看标志的方式有关的多个方面。在某些实施方式中，所描述的技术还可以确定和/或以其他方式考虑复合行为的子集(反映驾驶员在观察某些对象时和/或与各种对象相关时的行为方式的多个方面。驾驶条件)。信息和/或相关的确定可以进一步用于确定驾驶员相对于注意力阈值(例如，与他的正常注意力水平相比)是否更多或更少的注意力(反映了被认为是安全的最小注意力水平)，确定驾驶员是否疲倦等。例如，关于与驾驶员相关联的先前驾驶实例而获得或确定的历史或统计数据可以用于确定与驾驶员相关联的正常注意力水平。这种正常的注意力水平可以反映例如驾驶员驾驶时感知各种物体和/或以其他方式起作用的各种特征或方式。通过说明，正常的注意力水平可以反映或包括驾驶员在驾驶时注意和/或响应道路标志所花费的时间和/或距离的量(例如，标志可见后五秒钟；距离标牌等距离为30米)。可以将当前由驾驶员表现出的行为与注意力的这种正常水平进行比较，以确定驾驶员当前是否以他/她的正常方式进行驾驶，或者驾驶员当前是否注意力不集中。在某些实施方式中，驾驶员的注意力水平的正常水平可以是反映先前驾驶员内部的驾驶员的注意力水平的确定值的平均值或中值。在某些实施方式中，可以使用来自一个或多个传感器的信息来确定驾驶员的正常注意力水平，所述信息包括反映驾驶员行为，驾驶员的生理或身体状态，驾驶员的心理或情绪状态中的至少一项的信息驾驶间隔。
[0139]
在某些实施方式中，所描述的技术可以进一步配置为在确定驾驶员的注意力时利用和/或以其他方式考虑驾驶员的视线。例如，如本文所述，可以识别物体(在车辆内部还是外部)，并且可以检测驾驶员的眼睛的凝视方向。此类对象可以包括，例如，使用来自图像传感器信息的数据，来自面向车辆外部或内部的摄像头，雷达或lidar检测到的对象，adas检测到的对象等数据检测到的对象。另外，可以利用各种技术和/或技术(例如，dms或oms)来检测或确定驾驶员的视线方向和/或驾驶员是否朝着/看着特定物体。在确定驾驶员正朝着/朝着所识别的物体注视时，可以计算驾驶员的注意力(例如，基于驾驶员注视这种物体的方式的各个方面，例如驾驶员所处的速度)。确定在物体进入视野后识别物体)。另外，在某些实施方式中，确定可以进一步利用或考虑指示驾驶员相对于相关联/相关物体的注意力的数据(例如，在先前的驾驶会话中和/或在同一驾驶会话中的较早)。
[0140]
在某些实施方式中，可以基于/鉴于与驾驶员将视线移向第一物体(例如，在520处识别的物体)的持续时间相关联的信息，进一步确定驾驶员的注意力状态或疲劳状态。
[0141]
另外，在某些实施方式中，可以基于/鉴于与驾驶员的视线朝着第一物体(例如，在520处识别的物体)的移动相关联的信息，进一步确定驾驶员的注意力或疲劳状态。
[0142]
在某些实施方式中，确定注意力或疲倦的当前状态可以进一步包括处理先前确定的时间间隔(例如，先前的驾驶会话)，在该时间间隔中，车辆的驾驶员将他的视线移向与第
一对象相关联的对象。关于时间间隔，在该时间间隔中，驾驶员将视线移向第一物体(例如，在520处识别的物体)。这样做，可以确定驾驶员的专心或疲倦的当前状态。
[0143]
另外，在某些实施方式中，可以基于/鉴于驾驶员的确定的优势眼睛(如基于各种视线，驾驶员执行的眨眼和/或其他技术而确定)，进一步确定驾驶员的视线。可以使用其他设备，应用程序，在线服务或系统提取的信息来确定优势眼，并将其存储在该设备或另一设备(例如通过网络连接到该设备的服务器)上。此外，这样的信息可以包括存储在云中的信息。
[0144]
另外，在某些实施方式中，确定驾驶员的注意力或疲倦的当前状态可以进一步包括基于与与驾驶员的视线朝向第一对象的移动有关的运动特征相关联的信息来确定注意力或疲倦的状态。
[0145]
在操作550，可以例如基于驾驶员的注意力状态(例如在540处确定)来发起一个或多个动作。这些动作可以包括更改与车辆或驾驶相关的参数，例如：控制汽车的灯光(例如，打开/关闭车辆的前大灯，打开/关闭警告灯或转向灯)。车辆，请降低/提高车辆的速度)。
[0146]
图4是示出根据示例实施例的用于驾驶员辅助的方法400的流程图。该方法由处理逻辑执行，该处理逻辑可以包括硬件(电路，专用逻辑等)，软件(例如在诸如本文所述的计算设备上运行的软件)或两者的组合。在一个实施方式中，方法400(和本文描述的其他方法)由关于图4描绘和/或描述的一个或多个元件执行。如图1所示(包括但不限于设备传感器130和/或集成/连接的计算设备，如本文所述)。在一些其他实施方式中，图1的一个或多个框可以被包括。4可以由另一台机器执行。另外，在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来执行所描述的操作中的一项或多项。
[0147]
在操作610，接收一个或多个第一输入。在某些实施方式中，可以从嵌入车辆内或相对于车辆配置的传感器(例如，如本文所述的传感器140)接收这样的输入。例如，这样的输入可以源自包括高级驾驶员辅助系统(adas)的外部系统或构成高级驾驶员辅助系统(adas)的传感器。
[0148]
在操作620，处理一个或多个第一输入(例如，在610接收的那些)。在此，识别出第一对象。在某些实施方式中，相对于车辆(例如，用户/驾驶员正在其中行驶的车辆)来识别这样的对象。所引用对象的示例包括但不限于道路标志，道路结构等。
[0149]
在操作630，接收一个或多个第二输入。
[0150]
在操作640，处理一个或多个第二输入(例如，在630接收的那些)。这样做，确定了车辆驾驶员的注意力状态。在某些实现中，这样的专注状态可以包括或反映用户/驾驶员相对于第一对象(例如，在620处识别的对象)的专注状态。另外，在某些实施方式中，可以基于/鉴于驾驶员相对于第一物体(例如，在620处识别的物体)的凝视的方向和/或一个或多个条件驾驶员感知到的第一个物体。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定驾驶员的注意力状态。
[0151]
在某些实施方式中，条件可以包括例如第一物体相对于驾驶员的位置，第一物体与驾驶员的距离等，在其他实施方式中，“条件”可以包括环境条件，例如与第一对象相关联的可见性级别，驾驶注意力级别，车辆状态，车辆内存在的一个或多个乘客的行为等。
[0152]
在某些实施方式中，adas系统和/或测量距离的不同技术(例如lidar和投影图案)可以利用所确定的第一物体相对于驾驶员的位置和/或第一物体与驾驶员的距离。在某些
实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定第一对象相对于驾驶员的位置。
[0153]
可以(例如，通过神经网络和/或利用一种或多种机器学习技术)确定“可见度水平”，例如，使用与下雨，雾，雪，尘埃，阳光，照明条件相关的信息。对象等在某些实施方式中，可以使用与道路相关信息相关联的信息(例如与道路相关的负荷相关联的信息)来确定(例如，经由神经网络和/或利用一种或多种机器学习技术)“驾驶注意力水平”。车辆行驶，与车辆行驶道路相关的条件，与车辆行驶道路相关的照明条件，雨，雾，雪，风，日光，暮光时间，其他车辆的驾驶行为，车道变更绕过车辆，从驾驶员在同一条道路上驾驶的先前实例发生的道路结构的变化，从驾驶员在驾驶员的当前目的地驾驶至当前目的地的先前的例子以来的道路结构的变化，驾驶员响应一个或多个导航指令等。本文关于确定注意力状态描述了确定驾驶员注意力水平的其他方面。
[0155]“车辆内乘客的行为”是指车辆中一个或多个乘客的任何类型的行为，包括或反映乘客与驾驶员的通信，一个或多个乘客之间的通信，解开安全带的乘客，与车辆相关的设备进行交互的乘客，车辆后排座椅中乘客的行为，乘客与驾驶员之间的非语言交互，与驾驶员相关的身体交互和/或描述的任何其他行为和/或在此引用。
[0156]
在某些实施方式中，可以基于/鉴于驾驶员的心理状态，驾驶员的生理状态来进一步确定驾驶员的专心状态(例如，经由神经网络和/或利用一种或多种机器学习技术)。驾驶员，确定驾驶员已从事的睡眠量，确定驾驶员已参与的睡眠量，与驾驶员相关的眼睛发红程度，与驾驶员相关的确定的睡眠质量，与驾驶员相关的心率，与驾驶员相关的温度，驾驶员产生的一种或多种声音等。
[0157]
在操作650，发起一个或多个动作。在某些实现中，可以基于/鉴于驾驶员的注意力状态(例如，如在440处确定的)来发起这样的动作。这些动作可以包括更改与车辆或驾驶相关的参数，例如：控制汽车的灯光(例如，打开/关闭车辆的前大灯，打开/关闭警告灯或转向灯)。车辆，请降低/提高车辆的速度)。
[0158]
图7是示出根据示例实施例的用于驾驶员辅助的方法700的流程图。该方法由处理逻辑执行，该处理逻辑可以包括硬件(电路，专用逻辑等)，软件(例如在诸如本文所述的计算设备上运行的软件)或两者的组合。在一个实施方式中，方法700(和本文描述的其他方法)由关于图7描绘和/或描述的一个或多个元件执行。如图1所示(包括但不限于设备传感器130和/或集成/连接的计算设备，如本文所述)。在一些其他实施方式中，图7的一个或多个框可以被包括可以由另一台或多台机器执行。另外，在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来执行所描述的操作中的一项或多项。
[0159]
在操作710，接收一个或多个第一输入。在某些实施方式中，可以从一个或多个第一传感器接收这样的输入。这样的第一传感器可以包括在车辆内收集数据的传感器(例如，如本文所述的传感器130)。
[0160]
在操作720，可以处理一个或多个第一输入。这样，例如相对于车辆的驾驶员识别凝视方向。在某些实施方式中，可以通过神经网络和/或利用一种或多种机器学习技术来识别凝视方向。
[0161]
在操作730，接收一个或多个第二输入。在某些实施方式中，可以从一个或多个第二传感器(诸如被配置为在车辆外部收集数据的传感器(例如，如图1中所示，作为adas的一
部分，诸如作为adas 150的一部分的传感器140)接收这样的输入。
[0162]
在某些实施方式中，adas可以被配置为准确地检测或确定(例如，经由神经网络和/或利用一种或多种机器学习技术)物体，人等在车辆外部的距离。这样的adas系统可以利用不同的技术来测量距离，包括lidar和投影图案。在某些实施方式中，进一步验证由adas计算的这种距离测量可能是有利的。
[0163]
adas系统还可以配置为识别，检测和/或定位交通标志，行人，其他障碍物等。这样的数据可以进一步与源自驾驶员监视系统(dms)的数据对齐。这样做，可以实现基于计数的测量，以便将确定的驾驶员意识的各个方面与场景的细节相关联。
[0164]
在某些实施方式中，dms系统可以提供关于驾驶员的凝视方向，头姿势，眼睛睁开度等的连续信息。此外，通过使用前瞻性adas系统提供的信息，可以将驾驶时所计算出的注意力集中程度与驾驶员对各种可见细节的关注程度相关联。估计可以基于对道路提示的关注频率，关注事件之间的时间间隔，机器学习或其他方式。
[0165]
在操作740，处理一个或多个第二输入(例如，在730接收的那些)。这样做，可以确定一个或多个对象(例如，路标，地标等)的位置。在某些实施方式中，可以相对于第二传感器中的至少一个的视场确定这种物体的位置。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定一个或多个对象的位置。
[0166]
在某些实施方式中，可以相对于一个或多个预定义对象(例如，交通标志)来验证执行由adas系统计算的确定。预定对象可以与反映以下至少一项的标准相关联：交通标志对象，物理尺寸小于预定尺寸的对象，一个或多个传感器感知其尺寸小于预定尺寸的对象，或相对于车辆以预定方位定位的物体(例如，与在下一车道上行驶的汽车测得的距离相比，面向车辆的物体与车辆的距离可能相同。从汽车前部到汽车的后部，从汽车后部到汽车的后部，以及之间的所有其他点)。
[0167]
在某些实施方式中，物体相对于车辆的预定取向可以涉及面向车辆的一个或多个物体。另外，在某些实施方式中，由adas系统计算的确定可以与预定对象有关。
[0168]
在某些实施方式中，可以相对于系统相对于与驾驶员相关联的确定的特征的置信度来验证由adas系统计算的确定。这些特征可以包括但不限于驾驶员相对于至少一个传感器的位置，驾驶员的眼睛相对于一个或多个传感器的位置，或从视线中提取的视线矢量。驾驶员视线检测。
[0169]
另外，在某些实施方式中，处理一个或多个第二输入还包括计算物体与与adas系统相关联的传感器的距离，以及将所计算的距离用作对由adas系统确定的距离测量的统计验证。
[0170]
在操作750，驾驶员的凝视方向(例如，如在720处所识别的)可以与一个或多个物体的位置(例如，如在740处所确定的)相关。在某些实施方式中，驾驶员的视线方向可以与相对于第二传感器的视场的物体的位置相关。这样做，可以确定(例如，经由神经网络和/或利用一种或多种机器学习技术)驾驶员是否正在看着一个或多个物体。
[0171]
通过进一步的说明，在某些实施方式中，可以将所描述的技术配置为计算或确定例如驾驶员的专注度。例如，使用监视的视线方向与眼睛的已知位置和/或来自adas系统的已报告事件，所描述的技术可以在驾驶员注视所识别事件时检测或计数实例。可以通过检
测到的事件的距离，方向和/或类型来进一步对此类事件进行加权(例如，以反映其重要性)。此类事件可以包括例如：指示/不指示驾驶员采取行动的路标，站在道路旁或沿着道路或向道路步行的行人，道路上的障碍物，道路附近的动物运动等。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定驾驶员的专注度。
[0172]
另外，在某些实施方式中，可以将所描述的技术配置为计算或确定驾驶员相对于各种车载参考点/锚点的注意力。例如，当改变车道，过渡到交叉路口/转弯等时，驾驶员在注视车辆后视镜方面的专心。在某些实施方式中，可以经由神经网络和/或利用一种或多种机器学习技术来确定驾驶员的注意力。
[0173]
在操作760，可以发起一个或多个动作。在某些实施方式中，可以基于关于驾驶员是否正在看着一个或多个对象的确定(例如，如在750所确定的)来发起这样的动作。
[0174]
在某些实施方式中，动作可以包括计算车辆与一个或多个对象之间的距离，计算对象相对于车辆的位置等。
[0175]
此外，在某些实施方式中，各种事件的三维位置，例如由adas检测/报告的那些事件，可以使用/关于该事件来确定(例如，经由神经网络和/或利用一种或多种机器学习技术)。确定驾驶员的视线和/或眼睛位置。例如，基于adas相机的位置和确定的驾驶员眼睛的位置，可以计算将相机连接到检测到的障碍物的相应光线与驾驶员的眼睛到障碍物位置的光线的交点。
[0176]
在其他实施方式中，动作可以包括验证由adas系统计算的确定。
[0177]
例如，在某些实施方式中，可以(例如，经由神经网络和/或利用一种或多种机器学习技术)确定检测到的物体的距离(例如，相对于车辆)的距离的测量，并且可以进一步用于验证由adas系统计算的确定。
[0178]
举例来说，可以确定驾驶员的视线(例如，驾驶员在驾驶时的视线矢量)。在某些实施方式中，可以使用针对车辆的内部环境的传感器来确定(例如，经由神经网络和/或利用一种或多种机器学习技术)这样的凝视，例如，以便捕获图像。驾驶员的眼睛。来自(一个或多个)传感器的，指向车辆外部环境的数据(包括驾驶员向外看时的至少一部分视野)可以进行处理/分析(例如，使用计算机/机器视觉和/或机器)学习技术，可能包括使用神经网络)。这样做，可以检测/识别一个或多个对象。此类对象可以包括可能引起或应引起驾驶员注意的对象，例如道路标志，地标，灯，移动或站立的汽车，人等。指示检测到的物体相对于第二传感器的视野的位置的数据可以与驾驶员注视方向有关的数据(例如，视线矢量)相关联，以确定驾驶员是否在注视或注视。朝对象。在一个实施示例中，可以使用来自传感器的几何数据，传感器的视野，驾驶员相对于传感器的位置以及从驾驶员视线检测中提取的视线矢量。确定驾驶员正在注视着从第二传感器的数据中识别或检测到的物体。
[0179]
已经确定驾驶员正在基于/鉴于第二传感器数据看待检测到的物体，所描述的技术可以进一步投影或估计物体的距离(例如，经由神经网络和/或利用一台或多台机器)学习技巧)。在某些实施方式中，可以使用几何操纵基于数据，考虑传感器的位置，与传感器的倾斜有关的参数，传感器的视场，驾驶员的位置来计算这样的投影/估计。关于传感器，视线矢量是从驾驶员视线检测等中提取的。在一个示例实施方式中，可以相对于第二传感器确定驾驶员眼睛的x，y，z坐标位置，并且驾驶员凝视以确定(例如，经由神经网络和/或利用一种或多种机器学习技术)驾驶员相对于第二传感器视野的向量。
[0180]
可以存储/保持在提取距车辆(和/或第二传感器)的物体的距离中使用的数据(例如，与各种统计技术一起)，以减少不精确的距离计算的误差。例如，可以将这样的数据与确定驾驶员要注视的物体的距离测量相关联的adas系统数据相关。在一种实施方式的示例中，可以计算物体与adas系统的传感器的距离，并且这种数据可以被adas系统用作对由adas系统确定的距离测量的统计验证。
[0181]
另外，在某些实施方式中，动作可以包括干预动作，例如提供一种或多种刺激，例如视觉刺激(例如，打开/关闭或增加车辆或车辆外部的光)，听觉刺激，触觉(触觉)刺激，嗅觉刺激，温度刺激，气流刺激(例如微风)，氧气水平刺激，基于驾驶员要求，要求或与信息系统的交互作用等。
[0182]
干预动作还可以是刺激驾驶员的另一种动作，包括改变座椅位置，改变汽车内的灯，在短时间内关闭汽车的外部光(以在车内产生压力脉冲)。驾驶员)，在车内发出声音(或模拟来自外部的声音)，模拟强风吹向车上的声音，减少/增加车内音乐，在车外录制声音并播放它们在车内，改变驾驶员座椅的位置，在智能挡风玻璃上提供指示，以将驾驶员的注意力吸引到某个位置，在智能挡风玻璃上指示危险的路段/路口。
[0183]
此外，在某些实施方式中，动作可以与驾驶员的专心水平，确定的所需注意力水平，预测风险水平(对驾驶员，其他驾驶员，乘客，车辆相关等)，与当前驾驶会话期间的先前动作相关的信息，与之前驾驶会话期间的先前动作相关的信息等。
[0184]
应当注意，所描述的技术可以在诸如任何数字设备之类的各种设备或组件之内和/或与其结合实现，包括但不限于：个人计算机(pc)，娱乐设备，机顶盒，电视。(tv)，移动游戏机，移动电话或平板电脑，电子阅读器，智能手表，数字腕带，游戏机，便携式游戏机，便携式计算机(例如笔记本电脑或超极本)，一体式电视，电视，连接的电视，显示设备，家用电器，通信设备，空调，扩展坞，游戏机，数码相机，手表，交互式表面，3d显示，娱乐设备，扬声器，智能家居设备，物联网设备，物联网模块，智能窗口，智能玻璃，智能灯泡，厨房电器，媒体播放器或媒体系统，基于位置的设备；以及移动游戏机，微型投影仪或嵌入式投影仪，医疗设备，医疗显示设备，可穿戴设备，支持增强现实的设备，可穿戴护目镜，虚拟现实设备，基于位置的设备，机器人，社交机器人，机器人，交互式数字标牌，数字亭，自动售货机，自动柜员机(atm)，车辆，无人驾驶飞机，自动驾驶汽车，无人驾驶汽车，飞行器，车载/空中信息娱乐系统，高级驾驶员辅助系统(adas)，乘员监视系统(oms)，与驾驶员辅助或驾驶安全相关的任何类型的设备/系统/传感器，嵌入在其中的任何类型的设备/系统/传感器车辆，导航系统和/或任何其他可以接收，输出和/或处理数据的设备。
[0185]
根据对计算机存储器内的数据位的操作的算法和符号表示来呈现详细描述的某些部分。在某些实施方式中，这样的算法可以包括和/或以其他方式结合使用神经网络和/或机器学习技术。这些算法描述和表示是数据处理领域的技术人员用来最有效地向本领域的其他技术人员传达其工作实质的手段。这里，算法通常被认为是导致所需结果的步骤的自洽序列。这些步骤是需要对物理量进行物理操纵的步骤。通常，尽管不是必须的，这些量采取能够被存储，传输，组合，比较和以其他方式操纵的电或磁信号的形式。主要出于通用的原因，有时已经证明将这些信号称为位，值，元素，符号，字符，项，数字等是方便的。
[0186]
但是，应该记住，所有这些和类似术语均应与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非从上面的讨论中另外明确指出，否则应理解，在整个描述中，
利用诸如“接收”，“处理”，“提供”，“识别”等术语的讨论是指动作和过程。计算机系统或类似电子计算设备的功能，其将表示为计算机系统的寄存器和存储器中的物理(例如电子)数量的数据进行处理和转换为类似地表示为计算机系统存储器或寄存器或其他此类物理量的其他数据信息存储，传输或显示设备。
[0187]
本公开的各方面和实施方式还涉及用于执行本文中的操作的装置。相应地激活或配置计算设备的计算机程序可以存储在计算机可读存储介质中，例如但不限于任何类型的磁盘，包括软盘，光盘，cd
‑
rom和磁光盘，只读存储器(rom)，随机存取存储器(ram)，eprom，eeprom，磁卡或光卡，或适合存储电子指令的任何类型的介质或硬件。
[0188]
没有参考任何特定的编程语言来描述本公开。应当理解，可以使用多种编程语言来实现如本文所述的本公开的教导。
[0189]
如本文所使用的，短语“例如”，“例如”，“例如”及其变体描述了当前公开的主题的非限制性实施例。说明书中对“一种情况”，“某些情况”，“其他情况”或其变型的引用意味着结合实施例描述的特定特征，结构或特性包括在本发明的至少一个实施例中。目前公开的主题。因此，短语“一种情况”，“某些情况”，“其他情况”或其变型的出现不一定指相同的实施方式。
[0190]
为了清楚起见，在本说明书中在单独的实施例的情境中描述的某些特征也可以在单个实施例中组合提供。相反，在单个实施例的情境中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来提供。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此声称，但是在某些情况下可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或变型一个子组合。
[0191]
已经描述了特定的实施例。其他实施例在所附权利要求的范围内。
[0192]
本文将某些实施方式描述为包括逻辑或多个组件，模块或机制。模块可以构成软件模块(例如，体现在机器可读介质上的代码)或硬件模块。“硬件模块”是能够执行某些操作的有形单元，并且可以以某种物理方式被配置或布置。在各种示例实现中，一个或多个计算机系统(例如，独立计算机系统，客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件模块(例如，处理器或一组处理器)可以通过软件(例如，应用程序或应用程序部分)将“硬件”配置为操作为执行本文所述的某些操作的硬件模块。
[0193]
在一些实施方式中，硬件模块可以机械地，电子地或其任何合适的组合来实施。例如，硬件模块可以包括专用电路或逻辑，该专用电路或逻辑被永久地配置为执行某些操作。例如，硬件模块可以是专用处理器，例如现场可编程门阵列(fpga)或专用集成电路(asic)。硬件模块还可以包括可编程逻辑或电路，该逻辑或电路由软件临时配置为执行某些操作。例如，硬件模块可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件进行配置，硬件模块就成为专门为执行所配置的功能而量身定制的特定机器(或机器的特定组件)，并且不再是通用处理器。永久配置的电路或临时配置的电路(例如，由软件配置)可以由成本和时间考虑来驱动。
[0194]
因此，短语“硬件模块”应被理解为包括有形实体，是指以某种方式或以物理方式构造，永久地配置(例如，硬接线)或临时地配置(例如，编程)以进行操作的实体。执行本文所述的某些操作。如本文所使用的，“硬件实现的模块”是指硬件模块。考虑到其中硬件模块被临时配置(例如，编程)的实施方式，每个硬件模块不需要在任何一个实例上及时配置或
实例化。例如，在硬件模块包括由软件配置为成为专用处理器的通用处理器的情况下，该通用处理器可以在不同时间分别配置为不同的专用处理器(例如，包括不同的硬件模块)。软件相应地配置一个或多个特定处理器，例如，以在一个时间实例上构成特定的硬件模块，并在不同的时间实例上构成不同的硬件模块。
[0195]
硬件模块可以向其他硬件模块提供信息，或从其他硬件模块接收信息。因此，所描述的硬件模块可以被认为是通信耦合的。在同时存在多个硬件模块的情况下，可以通过在两个或多个硬件模块之间或之间的信号传输(例如，通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件模块的实现中，例如，可以通过在多个硬件模块可以访问的存储器结构中存储和检索信息来实现这种硬件模块之间的通信。例如，一个硬件模块可以执行一项操作，并将该操作的输出存储在与之通信耦合的存储设备中。然后，另一个硬件模块可以在以后的时间访问存储设备以检索和处理所存储的输出。硬件模块还可以启动与输入或输出设备的通信，并且可以在资源(例如，信息的集合)上进行操作。
[0196]
此处描述的示例方法的各种操作可以至少部分地由一个或多个临时配置(例如，通过软件)或永久配置为执行相关操作的处理器执行。无论是临时配置还是永久配置，这样的处理器都可以构成处理器实现的模块，这些模块执行以执行本文所述的一个或多个操作或功能。如本文所用，“处理器实现的模块”是指使用一个或多个处理器实现的硬件模块。
[0197]
类似地，本文描述的方法可以至少部分地由处理器实现，其中一个或多个特定处理器是硬件的示例。例如，一种方法的至少一些操作可以由一个或多个处理器或处理器实现的模块执行。此外，一个或多个处理器还可以在“云计算”环境中或作为“软件即服务”(saas)来支持相关操作的性能。例如，至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，这些操作可以通过网络(例如，互联网)和一个或多个适当的接口(例如，api)。
[0198]
某些操作的性能可以分布在处理器之间，不仅驻留在单个计算机中，而且可以部署在多个计算机上。在一些示例实现中，处理器或处理器实现的模块可以位于单个地理位置中(例如，在家庭环境，办公室环境或服务器场中)。在其他示例实现中，处理器或处理器实现的模块可以分布在多个地理位置上。
[0199]
结合附图描述的模块，方法，应用等在机器和相关软件体系结构的情境中的一些实施方式中实现。以下各节描述了适合与所公开的实现方式一起使用的代表性软件架构和机器(例如硬件)架构。
[0200]
软件体系结构与硬件体系结构结合使用，可以创建为特定目的量身定制的设备和机器。例如，特定的硬件体系结构与特定的软件体系结构相结合将创建移动设备，例如移动电话，平板设备等。略有不同的硬件和软件架构可以生产出用于“物联网”的智能设备，而另一种组合则可以生产用于云计算架构的服务器计算机。由于本领域的技术人员可以容易地理解如何在与本文所包含的公开内容不同的情境中实现本发明的主题，因此这里没有给出这种软件和硬件体系结构的所有组合。
[0201]
图8是示出了根据一些示例实施方式的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的方法中的任何一个或多个的机器800的组件的框图。具体而言，图8以计算机系统的示例形式示出了机器800的示意图，在该机器系统内，用于使机器800执行以下操作的指令816(例如，软件，程序，应用，小应用程序，应用或其他可执行代
码)。可以执行本文讨论的任何一种或多种方法。指令816将普通的，未编程的机器转换成被编程为以所描述的方式执行所描述和示出的功能的特定机器。在替代实施方式中，机器800作为独立设备操作或可以耦合(例如，联网)到其他机器。在网络部署中，机器800可以在服务器
‑
客户端网络环境中以服务器机器或客户端机器的能力运行，或者在对等(或分布式)网络环境中作为对等机器运行。机器800可以包括但不限于服务器计算机，客户端计算机，pc，平板计算机，膝上型计算机，上网本，机顶盒(stb)，个人数字助理(pda)，娱乐媒体系统，蜂窝电话，智能电话，移动设备，可穿戴设备(例如，智能手表)，智能家居设备(例如，智能设备)，其他智能设备，网络设备，网络路由器，网络交换机，网桥或能够依次或以其他方式执行指令816的任何机器，这些指令指定了机器800要采取的动作。此外，虽然仅示出了单个机器800，但是术语“机器”也应被认为包括机器800的集合，其单独地或共同地执行指令816以执行本文所讨论的任何一种或多种方法。
[0202]
机器800可以包括处理器810，存储器/存储装置830和i/o组件850，其可以被配置为例如经由总线802彼此通信。在示例实现中，处理器810(例如，中央处理单元(cpu)，精简指令集计算(risc)处理器，复杂指令集计算(cisc)处理器，图形处理单元(gpu)，数字信号处理器(dsp)，asic，射频集成电路(rfic)，另一个处理器或其任何合适的组合)可以包括例如可以执行指令816的处理器812和处理器814。术语“处理器”旨在包括多核处理器，该多核处理器可以包括可以同时执行指令的两个或更多个独立的处理器(有时称为“核”)。虽然图。图8示出了多个处理器810，机器800可以包括具有单个核的单个处理器，具有多个核的单个处理器(例如，多核处理器)，具有单个核的多个处理器，具有多个核的多个处理器，或者任何一个它们的组合。
[0203]
存储器/存储装置830可以包括诸如主存储器或其他存储器存储器之类的存储器832，以及存储单元836，两者都可以经由总线802诸如可由处理器810访问。存储单元836和存储器832存储体现本文描述的方法或功能中的任何一个或多个的指令816。指令816还可以全部或部分地驻留在存储器832内，存储单元836内，至少处理器810之一内(例如，处理器的高速缓存内)或其任何合适的组合，在执行期间由机器800。因此，存储器832，存储单元836和处理器810的存储器是机器可读介质的示例。
[0204]
如本文所使用的，“机器可读介质”是指能够临时或永久地存储指令(例如，指令816)和数据的设备，并且可以包括但不限于随机存取存储器(ram)，只读存储器。(rom)，缓冲存储器，闪存，光学介质，磁性介质，高速缓冲存储器，其他类型的存储器(例如，可擦除可编程只读存储器(eeprom))和/或其任何合适的组合。术语“机器可读介质”应被认为包括能够存储指令816的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓存和服务器)。术语“机器可读介质”也应被认为包括能够存储由机器(例如，机器800)执行的指令(例如，指令816)的任何介质或多种介质的组合，使得指令在由机器的一个或多个处理器(例如，处理器810)执行时，使机器执行本文所述的方法中的任何一个或多个。因此，“机器可读介质”是指单个存储装置或设备，以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”本身不包括信号。
[0205]
i/o组件850可以包括各种各样的组件，以接收输入，提供输出，产生输出，发送信息，交换信息，捕获测量等等。包括在特定机器中的特定i/o组件850将取决于机器的类型。例如，诸如移动电话的便携式机器将可能包括触摸输入设备或其他这样的输入机构，而无
头服务器机器将可能不包括这种触摸输入设备。将理解的是，i/o组件850可以包括图8中未示出的许多其他组件。根据功能对i/o组件850进行分组仅是为了简化以下讨论，并且分组绝不是限制性的。在各种示例实现中，i/o组件850可以包括输出组件852和输入组件854。输出组件852可以包括视觉组件(例如，诸如等离子体显示面板(pdp)的显示器，发光二极管(led)显示器，液晶显示器(lcd)，投影仪或阴极射线管(crt)，声学组件(例如扬声器)，触觉组件(例如振动电机，阻力机构)，其他信号发生器，等等。输入组件854可包括字母数字输入组件(例如，键盘，配置为接收字母数字输入的触摸屏，光电键盘或其他字母数字输入组件)，基于点的输入组件(例如鼠标，触摸板，轨迹球，操纵杆，运动传感器或其他定点工具)，触觉输入组件(例如，物理按钮，提供触摸或触摸手势的位置和/或力的触摸屏或其他触觉输入组件)，音频输入组件(例如，麦克风)等。
[0206]
在进一步的示例实施方式中，i/o组件850可以包括任何其他类型的一个或多个传感器，包括生物统计组件856，运动组件858，环境组件860或位置组件862。例如，生物统计组件856可以包括用于检测表情(例如，手表情，面部表情，声音表情，身体手势或眼睛跟踪)，测量生物信号(例如，血压，心率，体温，汗水或脑电波，信息素)，识别人(例如，语音识别，视网膜识别，面部识别，指纹识别或基于脑电图的识别)等。在另一个示例中，生物计量组件856可以包括用于检测诸如费洛蒙的人类生物化学信号的组件，用于检测反映生理和/或心理压力的生物化学信号的组件。运动部件858可以包括加速度传感器部件(例如，加速度计)，重力传感器部件，旋转传感器部件(例如陀螺仪)等等。环境组件860可以包括例如照明传感器组件(例如，光度计)，温度传感器组件(例如，检测环境温度的一个或多个温度计)，湿度传感器组件，压力传感器组件(例如气压计)，声学传感器。组件(例如，一个或多个检测背景噪声的麦克风)，接近传感器组件(例如，检测附近物体的红外传感器)，气体传感器(例如，用于安全检测有害气体浓度或测量容器中污染物的气体检测传感器)大气)或其他可以提供与周围物理环境相对应的指示，测量或信号的组件。位置组件862可以包括位置传感器组件(例如，全球定位系统(gps)接收器组件)，高度传感器组件(例如，检测可以从中得出高度的气压的高度计或气压计)，方向传感器组件(例如，磁力计等)。
[0207]
可以使用多种技术来实现通信。i/o组件850可以包括通信组件864，通信组件864可操作以分别经由耦合器882和耦合器872将机器800耦合到网络880或设备870。例如，通信组件864可以包括网络接口组件或其他合适的设备以与网络880对接。在更多示例中，通信组件864可以包括有线通信组件，无线通信组件，蜂窝通信组件，近场通信(nfc)组件，组件(例如，low energy)，组件和其他通信组件，以通过其他方式提供通信。设备870可以是另一台机器或各种各样的外围设备中的任何一个(例如，经由usb耦合的外围设备)。
[0208]
此外，通信组件864可以检测标识符或包括可操作以检测标识符的组件。例如，通信组件864可以包括射频识别(rfid)标签读取器组件，nfc智能标签检测组件，光学读取器组件(例如，用于检测诸如通用产品代码(upc)条形码的一维条形码的光学传感器)。代码，多维条形码(例如快速响应(qr)代码，aztec代码，data matrix，dataglyph，maxicode，pdf417，ultra code，ucc rss
‑
2d条形码和其他光学代码)或声学检测组件(例如，麦克风以识别标记的音频信号)。另外，可以通过通信组件864得出各种信息，例如，通过internet协议(ip)地理位置进行定位，通过信号三角测量进行定位，通过检测可指示特定位置的
nfc信标信号进行定位，等等。
[0209]
在各种示例实施方式中，网络880的一个或多个部分可以是自组织网络，内联网，外联网，虚拟专用网(vpn)，局域网(lan)，无线lan(wlan)，wan，无线wan(wwan)，城域网(man)，internet，internet的一部分，公共交换电话网(pstn)的一部分，普通旧电话服务(pots)网络，蜂窝电话网络，无线网络，网络，另一种类型的网络或两个或多个此类网络的组合。例如，网络880或网络880的一部分可以包括无线或蜂窝网络，并且耦合882可以是码分多址(cdma)连接，全球移动通信系统(gsm)连接或其他类型。蜂窝或无线耦合。在该示例中，耦合器882可以实现多种类型的数据传输技术中的任何一种，例如单载波无线电传输技术(lxrtt)，演进数据优化(evdo)技术，通用分组无线电服务(gprs)技术，增强型。gsm演进(edge)技术，包括3g的第三代合作伙伴计划(3gpp)，第四代无线(4g)网络，通用移动电信系统(umts)，高速分组接入(hspa)，微波接入的全球互通性(wimax)，长期演进(lte)标准，由各种标准制定组织定义的其他标准，其他远程协议或其他数据传输技术。
[0210]
可以经由网络接口使用传输介质经由网络接口设备(例如，通信组件864中包括的网络接口组件)并且利用多种众所周知的传输协议中的任何一种来传输或接收指令816，http)。类似地，指令816可以使用传输介质经由耦合872(例如，对等耦合)被发送或接收到设备870。术语“传输介质”应被认为包括能够存储，编码或携带用于由机器800执行的指令816的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以促进此类介质的通信软件。
[0211]
以下条款和/或示例涉及其他实施例或示例。在一个或多个实施例中的任何地方都可以使用示例中的细节。可以将不同实施例或示例的各种特征与包括的一些特征和排除的其他特征进行各种组合，以适合各种不同的应用。示例可以包括诸如方法的主题，用于执行该方法的动作的装置，至少一个机器可读介质，该至少一个机器可读介质包括指令，当机器执行该指令时，该指令导致该机器执行该方法，装置或系统的动作。用于根据本文描述的实施例和示例的情境驾驶员监视。
[0212]
示例1包括一种系统，该系统包括：处理设备；以及存储器，其耦合到处理设备并存储指令，该指令在由处理设备执行时使系统执行操作，包括：接收一个或多个第一输入；处理一个或多个第一输入以确定车辆内存在的驾驶员的状态；接收一个或多个第二输入；处理一个或多个第二输入以确定与车辆相关联的一个或多个导航条件，该一个或多个导航条件包括以下至少一项：从云资源接收的时间道路状况或驾驶员的行为；基于一个或多个导航条件，计算驾驶员的注意力阈值；与(a)驾驶员状态和(b)驾驶员注意力阈值相关地发起一个或多个动作。
[0213]
示例1的系统，其中处理一个或多个第二输入以确定一个或多个导航条件包括经由神经网络处理一个或多个第二输入。
[0214]
示例1的系统，其中处理一个或多个第一输入以确定驾驶员的状态包括经由神经网络处理一个或多个第一输入。
[0215]
示例1的系统，其中，驾驶员的行为包括以下至少一项：车辆内发生的事件，驾驶员对车辆内乘客的关注，由车辆内一名或多名乘客引发的一个或多个事件车辆，相对于车辆内存在的设备发生一个或多个事件；在车辆中存在的设备处接收到一个或多个通知；一个或多个事件，反映驾驶员对车辆内设备的注意力变化。
[0216]
示例1的系统，其中，临时道路状况还包括以下至少之一：车辆正在行驶的道路；车辆正在行驶的道路上是否存在一个或多个弯道；或在车辆行驶时将物体挡在妨碍驾驶员视线的位置。
[0217]
根据示例5所述的系统，其中，所述物体包括以下各项中的至少一项：山，建筑物，车辆或行人。
[0218]
根据示例5所述的系统，其中，所述物体的存在阻碍了所述驾驶员相对于所述车辆正在行驶的道路的一部分的视线。
[0219]
根据示例5所述的系统，其中，所述物体的存在包括以下中的至少一项：在相对于所述车辆正在行驶的道路阻碍驾驶员视线的位置处，所述物体的存在，所述物体的存在。在相对于该车辆行驶的道路上存在的一个或多个车辆而妨碍驾驶员视线的位置中，该物体的存在相对于在道路上发生的事件而妨碍驾驶员视线的位置的存在相对于车辆行驶道路附近一个或多个行人的存在而言，车辆行驶在道路上的物体或物体的存在会妨碍驾驶员的视线。
[0220]
示例1的系统，其中，计算驾驶员注意力水平阈值包括计算以下至少一项：直到驾驶员可以看到与该车辆在道路的同一侧上的另一辆车辆为止的预计时间，直到驾驶员可以看到另一辆车辆为止的预计时间车辆位于道路对面的车辆，或者确定的估计时间，直到驾驶员可以调整车辆的速度以解决其他车辆的存在。
[0221]
示例1的系统，其中，时空路况还包括与在随后的事件之前有关车辆的当前位置的先前发生的一个或多个事件有关的统计数据，所述后续事件包括事故。
[0222]
示例10，根据示例10所述的系统，其中，所述统计数据涉及在所述车辆被投影在其上行驶的道路的一个或多个部分上发生的一个或多个事件。
[0224]
示例10，根据示例10所述的系统，其中，所述一个或多个事件包括以下至少之一：一种或多种天气状况，一种或多种交通状况，道路上的交通密度，后续事件涉及的一种或多种车辆行进的速度。与道路相关的速度限制，或在后续事件发生之前可能造成损害的物质的消耗。
[0226]
示例1的系统，其中处理一个或多个第一输入包括识别与车辆的驾驶员相关联的一个或多个先前确定的状态。
[0228]
示例1的系统，其中处理一个或多个第一输入包括在当前驾驶间隔期间识别与车辆的驾驶员相关联的一个或多个先前确定的状态。
[0229]
示例1的系统，其中，驾驶员的状态包括以下一项或多项：驾驶员的头部运动，驾驶员的眼睛的一个或多个特征，驾驶员的心理状态或驾驶员的情绪状态。
[0230]
示例1的系统，其中与车辆相关联的一个或多个导航条件还包括以下一个或多个：车辆行驶的道路的条件，车辆附近的环境条件，或车辆附近的一个或多个其他车辆的存在到车辆。
[0231]
示例1的系统，其中，一个或多个第二输入是从嵌入在车辆内的一个或多个传感器接收的。
[0232]
示例1的系统，其中一个或多个第二输入是从高级驾驶员辅助系统(adas)接收的。
[0233]
示例1的系统，其中计算驾驶员注意力阈值包括调整驾驶员注意力阈值。
[0234]
示例1的系统，其中处理一个或多个第一输入包括处理一个或多个第一输入以确
定驾驶员在进入车辆之前的状态。
[0236]
示例1的系统，其中处理一个或多个第一输入包括处理一个或多个第一输入以确定驾驶员进入车辆后的状态。
[0237]
示例1的系统，其中，驾驶员的状态还包括以下一项或多项：车辆内部存在的环境条件或车辆外部存在的环境条件。
[0238]
示例1的系统，其中，驾驶员的状态还包括以下一项或多项：乘客与驾驶员的通信，一个或多个乘客之间的通信，解开安全带的乘客，与相关设备交互的乘客与车辆，一个或多个乘客在车辆内的行为，乘客发起的非语言交互或针对驾驶员的物理交互。
[0239]
示例1的系统，其中，驾驶员注意力水平阈值包括与驾驶员相关联的确定的注意力水平。
[0240]
根据示例24所述的系统，其中，驾驶员专注度阈值还包括与一个或多个其他驾驶员相关联的确定的专注度水平。
[0241]
示例26包括一个系统，该系统包括：
[0242]
处理设备；和
[0243]
存储器，其耦合到所述处理设备并存储指令，所述指令在由所述处理设备执行时使所述系统执行以下操作：
[0244]
接收一个或多个第一输入；
[0245]
处理一个或多个第一输入以识别与车辆有关的第一物体；
[0246]
接收一个或多个第二输入；
[0247]
处理一个或多个第二输入，以基于一个或多个先前确定的与与该第一对象相关联的一个或多个对象相关的与该车辆的驾驶员相关联的注意力状态，确定该车辆的驾驶员的专心状态关于第一个目标；和
[0248]
根据驾驶员的注意力状态启动一个或多个动作。
[0249]
根据示例26所述的系统，其中，所述第一物体包括以下至少之一：路标或道路结构。
[0250]
根据示例26所述的系统，其中，相对于当前驾驶间隔内的先前实例确定一个或多个先前确定的专注状态。
[0251]
根据示例26所述的系统，其中相对于一个或多个先前驾驶间隔内的先前实例来确定所述一个或更多个先前确定的注意力状态。
[0252]
根据示例26所述的系统，其中，与所述车辆的驾驶员相关联的所述一个或多个先前确定的注意力状态包括关于一个或多个对象的，与所述车辆的驾驶员相关联的一个或多个先前确定的注意力集中状态反映的动态。与第一个对象关联。
[0253]
根据示例30所述的系统，其中由一个或多个先前确定的注意力状态反映的动态包括以下至少一项：驾驶员注视第一物体的频率，驾驶员注视第二物体的频率，一个驾驶员看一个或多个物体的一种或多种情况，驾驶员不看一个或多个物体的一种或多种情况，一种或多种环境条件。
[0254]
根据示例26所述的系统，其中，与所述车辆的驾驶员相关联的一个或多个先前确定的专注度状态包括由与所述车辆的驾驶员相关的与所述车辆的驾驶员相关联的一个或多个先前确定的专注度状态反映的动态的统计模型。与第一个对象关联的一个或多个对
象。
[0255]
根据示例26所述的系统，其中处理一个或多个第二输入包括处理车辆驾驶员注视第二物体的频率以确定车辆驾驶员相对于第一物体的专注状态。
[0256]
根据示例26所述的系统，其中处理所述一个或多个第二输入以确定当前的注意力状态包括：将(a)与所述车辆的驾驶员和所述第一物体相关联的一个或多个先前确定的注意力状态与(b)相关联一或多个第二输入。
[0257]
根据示例26、30或32中任一项所述的系统，其中所述第一输入的处理，所述第二输入的处理，计算驾驶员专注度阈值，计算由一个或多个先前确定的专注度状态所反映的动态中的至少一个通过神经网络，与车辆的驾驶员和第一对象或第二对象的驾驶员，使与车辆的驾驶员和第一对象或第二对象相关的一个或多个先前确定的注意力状态相关联。
[0258]
根据示例26所述的系统，其中，进一步与以下至少一项相关地确定驾驶员的注意力状态：驾驶员注视第一物体的频率，驾驶员注视第二物体的频率，一个或多个驾驶模式，与驾驶员相关的一个或多个驾驶模式，导航指令，一个或多个环境条件或一天中的某个时间。
[0259]
根据示例26所述的系统，其中，驾驶员的专心状态还基于以下各项中的至少一项来确定：对所行进的道路的熟悉程度，所行进的道路的行进频率或自此以来经过的时间先前行驶过的道路。
[0260]
根据示例26所述的系统，其中，进一步基于以下各项中的至少一项来确定驾驶员的注意力状态：驾驶员的心理状态，驾驶员的生理状态，确定驾驶员已经进行的睡眠量，确定驾驶员已经参与了驾驶的量或与驾驶员相关联的眼睛发红程度。
[0261]
根据示例26所述的系统，其中，所述驾驶员的注意力状态还基于与所述驾驶员的视线向所述第一物体的移动相关的信息来确定。
[0262]
根据示例39所述的系统，其中，所述驾驶员的注意力状态还基于与驾驶员将视线移向所述第一物体的持续时间相关的信息来确定。
[0263]
根据示例39所述的系统，其中，进一步基于与运动特征相关的信息来确定驾驶员的注意力状态，所述运动特征与驾驶员的视线朝向第一对象的移动有关。
[0264]
根据示例26所述的系统，其中，处理一个或多个第二输入包括：处理(a)与(b)相关的与驾驶员的视线朝向与第一对象相关联的一个或多个对象的移动相关的一个或多个提取特征。)与驾驶员当前实例将视线移向第一物体相关的一个或多个提取特征，以确定车辆驾驶员的当前注意力状态。
[0265]
示例43包括一个系统，该系统包括：
[0266]
处理设备；和
[0267]
存储器，耦合到处理设备并存储指令，该指令在由处理设备执行时使系统执行操作，包括：
[0268]
接收一个或多个第一输入；
[0269]
处理一个或多个第一输入以识别与车辆有关的第一物体；
[0270]
接收一个或多个第二输入；
[0271]
基于(a)驾驶员相对于第一物体的凝视方向和(b)一个或多个第二输入，确定车辆驾驶员相对于第一物体的专注状态或更多条件下驾驶员感知到第一个物体；和
[0272]
根据驾驶员的注意力状态启动一个或多个动作。
[0273]
根据示例43所述的系统，其中，所述一个或多个条件包括以下至少一项：第一物体相对于驾驶员的位置或第一物体与驾驶员的距离。
[0274]
根据示例43所述的系统，其中，所述一个或多个条件还包括一个或多个环境条件，所述环境条件包括以下至少一项：与所述第一物体相关联的可见度，驾驶注意力水平，车辆的状态或一个人的行为。车辆中有更多或更多的乘客。
[0275]
根据示例45所述的系统，其中，使用与以下至少一项相关联的信息来确定所述可见度：与第一对象相关联的雨，雾，下雪，灰尘，阳光，照明条件。
[0276]
根据示例45所述的系统，其中，使用与至少与道路相关的信息相关联的信息来确定所述驾驶注意力水平，所述信息包括以下至少一项：与所述车辆正在行驶的道路相关联的负载，与所述道路正在行驶的道路相关联的条件。车辆在行驶中，与车辆在行驶中的道路相关的照明条件，以妨碍驾驶员视线的方式发出的阳光，由于驾驶员先前在同一条道路上行驶而导致的道路结构发生了变化自从驾驶员开车到驾驶员当前目的地的先前情况发生以来，在道路结构中出现这种情况，即驾驶员响应一个或多个导航指令的方式。
[0277]
根据示例45所述的系统，其中，车辆中一个或多个乘客的行为包括以下至少之一：乘客与驾驶员的通信，一个或多个乘客之间的通信，释放安全带的乘客，与之交互的乘客。与车辆相关的设备，乘客在车辆后排座椅中的行为，乘客与驾驶员之间的非语言交互，与驾驶员相关的物理交互。
[0278]
根据示例43所述的系统，其中，所述第一物体包括以下中的至少一个：道路标志或道路结构。
[0279]
根据示例43所述的系统，其中，还基于以下各项中的至少一项来确定所述驾驶员的专心状态：驾驶员的心理状态，驾驶员的生理状态，确定驾驶员已经进行的睡眠量，确定驾驶员已经驾驶了一定数量的汽车，与驾驶员相关的眼睛发红程度，与驾驶员相关的确定的睡眠质量，与驾驶员相关的心率，与驾驶员相关的温度或驾驶员发出的一种或多种声音。
[0280]
根据示例50所述的系统，其中，驾驶员的生理状态包括以下各项中的至少一项：驾驶员在夜间的睡眠质量，驾驶员睡眠的小时数，驾驶员在一个或多个驾驶员上行驶的时间或在定义的时间间隔内增加驾驶次数，或者使用驱动程序多长时间驾驶一次当前驱动器。
[0281]
根据示例51所述的系统，其中，所述驾驶员的生理状态与从从以下至少一项接收的数据中提取的信息相关：捕获驾驶员图像的图像传感器或测量与生理相关的数据的一个或多个传感器，包括与数据相关的数据至少其中之一：驾驶员的眼睛，驾驶员的眼睑，驾驶员的瞳孔，驾驶员的眼睛发红水平(与驾驶员正常的眼睛发红水平相比)，驾驶员眼睛周围的肌肉压力，驾驶员头部的运动，驾驶员头部的姿势，驾驶员的注视方向图或驾驶员的身体姿势。
[0282]
根据示例43所述的系统，其中，驾驶员的心理状态包括驾驶员压力。
[0283]
根据示例53所述的系统，其中，驾驶员压力基于以下至少一项来计算：提取的生理相关数据，与驾驶员行为有关的数据，与在当前驾驶间隔期间驾驶员参与的事件有关的数据，与驾驶员事件有关的数据在当前驾驶间隔之前被驾驶，在当前驾驶间隔之前与驾驶员相关的通信相关的数据，或者在当前驾驶间隔之前或之中与驾驶员相关的通信相关的数据。
[0284]
根据示例54所述的系统，其中与通信相关联的数据包括令人震惊的事件。
[0285]
根据示例53所述的系统，其中使用来自以下至少一项的数据来提取驾驶员压力：云，提取用户压力水平的一个或多个设备，外部服务或应用。
[0286]
根据示例50所述的系统，其中，基于与所述驾驶员相关的疾病水平来计算所述驾驶员的生理状态。
[0287]
根据示例57所述的系统，其中，疾病水平是基于以下一项或多项来确定的：从一个或多个传感器中提取的数据，所述传感器测量与生理相关的数据，包括驾驶员温度，驾驶员产生的声音，关于咳嗽的检测。司机。
[0288]
根据示例57所述的系统，其中使用来自以下至少一项的数据确定疾病水平：一个或多个传感器，云，一个或多个设备，一个或多个外部服务或一个或多个应用程序，这些用户提取用户压力水平。
[0290]
实例43的系统，其中一个或多个操作是通过神经网络执行的。
[0291]
示例61包括一个系统，该系统包括：
[0292]
处理设备；和
[0293]
存储器，耦合到处理设备并存储指令，该指令在由处理设备执行时使系统执行操作，包括：
[0294]
从一个或多个收集车辆内数据的第一传感器接收一个或多个第一输入；
[0295]
处理一个或多个第一输入以识别车辆驾驶员的视线方向；
[0296]
从收集车辆外部数据的一个或多个第二传感器接收一个或多个第二输入；
[0297]
处理一个或多个第二输入以确定相对于第二传感器中至少一个的视场的一个或多个物体的位置；
[0298]
将驾驶员的视线方向与一个或多个物体相对于至少一个第二传感器的视场的位置相关联，以确定驾驶员是否正在注视一个或多个物体中的至少一个；和
[0299]
根据确定结果启动一个或多个动作。
[0300]
根据示例61所述的系统，其中启动一个或多个动作包括计算所述车辆与所述一个或多个物体之间的距离。
[0301]
根据示例62所述的系统，其中计算所述距离包括使用以下至少一项来计算所述车辆与所述一个或多个物体之间的距离的估计：几何操纵，其考虑所述第一传感器或所述第二传感器中的至少一个的位置。传感器，与至少一个传感器的倾斜有关的一个或多个参数，至少一个传感器的视场，驾驶员相对于至少一个传感器的位置或一条线从驾驶员视线检测中提取的视线矢量。
[0302]
根据示例62所述的系统，其中，计算距离还包括使用统计工具来减少与计算距离相关联的误差。
[0303]
根据示例61所述的系统，其中启动一个或多个动作包括确定反映驾驶员的眼睛相对于一个或多个第二传感器的位置的一个或多个坐标，并且驾驶员凝视以确定驾驶员的视线的向量。相对于一个或多个第二传感器的视野的驱动器。
[0304]
根据示例61所述的系统，其中启动一个或多个动作包括计算所述一个或多个物体相对于所述车辆的位置。
[0305]
根据示例66所述的系统，其中，提供所述一个或多个对象相对于所述车辆的位置
作为adas的输入。
[0306]
根据示例61所述的系统，其中，启动一个或多个动作包括：验证由adas系统计算的确定。
[0307]
根据示例68所述的系统，其中，处理一个或多个第一输入还包括计算物体与与adas系统相关联的传感器的距离，以及将所计算的距离用作对由adas系统确定的距离测量的统计验证。
[0308]
根据示例68所述的系统，其中，相对于一个或多个预定义对象执行验证由adas系统计算的确定。
[0309]
根据示例70所述的系统，其中，所述预定对象包括交通标志。
[0310]
根据示例70所述的系统，其中，所述预定义对象与反映以下至少一项的标准相关联：交通标志对象，具有小于预定义大小的物理尺寸的对象，被一个或多个传感器感知到其尺寸的对象是小于预定义的大小，或者对象相对于车辆处于预定义的方向
[0311]
根据示例72所述的系统，其中，所述物体相对于所述车辆的预定定向涉及面向所述车辆的物体。
[0312]
根据示例70所述的系统，其中，由adas系统计算的所述确定是关于预定义对象的。
[0313]
根据示例68所述的系统，其中，验证由adas系统计算的确定是相对于所述系统相对于与驾驶员相关联的确定特征的置信度。
[0314]
根据示例75所述的系统，其中所确定的与驾驶员相关联的特征包括以下至少之一：驾驶员相对于传感器中的至少一个的位置，驾驶员眼睛相对于一个或多个传感器的位置，或从驾驶员视线检测中提取的视线矢量。
[0315]
根据示例68所述的系统，其中，处理一个或多个第二输入还包括：计算物体与与adas系统相关联的传感器的距离，并将所计算的距离用作对由adas系统确定的距离测量值的统计验证。
[0316]
根据示例61所述的系统，其中，使驾驶员的视线方向相关联包括将视线方向与源自adas系统的数据相关联，该数据与确定驾驶员已经看过的物体的距离测量相关联。
[0317]
根据示例61所述的系统，其中启动一个或多个动作包括提供一种或多种刺激，所述刺激包括以下中的至少一种：视觉刺激，听觉刺激，触觉刺激，嗅觉刺激，温度刺激，气流刺激或氧水平刺激。
[0318]
根据示例61所述的系统，其中所述一个或多个动作与以下各项中的至少一项相关：驾驶员的注意力水平，确定的所需注意力水平，预测的风险水平，与当前驾驶会话期间的先前动作有关的信息，或与其他驾驶会话期间的先前动作相关的信息。
[0319]
实例61的系统，其中一个或多个操作是通过神经网络执行的。
[0320]
根据示例61所述的系统，其中，使驾驶员的视线方向相关联包括使用以下至少一项来使驾驶员的视线方向相关联：第一传感器或第二传感器中的至少一个的几何数据，第一传感器或第二传感器的视场。第一传感器或第二传感器中的至少一个，驾驶员相对于第一传感器或第二传感器中的至少一个的位置，视线矢量，该视线矢量是从驾驶员视线的检测中提取的。
[0321]
根据示例61所述的系统，其中使所述驾驶员的注视方向相关联以确定所述驾驶员是否正在注视所述一个或多个对象中的至少一个进一步包括：确定所述驾驶员正在注视所
述至少一个或多个对象中的至少一个。从源自一个或多个第二传感器的数据中检测到。
[0323]
在整个说明书中，多个实例可以实现被描述为单个实例的组件，操作或结构。尽管将一种或多种方法的单独操作示出并描述为单独的操作，但是可以同时执行一个或多个单独操作，并且不需要按照所示顺序执行操作。在示例配置中表示为单独组件的结构和功能可以实现为组合结构或组件。类似地，呈现为单个组件的结构和功能可以实现为单独的组件。这些和其他变型，修改，添加和改进落入本文主题的范围内。
[0324]
尽管已经参考特定示例实施方式描述了本发明主题的概述，但是可以在不脱离本公开的实施方式的较宽范围的情况下对这些实施方式进行各种修改和改变。仅出于方便起见，本文中可以单独地或共同地通过术语“发明”来指代发明主题的这种实施方式，并且如果有多个以上的发明，则不希望将本申请的范围自动限制为任何单个公开或发明概念，其实是公开的。
[0325]
对本文所示的实施方式进行了足够详细的描述，以使本领域技术人员能够实践所公开的教导。可以使用其他实施方式并从中推导出其他实施方式，从而可以在不脱离本公开的范围的情况下进行结构和逻辑上的替换和改变。因此，不应在限制意义上理解详细描述，并且各种实施方式的范围仅由所附权利要求书以及这些权利要求书所享有的等同物的全部范围来限定。
[0326]
如本文所使用的，术语“或”可以以包括性或排他性的意义来解释。而且，可以提供多个实例用于资源操作，或者本文中描述为单个实例的结构。另外，各种资源操作，模块，引擎和数据存储之间的边界在某种程度上是任意的，并且在特定说明性配置的情境中说明了特定操作。可以设想功能的其他分配，并且可以落入本公开的各种实现的范围内。通常，在示例配置中表示为单独资源的结构和功能可以实现为组合结构或资源。类似地，可以将呈现为单个资源的结构和功能实现为单独的资源。这些和其他变型，修改，添加和改进落入如所附权利要求所表示的本公开的实现的范围内。因此，说明书和附图应被认为是说明性的而不是限制性的。