基于上下文的状态估计的制作方法

基于上下文的状态估计


背景技术：

1.一直存在提高各种环境中的安全性的愿望。例如，这可以包括准确确定可能正在操作设备(例如车辆或机器)的人的困倦，如果不以足够的注意力或意识进行操作，可能会导致损坏或伤害。虽然存在试图确定诸如困倦或警觉等状态的系统，但这些系统并非在所有情况下都准确，或者对于用户、用户状态或环境条件之间的变化具有足够的鲁棒性。
附图说明
2.将参照附图描述根据本公开的各个实施例，在附图中：
3.图1a和1b示出了根据至少一个实施例的车辆的多个组件的示例；
4.图2a、2b、2c、2d、2e和2f示出了根据至少一个实施例的可以使用的特征数据；
5.图3示出了根据至少一个实施例的可以使用的困倦估计系统；
6.图4示出了根据至少一个实施例的用于估计对象状态的示例过程；
7.图5a和5b示出了根据至少一个实施例的用于解释不是由于对象状态改变而引起的变化或行为的过程；
8.图6示出了根据至少一个实施例的用于确定人的状态的系统的组件；
9.图7a示出了根据至少一个实施例的推理和/或训练逻辑；
10.图7b示出了根据至少一个实施例的推理和/或训练逻辑；
11.图8示出了根据至少一个实施例的示例数据中心系统；
12.图9示出了根据至少一个实施例的计算机系统；
13.图10示出了根据至少一个实施例的计算机系统；
14.图11示出了根据一个或更多个实施例的图形处理器的至少部分；
15.图12示出了根据一个或更多个实施例的图形处理器的至少部分；
16.图13是根据至少一个实施例的高级计算管线的示例数据流程图；
17.图14是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；以及
18.图15a和15b示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图，以及用于利用预先训练的注释模型来增强注释工具的客户端-服务器架构；
19.图16a和16b示出了根据至少一个实施例的可以与车辆系统一起使用的组件。
具体实施方式
20.根据各种实施例的方法可以提供对人或其他此类对象的状态的确定。特别地，各种实施例提供了至少部分地基于观察到的人随时间的眨眼行为来确定人的困倦、疲劳或警觉状态。可以使用包括多个神经网络的端到端困倦估计系统，因此可以对输入数据的变化相对鲁棒。这些神经网络中的一个可用于确定捕获的图像数据中的一组面部界标，这可用于确定对象在一段时间内的一组眨眼参数。这组眨眼参数可以用于(例如与时间网络一起)来推理对象的状态值，例如在捕获的图像数据中表示的感兴趣的人的困倦程度。单独的神
经网络可以从捕获的图像数据中确定眼睛状态(例如，睁眼或闭眼)，而不依赖于中间面部界标的准确性，这可以提高整个过程的鲁棒性。可以使用眼睛状态信息，例如与另一个时间网络一起使用，以推理对象的另一个状态值。然后可以使用来自这些时间网络的状态值，例如通过加权组合，如果每个都以至少最小置信度推理，则确定该人的总体状态值估计。该状态值可用于根据人的状态确定是否采取行动，以及确定采取哪种类型的行动。为了提高这种估计的准确性，系统还可以尝试考虑个体对象之间的行为变化，以及由于当前上下文或环境的变化(例如驾驶上下文的变化)引起的变化。对象和/或上下文数据可以作为输入提供给时间网络，例如，这样网络可以通过将眨眼参数或其他观察到的行为数据与与当前上下文中的特定对象更相关的基线进行比较来推理更准确的状态数据。
21.考虑图1a中所示出的自主车辆100，例如可能包括一名或更多名司机或乘客的半自主或计算机辅助车辆。在至少一个实施例中，车辆100可以是但不限于客运车辆，诸如轿车、卡车、公共汽车和/或容纳一个或更多个乘客的另一类型的车辆。在至少一个实施例中，车辆100可以是用于拖运货物的半牵引拖车卡车。在至少一个实施例中，车辆100可以是飞机、机器人车辆或其他类型的车辆。
22.可以就自动化水平来描述自主车辆，该自动化水平由国家公路交通安全管理局(“nhtsa”)、美国运输部的分部以及汽车工程师协会(“sae”)
ꢀ“
与用于公路机动车辆驾驶自动化系统相关的术语的分类和定义”(例如，公开于2018年6月15日的标准号j3016-201806，公开于2016年9月30 日的标准号j3016-201609，以及此标准的先前和未来版本)定义。在一个或更多个实施例中，车辆100可以能够具有根据自主驾驶等级的等级1-等级5中的一个或更多个的功能。例如，在至少一个实施例中，取决于实施例，车辆100可以能够进行有条件自动化(3级)、高自动化(4级)和/ 或全自动化(5级)。
23.在至少一个实施例中，车辆100可包括但不限于诸如底盘、车身、车轮(例如，2、4、6、8、18等)、轮胎、车轴和车辆的其他组件的组件。在至少一个实施例中，车辆100可包括但不限于推进系统150，诸如内燃机、混合动力电站、全电力发动机和/或另一推进系统类型。在至少一个实施例中，推进系统150可连接至车辆100的传动系，该传动系可包括但不限于变速器，以使车辆100能够推进。在至少一个实施例中，推进系统150 可响应于从油门/加速器152接收信号而被控制。
24.在至少一个实施例中，可包括但不限于方向盘的转向系统154用于在推进系统150操作时(例如，当车辆在运动中时)转向车辆100(例如，沿着期望的路径或路线)。在至少一个实施例中，转向系统154可从(一个或更多个)转向致动器156接收信号。方向盘对于全自动化(5级)功能可以是可选的。在至少一个实施例中，制动传感器系统146可用于响应于从(一个或更多个)制动致动器148和/或制动传感器接收信号来操作车辆制动。
25.在至少一个实施例中，可以包括但不限于一个或更多个片上系统 (“soc”)(图1a中未示出)和/或(一个或更多个)图形处理单元(“(一个或更多个)gpu”)的(一个或更多个)控制器136，向车辆100的一个或更多个组件和/或系统提供信号(例如，表示命令)。例如，在至少一个实施例中，控制器136可发送信号以经由制动致动器148操作车辆制动，经由转向致动器156操作转向系统154，和/或经由油门/加速器152操作推进系统150。控制器136可包括一个或更多个车载(例如，集成)计算设备(例如，超级计算机)，其处理传感器信号，并输出操作命令(例如，表示命令的信号)以能够自主驾驶和/或辅助人类驾驶员驾驶车辆100。
在至少一个实施例中，(一个或更多个)控制器136可以包括用于自主驾驶功能的第一控制器136、用于功能安全功能的第二控制器136、用于人工智能功能(例如，计算机视觉)的第三控制器136、用于信息娱乐功能的第四控制器136、用于紧急状况下的冗余的第五控制器136和/或其他控制器。在至少一个实施例中，单个控制器136可以处理上述功能中的两个或更多个，两个或更多个控制器136可以处理单个功能，和/或其任何组合。
26.在至少一个实施例中，(一个或更多个)控制器136响应于从一个或更多个传感器接收的传感器数据(例如，传感器输入)提供用于控制车辆 100的一个或更多个组件和/或系统的信号。在至少一个实施例中，可从例如但不限于以下装置接收传感器数据：一个或更多个全球导航卫星系统 (“gnss”)传感器158(例如，一个或更多个全球定位系统传感器)、(一个或更多个)radar(雷达)传感器160、(一个或更多个)超声波传感器162、(一个或更多个)lidar传感器164、(一个或更多个)惯性测量单元(“imu”)传感器166(例如，(一个或更多个)加速度计、(一个或更多个)陀螺仪、(一个或更多个)磁罗盘、(一个或更多个)磁力计等)、麦克风196、立体相机168、广角相机170(例如，鱼眼相机)、(一个或更多个)红外相机172、(一个或更多个)环绕相机174(例如，360度相机)、远程相机(图1a中未示出)、一个或更多个中程相机(图1a中未示出)、一个或更多个速度传感器144(例如，用于测量车辆100的速度)、振动传感器142、转向传感器140、制动传感器(例如，作为制动传感器系统146 的一部分)，和/或其他传感器类型。
27.在至少一个实施例中，(一个或更多个)控制器136可以从车辆100 的仪表板132接收输入(例如，由输入数据表示)并且经由人机界面(“hmi”) 显示器134、可听信号器、扬声器、和/或经由车辆100的其他组件提供输出(例如，由输出数据、显示数据等表示)。在至少一个实施例中，输出可以包括信息，如车辆速度、速度、时间、地图数据(例如，高清晰度地图 (图1a中未示出))、位置数据(例如，车辆100的位置，如在地图上)、方向、其他车辆的位置(例如，占用网格)、关于如由控制器136所感知的对象的信息和对象的状态等。例如，在至少一个实施例中，hmi显示器134 可显示关于一个或更多个对象(例如，街道界标、注意界标、交通灯改变等)的存在的信息，和/或关于车辆已进行、正在进行或将要进行的驾驶操纵(例如，现在改变车道、在两英里内驶出出口34b等)的信息。
28.在至少一个实施例中，车辆100还包括网络接口124，网络接口124 可使用无线天线126和/或调制解调器通过一个或更多个网络进行通信。例如，在至少一个实施例中，网络接口124可以能够通过长期演进(“lte”)、宽带码分多址(“wcdma”)、通用移动电信系统(“umts”)、全球移动通信系统(“gsm”)、imt-cdma多载波(“cdma2000”)等进行通信。在至少一个实施例中，(一个或更多个)无线天线126还可以使用(一个或更多个)局域网(如蓝牙、蓝牙低功耗(“le”)、z-波、zigbee等)和/或 (一个或更多个)低功率广域网(“lpwan”)(如lorawan、sigfox等) 来进行环境中的对象(例如，车辆、移动设备等)之间的通信。
29.图1b示出了根据至少一个实施例的图1a的自主车辆100的相机位置和视野的示例。在至少一个实施例中，相机和相应的视野是一个举例实施例，并且不旨在是限制性的。例如，在至少一个实施例中，可以包括附加的和/或替代的相机和/或相机可以位于车辆100上的不同位置。
30.在至少一个实施例中，相机的相机类型可包括但不限于可适于与车辆 100的组件和/或系统一起使用的数字相机。在至少一个实施例中，一个或更多个相机可以在汽车安全
完整性水平(“asil”)b和/或在另一个asil 下操作。在至少一个实施例中，取决于实施例，相机类型可以具有任何图像捕获速率，诸如每秒60帧(fps)、120fps、240fps等。在至少一个实施例中，相机可以能够使用卷帘式快门、全局快门、另一类型的快门或其组合。在至少一个实施例中，滤色器阵列可以包括红色透明透明透明 (“rccc”)滤色器阵列、红色透明透明蓝色(“rccb”)滤色器阵列、红色蓝色绿色透明(“rbgc”)滤色器阵列、foveon x3滤色器阵列、拜耳传感器(“rggb”)滤色器阵列、单色传感器滤色器阵列、和/或另一种类型的滤色器阵列。在至少一个实施例中，可以使用透明像素相机(如具有 rccc、rccb和/或rbgc滤色器阵列的相机)来努力增加光敏度。
31.在至少一个实施例中，一个或更多个相机可以用于执行高级的驾驶员辅助系统(“adas”)功能(例如，作为冗余或故障安全设计的一部分)。例如，在至少一个实施例中，可以安装多功能单相机以提供包括车道偏离警告、交通界标辅助和智能前照灯控制的功能。在至少一个实施例中，相机中的一个或更多个(例如，所有相机)可以同时记录和提供图像数据(例如，视频)。
32.在至少一个实施例中，一个或更多个相机可以安装在安装组件中，如定制设计的(三维(“3d”)打印的)组件中，以便去除来自车内的杂散光和反射(例如，来自仪表板的反射在挡风玻璃镜子中的反射)，其可能干扰相机的图像数据捕获能力。参考翼镜安装组件，在至少一个实施例中，翼镜组件可以被定制3d打印，使得相机安装板匹配翼镜的形状。在至少一个实施例中，(一个或更多个)相机可以被集成到翼镜中。对于侧视相机，在至少一个实施例中，(一个或更多个)相机也可集成在每个拐角处的四个柱内。
33.在至少一个实施例中，具有包括车辆100前方环境的部分的视野的相机(例如，前置相机)可以用于环绕视野，以帮助识别面向前方的路径和障碍物，以及在控制器136和/或控制soc中的一个或更多个的帮助下帮助提供对生成占用网格和/或确定优选车辆路径至关重要的信息。在至少一个实施例中，前置相机可以用于执行与lidar相同的adas功能中的许多功能，包括但不限于紧急制动、行人检测和碰撞避免。在至少一个实施例中，前置相机还可以用于adas功能和系统，包括但不限于车道偏离警告 (“ldw”)、自主巡航控制(“acc”)和/或其他功能(如交通界标识别)。
34.在至少一个实施例中，多种相机可以用于前置配置，包括例如包括 cmos(“互补金属氧化物半导体”)彩色成像器的单目相机平台。在至少一个实施例中，广角相机170可用于感知从周边进入视野的对象(例如，行人、交叉车流或自行车)。尽管图1b中仅示出了一个广角相机170，但是在其他实施例中，车辆100上可以存在任意数量(包括零)的广角相机 170。在至少一个实施例中，任何数量的(一个或更多个)远程相机198(例如，长视图立体相机对)可被用于基于深度的对象检测，尤其对于神经网络尚未被训练的对象。在至少一个实施例中，(一个或更多个)远程相机 198还可用于对象检测和分类，以及基本对象跟踪。
35.在至少一个实施例中，在前置配置中还可以包括任何数量的立体相机 168。在至少一个实施例中，一个或更多个立体相机168可以包括集成控制单元，该集成控制单元包括可扩展处理单元，该可扩展处理单元可以提供可编程逻辑(“fpga”)和在单个芯片上具有集成控制器局域网(“can”) 或以太网接口的多核微处理器。在至少一个实施例中，这种单元可用于生成车辆100的环境的3d图，包括图像中的所有点的距离估计。在至少一个实施例中，立体相机168中的一个或更多个可以包括但不限于(一个或更多个)紧凑立体视觉传感
器，其可以包括但不限于两个相机镜头(左右各一个)和图像处理芯片，图像处理芯片可以测量从车辆100到目标对象的距离并且使用生成的信息(例如，元数据)来激活自主紧急制动功能和车道偏离警告功能。在至少一个实施例中，除了本文所描述的那些立体相机之外或另选地，可以使用其他类型的立体相机168。
36.在至少一个实施例中，具有包括车辆100侧面的环境的部分的视野的相机(例如，侧视相机)可以用于环绕视野、提供用于创建和更新占用网格的信息以及用于生成侧面撞击碰撞警告。例如，在至少一个实施例中，一个或更多个环绕相机174(例如，如图1b中所示的四个环绕相机174) 可定位在车辆100上。在至少一个实施例中，(一个或更多个)环绕相机 174可以包括但不限于(一个或更多个)广角相机170、(一个或更多个) 鱼眼相机、(一个或更多个)360度相机和/或类似物的任何数量和组合。例如，在至少一个实施例中，四个鱼眼相机可以位于车辆100的前面、后面和侧面。在至少一个实施例中，车辆100可使用三个环绕相机174(例如，左、右和后)，并且可将一个或更多个其他相机(例如，前置相机)用作第四环视相机。
37.在至少一个实施例中，具有包括车辆100的后方环境的部分的视野的相机(例如，后视相机)可以用于停车辅助、环绕视野、后方碰撞警告以及创建和更新占用网格。在至少一个实施例中，可以使用各种各样的相机，包括但不限于也适合作为(一个或更多个)前置相机的相机(例如，(一个或更多个)远程相机198和/或(一个或更多个)中程相机176、(一个或更多个)立体相机168、(一个或更多个)红外相机172等)，如在此所描述的。
38.在各种情况下，可能希望确定人在这种车辆中或与这种车辆相关联的状态。这可以包括例如确定该车辆的驾驶员的困倦或警觉状态。根据各种实施例的方法可以利用一个或更多个相机或成像传感器，例如之前针对这种车辆所讨论的那些，其可以捕获感兴趣的人的至少一部分的图像或视频数据。这可以包括例如面向驾驶员的相机，该相机能够至少捕获驾驶员或坐在驾驶员座位上的其他人的面部，或与至少一定量的车辆控制相关联的其他位置。这种相机可以定位在任何合适的位置，例如在仪表组、后视镜、左柱或触摸界面上或附近，以及其他此类选项。这样的相机可以是具有任何适当分辨率的全色或灰度相机，并且在各种实施例中也可以包括红外(ir) 或其他传感器。
39.在至少一个实施例中，可以在特定时间、周期性地或连续地捕获这样的人的视频或图像。如果在特定时间捕获，则这些时间可以根据选择算法确定，或者可以至少部分基于一个或更多个触发器来确定，例如来自车辆系统的响应于可与驾驶员困倦相关联的动作或行为而发送的信号。在其他实施例中，可以响应环境的变化发送触发器，例如移动到可能需要更多注意力的拥挤市区，或者进入驾驶员可能更可能昏昏欲睡的傍晚或夜间。这种定时也可以是用户、应用程序或设备可配置的。
40.在至少一个实施例中，可以使用一个或更多个相机来捕获一系列图像或视频帧序列(例如，流)。在典型情况下，这些图像或视频帧将包括感兴趣的人的至少面部部分的表示，例如图2a的图像200中所示。取决于诸如相机相对于人的位置和视野等因素，捕获的图像可能主要代表人的面部区域，或者可能包括躯干、手臂等部分的更大视图。在至少一个实施例中，这样的图像可以被传递到面部检测网络或其他面部检测器，其可以尝试确定人的面部是否存在于该图像中。例如，如果该人当前未位于该位置、转身远离相机或处于其他位置使得该人的面部的足够部分未在图像中显示以启用自信的人脸检测。也可能是某些障碍
物挡住了面部的视线，例如在车辆运行期间位于相机和面部之间的手臂或手。
41.如果在图像(或视频帧等)中检测到面部，则可选择该图像用于分析。为了解释的简单，在许多示例中将使用术语“图像”或“图像数据”，但应该理解，这也可以指代视频帧、视频数据、传感器数据或任何其他类型的数据，其可以捕获或表示一个人的一个或更多个视觉方面的信息的格式。并非每一个捕获的图像都可以被分析，例如如果人处于正常或警觉状态，系统可能会分析每十分之一的图像，但如果人处于不太警觉或昏昏欲睡的状态，则可以更频繁地分析图像。如本文别处更详细讨论的，还可以针对某些环境条件或驾驶上下文更频繁地分析图像。在至少一个实施例中，可以使用对应于图像的面部区域的数据来选择要分析的图像的一部分，以减少所需的存储量和处理能力，以及专注于更多图像的相关部分，这可以帮助提高至少某些系统的推理或确定的准确性。
42.对于要分析的图像，可以使用诸如面部界标检测网络的第一神经网络来处理该图像的至少面部部分。可以通过人脸检测网络提供的坐标或边界框来识别人脸部分。在各种实施例的范围内也可以使用其他特征检测机制。可以训练面部界标检测网络来推理图像中特定类型的界标、基准点或特征的位置。这可以包括识别例如在输入图像中表示或可检测的100个或更多不同特征中的任何一个。如图2a所示，这可以包括识别界标202，例如人的耳朵的顶部和底部。这样的界标至少是有用的，因为它们可以帮助确定头部相对于捕获该图像的相机的姿势或方位。其他界标232也可以是有用的，例如图2b的图像区域230中所示的那些。这些界标对应于人的每个虹膜的极值(此处为上、下、左和右)，然后可用于确定信息，例如此人睁开眼睛的数量。这些界标232在连续帧之间的相对位置的变化可用于检测眨眼，以及确定诸如单个眨眼的幅度、速度或持续时间之类的值。在至少一个实施例中，任何检测到的界标的信息可以由面部界标检测网络输出，例如可以包括图像中给定界标的坐标，以及所识别的界标类型的标识。
43.这些特征或界标中的至少一些的数据也可以作为输入提供给用于确定其他方面或行为的其他神经网络、算法或模块。例如，与人的眼睛有关的面部界标可以连同输入图像的至少面部部分一起被提供给眼睛状态确定神经网络，以确定输入图像中与人的眼睛相对应的区域。在其他实施例中，可以使用一些面部界标来将输入图像裁剪到仅眼睛区域，并且可以将这个裁剪的图像数据作为输入提供给眼睛状态网络。这使得眼睛状态神经网络能够专注于输入图像中与眼睛对应的那部分，以便提供关于眼睛状态的更准确的推理并简化相应的网络训练过程。在至少一个实施例中，眼睛状态网络可以输出每只眼睛的状态，例如对于二元决策网络的眼睛睁开或闭合，或其他值，例如打开、闭合或部分打开(可能具有一些打开值)。这可以包括对于部分打开状态的一些打开测量量，例如推理的距离或总眨眼幅度的百分比，以及该状态确定中的置信度值。
44.这些界标中的至少一些界标的数据也可以被传递到神经网络、过程或算法，用于确定人的头部姿势，至少相对于用于捕获图像的相机的视点而言。如图2a所示，这些面部界标中的至少一些的相对间距和位置可用于确定头部的姿势，例如头部相对于默认方位、轴或坐标系的滚动、俯仰和偏航，可能对应于在图像中居中并被定位为看起来直接注视相机的头部，或者与2d图像的平面正交(如果图像数据是2d的)。姿势信息可用于确定界标位置之间的差异，这些差异是由于头部姿势或方位，而不是由于人的动作或行为。姿势信息也可用于规范这些界标的位置，或消除姿势的影响。例如，姿势信息可用于确定要应用于确定的
界标位置的变换，以便生成具有去除头部姿势的影响的界标表示260，因此特征对应于面部，就好像该面部处于默认方向或位置一样。这种方法可以帮助更准确地确定特征或界标之间的距离，以及这些距离随时间的变化。在至少一个实施例中，可以将面部界标数据与三维(3d)地面实况头部模型进行比较，以便将界标与模型相关联并确定模型在图像中的相对方位。在至少一个实施例中， solvepnp技术可用于估计头部位置和三个维度的旋转。
45.在一些情况下，使用单个网络来确定眨眼相关信息可能就足够了，而不是同时使用面部界标网络和眼睛状态网络。例如，如图2d中的图像270 所示，面部界标272可用于确定人的眼睛何时睁开，如图280所示，面部界标282可用于确定人的眼睛何时闭合，以及其间的状态。除了眨眼参数(例如眨眼幅度、持续时间和速度)之外，这些界标还可用于确定眨眼频率等信息。然而，可能的情况是，用户的面部可能处于诸如“极端”位置之类的位置，其中这些界标可能无法被识别，至少难以以足够的置信度或准确度识别。如前所述，这可能会发生在用户将视线从相机上移开时，面部的视野被部分遮挡，该人戴着反光眼镜等等。这些界标或中间特征中的任何不确定性都可能导致眨眼参数确定的不确定性。
46.因此，可以使用可以在至少这些极端条件下更准确地确定眼睛状态的眼睛状态网络。可以以端到端的方式训练眼睛状态网络，以便网络直接从输入图像数据进行眼睛状态推理，而不需要任何中间特征或值。只要在输入图像数据中表示了足够数量的至少一只眼睛，眼睛状态网络就可以相对准确地推理眼睛状态。对于眨眼确定，可以相对准确地确定眼睛睁开和闭合状态，使得即使中间值对于部分睁开或闭眼状态具有一些不确定性，也可以准确地确定总体眨眼频率。例如，眼睛状态(例如，纵横比)随时间(例如，序列中的帧数)的曲线图290在图2f中示出。在此示例中，可以看出许多测量值对应于睁眼状态，具有接近最大睁眼状态或眨眼幅度的值(归一化为1)。靠近曲线图底部的闭眼状态大约表示眨眼动作的中间，或至少表示纵横比处于最低值的点。即使对部分睁开状态的眼睛测量值不是很准确，曲线的整体形状也不会发生很大变化，从而可以准确地确定眨眼两侧的睁开状态之间的持续时间。因此，只要在捕获的图像数据中至少有足够多的眼睛是可见的，眼睛状态网络就可以足够准确地确定眼睛状态，以生成准确的眨眼频率确定，即使对于极端位置或条件也是如此。在至少一个实施例中，一种用于提取眨眼特征的算法可以接收来自眼睛状态网络的输出，该输出指示眼睛在当前帧中何时被确定为睁开或闭上。可以分析序列中最近的帧以确定连续帧是否检测到眼睛闭合。如果存在多个闭眼帧，则可以确定最小的眼睛纵横比(ear)并将其指定为底点，如图2f所示，其可以至少部分地基于面部界标数据。眨眼的开始帧和结束帧也可以使用从面部界标数据中得出的ear值来确定。
47.如上所述，在一些实施例中，双眼状态网络可以与面部界标网络一起使用以提取眨眼特征。双眼状态网络可以用作可靠的二进制分类器，并且可以针对给定的眨眼识别眼睛被检测为闭合的至少一帧。可以分析这些识别的帧中的任何一个，以及序列中潜在的附近帧，以确定或推理纵横比确定中的底部点。可以至少部分地基于这些帧的面部界标来计算纵横比，因此可以用于确定该特定用户的最小眼睛纵横比，该最小纵横比可能在不同个体之间变化。然后可以在每个方向上分析该序列中的帧以识别眨眼状态点和眨眼结束点，其中眼睛完全睁开、接近到完全睁开、或在一段时间内至少处于或接近最大值。可以分析该序列以确定最大纵横比，该最大纵横比可以设置为睁眼状态的正常最大纵横比，至少在该特定对象的当前条件下。该值可用于确定眨眼开始点和停止点，这有助于生成更准确的频
率和持续时间计算。
48.图3示出了可以根据各种实施例使用的示例困倦估计系统300的组件。在该示例中，至少部分面向感兴趣的人的一个或更多个相机(或传感器等) 捕获的一个或更多个图像302可以作为输入提供给困倦估计模块304(或系统、应用程序、服务或过程等)。对于车辆，该模块304可以在车辆本身上或远程，如本文稍后讨论的，例如在云中或通过至少一个无线网络可访问的远程服务器上。在其他示例中，可以在车辆上执行可能与面部检测和/ 或面部界标检测有关的该功能的部分，以便相对于完整图像数据减少要传输用于分析的数据量。
49.在该示例中，图像数据被传递到面部检测网络306。该网络可以是任何适当的神经网络，例如卷积神经网络(cnn)，其被训练以推理输入图像数据中面部的存在。如果至少以最小的置信度在图像中未检测到面部，则可以丢弃图像数据，并且在接收到后续数据之前不执行进一步分析。如果检测到面部，则可以将至少一部分图像数据传递到至少面部界标确定网络 314以进行分析。在至少一些实施例中，关于检测到的面部在图像中的位置的信息也可以被传递，或者输入图像数据可以在作为输入提供给面部界标检测网络314之前被裁剪到面部区域。显然，可能存在用于该功能中的至少一些的附加组件、过程或模块，例如能够在给定由面部检测网络提供的面部区域坐标的情况下将输入图像裁剪到面部区域的模块。
50.在至少一个实施例中，检测到的面部的信息也可以用于尝试识别与检测到的面部对应的人。这可以由面部检测网络或由与面部检测网络通信的单独面部识别模块或网络来执行。可以将输入图像、检测到的面部数据或其他信息(在一些实施例中包括由面部界标检测网络314确定的潜在面部界标)与个人数据库308或其他此类位置中的面部数据进行比较。如果该人能够以足够的置信度被识别，例如至少满足最小置信度阈值的置信度，则可以做出关于是否存在存储在简档数据库310中或以其他方式可访问的该人的简档的另一确定。如本文稍后将更详细讨论的，此类简档信息可用于确定给定用户的特定眨眼行为，其可用于通过考虑不同个体之间眨眼行为的变化来做出更准确的困倦估计。
51.如图所示，用于至少一个面部区域的图像数据，以及来自面部检测网络306的任何输出和任何个人简档数据，可以被传递到一个或更多个神经网络以进行分析。在该示例中，数据被传递到面部界标检测网络314、头部姿势确定网络312和眼睛状态确定网络316，尽管在各种实施例的范围内可以使用其他网络、算法或过程。在该示例中，面部界标网络314可以分析输入图像的至少面部部分以尝试推理尽可能多的面部界标的位置。该网络可以被训练以识别任意数量的不同界标，例如在至少一个实施例中超过100个不同的界标，并且可以输出图像中每个检测到的界标的位置、该界标的类型以及该确定或推理的置信度。
52.在至少一个实施例中，至少一些面部界标数据可以与输入图像数据一起被提供给头部姿势确定网络312。头部姿势确定网络可以被训练以推理头部姿势或方位数据，例如滚动、俯仰和偏航，至少部分基于输入图像中面部界标的相对位置。在至少一个实施例中，头部姿势网络可以输出用于滚动、俯仰和偏航中的每一个的推理值，或其他此类方位确定，以及一个或更多个对应的置信度值。在一些实施例中，头部姿势确定网络可以是在不使用面部界标数据的情况下从输入图像数据推理头部姿势的端到端网络，这将使头部姿势确定网络更加鲁棒，但是由于面部界标是在该系统中确定的，无论如何这些界标可用于更有效地
确定头部姿势，在大多数情况下具有相似的准确度。如果头部的状况阻止界标是准确的，那么头部姿势信息无论如何都可以不被使用，如本文其他地方所讨论的。
53.可以将头部姿势信息与面部界标数据一起提供给眨眼参数确定模块 318。在至少一个实施例中，该模块可以使用头部姿势信息来归一化面部界标数据，或去除由于输入图像数据中面部的方位，界标之间的相对距离而生成的变化。眨眼参数确定模块然后可以使用来自该图像以及该序列中的先前图像的数据来确定各种眨眼参数的值。这可以包括，例如，确定最近一段时间内的眨眼幅度、速度和持续时间，例如最后十秒、三十秒或一分钟。其他眨眼或状态参数的值也可以在各种实施例的范围内确定。此外，虽然这些眨眼参数可以手工制作并且易于理解，但这些参数中的至少一些可能是先前未确定的参数，这些参数由网络在训练期间学习。在这个例子中，这些眨眼参数值然后可以被馈送到时间网络，例如长短期记忆(lstm) 网络322、转换器或门循环单元(gru)，或支持向量机(svm)以进行分析。眨眼参数值可以与其他困倦指示信号连接，例如方向盘模式(例如，方向盘运动的幅度、频率或标准偏差、反转等)、车道保持模式(例如，车道交叉的数量、车道位置的标准偏差)、脑电图/心电图(eeg/ecg)模式等，作为(lstm)网络322的输入。lstm网络可以对在不同时间确定的眨眼值应用不同的权重，例如通过应用更大的权重对最近的事件比对遥远的过去的事件，并且可以使用此信息来推理该人的困倦值。对最近的数据进行更大的加权有助于系统对环境数据或驾驶上下文的变化或用户随时间的生理变化更加鲁棒，同时仍考虑到给定人随时间观察到的模式。如本文稍后讨论的，这可以包括第一状态值的确定，例如可以对应于用于困倦状态确定的卡罗林斯卡瞌睡量表(kss)值。也可以确定其他状态值，例如可以包括任何瞌睡量表值(例如，斯坦福瞌睡量表或epworth瞌睡量表上的值)，或表示由于困倦引起的疲劳的任何量表上的值，用于困倦相关状态的决定。也可以相对于代表性能或能力损失的任何度量(例如，主观或表现良好的目标)生成这样的值，例如由于困倦或疲劳(或其他感兴趣的状态)导致的驾驶性能损失。在至少一些实施例中，诸如lstm之类的时间网络可以提供比诸如svm之类的模型或网络更准确的结果，所述模型或网络可以用于尝试瞬时确定困倦，而不是基于多个眨眼来分析一段时间内的一个或更多个模式。
54.如上所述，困倦值可能并不总是可靠的，特别是对于极端条件，例如在图像捕获期间头部明显转离相机。为了针对这种情况提供困倦估计的鲁棒性，可以使用眼睛状态网络316来执行困倦的第二估计。在这个示例中，眼睛状态网络316可以至少从面部界标网络接收面部界标数据用于与人的眼睛相关的界标(或边界框等)。然后，眼睛状态网络可以使用该信息来仅关注输入图像的一个或更多个部分，这些部分代表一个人的一只或多只眼睛。在其他实施例中，眼睛状态网络可以在不接收面部界标数据的情况下分析输入图像或至少图像的面部区域。可以训练眼睛状态网络316以确定图像中眼睛的状态，例如该眼睛是完全睁开、完全闭合还是部分睁开/闭合。在至少一些实施例中，网络可以推理代表“睁开”或“闭合”的值，例如 0代表完全闭合和1代表完全睁开之间的值。“完全睁开”的眼睛可以对应于对于该用户观察到或以其他方式可能的最大眼睑分离睁开的眼睛。网络可以为检测到的每只眼睛或两只眼睛一起输出这样的值，以及每个确定的相应置信度值。在至少一个实施例中，该信息可以作为另一输入提供给眨眼参数确定模块318以用于进行更准确的眨眼参数确定。在该示例中，可以将眼睛状态信息连同最近一段时间内的相关信息一起提供给眨眼频率确定模块320、系统、设备、过程或服务。眨眼频率确定模块320可以分析最近一段时间
内眼睛状态的变化以确定人的眨眼动作的发生，并且可以使用它来计算最近一段时间内的眨眼频率值。该眨眼频率信息可以连同该示例中先前时间段的眨眼频率信息一起提供给另一个lstm网络324，该网络324将不同权重应用于在最近过去的不同时期获得的眨眼频率数据。频率信息可以与其他困倦指示信号相连接，例如方向盘模式(例如，方向盘运动、反转等的幅度、频率或标准偏差)、车道保持模式(例如，车道交叉的数量或标准偏差车道位置)、eeg/ecg数据等，作为(lstm)网络324的输入。该lstm网络324然后可以推理该人的第二困倦值，这可以对应于第二kss值的确定。虽然在一些实施例中可以单独提供这些值，但在该示例中，这些值可以用于提供单个输出困倦估计。此外，如果面部界标数据的置信度值至少不满足最小置信度阈值，例如极端头部位置或面部被部分遮挡的图像，则面部界标数据可能不会提供给第一lstm网络并且只有第二lstm网络可以用于基于眼睛状态网络的一个或更多个结果对该图像进行困倦预测。
55.如果困倦值一致，至少在允许的一致范围内，则可以提供该估计作为输出困倦值330。如果值不一致，则可以分析单独确定的相对置信度值。如果一个确定具有高置信度而另一个没有，则可以提供具有高置信度的确定。在其他实施例中，该值可以是由置信度加权的两个确定的混合，使得如果一个分数8具有高置信度而一个分数5具有低置信度，则最终结果7 可以基于更高的权重被应用于分数8而被确定。在各种实施例的范围内也可以使用各种其他方法。
56.如所提到的，可以推理或生成可以提供人在特定时间点或时间段的状态的视图的值。虽然先前已生成诸如kss值之类的值以尝试提供特定状态的度量或指示，但由于诸如不准确的特征检测之类的因素，先前的方法通常不能提供足够的准确性和鲁棒性。根据各种实施例的系统可以通过利用多个网络来克服这些缺陷，其中这些网络可以利用或依赖不同的信息，因此不受单组不准确的特征或值的限制。如前所述，这可以包括使用睁眼闭眼网络进行眨眼检测，该网络可用于导出眨眼频率特征(例如perclos)，以及用于眨眼特征提取的面部界标网络，包括眨眼幅度、眨眼持续时间、和眨眼速度。这样的系统还可以包括两个时间(例如，lstm)网络，以将眨眼事件和特征与kss相关联。至少部分基于面部界标置信度和头部姿势数据，困倦估计系统可以选择高置信度特征来训练这些时间网络。如果面部界标置信度很高，则可以使用眨眼频率特征以及眨眼幅度、眨眼持续时间和眨眼速度特征来训练时间网络，并且这些特征可以使用头部姿势数据正面化(或由于方位移除而对位置产生影响)。否则，如果面部界标置信度较低，则可以仅使用眨眼频率数据来训练时间网络。由于使用多个网络和鲁棒的特征选择，这种方法可以大大提高困倦估计的准确性。
57.图4图示了根据各种实施例可以使用的用于确定困倦的示例过程400。应当理解，对于本文所讨论的这个过程和其他过程，除非另有具体说明，否则在各种实施例的范围内，可以有以类似或替代顺序或至少部分并行执行的附加、更少或替代步骤。此外，虽然这个示例是关于驾驶车辆的人的困倦来描述的，但是人的状态的确定可以用于进行其他类型的活动的人或对象的其他类型的状态，如在本发明的各种实施例的范围内。在该示例中，接收402图像数据，该图像数据包括感兴趣的人(或其他对象)(例如车辆的驾驶员)的面部的至少一部分的表示。可以使用面部检测器网络分析404 该图像数据以确定面部的存在，以及关于面部在图像中的位置的信息。如果没有检测到面部，或者不能以至少最小置信度确定面部，则该过程可以丢弃该图像数据并等待可以检测到面部的后续图像数据。如果检测到
面部，则可以分析406该图像数据的至少面部区域以尝试识别可用于确定人的状态信息(例如困倦状态)的多个面部界标。
58.一旦已经识别了面部界标的至少一个可确定子集，这些面部界标就可以与许多不同的任务一起使用。作为一个这样的任务，可以将这些面部界标中的至少一些提供408到头部姿势网络以尝试确定感兴趣的人的头部姿势，至少如图像数据中所表示的那样。在其他实施例中，可以直接从输入图像数据确定头部姿势。在该示例中，面部界标数据还可以用于410裁剪输入图像数据，或至少识别输入图像数据的一部分，以主要包含一个或更多个眼睛区域，例如用于双眼的一个区域或每只眼睛的单独区域(如果在图像数据中表示)。这些一个或更多个眼睛区域的图像数据可以作为输入提供给眼睛状态确定网络，该网络可以确定人的眼睛的状态，例如对于二元网络来说是睁开或闭合，或者对于非二元网络来说是部分睁开状态。头部姿势、眼睛状态和面部界标集合中的任何或全部也可以用于412确定眼睛参数集合的值，例如眨眼速度、持续时间和幅度。可以提供414这些眼睛参数值以及最近一段时间内的类似值，作为第一时间网络的输入，以尝试推理感兴趣的人的状态值，例如困倦值。在一些实施例中，该步骤可以仅在面部界标和/或状态参数集合可以以至少最小置信水平或阈值确定的情况下执行。并行地，可以将来自眼睛状态确定网络的眼睛状态数据与最近一段时间内的类似数据一起提供416到另一个时间网络，以基于独立于中间面部界标的眼睛状态数据推理另一个困倦值数据，这可以使该确定对输入图像数据的变化更加鲁棒。然后可以至少部分地基于这些推理的困倦值 (如果可用)来确定418此人的总体困倦值。这可以包括，例如，执行加权平均或选择最有信心的困倦值，以及其他此类选项。一旦确定了总体困倦值，接收该值的系统、服务、应用程序、模块或进程可以至少部分地基于该总体困倦(或其他此类状态)值来确定420是否采取行动。例如，这可以包括提供通知、生成警报或采取补救或主动行动，例如至少部分地控制当前正在执行或将要执行的任务。
59.这种方法在估计人的当前状态时可以非常准确。然而，通常情况下，不同的人会表现出不同的行为，例如不同的眨眼行为。为了提高针对不同对象的状态估计的准确性，在最后一些实施例中尝试跨用户归一化可能是有益的。某些特征或行为在不同个体中的表现可能有不同的基本水平或范围，这可能与这些个体的生理状态有关。不同的个体也可以有不同的验光操作模式，例如不同的眨眼方式和速率。困倦和疲劳的确定可能非常复杂，并且基于许多不同的因素。可以通过分析一组眨眼参数来获得困倦和疲劳的良好近似值，因为在困倦开始时，人的眨眼率会增加，眨眼速度会相应降低或眨眼持续时间会增加。该人的眨眼幅度也可能在困倦开始时降低。这些眨眼参数中的任何一个，单独地或组合地，都可用于估计人或对象的困倦。然而，为了使该估计准确，确定对于处于不同困倦状态的个体对象这些参数的值如何变化可能是有益的。对象之间可能存在大量差异，因为有些人比其他人眨眼的频率更高，而且眨眼速度可能不同，无论他们是否昏昏欲睡。因此，全局阈值或评估可能无法为所有观察到的用户提供准确的结果，因为一个人正常的眨眼频率可能代表另一个人的困倦状态。因此，根据各种实施例的方法可以尝试学习或获得关于个体的动作或行为的信息，以便针对该特定个体做出更准确的估计或评估。
60.如上所述，可以使用各种方法来识别要对其执行状态估计的人。在一些实施例中，这可以包括用户登录或从车辆中的界面选择简档。对于某些车辆，可能有其他方式来识别人，例如通过各种生物特征，或者可以将人设置为车辆的默认操作员。在某些情况下，可以
通过使用特定键或输入来确定身份。如上所述，也可以使用面部(或其他身体部分)识别或识别系统，例如在捕获人的一部分的至少一个图像的情况下，然后可以对其进行分析以尝试确定身份。这可以包括，例如，将面部特征与存储在用户数据库中的特征集进行比较，以及其他此类选项。一旦识别出一个人，该人的信息就可以用来改进状态估计。这可以包括，例如，从用户简档中提取行为数据，或确定此人的行为分类或类型，以及其他此类选项。
61.用户简档(或一个或更多个人的其他数据储存库)可以包括可能与一种或更多种类型的状态估计相关的各种类型的数据。这可以包括例如平均或“正常”眨眼率或眨眼幅度等数据，以及此类值的典型范围。这使得对诸如困倦等状态的估计能够与对该特定个体准确的基线相关来执行。也可以存储其他动作、特征或模式的数据，这些数据可能与特定个人的不同驾驶技能或行为、不同反应速度等有关，例如可能与人调整转向的频率或一个人用来改变车道的模式有关。至少在某些情况下，这些值可能取决于车辆，并且一个人可能对不同的车辆有不同的值，例如跑车与本身可能具有非常不同的处理或操作特性的suv。在至少一个实施例中，状态估计系统或服务的鲁棒性可以通过考虑总体变化来改进，例如通过在模型训练期间考虑个体细节。
62.在至少一个实施例中，可以使用该个人的数据来训练一个人的困倦模型。这可以包括，例如，利用自我报告的kss或状态数据，以及来自特定对象简档的数据。来自对象简档的数据可以包括诸如驾驶经验水平、年龄、性别、国籍或任何可能导致状态变化或与之相关的个体差异的信息，例如困倦症状。对象简档还可以包括对应于对象何时处于特定状态的基线信号值，例如特定困倦水平，这可能与特定眨眼率或眨眼率范围有关，或者在处于警戒状态时与困倦时的行为有关状态。简档基线信号可用于归一化数据，以便使用困倦估计模型产生的结果不会受到个体差异的显著影响。例如，两个对象在处于警觉状态时可能具有不同的眨眼率，因此在昏昏欲睡或瞌睡状态下可能具有不同的眨眼率。如果没有简档基线或其他此类对象特定数据，模型可能难以学习阈值或范围以区分状态，例如基于绝对眨眼率值的对象是否瞌睡。简档基线不需要从特定状态(例如警报状态)导出，但也可以或可替代地从任何困倦水平导出。在至少一个实施例中，可以基于任何或所有困倦水平的不同简档基线数据训练多个困倦估计模型，使得模型可以在给定任何困倦水平的基线简档的情况下估计困倦水平。在至少一个实施例中，由面部界标网络生成的或包括从面部界标网络的输出确定的眨眼参数的特征向量可以在被传递到lstm网络以供分析之前被归一化。这可以包括，例如，将特征向量用作均值，或对特征范围进行归一化，减去均值，然后除以特征向量的标准差。
63.在一个实施例中，当对象进入车辆或出现在诸如驾驶员座位的受监控位置时，系统可以尝试识别该人。如前所述，这可能包括使用面部识别或生物识别技术来识别人。如果被识别，则系统可以尝试确定该人或对象是否具有可用的简档，是否存储在车辆的非临时存储介质中或可通过至少一个网络访问。如果此类简档可用且可访问，则系统可以利用该简档中的数据为该用户归一化数据并部署适当的状态估计模型。如果对象没有现有的和可访问的简档，则可以尝试生成这样的简档。在一些实施例中，这可以包括在一段时间内监视或捕获与该用户相关的信息以尝试确定基线信息。在一些实施例中，该人可以具有指示该人是否希望执行用户校准过程的选项，由此该人可以提供某些信息，并且具有捕获或获得的其他信息，这可以用于生成一个或更多个用户活动或行为的状态基线。
64.为了提供准确的估计，相机或传感器也可以以相对高的捕获率操作。用户的眨眼持续时间可能只有几分之一秒，因此以至少30hz或60hz的速率运行相机以获得足够的眨眼数据可能是有益的。例如，如果一个人的眨眼持续时间约为0.2秒，则必须以至少30hz的捕获率运行以获得至少5-6 个眨眼数据点，并且在眨眼开始、中间和结束时更少的点会导致更大的不确定性，以用于确定诸如眨眼速度和持续时间等值。在至少一些实施例中，可能希望使该数据收集尽可能不显眼，从而用户甚至可能不知道正在收集数据，并且对于诸如驾驶数据收集之类的活动绝不会降低活动的安全性。
65.如果一个人或对象选择执行用户校准，则可以指示该人遵循特定的数据收集程序以便为系统提供一轮或更多轮数据以用于估计特定于该对象的简档基线。对象可能不需要在此数据收集步骤中提供完整的数据集，因为用户可能无法为所有可能的用户状态提供数据。系统可以获取为某些状态提供的数据，并且可以使用该数据在简档数据库中定位最近的简档，例如使用最近邻搜索过程来定位用于完成该对象的简档的数据，或至少用于推理任何缺失的数据。作为校准过程的一部分，系统可以允许用户反馈或输入。如果对象发现困倦估计显著偏离自我报告的kss或当前的困倦感知，则该对象可以提供可用于调整和/或重新训练相关模型的反馈，或调整一个或更多个基线值或该对象的范围。
66.如果一个人选择不执行用户校准，系统可以尝试识别可以近似该特定人的行为的简档。例如，这可能涉及分析捕获的图像数据以尝试确定人的某些方面，例如年龄、性别、呼吸模式或心率，并且可以选择与这些方面中的至少一些最接近匹配的人的简档。
67.图5a示出了用于考虑用户行为数据变化的示例过程500。在该示例中，接收502(或以其他方式获得)图像数据，该图像数据包括感兴趣的人的面部的至少一部分的表示。在其他示例中，可以为该人接收可以帮助识别该人的其他信息，如可能与生物特征、身份或其他此类信息有关。在该示例中，使用面部识别过程分析504该图像数据以确定在捕获的图像数据中表示的感兴趣的人的身份。然后可以做出506关于相关行为简档是否存在并且对于该人是否可访问的确定。如果无法进行识别，则也无法确定此类简档。如果确定508这样的简档存在，则可以从该简档获得510这个人的相关行为数据。如果这样的简档不存在或不可访问，则可以请求或提示用户经历或参与校准过程，以尝试收集用于为该人构建这样的简档的信息。如果确定512这样的校准过程可以继续，则可以执行校准过程514以生成该人的行为简档。如前所述，这可以包括为该人收集图像和传感器数据，以及潜在地接收关于状态的用户输入，以便在至少某些条件或上下文下为该人生成校准、模式或基线数据。可以参考类似的简档以尝试填补简档中的任何空白，或为校准提供起点。如果不执行校准，或者如果人员未识别，则可以基于任何可用和允许的数据来选择最接近或默认简档，这可能与要执行的人员、位置或动作的方面有关。在一些实施例中，如果用户不能被识别或拒绝执行任何校准，则这样的过程可以确定避免使用用户行为数据以尝试提高状态确定准确度。如果确定或生成简档，则可以利用518 来自该简档的行为数据来归一化状态数据，以便考虑各个用户之间的变化。这可以包括，例如，将行为数据作为输入特征向量提供给时间网络，该时间网络将基于观察到的用户输入推理状态值，例如在最近一段时间内确定的眨眼参数值，其中特定于人基线、范围或行为可用于更准确地推理此人的状态。
68.如所提及的，由于可能与该人所处或涉及的环境或上下文有关的其他因素，人的行为或动作也可能存在变化。对于操作车辆的人，这可以包括各种类型的驾驶上下文信息，
因为可以包括各种环境和其他这样的因素。例如，一个人在明亮的环境中比在黑暗的环境中可能更频繁地眨眼或眯眼。此外，与在附近几乎没有其他车辆或对象的农村环境相比，驾驶员在拥挤的城市位置可能倾向于更加注意，并且在这样的城市环境中可能倾向于更频繁地移动他或她的眼睛。这些环境条件中的至少一些可以通过分析由与车辆相关联的一个或更多个相机(例如图1b所示的那些)捕获的图像或视频数据来确定。环境数据也可以来自其他来源，例如可通过至少一个网络访问的外部数据源(例如交通、天气或导航服务)、内部时钟或温度传感器等。由车辆的传感器获得的其他数据，例如上面关于图1a讨论的一些数据，还可用于确定当前驾驶上下文的各种环境条件或方面，例如基于方向盘运动的道路是弯曲的还是笔直的，基于制动信息的是否有大量交通或停车等。如果gps或导航数据可用，则该信息还可用于为当前路线或位置提供至少一定量的上下文信息。亮度传感器可用于确定照明条件，车辆控制系统(如转向和制动系统)可用于推理道路或交通状况等方面。
69.这种驾驶上下文可用于改进用于在该驾驶上下文中操作的人的状态推理或估计的基线。可以分析任何或所有可用的上下文信息(或其他相关信息或推论)以尝试确定该人在当前条件下的一个或更多个状态基线。这可能包括，例如，调整可用于基于这些条件推理不同困倦状态的范围或基线。例如，如果一个人在暴风雪中比在正常情况下更容易频繁眨眼，那么调整此驾驶上下文的基线可以帮助眨眼频率的增加不会被解释为困倦状态的变化。类似地，如果用户在当前驾驶上下文下通常表现不同，则通常可能被视为典型的对象行为实际上可能表明用户开始昏昏欲睡，其中未能考虑驾驶上下文可能会导致这种困倦增加，否则会继续未被发现。
70.在一些系统中，可以类似地跨所有用户应用驾驶上下文。在其他系统中，可以使用不同驾驶上下文的信息更新个人简档。这可以包括，例如，随着时间的推移监控不同驾驶上下文的用户行为，并根据观察到的行为更新基线。在一些系统中，用户可以授权收集可以帮助校准系统的信息，例如通过在车辆在一组特定的驾驶条件或上下文中运行时响应关于困倦或其他状态的问题。与个人简档一样，可能没有足够的信息来为各种驾驶上下文填写完整的简档，因此系统可能会尝试通过从一个或更多个简档中提取具有相似驾驶上下文变化的其他对象的信息来填充缺失的信息。
71.驾驶上下文(或用于其他活动的类似类型的环境数据)的使用可以使状态估计系统在在各种不同驾驶上下文下对不同个体进行测试时能够很好地概括。为了进一步提高准确性，这样的系统可以利用来自多个来源的输入来获得用户行为以及当前驾驶上下文或环境条件的更准确视图。许多试图确定困倦的传统系统仅依赖于一个来源的数据，例如单个传感器或方法，并且不考虑驾驶上下文中的任何变化。这些系统可能会寻找用户行为，例如视频数据中的打哈欠或方向盘模式的变化作为唯一指标。在没有驾驶上下文的情况下仅使用其中一种方法的检测系统具有低准确度的风险，因为这些困倦信号取决于驾驶上下文，因为处于相同困倦水平状态但在不同驾驶上下文中的驾驶员具有不同的生理行为和驾驶性能。通过融合来自多个来源的信息并考虑除了用户变化和行为之外的驾驶上下文，可以提供一个强大的困倦估计系统，该系统在不同的对象和条件下是准确的。
72.如上所述，对于车辆，可以使用各种相机、传感器或数据源来获得关于当前驾驶上下文的信息。类似的来源可用于其他类型的活动。对于驾驶上下文，该数据可能包括诸如道路曲率、交通量或类型、车道标记能见度、一天中的时间、季节、天气、闪电状况、速度、施工、
车道类型、路面类型、风速、窗口状态、无线电状态或音量、内部照明等数据或与环境方面相关的任何其他数据，这些数据可能会触发对象行为的可检测变化，例如眨眼行为。如所提到的，如果简档不可用于对象或对象不能被识别，则可以使用通用驾驶上下文简档，或者可以至少部分地基于对象的可确定(和允许)方面来选择通用驾驶上下文简档，例如可能影响驾驶行为的年龄、性别、健康状况或地区。至少部分是因为此类数据可能是敏感的(或在某些情况下是不允许的)以收集或用于做出决策，因此可以使用其他方法来尝试预测用户的驾驶行为，例如是否可以获得有关驾驶员经验水平的信息或对特定车辆的熟悉程度。这些信息中的任何一个都可用于改进用于归一化数据的简档基线，使困倦或状态估计模型受用户或情况之间变化的影响最小。在至少一些实施例中，多个困倦估计模型可以基于所有困倦水平中的不同简档基线来训练，使得模型能够在给定任何困倦水平中的基线简档的情况下估计困倦。获得鲁棒性至少部分是因为驾驶上下文影响生理行为和驾驶表现，并且这些影响可能在对象之间进一步变化。例如，拥挤的道路驾驶情况可能比在空旷的道路上驾驶更需要驾驶员的注意力，因此认知负荷可能会增加，眨眼率降低，注视/扫视注视增加，以及其他潜在变化。道路曲率、天气、路线熟悉度和照明条件等方面也会影响生理行为，以及驾驶模式，例如驾驶员如何调整方向盘并保持在车道内。例如，即使对于相同条件下的相同路线，如果这是用户第一次驾驶该路线而不是如果用户经常采取该路线并且熟悉该路线，则用户可能会表现出不同的行为，因此可能倾向于给予较少注意或少警觉。
73.在至少一个实施例中，上下文监测器334可用于分析与驾驶上下文或其他环境条件集相关的可用或接收数据332，如图3所示。这可以包括，例如，分析输入数据以从一组可能的驾驶上下文中确定或推理当前驾驶上下文。在其他实施例中，这可以包括确定可以用于从适当模型中选择适当基线的一组上下文输入或特征。此上下文监视器可以连续运行、定期运行，或者在至少一个上下文输入中检测到显著变化时运行，以及其他此类选项。在一些实施例中，上下文监视器可以包括经过训练以确定给定一组输入的驾驶上下文的神经网络。在其他实施例中，可以使用一种或更多种算法或过程来从所获得的输入确定一个或更多个上下文因素或值。然后，该驾驶上下文可用于确定、设置、选择或计算在当前条件下要监控的一种或更多种行为或状态的适当基线或范围。
74.与上面讨论的用户简档一样，当对象进入车辆或出现在诸如驾驶员座位之类的监控位置时，系统可以尝试识别该人。如果被识别，则系统可以尝试确定该人或对象是否具有可用的简档，并且如果该简档可用且可访问，则系统可以利用该简档中的数据来归一化该用户的当前驾驶上下文的数据并部署适当的状态估计模型。如果对象没有现有的和可访问的简档，则可以尝试生成或获取这样的简档。在一些实施例中，这可以包括在一段时间内监视或捕获与该用户有关的信息以尝试确定基线信息，以及从类似的简档中提取丢失的信息。
75.在一些实施例中，可以以时间增量来提供眨眼参数，例如针对最近一分钟的时间。例如，这可能包括在那一分钟内确定的眨眼次数，以及有关这些眨眼的单独或汇总信息。确定数量的历史可以保留在历史缓冲区中，例如最后六十分钟或最后六十个眨眼数据周期，然后输入到lstm网络可以是长度为60个特征的特征向量。任何驾驶上下文或用户简档信息也可以作为具有相似长度或其他方式的向量提供给至少一个lstm网络。随着时间的推移保持驾驶上下文或用户生理状态的历史可以帮助基于同一时间段内的眨眼或状态行为做出
更准确的确定。在至少一些实施例中，可以为不同类型的上下文信息提供不同的向量。在至少一些实施例中，至少部分地基于当时可用的上下文或条件数据的类型或数量，特征向量(或给定特征向量的组成)可以随时间而不同。这些用于用户简档和驾驶上下文数据的特征向量随后可用于调整阈值或以其他方式解释预期变化(与困倦无关)，以尝试归一化眨眼参数数据并检测仅由困倦变化引起的眨眼行为变化。
76.图5b示出了用于通过考虑当前动作上下文或其他环境或条件信息来提高状态估计的准确性的示例过程550。在该示例中，可以从多个源接收552与动作相关的上下文数据。对于驾驶行为，这可以包括任何与驾驶上下文相关的数据，如从车辆上的相机捕获的图像数据、车辆的传感器数据、车辆的操作信息、来自网络连接服务的环境数据或位置数据，以及本文其他地方讨论和建议的其他选项。在一些实施例中，可以接收或获得信息的超集，并且可以确定或选择该数据的相关子集。该接收到的数据可用于生成554指示当前动作上下文的一个或更多个内容特征向量。例如，接收到的数据可用于确定特定上下文参数的值，例如位置类型、天气、亮度、拥塞等，这些参数可用于构成上下文特征向量。任何生成的上下文特征向量，以及任何用户简档向量(如果可用)和由任何适当的传感器(例如相机) 测量的一组行为参数，并且可能包括诸如方向盘模式、车道保持模式或 eeg/ecg数据等信息，其可以作为输入提供556到时间网络或其他状态确定网络或模块。该时间网络可用于至少部分地基于该输入来估计558状态值，例如人的困倦程度。上下文特征向量和/或用户简档数据(也可以以一个或更多个特征向量的形式提供)可用于尝试对行为参数进行归一化，以解决可能不是由于人的状态的变化，但可能是由于当前动作上下文或特定于人的行为模式的变化的行为变化。然后可以提供560由该网络生成的估计状态值作为人的当前状态的量度。
77.一旦生成状态估计，关于该估计的信息可以用于各种目的。例如，对于车辆驾驶员的困倦状态，在困倦开始时可能存在一个值或值范围，这些值会导致采取某些动作，例如通知用户、发出警报或显示表示检测到用户昏昏欲睡的图标。在一些实施例中，可以针对用户或驾驶上下文定制消息或警报，因为与晴天在城市的高速公路上的某人相关的动作可能不同于某人在暴风雪中的乡村道路上驾驶。此外，不同的用户可能更有可能采取不同的行动，或者可能不喜欢某些建议(例如，喝咖啡或咖啡因)。在至少一些实施例中，也可以至少部分地基于用户的历史或偏好数据来做出推荐，例如其中用户之前在长途驾驶中在咖啡店停留过或表示他们不喝咖啡因。可能存在车辆采取特定行动的其他困倦程度或范围。这可以包括，例如，激活驾驶员辅助过程或改变所提供的驾驶员辅助量。例如，如果确定驾驶员处于特定的困倦状态，则可以增加车道维护和自动制动。在一些情况下，车辆的控制系统336可以被编程为针对输出困倦估计330指示的高度困倦采取剧烈行动，例如进入完全自主模式或将车停到路边直到驾驶员不再处于高度困倦状态时。在某些情况下，当确定驾驶员处于某种状态时，可能需要定期发出警报或采取特定行动。这些行动可能因地点、管辖权、车辆、对象类型、活动类型或其他此类因素而异。
78.本文中所呈现的不同方法足够轻量以在不同类型的设备(例如，个人计算机、智能车辆或游戏控制台)上实时执行。这样的处理可以使用在该设备上捕获或生成的或者从外部源接收的数据来执行，诸如通过至少一个网络接收的流化数据。该源可以是任何适当的源，诸如单独的客户端设备、流化数据提供商或第三方数据提供者，以及其他这样的选项。在一些实例中，这些数据的处理和/或使用可以由这些其他设备、系统或实体之一执行，然
后被提供给客户端设备(或另一个这样的接收者)以供呈现或另一这种使用。
79.作为示例，图6示出了可以用于提供、生成、修改、编码和/或传输数据的示例网络配置600。在至少一个实施例中，客户端设备602可以针对会话使用客户端设备602上的状态监测应用604的组件和本地存储在该客户端设备上的数据来生成或接收数据。在至少一个实施例中，在数据或内容服务器620(例如，云服务器或边缘服务器)上执行的状态监测应用624 可以发起与至少客户端设备602相关联的会话，如可以利用会话管理器和存储在用户数据库634中的用户数据，并且可以使内容由内容管理器626 确定或管理。估计器模块628可尝试基于接收到的数据估计一个或更多个对象的状态数据，并且可以与上下文模块630一起工作以接收根据接收到的数据确定的上下文数据。随后可使用适当的传输管理器622将该数据或状态估计的至少一部分传输至客户端设备602以通过下载、流式传输、或另一个这种传输信道进行发送。编码器可以用于在向客户端设备602传输之前编码和/或压缩此数据。在至少一个实施例中，该数据632可以包括与状态估计、用户行为或动作上下文相关的任何数据。在至少一个实施例中，接收该数据的客户端设备602可以将该数据提供给相应的状态监视器604，该状态监视器604还可以或替代地包括用于分析接收到客户端设备602或由客户端捕获的数据的状态估计器612或上下文确定模块614。解码器还可用于对通过网络640接收的数据进行解码，以用于呈现或经由客户端设备602的动作，例如通过显示器606或通过至少一个音频回放设备608(例如扬声器或耳机)的音频(例如警报或声音通知)通知内容。在至少一个实施例中，该数据中的至少一些数据可能已经存储在客户端设备602上、生成在客户端设备602上或可由客户端设备602访问，使得数据的至少该部分不需要通过网络640的传输，诸如在该数据可能先前已经下载或本地存储在硬盘驱动器或光盘上的情况下。在至少一个实施例中，诸如数据流传送之类的传输机制可以用于从服务器620传送该数据，诸如从简档数据库632传输至客户端设备602。在至少一个实施例中，该数据的至少一部分可从另一源(诸如还可包括用于估计状态、确定用户行为模式或确定动作上下文的功能的分开的客户机设备650或第三方服务660)获得、确定或流传输。在至少一个实施例中，可以使用多个计算设备或一个或更多个计算设备内的多个处理器(诸如可以包括cpu和gpu的组合)来执行该功能的部分。
80.在此示例中，客户端设备可包含任何适当的计算设备，如可包含桌上型计算机、笔记本计算机、机顶盒、流式传输装置、游戏控制台、智能电话、平板计算机、智能车辆、机器人辅助机器、vr头盔、ar护目镜、可穿戴计算机或智能电视。每个客户端设备可能能够跨至少一个有线或无线网络(如可包括互联网、以太网、局域网(lan)或蜂窝网络以及其他此类选项)提交请求。在该示例中，这些请求能够被提交给与云提供者相关联的地址或从与云提供者相关联的地址接收，所述云提供者可操作或控制云提供者环境中的一个或更多个电子资源，诸如可包括数据中心或服务器群。在至少一个实施例中，请求可以由位于网络边缘上并且在与云提供者环境相关联的至少一个安全层之外的至少一个边缘服务器接收或处理。以此方式，通过使得客户机设备能够与更接近的服务器交互，同时还改进云提供者环境中的资源的安全性，可以减少等待时间。
81.在至少一个实施例中，这种系统可以用于执行图形渲染操作。在其他实施例中，这样的系统可以用于其他目的，诸如用于提供图像或视频内容以测试或验证自主机器应用，或者用于执行深度学习操作。在至少一个实施例中，这种系统可以使用边缘设备来实现，或
者可以结合一个或更多个虚拟机(vm)。在至少一个实施例中，这样的系统可至少部分地在数据中心中实现或至少部分地使用云计算资源来实现。
82.推理和训练逻辑
83.图7a示出了用于执行与一个或更多个实施例相关联的推理和/或训练操作的推理和/或训练逻辑715。下面结合图7a和/或图7b提供关于推理和/或训练逻辑715的细节。
84.在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于代码和/或数据存储701，用于存储前向和/或输出权重和/或输入/输出数据，和/ 或在一个或更多个实施例的方面中配置被训练为和/或用于推理的神经网络的神经元或层的其他参数。在至少一个实施例中，训练逻辑715可以包括或耦合到用于存储图形代码或其他软件以控制时序和/或顺序的代码和/ 或数据存储701，其中权重和/或其他参数信息被加载以配置逻辑，包括整数和/或浮点单元(统称为算术逻辑单元(alu))。在至少一个实施例中，代码(诸如图代码)基于该代码所对应的神经网络的架构将权重或其他参数信息加载到处理器alu中。在至少一个实施例中，代码和/或数据存储 701存储在使用一个或更多个实施例的方面训练和/或推理期间的输入/输出数据和/或权重参数的前向传播期间结合一个或更多个实施例训练或使用的神经网络的每个层的权重参数和/或输入/输出数据。在至少一个实施例中，代码和/或数据存储701的任何部分都可以包括在其他片上或片外数据存储内，包括处理器的l1、l2或l3高速缓存或系统存储器。
85.在至少一个实施例中，代码和/或数据存储701的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中，代码和/或数据存储701可以是高速缓存存储器、动态随机可寻址存储器(“dram”)、静态随机可寻址存储器(“sram”)、非易失性存储器(例如闪存)或其他存储。在至少一个实施例中，对代码和/或数据存储701是在处理器的内部还是外部的选择，例如，或者由dram、sram、闪存或某种其他存储类型组成，可以取决于存储片上或片外的可用存储空间，正在执行训练和/或推理功能的延迟要求，在神经网络的推理和/或训练中使用的数据的批大小或这些因素的某种组合。
86.在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于代码和/或数据存储705，以存储与在一个或更多个实施例的方面中被训练为和/ 或用于推理的神经网络的神经元或层相对应的反向和/或输出权重和/或输入/输出数据神经网络。在至少一个实施例中，在使用一个或更多个实施例的方面训练和/或推理期间，代码和/或数据存储705存储在输入/输出数据和/或权重参数的反向传播期间结合一个或更多个实施例训练或使用的神经网络的每个层的权重参数和/或输入/输出数据。在至少一个实施例中，训练逻辑715可以包括或耦合到用于存储图代码或其他软件以控制时序和/ 或顺序的代码和/或数据存储705，其中权重和/或其他参数信息被加载以配置逻辑，该逻辑包括整数和/或浮点单元(统称为算术逻辑单元(alu))。在至少一个实施例中，代码(诸如图代码)使得基于该代码所对应的神经网络的架构将权重或其他参数信息加载到处理器alu中。在至少一个实施例中，代码和/或数据存储705的任何部分可以与其他片上或片外数据存储一起包括，包括处理器的l1、l2或l3高速缓存或系统存储器。在至少一个实施例中，代码和/或数据存储705的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路上的内部或外部。在至少一个实施例中，代码和/或数据存储705可以是高速缓存存储器、dram、sram、非易失性存储器(例如闪存)或其他存储。在至少一个实施例中，代码和/或数据存储705是在处理器的内部还是
外部的选择，例如，是由dram、sram、闪存还是其他某种存储类型组成，取决于可用存储是片上还是片外，正在执行的训练和/或推理功能的延迟要求，在神经网络的推理和/或训练中使用的数据批量大小或这些因素的某种组合。
87.在至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705可以是分开的存储结构。在至少一个实施例中，代码和/或数据存储 701以及代码和/或数据存储705可以是相同的存储结构。在至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705可以部分地相同的存储结构和部分地分离的存储结构。在至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705的任何部分可以与其他片上或片外数据存储包括在一起，包括处理器的l1、l2或l3高速缓存或系统存储器。
88.在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于一个或更多个算术逻辑单元(“alu”)710(包括整数和/或浮点单元)，用于至少部分地基于训练和/或推理代码(例如，图代码)或由其指示来执行逻辑和/或数学运算，其结果可能会产生存储在激活存储720中的激活(例如，来自神经网络内部的层或神经元的输出值)，其是存储在代码和/或数据存储701和/或代码和/或数据存储705中的输入/输出和/或权重参数数据的函数。在至少一个实施例中，激活响应于执行指令或其他代码，由alu 710 执行的线性代数和/或基于矩阵的数学生成在激活存储720中存储的激活，其中存储在代码和/或数据存储705中和/或代码和/或数据存储701中的权重值用作具有其他值的操作数，例如偏置值、梯度信息、动量值或其他参数或超参数，可以将任何或所有这些存储在代码和/或数据存储705或代码和/或数据存储701或其他片上或片外存储中。
89.在至少一个实施例中，一个或更多个处理器或其他硬件逻辑设备或电路中包括一个或更多个alu 710，而在另一实施例中，一个或更多个alu 710可以在处理器或其他硬件逻辑设备或使用它们(例如协处理器)的电路外。在至少一个实施例中，可以将一个或更多个alu 710包括在处理器的执行单元之内，或者以其他方式包括在由处理器的执行单元可访问的 alu组中，该处理器的执行单元可以在同一处理器内或者分布在不同类型的不同处理器之间(例如，中央处理单元、图形处理单元、固定功能单元等)。在至少一个实施例中，代码和/或数据存储701、代码和/或数据存储 705以及激活存储720可以是相同处理器或其他硬件逻辑设备或电路，而在另一实施例中，它们可以在不同的处理器或其他硬件逻辑设备或电路或相同和不同处理器或其他硬件逻辑设备或电路的某种组合中。在至少一个实施例中，激活存储720的任何部分可以与其他片上或片外数据存储包括在一起，包括处理器的l1、l2或l3高速缓存或系统存储器。此外，推理和/或训练代码可以与处理器或其他硬件逻辑或电路可访问的其他代码一起存储，并可以使用处理器的提取、解码、调度、执行、退出和/或其他逻辑电路来提取和/或处理。
90.在至少一个实施例中，激活存储720可以是高速缓存存储器、dram、 sram、非易失性存储器(例如，闪存)或其他存储。在至少一个实施例中，激活存储720可以完全地或部分地在一个或更多个处理器或其他逻辑电路内部或外部。在至少一个实施例中，可以取决于片上或片外可用的存储，进行训练和/或推理功能的延迟要求，在推理和/或训练神经网络中使用的数据的批量大小或这些因素的某种组合，选择激活存储720是处理器的内部还是外部，例如，或者包含dram、sram、闪存或其他存储类型。在至少一个实施例中，图7a中所示的推理和/或训练逻辑715可以与专用集成电路(“asic”)结合使用，例如来自google的
tensorflow处理单元、来自graphcore
tm
的推理处理单元(ipu)或来自intel corp的nervana(例如“lake crest”)处理器。在至少一个实施例中，图7a所示的推理和/或训练逻辑715可与中央处理单元(“cpu”)硬件，图形处理单元(“gpu”) 硬件或其他硬件(例如现场可编程门阵列(“fpga”))结合使用。
91.图7b示出了根据至少一个或更多个实施例的推理和/或训练逻辑715。在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于硬件逻辑，其中计算资源被专用或以其他方式唯一地连同对应于神经网络内的一层或更多层神经元的权重值或其他信息一起使用。在至少一个实施例中，图7b 中所示的推理和/或训练逻辑715可以与专用集成电路(asic)结合使用，例如来自google的tensorflow处理单元，来自graphcore
tm
的推理处理单元(ipu)或来自intel corp的nervana(例如“lake crest”)处理器。在至少一个实施例中，图7b中所示的推理和/或训练逻辑715可以与中央处理单元(cpu)硬件、图形处理单元(gpu)硬件或其他硬件(例如现场可编程门阵列(fpga))结合使用。在至少一个实施例中，推理和/或训练逻辑715包括但不限于代码和/或数据存储701以及代码和/或数据存储 705，其可以用于存储代码(例如，图代码)、权重值和/或其他信息，包括偏置值、梯度信息、动量值和/或其他参数或超参数信息。在图7b中所示的至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储 705中的每一个都分别与专用计算资源(例如计算硬件702和计算硬件706) 相关联。在至少一个实施例中，计算硬件702和计算硬件706中的每一个包括一个或更多个alu，这些alu仅分别对存储在代码和/或数据存储701 和代码和/或数据存储705中的信息执行数学函数(例如线性代数函数)，执行函数的结果被存储在激活存储720中。
92.在至少一个实施例中，代码和/或数据存储701和705以及相应的计算硬件702和706中的每一个分别对应于神经网络的不同层，使得从代码和/ 或数据存储701和计算硬件702的一个“存储/计算对701/702”得到的激活提供作为代码和/或数据存储705和计算硬件706的下一个“存储/计算对 705/706”的输入，以便反映神经网络的概念组织。在至少一个实施例中，每个存储/计算对701/702和705/706可以对应于一个以上的神经网络层。在至少一个实施例中，在推理和/或训练逻辑715中可以包括在存储计算对 701/702和705/706之后或与之并行的附加存储/计算对(未示出)。
93.数据中心
94.图8示出了可以使用至少一个实施例的示例数据中心800。在至少一个实施例中，数据中心800包括数据中心基础设施层810、框架层820、软件层830和应用层840。
95.在至少一个实施例中，如图8所示，数据中心基础设施层810可以包括资源协调器812、分组计算资源814和节点计算资源(“节点c.r.”)816 (1)-816(n)，其中“n”代表任何正整数。在至少一个实施例中，节点 c.r.816(1)-816(n)可以包括但不限于任何数量的中央处理单元(“cpu”) 或其他处理器(包括加速器、现场可编程门阵列(fpga)、图形处理器等)，存储器设备(例如动态只读存储器)、存储设备(例如固态硬盘或磁盘驱动器)，网络输入/输出(“nw i/o”)设备，网络交换机，虚拟机(“vm”)，电源模块和冷却模块等。在至少一个实施例中，节点c.r.816(1)-816(n) 中的一个或更多个节点c.r.可以是具有一个或更多个上述计算资源的服务器。
96.在至少一个实施例中，分组计算资源814可以包括容纳在一个或更多个机架内的
节点c.r.的单独分组(未示出)，或者容纳在各个地理位置的数据中心内的许多机架(也未示出)。分组的计算资源814内的节点c.r. 的单独分组可以包括可以被配置或分配为支持一个或更多个工作负载的分组的计算、网络、存储器或存储资源。在至少一个实施例中，可以将包括cpu或处理器的几个节点c.r.分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负载。在至少一个实施例中，一个或更多个机架还可以包括任何数量的电源模块、冷却模块和网络交换机，以任意组合。
97.在至少一个实施例中，资源协调器812可以配置或以其他方式控制一个或更多个节点c.r.816(1)-816(n)和/或分组的计算资源814。在至少一个实施例中，资源协调器812可以包括用于数据中心800的软件设计基础结构(“sdi”)管理实体。在至少一个实施例中，资源协调器可以包括硬件、软件或其某种组合。
98.在至少一个实施例中，如图8所示，框架层820包括作业调度器822、配置管理器824、资源管理器826和分布式文件系统828。在至少一个实施例中，框架层820可以包括支持软件层830的软件832和/或应用层840的一个或更多个应用842的框架。在至少一个实施例中，软件832或应用842 可以分别包括基于web的服务软件或应用，例如由amazon web services， google cloud和microsoft azure提供的服务或应用。在至少一个实施例中，框架层820可以是但不限于一种免费和开放源软件网络应用框架，例如可以利用分布式文件系统828来进行大范围数据处理(例如“大数据”)的 apache spark
tm
(以下称为“spark”)。在至少一个实施例中，作业调度器 832可以包括spark驱动器，以促进对数据中心800的各个层所支持的工作负载进行调度。在至少一个实施例中，配置管理器824可以能够配置不同的层，例如软件层830和包括spark和用于支持大规模数据处理的分布式文件系统828的框架层820。在至少一个实施例中，资源管理器826能够管理映射到或分配用于支持分布式文件系统828和作业调度器822的集群或分组计算资源。在至少一个实施例中，集群或分组计算资源可以包括数据中心基础设施层810上的分组计算资源814。在至少一个实施例中，资源管理器826可以与资源协调器812协调以管理这些映射的或分配的计算资源。
99.在至少一个实施例中，包括在软件层830中的软件832可以包括由节点c.r.816(1)-816(n)的至少一部分，分组的计算资源814和/或框架层820的分布式文件系统828使用的软件。一种或更多种类型的软件可以包括但不限于internet网页搜索软件、电子邮件病毒扫描软件、数据库软件和流视频内容软件。
100.在至少一个实施例中，应用层840中包括的一个或更多个应用842可以包括由节点c.r.816(1)-816(n)的至少一部分、分组计算资源814 和/或框架层820的分布式文件系统828使用的一种或更多种类型的应用。一种或更多种类型的应用可以包括但不限于任何数量的基因组学应用、认知计算和机器学习应用，包括训练或推理软件，机器学习框架软件(例如 pytorch、tensorflow、caffe等)或其他与一个或更多个实施例结合使用的机器学习应用。
101.在至少一个实施例中，配置管理器824、资源管理器826和资源协调器812中的任何一个可以基于以任何技术上可行的方式获取的任何数量和类型的数据来实现任何数量和类型的自我修改动作。在至少一个实施例中，自我修改动作可以减轻数据中心800的数据中心操作员做出可能不好的配置决定并且可以避免数据中心的未充分利用和/或执行差的部分。
102.在至少一个实施例中，数据中心800可以包括工具、服务、软件或其他资源，以根据本文所述的一个或更多个实施例来训练一个或更多个机器学习模型或者使用一个或更多个机器学习模型来预测或推理信息。例如，在至少一个实施例中，可以通过使用上文关于数据中心800描述的软件和计算资源，根据神经网络架构通过计算权重参数来训练机器学习模型。在至少一个实施例中，通过使用通过本文所述的一种或更多种训练技术计算出的权重参数，可以使用上面与关于数据中心800所描述的资源，使用对应于一个或更多个神经网络的经训练的机器学习模型来推理或预测信息。
103.在至少一个实施例中，数据中心可以使用cpu、专用集成电路(asic)、 gpu、fpga或其他硬件来使用上述资源来执行训练和/或推理。此外，上述的一个或更多个软件和/或硬件资源可以配置成一种服务，以允许用户训练或执行信息推理，例如图像识别、语音识别或其他人工智能服务。
104.推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图7a和/或图7b提供关于推理和/或训练逻辑 715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在系统图 8中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/ 或体系架构，或者本文所述的神经网络用例计算的权重参数推理或预测操作。
105.这些组件可用于使用从一个或更多个质量评估值确定的参数来将组成图像合成为单个表示。
106.计算机系统
107.图9是示出根据至少一个实施例示例性计算机系统的框图，该示例性计算机系统可以是具有互连的设备和组件的系统，片上系统(soc)或它们的某种形成有处理器的组合，该处理器可以包括执行单元以执行指令。在至少一个实施例中，根据本公开，例如本文所述的实施例，计算机系统 900可以包括但不限于组件，例如处理器902，其执行单元包括逻辑以执行用于过程数据的算法。在至少一个实施例中，计算机系统900可以包括处理器，例如可从加利福尼亚圣塔克拉拉的英特尔公司(intel corporation ofsanta clara,california)获得的pentium处理器家族、xeon
tm
、itanium、 xscale
tm
和/或strongarm
tm
，intelcore
tm
或intelnervana
tm
微处理器，尽管也可以使用其他系统(包括具有其他微处理器的pc、工程工作站、机顶盒等)。在至少一个实施例中，计算机系统900可以执行可从华盛顿州雷蒙德市的微软公司(microsoft corporation of redmond,wash.)获得的 windows操作系统版本，尽管其他操作系统(例如unix和linux)、嵌入式软件和/或图形用户界面也可以使用。
108.实施例可以用在其他设备中，例如手持设备和嵌入式应用。手持设备的一些示例包括蜂窝电话、互联网协议(internet protocol)设备、数码相机、个人数字助理(“pda”)和手持pc。在至少一个实施例中，嵌入式应用可以包括微控制器、数字信号处理器(“dsp”)、片上系统、网络计算机(“netpc”)、机顶盒、网络集线器、广域网(“wan”)交换机，或根据至少一个实施例可以执行一个或更多个指令的任何其他系统。
109.在至少一个实施例中，计算机系统900可包括但不限于处理器902，该处理器902可包括但不限于一个或更多个执行单元908，以根据本文描述的技术执行机器学习模型训练和/或推理。在至少一个实施例中，计算机系统900是单处理器台式机或服务器系统，但是在
另一实施例中，计算机系统900可以是多处理器系统。在至少一个实施例中，处理器902可以包括但不限于复杂指令集计算机(“cisc”)微处理器、精简指令集计算 (“risc”)微处理器、超长指令字(“vliw”)微处理器、实现指令集组合的处理器，或任何其他处理器设备，例如数字信号处理器。在至少一个实施例中，处理器902可以耦合到处理器总线910，该处理器总线910可以在处理器902与计算机系统900中的其他组件之间传输数据信号。
110.在至少一个实施例中，处理器902可以包括但不限于1级(“l1”) 内部高速缓存存储器(“cache”)904。在至少一个实施例中，处理器902 可以具有单个内部高速缓存或多级内部缓存。在至少一个实施例中，高速缓存存储器可以驻留在处理器902的外部。根据特定的实现和需求，其他实施例也可以包括内部和外部高速缓存的组合。在至少一个实施例中，寄存器文件906可以在各种寄存器中存储不同类型的数据，包括但不限于整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器。
111.在至少一个实施例中，包括但不限于执行整数和浮点运算的逻辑的执行单元908，其也位于处理器902中。在至少一个实施例中，处理器902 还可以包括微码(“ucode”)只读存储器(“rom”)，用于存储某些宏指令的微代码。在至少一个实施例中，执行单元908可以包括用于处理封装指令集909的逻辑。在至少一个实施例中，通过将封装指令集909包括在通用处理器902的指令集中，以及要执行指令的相关电路，可以使用通用处理器902中的封装数据来执行许多多媒体应用使用的操作。在一个或更多个实施例中，可以通过使用处理器的数据总线的全宽度来在封装的数据上执行操作来加速和更有效地执行许多多媒体应用，这可能不需要在该处理器的数据总线上传输较小的数据单元来一次执行一个数据元素的一个或更多个操作。
112.在至少一个实施例中，执行单元908也可以用在微控制器、嵌入式处理器、图形设备、dsp和其他类型的逻辑电路中。在至少一个实施例中，计算机系统900可以包括但不限于存储器920。在至少一个实施例中，存储器920可以作为动态随机存取存储器(“dram”)设备、静态随机存取存储器(“sram”)设备、闪存设备或另一个存储设备实施。在至少一个实施例中，存储器920可以存储由处理器902可以执行的由数据信号表示的指令919和/或数据921。
113.在至少一个实施例中，系统逻辑芯片可以耦合到处理器总线910和存储器920。在至少一个实施例中，系统逻辑芯片可以包括但不限于存储器控制器集线器(“mch”)916，并且处理器902可以经由处理器总线910 与mch 916通信。在至少一个实施例中，mch 916可以提供到存储器920 的高带宽存储器路径918以用于指令和数据存储以及用于图形命令、数据和纹理的存储。在至少一个实施例中，mch 916可以在处理器902、存储器920和计算机系统900中的其他组件之间启动数据信号，并且在处理器总线910、存储器920和系统i/o接口922之间桥接数据信号。在至少一个实施例中，系统逻辑芯片可以提供用于耦合到图形控制器的图形端口。在至少一个实施例中，mch 916可以通过高带宽存储器路径918耦合到存储器920，并且图形/视频卡912可以通过加速图形端口(acceleratedgraphics port)(“agp”)互连914耦合到mch 916。
114.在至少一个实施例中，计算机系统900可以使用系统i/o接口922 即专有集线器接口总线来将mch 916耦合到i/o控制器集线器(“ich”) 930。在至少一个实施例中，ich 930可以通过本地i/o总线提供与某些i/o 设备的直接连接。在至少一个实施例中，本地i/o总线可以包括但不限于用于将外围设备连接到存储器920、芯片组和处理器902的高速i/o总
线。示例可以包括但不限于音频控制器929、固件集线器(“flash bios”)928、无线收发器926、数据存储924、包含用户输入和键盘接口的传统i/o控制器923、串行扩展端口927(例如通用串行总线(usb)端口)和网络控制器934。数据存储924可以包括硬盘驱动器、软盘驱动器、cd-rom设备、闪存设备或其他大容量存储设备。
115.在至少一个实施例中，图9示出了包括互连的硬件设备或“芯片”的系统，而在其他实施例中，图9可以示出片上系统(“soc”)。在至少一个实施例中，图9中示出的设备可以与专有互连、标准化互连(例如，pcie) 或其某种组合互连。在至少一个实施例中，计算机系统900的一个或更多个组件使用计算快速链路(cxl)互连来互连。
116.推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图7a和/或7b提供关于推理和/或训练逻辑715 的细节。在至少一个实施例中，推理和/或训练逻辑715可以在系统图9中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/ 或架构或神经网络使用情况计算的权重参数来推理或预测操作。
117.这些组件可用于使用从一个或更多个质量评估值确定的参数来将组成图像合成为单个表示。
118.图10是示出了根据至少一个实施例的用于利用处理器1010的电子设备1000的框图。在至少一个实施例中，电子设备1000可以是，例如但不限于，笔记本、塔式服务器、机架式服务器、刀片式服务器、膝上型计算机、台式计算机、平板计算机、移动设备、电话、嵌入式计算机或任何其他合适的电子设备。
119.在至少一个实施例中，系统1000可以包括但不限于处理器1010，所述处理器通信地耦合至任何合适数量或种类的组件、外围设备、模块或设备。在至少一个实施例中，处理器1010使用总线或接口(诸如1℃总线) 耦合，系统管理总线(“smbus”)、低引脚计数(lpc)总线、串行外围接口(“spi”)、高清晰度音频(“hda”)总线、串行高级技术附件(“sata”) 总线、通用串行总线(“usb”)(版本1、2、3)，或通用异步接收器/发送器(“uart”)总线。在至少一个实施例中，图10示出了一种系统，该系统包括互连的硬件设备或“芯片”，而在其他实施例中，图10可以示出示例性片上系统(“soc”)。在至少一个实施例中，图10中所示出的设备可以与专用互连、标准化互连(例如，pcie)或其某种组合互连。在至少一个实施例中，使用计算快速链路(cxl)互连来互连图10的一个或更多个组件。
120.在至少一个实施例中，图10可以包括显示器1024、触摸屏1025，触摸板1030、近场通信单元(“nfc”)1045、传感器集线器1040，热传感器1046、快速芯片组(“ec”)1035、可信平台模块(“tpm”)1038，bios/ 固件/闪存(“bios，fw闪存”)1022、dsp 1060、驱动器1020(如固态磁盘(“ssd”)或硬盘驱动器(“hdd”))、无线局域网单元(“wlan”) 1050、蓝牙单元1052、无线广域网单元(“wwan”)1056、全球定位系统 (gps)1055、相机(“usb 3.0相机”)1054(例如usb 3.0相机)，和/ 或在其中实施的低功率双倍数据速率(“lpddr”)存储器单元(“lpddr3”) 1015，例如，lpddr3标准。这些组件可以各自以任何合适的方式实施。
121.在至少一个实施例中，其他组件可以通过以上讨论的组件通信地耦合到处理器1010。在至少一个实施例中，加速度计1041、环境光传感器 (“als”)1042、罗盘1043和陀螺仪1044可以通信地耦合至传感器中枢1040。在至少一个实施例中，热传感器1039、风扇1037、键盘1046和触摸板1030可以通信地耦合到ec1035。在至少一个实施例中，扬声器
1063、头戴式耳机1064和麦克风(“mic”)1065可以通信地耦合至音频单元(“音频编解码器和d类放大器”)1062，该音频单元进而可以通信地耦合至 dsp1060。在至少一个实施例中，音频单元1064可以包括(例如但不限于) 音频编码器/解码器(“编解码器”)和d类放大器。在至少一个实施例中， sim卡(“sim”)1057可以通信地耦合到wwan单元1056。在至少一个实施例中，可以在下一代形状因子(“ngff”)中实施诸如wlan单元1050 和蓝牙单元1052以及wwan单元1056的组件。
122.推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图7a和/或图7b提供关于推理和/或训练逻辑 715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在图10 的系统中用于至少部分地基于使用在此描述的神经网络训练操作、神经网络功能和/或架构或神经网络使用情况计算的权重参数来推理或预测操作。
123.这些组件可用于使用从一个或更多个质量评估值确定的参数来将组成图像合成为单个表示。
124.图11是根据至少一个实施例的处理系统的框图。在至少一个实施例中，系统1100包括一个或更多个处理器1102和一个或更多个图形处理器1108，并且可以是单处理器桌面系统、多处理器工作站系统或具有大量处理器1102或处理器核心1107的服务器系统。在至少一个实施例中，系统 1100是结合在片上系统(soc)集成电路内以便在移动、手持或嵌入式设备中使用的处理平台。
125.在至少一个实施例中，系统1100可以包括或结合在基于服务器的游戏平台中的游戏控制台(包括游戏和媒体控制台)、移动游戏控制台、手持式游戏控制台或在线游戏控制台。在至少一个实施例中，系统1100是移动电话、智能电话、平板计算设备或移动互联网设备。在至少一个实施例中，处理系统1100还可以包括可穿戴设备(诸如智能手表可穿戴设备、智能眼镜设备、增强现实设备或虚拟现实设备)、与可穿戴设备耦合或集成在可穿戴设备内。在至少一个实施例中，处理系统1100是具有一个或更多个处理器1102和由一个或更多个图形处理器1108生成的图形界面的电视或机顶盒设备。
126.在至少一个实施例中，一个或更多个处理器1102各自包括用于处理指令的一个或更多个处理器核心1107，这些指令在被执行时执行用于系统和用户软件的操作。在至少一个实施例中，一个或更多个处理器核心1107 中的每一个被配置为处理特定的指令集1109。在至少一个实施例中，指令集1109可以促进复杂指令集计算(cisc)、精简指令集计算(risc)或经由超长指令字(vliw)的计算。在至少一个实施例中，处理器核心1107 可以各自处理不同的指令集1109，其可以包括促进对其他指令集的模拟的指令。在至少一个实施例中，处理器核心1107还可包括其他处理设备，诸如数字信号处理器(dsp)。
127.在至少一个实施例中，处理器1102包括高速缓存存储器1104。在至少一个实施例中，处理器1102可以具有单个内部高速缓存或多级内部高速缓存。在至少一个实施例中，高速缓存存储器在处理器1102的不同组件之间共享。在至少一个实施例中，处理器1102还使用外部高速缓存(例如， 3级(l3)高速缓存或最后一级高速缓存(llc))(未示出)，可以使用已知的高速缓存一致性技术在处理器核心1107之间共享该外部高速缓存。在至少一个实施例中，寄存器文件1106另外包含在处理器1102中，处理器 1102可包含用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存
器)。在至少一个实施例中，寄存器文件1106可包括通用寄存器或其他寄存器。
128.在至少一个实施例中，一个或更多个处理器1102与一个或更多个接口总线1110耦接，以在处理器1102与系统1100中的其他组件之间传输通信信号，诸如地址、数据或控制信号。在至少一个实施例中，接口总线1110 在一个实施例中可以是处理器总线，诸如直接媒体接口(dmi)总线的版本。在至少一个实施例中，接口1110不限于dmi总线，并且可以包括一个或更多个外围组件互连总线(例如，pci、pciexpress)、存储器总线或其他类型的接口总线。在至少一个实施例中，处理器1102包括集成存储器控制器1116和平台控制器中枢1130。在至少一个实施例中，存储器控制器1116促进存储器设备与系统1100的其他组件之间的通信，而平台控制器中枢(pch)1130经由本地i/o总线提供到i/o设备的连接。
129.在至少一个实施例中，存储器设备1120可以是动态随机存取存储器 (dram)设备、静态随机存取存储器(sram)设备、闪存存储器设备、相变存储器设备、或具有适合用作过程存储器的性能的某种其他存储器设备。在至少一个实施例中，存储器设备1120可以作为系统1100的系统存储器来操作，以存储数据1122和指令1121，以供在一个或更多个处理器 1102执行应用或过程时使用。在至少一个实施例中，存储器控制器1116 还与可选的外部图形处理器1112耦合，该外部图形处理器可以与处理器 1102中的一个或更多个图形处理器1108通信以执行图形和媒体操作。在至少一个实施例中，显示设备1111可连接到(一个或更多个)处理器1102。在至少一个实施例中，显示设备1111可以包括内部显示设备中的一个或更多个，如在经由显示接口(例如，displayport等)附接的移动电子设备或膝上型设备或外部显示设备中。在至少一个实施例中，显示设备1111可包括头戴式显示器(hmd)，诸如用于虚拟现实(vr)应用或增强现实(ar) 应用中的立体显示设备。
130.在至少一个实施例中，平台控制器集线器1130使得外围设备能够经由高速i/o总线连接到存储器设备1120和处理器1102。在至少一个实施例中，i/o外围设备包括但不限于音频控制器1146、网络控制器1134、固件接口1128、无线收发器1126、触摸传感器1125、数据存储设备1124(例如，硬盘驱动器、闪存等)。在至少一个实施例中，数据存储设备1124可以经由存储接口(例如，sata)或经由外围总线(诸如外围组件互连总线 (例如，pci、pciexpress))连接。在至少一个实施例中，触摸传感器1125 可包括触摸屏传感器、压力传感器或指纹传感器。在至少一个实施例中，无线收发器1126可以是wi-fi收发器、蓝牙收发器或移动网络收发器，诸如3g、4g或长期演进(lte)收发器。在至少一个实施例中，固件接口 1128实现与系统固件的通信，并且可以是例如统一可扩展固件接口(uefi)。在至少一个实施例中，网络控制器1134可以实现到有线网络的网络连接。在至少一个实施例中，高性能网络控制器(未示出)与接口总线1110耦合。在至少一个实施例中，音频控制器1146是多通道高清晰度音频控制器。在至少一个实施例中，系统1100包括用于将传统(例如，个人系统2(ps/2)) 设备耦合到系统的可选的传统i/o控制器1140。在至少一个实施例中，平台控制器中枢1130还可连接到一个或更多个通用串行总线(usb)控制器 1142连接输入设备，诸如键盘和鼠标1143组合、相机1144或其他usb 输入设备。
131.在至少一个实施例中，存储器控制器1116和平台控制器集线器1130 的实例可以集成到分立的外部图形处理器(如外部图形处理器1112)中。在至少一个实施例中，平台控制器集线器1130和/或存储器控制器1116可以在一个或更多个处理器1102外部。例如，在至少一个实施例中，系统 1100可以包括外部存储器控制器1116和平台控制器集线器1130，其
可以被配置为与处理器1102进行通信的系统芯片组内的存储器控制器集线器和外围控制器集线器。
132.推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图7a和/或7b提供关于推理和/或训练逻辑715 的细节。在至少一个实施例中，推理和/或训练逻辑715的部分或全部可以结合到图形处理器1500中。例如，在至少一个实施例中，在此描述的训练和/或推理技术可以使用在图形处理器中实施的一个或更多个alu。此外，在至少一个实施例中，在此描述的推理和/或训练操作可以使用除图7a或 7b中所示出的逻辑之外的逻辑来完成。在至少一个实施例中，可以将权重参数存储在片上或片外存储器和/或寄存器(示出或未示出)中，这些存储器和/或寄存器将图形处理器的alu配置成用于执行在此描述的一个或更多个机器学习算法、神经网络架构、用例或训练技术。
133.这些组件可用于使用从一个或更多个质量评估值确定的参数来将组成图像合成为单个表示。
134.图12是根据至少一个实施例的一个处理器1200的框图，该处理器具有一个或更多个处理器核心1202a-1202n、集成存储器控制器1214、以及集成图形处理器1208。在至少一个实施例中，处理器1200可包括由虚线框表示的多达并包括附加核心1202n的附加核心。在至少一个实施例中，处理器核心1202a-1202n中的每一个包括一个或更多个内部高速缓存单元 1204a-1204n。在至少一个实施例中，每个处理器核心还可以访问一个或更多个共享高速缓存单元1206。
135.在至少一个实施例中，内部高速缓存单元1204a-1204n和共享高速缓存单元1206表示处理器1200内的高速缓存存储器层次结构。在至少一个实施例中，高速缓冲存储器单元1204a-1204n可包含每一处理器核心内的至少一级指令和数据高速缓冲存储器以及一级或更多级共享中级高速缓冲存储器，诸如2级(l2)、3级(l3)、4级(l4)或其他级别的高速缓存，其中，外部存储器之前的最高级别的缓存被分类为llc。在至少一个实施例中，高速缓存相干性逻辑维持不同高速缓存单元1206与 1204a-1204n之间的相干性。
136.在至少一个实施例中，处理器1200还可以包括一个或更多个总线控制器单元1216和系统代理核心1210的集合。在至少一个实施例中，一个或更多个总线控制器单元1216管理一组外围总线，诸如一个或更多个pci 或pci快速总线。在至少一个实施例中，系统代理核心1210为不同处理器组件提供管理功能。在至少一个实施例中，系统代理核心1210包括用于管理对不同外部存储器设备(未示出)的访问的一个或更多个集成存储器控制器1214。
137.在至少一个实施例中，处理器核心1202a-1202n中的一个或更多个包括对同时多线程的支持。在至少一个实施例中，系统代理核心1210包括用于在多线程处理期间协调和操作核心1202a-1202n的组件。在至少一个实施例中，系统代理核心1210可以另外包括功率控制单元(pcu)，该功率控制单元包括用于调节处理器核心1202a-1202n和图形处理器1208的一个或更多个功率状态的逻辑和组件。
138.在至少一个实施例中，处理器1200另外包括用于执行图形处理操作的图形处理器1208。在至少一个实施例中，图形处理器1208与共享高速缓存单元1206和系统代理核心1210(包括一个或更多个集成存储器控制器1214)耦合。在至少一个实施例中，系统代理核心1210还包括用于将图形处理器输出驱动到一个或更多个耦合的显示器的显示控制器1211。在至少一个实施例中，显示控制器1211还可以是经由至少一个互连与图形处理器
1208耦合的单独模块或者可以集成在图形处理器1208内。
139.在至少一个实施例中，基于环的互连单元1212用于耦合处理器1200 的内部组件。在至少一个实施例中，可以使用替代的互连单元，诸如点对点互连、交换互连或其他技术。在至少一个实施例中，图形处理器1208 经由i/o链路1213与环形互连1212耦合。
140.在至少一个实施例中，i/o链路1213表示多种i/o互连中的至少一种，包括促进不同处理器组件和高性能嵌入式存储器模块1218(诸如edram 模块)之间的通信的封装上i/o互连。在至少一个实施例中，处理器核心 1202a-1202n和图形处理器1208中的每一个使用嵌入式存储器模块1218 作为共享的末级高速缓存。
141.在至少一个实施例中，处理器核心1202a-1202n是执行共同指令集架构的同构核。在至少一个实施例中，处理器核心1202a-1202n在指令集架构(isa)方面是异构的，其中，处理器核心1202a-1202n中的一个或更多个执行一个共同指令集，而处理器核心1202a-1202n中的一个或更多个其他核心执行一个共同指令集或一个不同指令集的一个子集。在至少一个实施例中，处理器核心1202a-1202n在微架构方面是异构的，其中具有相对较高功耗的一个或更多个核心与具有较低功耗的一个或更多个功率核心耦合。在至少一个实施例中，处理器1200可以实现在一个或更多个芯片上或实现为soc集成电路。
142.推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图7a和/或图7b提供关于推理和/或训练逻辑 715的细节。在至少一个实施例中，推理和/或训练逻辑715的部分或全部可以结合到处理器1200中。例如，在至少一个实施例中，在此描述的训练和/或推理技术可以使用在图形处理器1512、(一个或更多个)图形核心 1202a-1202n或图12中的其他组件中具体化的alu中的一个或更多个。此外，在至少一个实施例中，在此描述的推理和/或训练操作可以使用除图 7a或7b中所示出的逻辑之外的逻辑来完成。在至少一个实施例中，可以将权重参数存储在片上或片外存储器和/或寄存器(示出或未示出)中，这些存储器和/或寄存器将图形处理器1200的alu配置成用于执行在此描述的一个或更多个机器学习算法、神经网络架构、用例或训练技术。
143.这些组件可用于使用从一个或更多个质量评估值确定的参数来将组成图像合成为单个表示。
144.虚拟化计算平台
145.图13是根据至少一个实施例的生成和部署图像处理和推理管线的过程1300的示例数据流程图。在至少一个实施例中，可以部署过程1300以用于与一个或更多个设施1302处的成像设备、处理设备和/或其他设备类型一起使用。过程1300可以在训练系统1304和/或部署系统1306内执行。在至少一个实施例中，训练系统1304可以用于执行机器学习模型(例如，神经网络、对象检测算法、计算机视觉算法等)的训练、部署和实现，以供在部署系统1306中使用。在至少一个实施例中，部署系统1306可被配置来在分布式计算环境之间卸载处理和计算资源，以减少设施1302处的基础设施要求。在至少一个实施例中，管线中的一个或更多个应用可在应用的执行期间使用或调用部署系统1306的服务(例如，推理、可视化、计算、 ai等)。
146.在至少一个实施例中，用于高级处理和推理管线的应用中的一些应用可使用机器学习模型或其他ai来执行一个或更多个处理步骤。在至少一个实施例中，机器学习模型可以在设施1302处使用在设施1302处生成(并且存储在设施1302处的一个或更多个图片归档
和通信系统(pacs)服务器上)的数据1308(诸如成像数据)来训练，可以使用来自另一个(一个或更多个)设施的成像或排序数据1308或其组合来训练。在至少一个实施例中，训练系统1304可以用于提供用于为部署系统1306生成工作、可部署机器学习模型的应用、服务和/或其他资源。
147.在至少一个实施例中，模型注册表1324可由可支持版本化和对象元数据的对象存储支持。在至少一个实施例中，对象存储可以通过例如云存储(例如，图14的云1426)兼容的应用编程接口(api)从云平台内访问。在至少一个实施例中，模型注册表1324内的机器学习模型可由与api交互的系统的开发者或合作伙伴上传、列出、修改或删除。在至少一个实施例中，api可以提供对如下方法的访问，该方法允许用户具有适当的凭证来将模型与应用相关联，使得可以执行模型作为应用的容器化实例化的执行的一部分。
148.在至少一个实施例中，训练管线1404(图14)可以包括设施1302 正在训练其自己的机器学习模型、或具有需要被优化或更新的现有机器学习模型的场景。在至少一个实施例中，可以接收由一个或更多个成像设备、测序设备和/或其他设备类型生成的成像数据1308。在至少一个实施例中，一旦接收到成像数据1308，ai辅助的注释1310可以用于帮助生成与成像数据1308相对应的注释以用作机器学习模型的地面实况数据。在至少一个实施例中，ai辅助的注释1310可以包括一个或更多个机器学习模型(例如，卷积神经网络(cnn))，所述一个或更多个机器学习模型可以被训练以生成对应于(例如，来自某些设备的)某些类型的成像数据1308的注释。在至少一个实施例中，ai辅助的注释1310然后可以被直接使用，或者可以使用注释工具来调整或微调以生成地面实况数据。在至少一个实施例中， ai辅助的注释1310、标记的诊所数据1312或其组合可以用作用于训练机器学习模型的地面实况数据。在至少一个实施例中，经训练的机器学习模型可被称为输出模型1316，并且可由部署系统1306使用，如本文所描述的。
149.在至少一个实施例中，训练管线1404(图14)可以包括设施1302 需要机器学习模型以用于执行部署系统1306中的一个或更多个应用的一个或更多个处理任务的场景，但是设施1302当前可能不具有这样的机器学习模型(或者可能不具有用于这样的目的的优化的、高效的或有效的模型)。在至少一个实施例中，可以从模型注册表1324中选择现有的机器学习模型。在至少一个实施例中，模型注册表1324可以包括被训练为对成像数据执行各种不同推理任务的机器学习模型。在至少一个实施例中，模型注册表 1324中的机器学习模型可能已经在来自不同于设施1302的设施(例如，位于远程的设施)的成像数据上被训练。在至少一个实施例中，机器学习模型可能已经在来自一个位置、两个位置或任意数量的位置的成像数据上训练。在至少一个实施例中，当对来自特定位置的成像数据进行训练时，训练可以发生在该位置处，或者至少以保护成像数据的保密性或者限制成像数据不在现场传输的方式发生。在至少一个实施例中，一旦在一个位置处对模型进行训练或部分训练，就可以将机器学习模型添加到模型注册表 1324中。在至少一个实施例中，然后可以在任何数量的其他设施处重新训练或更新机器学习模型，并且可以使重新训练或更新的模型在模型注册表 1324中可用。在至少一个实施例中，机器学习模型然后可以从模型注册表 1324中被选择——并且被称为输出模型1316——并且可以在部署系统 1306中被用于执行针对部署系统的一个或更多个应用的一个或更多个处理任务。
150.在至少一个实施例中，训练管线1404(图14)，场景可以包括设施 1302，该设施要
求机器学习模型用于执行针对部署系统1306中的一个或更多个应用的一个或更多个处理任务，但是设施1302当前可能不具有这样的机器学习模型(或者可能不具有用于这样的目的的优化的、高效的或有效的模型)。在至少一个实施例中，由于群体的差异、用于训练机器学习模型的训练数据的鲁棒性、训练数据的异常的多样性和/或训练数据的其他问题，从模型注册表1324选择的机器学习模型可以不针对在设施1302处生成的成像数据1308进行微调或优化。在至少一个实施例中，ai辅助的注释1310 可以用于帮助生成对应于成像数据1308的注释，该成像数据1308被用作用于重新训练或更新机器学习模型的地面实况数据。在至少一个实施例中，标记数据1312可以用作用于训练机器学习模型的地面实况数据。在至少一个实施例中，重新训练或更新机器学习模型可以被称为模型训练1314。在至少一个实施例中，模型训练1314(例如，ai辅助的注释1310、标记的诊所数据1312或其组合)可以用作用于重新训练或更新机器学习模型的地面实况数据。在至少一个实施例中，经训练的机器学习模型可被称为输出模型1316，并且可由部署系统1306使用，如本文所描述的。
151.在至少一个实施例中，部署系统1306可包括软件1318、服务1320、硬件1322和/或其他组件、特征和功能。在至少一个实施例中，部署系统 1306可以包括软件“堆栈”，这样使得软件1318可以构建在服务1320之上并且可以使用服务1320来执行一些或所有处理任务，服务1320和软件 1318可以构建在硬件1322之上并使用硬件1322来执行处理，部署系统 1306的存储和/或其他计算任务。在至少一个实施例中，软件1318可以包括任何数量的不同容器，其中每个容器可以执行应用的实例化。在至少一个实施例中，每个应用可以在高级处理和推理管线中执行一个或更多个处理任务(例如，推理、对象检测、特征检测、分割、图像增强、校准等)。在至少一个实施例中，可基于对处理成像数据1308所要或所需的不同容器的选择来定义高级处理和推理管线，除了接收和配置成像数据以供每个容器使用和/或供设施1302在通过管线处理之后使用(例如，将输出转换回可用数据类型)的容器之外。在至少一个实施例中，软件1318内的容器的组合(例如，组成管线的容器的组合)可被称为虚拟工具(如本文更详细地描述的)，并且虚拟工具可利用服务1320和硬件1322来执行在容器中实例化的应用的一些或所有处理任务。
152.在至少一个实施例中，数据处理管线可以响应于推理请求(例如，来自部署系统1306的用户的请求)而接收特定格式的输入数据(例如，成像数据1308)。在至少一个实施例中，输入数据可以表示由一个或更多个成像设备生成的一个或更多个图像、视频和/或其他数据表示。在至少一个实施例中，数据可经历作为数据处理管线的一部分的预处理以准备数据以供一个或更多个应用处理。在至少一个实施例中，可以对管线的一个或更多个推理任务或其他处理任务的输出执行后处理，以便为下一应用准备输出数据和/或准备输出数据以供用户传输和/或使用(例如，作为对推理请求的响应)。在至少一个实施例中，推理任务可由一个或更多个机器学习模型来执行，诸如训练的或部署的神经网络，其可包括训练系统1304的输出模型1316。
153.在至少一个实施例中，数据处理管线的任务可以被封装在(一个或更多个)容器中，所述容器各自表示能够引用机器学习模型的应用和虚拟化计算环境的离散的、全功能的实例化。在至少一个实施例中，容器或应用可被发布到容器注册表(本文更详细地描述)的私有(例如，受限访问) 区域中，并且训练的或部署的模型可被存储在模型注册表1324中并与一个或更多个应用相关联。在至少一个实施例中，应用的图像(例如，容器图像)可在容
器注册表中可用，并且一旦由用户从容器注册表中选择以部署在管线中，图像就可被用于生成容器以供应用的实例化以供用户的系统使用。
154.在至少一个实施例中，开发者(例如，软件开发者、临床医生、医生等)可开发、发布和存储用于对所提供的数据执行图像处理和/或推理的应用(例如，作为容器)。在至少一个实施例中，开发、发布和/或存储可使用与系统相关联的软件开发包(sdk)来执行(例如，以确保所开发的应用和/或容器与系统兼容或相容)。在至少一个实施例中，可以利用可以支持服务1320中的至少一些作为系统(例如，图14的系统1400)的sdk 来本地(例如，在第一设施处，对来自第一设施的数据)测试所开发的应用。在至少一个实施例中，因为dicom对象可以包含从一到几百个图像或其他数据类型的任何地方，并且由于数据的变化，开发者可以负责管理 (例如，设置构造、将预处理构建到应用中等)输入数据的提取和准备。在至少一个实施例中，一旦被系统1400验证(例如，为了准确性)，应用可以在容器注册表中可用于由用户选择和/或实现以关于用户的设施(例如，第二设施)处的数据执行一个或更多个处理任务。
155.在至少一个实施例中，开发者然后可以通过网络共享应用或容器以供系统(例如，图14的系统1400)的用户访问和使用。在至少一个实施例中，完成的和经验证的应用或容器可以被存储在容器注册表中，并且相关联的机器学习模型可以被存储在模型注册表1324中。在至少一个实施例中，提供推理或图像处理请求的请求实体可以浏览应用、容器、数据集、机器学习模型等的容器注册表和/或模型注册表1324，选择期望的元素组合来包括在数据处理管线中，并提交成像处理请求。在至少一个实施例中，请求可以包括执行请求所必需的输入数据(以及在一些示例中相关联的患者数据)，和/或可以包括在处理请求中要执行的(一个或更多个)应用和/ 或机器学习模型的选择。在至少一个实施例中，请求然后可被传递到部署系统1306的一个或更多个组件(例如，云)以执行数据处理管线的处理。在至少一个实施例中，由部署系统1306进行的处理可以包括从容器注册表和/或模型注册表1324引用所选择的元素(例如，应用、容器、模型等)。在至少一个实施例中，一旦由管线生成结果，结果可被返回到用户以供参考(例如，以供在本地、现场工作站或终端上执行的查看应用套件中查看)。
156.在至少一个实施例中，为了帮助处理或执行管线中的应用或容器，可以利用服务1320。在至少一个实施例中，服务1320可包括计算服务、人工智能(ai)服务、可视化服务、和/或其他服务类型。在至少一个实施例中，服务1320可提供软件1318中的一个或更多个应用共用的功能，因此功能可被抽象成可被应用调用或利用的服务。在至少一个实施例中，由服务1320提供的功能可以动态地和更高效地运行，同时还通过允许应用并行地处理数据(例如，使用并行计算平台1430(图14))来很好地缩放。在至少一个实施例中，服务1320可在不同应用之间和之中共享，而不是要求共享由服务1320提供的相同功能的每个应用具有服务1320的相应实例。在至少一个实施例中，作为非限制性实例，服务可以包括可以用于执行检测或分段任务的推理服务器或引擎。在至少一个实施例中，可以包括模型训练服务，其可以提供机器学习模型训练和/或重新训练能力。在至少一个实施例中，可还包括数据增强服务，该数据增强服务可提供gpu加速数据 (例如，dicom、ris、cis、rest兼容、rpc、原始等)提取、调整大小、缩放和/或其他增强。在至少一个实施例中，可以使用可视化服务，该可视化服务可以添加图像渲染效果——如光线跟踪、光栅化、去噪、锐化等——以向二维(2d)和/
或三维(3d)模型添加真实性。在至少一个实施例中，可以包括为虚拟仪器的管线内的其他应用提供波束成形、分割、推理、成像和/或支持的虚拟仪器服务。
157.在至少一个实施例中，在服务1320包括ai服务(例如，推理服务) 的情况下，可以通过调用(例如，作为api调用)推理服务(例如，推理服务器)来执行一个或更多个机器学习模型，以执行机器学习模型或其处理，作为应用执行的一部分。在至少一个实施例中，其中另一个应用包括用于分割任务的一个或更多个机器学习模型，应用可以根据推理服务调用以执行用于执行与分割任务相关联的处理操作中的一个或更多个的机器学习模型。在至少一个实施例中，实现包括分割应用和异常检测应用的高级处理和推理管线的软件1318可以是流线型的，因为每个应用可以调用相同的推理服务来执行一个或更多个推理任务。
158.在至少一个实施例中，硬件1322可包括gpu、cpu、图形卡、ai/ 深度学习系统(例如，ai超级计算机，诸如nvidia的dgx)、云平台或其组合。在至少一个实施例中，不同类型的硬件1322可用于为部署系统1306中的软件1318和服务1320提供有效的、专门构建的支持。在至少一个实施例中，gpu处理的使用可被实现用于本地(例如，在设施1302处)、在ai/深度学习系统内、在云系统中和/或在部署系统1306的其他处理组件中进行处理以改进图像处理和生成的效率、准确度和功效。在至少一个实施例中，作为非限制性实例，可以针对关于深度学习、机器学习和/或高性能计算的gpu处理来优化软件1318和/或服务1320。在至少一个实施例中，部署系统1306和/或训练系统1304的计算环境中的至少一些可在数据中心中执行一个或更多个超级计算机或高性能计算系统，其中gpu优化软件 (例如，nvidia的dgx系统的硬件和软件组合)。在至少一个实施例中，硬件1322可以包括可以被调用以并行执行对数据的处理的任何数量的 gpu，如在此所描述的。在至少一个实施例中，云平台还可包括用于深度学习任务、机器学习任务或其他计算任务的gpu优化执行的gpu处理。在至少一个实施例中，可以使用ai/深度学习超级计算机和/或gpu优化的软件(例如，在nvidia的dgx系统上提供的)作为硬件抽象和缩放平台来执行云平台(例如，nvidia的ngc)。在至少一个实施例中，云平台可以将应用容器集群系统或编排系统(例如，kubernetes)集成在多个gpu上以实现无缝缩放和负载平衡。
159.图14是根据至少一个实施例的用于生成和部署成像部署管线的示例系统1400的系统图。在至少一个实施例中，系统1400可用于实现图13 的过程1300和/或包括高级处理和推理管线的其他过程。在至少一个实施例中，系统1400可以包括训练系统1304和部署系统1306。在至少一个实施例中，训练系统1304和部署系统1306可使用软件1318、服务1320和/ 或硬件1322来实现，如本文所述。
160.在至少一个实施例中，系统1400(例如，训练系统1304和/或部署系统1306)可在云计算环境中实现(例如，使用云1426)。在至少一个实施例中，系统1400可相对于医疗保健服务设施在本地实施，或实施为云计算资源和本地计算资源两者的组合。在至少一个实施例中，通过制定的安全措施或协议，对云1426中的api的访问可被限制到经授权的用户。在至少一个实施例中，安全协议可包括可由认证(例如，authn、authz、 gluecon等)服务签名并且可携带适当授权的web令牌。在至少一个实施例中，(本文描述的)虚拟工具的api或系统1400的其他实例化可被限制到已被审查或授权进行交互的一组公共ip。
161.在至少一个实施例中，系统1400的各种组件可使用各种不同网络类型中的任何网络类型在彼此之间和之间进行通信，包括但不限于经由有线和/或无线通信协议的局域网
(lan)和/或广域网(wan)。在至少一个实施例中，系统1400的设施和组件之间的通信(例如，用于传送推理请求、用于接收推理请求的结果等)可通过数据总线、无线数据协议(wi-fi)、有线数据协议(例如，以太网)等传送。
162.在至少一个实施例中，训练系统1304可以执行训练管线1404，类似于在此关于图13所描述的那些。在至少一个实施例中，其中将由部署系统 1306在部署管线1410中使用一个或更多个机器学习模型，训练管线1404 可用于训练或重新训练一个或更多个(例如，预训练的)模型，和/或实现一个或更多个预训练模型1406(例如，不需要重新训练或更新)。在至少一个实施例中，作为训练管线1404的结果，可生成(一个或更多个)输出模型1316。在至少一个实施例中，训练管线1404可以包括任何数量的处理步骤，诸如但不限于成像数据(或其他输入数据)转换或适配在至少一个实施例中，对于由部署系统1306使用的不同的机器学习模型，可以使用不同的训练管线1404。在至少一个实施例中，类似于关于图13所描述的第一示例的训练管线1404可以用于第一机器学习模型，类似于关于图13 所描述的第二示例的训练管线1404可以用于第二机器学习模型，并且类似于关于图13所描述的第三示例的训练管线1404可以用于第三机器学习模型。在至少一个实施例中，可以根据每个相应的机器学习模型所需要的内容来使用训练系统1304内的任务的任何组合。在至少一个实施例中，机器学习模型中的一个或更多个可能已经被训练并且准备好部署，因此机器学习模型可以不经历由训练系统1304进行的任何处理，并且可以由部署系统 1306来实现。
163.在至少一个实施例中，取决于实现方式或实施例，(一个或更多个) 输出模型1316和/或(一个或更多个)预训练的模型1406可以包括任何类型的机器学习模型。在至少一个实施例中，但不限于，由系统1400使用的机器学习模型可以包括使用线性回归的(一个或更多个)机器学习模型，逻辑回归、决策树、支持向量机(svm)、原始贝叶斯、k最近邻(knn)， k均值聚类、随机森林、维度减少算法、梯度提升算法、神经网络(例如，自动编码器、卷积、递归、感知器、长/短期记忆(lstm)、霍普菲尔德、玻尔兹曼、深度置信、解卷积、生成对手、液态机器等)，和/或其他类型的机器学习模型。
164.在至少一个实施例中，训练管线1404可以包括ai辅助的注释，如在此相对于至少图15b更详细地描述的。在至少一个实施例中，可以通过任何数量的技术来生成经标记的数据1312(例如，传统注释)。在至少一个实施例中，标签或其他注释可在绘图程序(例如，注释程序)、计算机辅助设计(cad)程序、标签程序、适于生成用于地面实况的注释或标签的另一类型的程序内生成，和/或在一些示例中可被手绘。在至少一个实施例中，地面实况数据可以是合成产生的(例如，从计算机模型或渲染中生成)，真实产生(例如，从真实世界数据设计和产生)、机器自动化(例如，使用特征分析和学习从数据提取特征且接着产生标记)，人工注释的(例如，标签者或注释专家定义标签的位置)和/或其组合。在至少一个实施例中，对于成像数据1308(或由机器学习模型使用的其他数据类型)的每个实例，可存在由训练系统1304生成的对应的地面实况数据。在至少一个实施例中， ai辅助注释可以作为部署管线1410的一部分来执行；作为包括在训练管线1404中的ai辅助注释的补充或替代。在至少一个实施例中，系统1400 可以包括多层平台，该多层平台可以包括可以执行一个或更多个医学成像和诊断功能的诊断应用(或其他应用类型)的软件层(例如，软件1318)。在至少一个实施方式中，系统1400可通信地耦接至(例如，经由加密链路) 一个或更多个设施的pacs服务器网络。在至少一个实施方式中，系统1400 可被配置为从pacs服务器访问和参考数据以
执行操作，诸如训练机器学习模型、部署机器学习模型、图像处理、推理和/或其他操作。
165.在至少一个实施例中，软件层可以被实现为安全的、加密的和/或经认证的api，通过该api，可以从(一个或更多个)外部环境(例如，设施1302)调用(例如，调用)应用或容器。在至少一个实施例中，应用然后可以调用或执行一个或更多个服务1320，用于执行与相应应用相关联的计算、ai或可视化任务，并且软件1318和/或服务1320可以利用硬件1322 以有效和高效的方式执行处理任务。
166.在至少一个实施例中，部署系统1306可执行部署管线1410。在至少一个实施例中，部署管线1410可以包括任何数量的应用，这些应用可以顺序地、非顺序地或以其他方式应用于由成像装置、测序装置、基因组学装置等生成的成像数据(和/或其他数据类型)，包括如上所述的ai辅助注释。在至少一个实施例中，如本文所述，用于个别装置的部署管线1410可被称为用于装置的虚拟仪器(例如，虚拟超声仪器、虚拟ct扫描仪器、虚拟定序仪器等)。在至少一个实施例中，对于单个装置，根据装置产生的数据所需的信息，可存在多于一个部署管线1410。在至少一个实施例中，在期望从mri机器检测异常的情况下，可存在第一部署管线1410，并且在期望从mri机器的输出进行图像增强的情况下，可存在第二部署管线1410。
167.在至少一个实施例中，图像生成应用可以包括处理任务，该处理任务包括使用机器学习模型。在至少一个实施例中，用户可能期望使用他们自己的机器学习模型，或者从模型注册表1324选择机器学习模型。在至少一个实施例中，用户可以实现他们自己的机器学习模型或选择机器学习模型以包括在用于执行处理任务的应用中。在至少一个实施例中，应用可以是可选择的和可定制的，并且通过定义应用的构造，用于特定用户的应用的部署和实现被呈现为更无缝的用户体验。在至少一个实施例中，通过利用系统1400的其他特征——诸如服务1320和硬件1322——部署管线1410 可以是甚至更用户友好的，提供更容易的集成，并且产生更准确、高效和及时的结果。
168.在至少一个实施例中，部署系统1306可包括用户界面1414(例如，图形用户界面、web界面等)，该用户界面1414可用于选择用于包括在部署管线1410中的应用，在建立和/或部署期间安排应用、修改或改变应用或其参数或构造、使用部署管线1410和与部署管线1410交互，和/或以其他方式与部署系统1306交互。在至少一个实施例中，虽然未相对于训练系统1304示出，但是用户接口1414(或不同的用户接口)可以用于选择在部署系统1306中使用的模型，用于选择在训练系统1304中用于训练或重新训练的模型，和/或用于以其他方式与训练系统1304交互。
169.在至少一个实施例中，除了应用编排系统1428之外，可使用管线管 理器1412来管理部署管线1410的应用或容器与服务1320和/或硬件1322 之间的交互。在至少一个实施例中，管线管理器1412可被配置为促进从应 用到应用、从应用到服务1320和/或从应用或服务到硬件1322的交互。在 至少一个实施例中，尽管被示为包括在软件1318中，但这不旨在是限制性 的，并且在一些示例中，管线管理器1412可包括在服务1320中。在至少 一个实施例中，应用编排系统1428(例如，kubernetes、docker等)可 以包括容器编排系统，该容器编排系统可以将应用分组到容器中作为用于 协调、管理、扩展和部署的逻辑单元。在至少一个实施例中，通过将来自 部署管线1410的应用(例如，重构应用、分割应用等)与单独的容器相关 联，每个应用可以在自包含环境中(例如，在内核级)执行以提高速度和 效率。
170.在至少一个实施例中，可单独地开发每个应用和/或容器(或其图像)，经修改和部署(例如，第一用户或开发者可开发、修改和部署第一应用，而第二用户或开发者可开发、修改和部署与第一用户或开发者分开的第二应用)，这可以允许关注和注意单个应用和/或容器的任务，而不受另一应用或容器的任务的阻碍。在至少一个实施例中，不同容器或应用之间的通信和协作可以由管线管理器1412和应用编排系统1428辅助。在至少一个实施例中，只要系统(例如，基于应用或容器的构造)知道每个容器或应用的预期输入和/或输出，应用编排系统1428和/或管线管理器1412可以促进它们之间和之间的通信，以及在每个应用或容器之间和之间共享资源。在至少一个实施例中，因为部署管线1410中的一个或更多个应用或容器可共享相同的服务和资源，所以应用编排系统1428可编排、负载平衡和确定在不同应用或容器之间和之中服务或资源的共享。在至少一个实施例中，调度器可以用于跟踪应用或容器的资源需求、这些资源的当前使用或计划使用和资源可用性。在至少一个实施例中，调度器可以因此向不同的应用分配资源并且鉴于系统的需求和可用性在应用之间和之中分配资源。在一些实例中，调度器(和/或应用编排系统1428的其他部件)可以基于强加于系统上的约束(例如，用户约束)来确定资源可用性和分布，所述约束诸如服务质量(qos)、需要数据输出的紧急性(例如，确定是否执行实时处理或延迟处理)等。
171.在至少一个实施例中，由部署系统1306中的应用或容器利用和共享的服务1320可包括计算服务1416、ai服务1418、可视化服务1420和/或其他服务类型。在至少一个实施例中，应用可以调用(例如，执行)服务 1320中的一个或更多个来执行应用的处理操作。在至少一个实施例中，计算服务1416可由应用利用来执行超级计算或其他高性能计算(hpc)任务。在至少一个实施例中，(一个或更多个)计算服务1416可被充分利用来执行并行处理(例如，使用并行计算平台1430)以用于通过应用中的一个或更多个和/或单个应用的一个或更多个任务来基本上同时地处理数据。在至少一个实施例中，并行计算平台1430(例如，nvidia的cuda)可以使能gpu(gpgpu)(例如，gpu1422)上的通用计算。在至少一个实施例中，并行计算平台1430的软件层可以提供对gpu的虚拟指令集和并行计算元件的访问，以便执行计算内核。在至少一个实施例中，并行计算平台 1430可以包括存储器，并且在一些实施例中，可以在多个容器之间和之中和/或在单个容器内的不同处理任务之间和之中共享存储器。在至少一个实施例中，可以针对多个容器和/或针对容器内的多个进程生成进程间通信 (ipc)调用以便使用来自并行计算平台1430的存储器的共享段的相同数据(例如，在应用的多个不同阶段或多个应用正在处理相同信息的情况下)。在至少一个实施例中，不是复制数据并将数据移动到存储器中的不同位置 (例如，读/写操作)，而是将存储器的相同位置中的相同数据用于任何数量的处理任务(例如，同时、不同时间等)。在至少一个实施例中，由于使用数据作为处理的结果来生成新数据，因此可以在不同应用之间存储和共享数据的新位置的该信息。在至少一个实施例中，数据的位置和更新的或修改的数据的位置可以是如何在容器内理解有效负载的定义的一部分。
172.在至少一个实施例中，可以利用ai服务1418来执行用于执行与应用相关联的机器学习模型(例如，被指派执行应用的一个或更多个处理任务的任务)的推理服务。在至少一个实施例中，ai服务1418可以利用ai 系统1424来执行机器学习模型(例如，神经网络，诸如cnn)以用于分段、重构、对象检测、特征检测、分类和/或其他推理任务。在至少一个实施例中，(一个或更多个)部署管线1410的应用可使用来自训练系统1304 的输出模型1316中的
一个或更多个和/或应用的其他模型来对成像数据执行推理。在至少一个实施例中，使用应用编排系统1428(例如，调度器) 进行推理的两个或更多个示例可以是可用的。在至少一个实施例中，第一类别可包括高优先级/低等待时间路径，其可实现较高服务水平协议，诸如用于在紧急情况期间对紧急请求执行推理，或在诊断期间对放射科医生执行推理。在至少一个实施例中，第二类别可以包括标准优先级路径，该标准优先级路径可以用于可能非紧急的请求或其中可以稍后执行分析的请求。在至少一个实施例中，应用编排系统1428可以基于用于ai服务1418的不同推理任务的优先级路径来分配资源(例如，服务1320和/或硬件1322)。
173.在至少一个实施例中，共享存储可以安装到系统1400内的ai服务 1418。在至少一个实施例中，共享存储可以作为高速缓存(或其他存储设备类型)操作，并且可以用于处理来自应用的推理请求。在至少一个实施例中，当提交推理请求时，可由部署系统1306的一组api实例接收请求，并且可选择一个或更多个实例(例如，为了最佳拟合、为了负载平衡等) 来处理请求。在至少一个实施例中，为了处理请求，可以将请求输入到数据库中，如果尚未在高速缓存中，则可以从模型注册表1324定位机器学习模型，验证步骤可以确保适当的机器学习模型被加载到高速缓存(例如，共享存储)中，和/或模型的副本可以被保存到高速缓存。在至少一个实施例中，(例如，管线管理器1412的)调度器可用于在应用尚未运行或在不存在应用的足够实例的情况下启动在请求中引用的应用。在至少一个实施例中，如果尚未启动推理服务器来执行模型，则可以启动推理服务器。每个模型可以启动任何数量的推理服务器。在至少一个实施例中，在其中推理服务器被聚类的拉模型中，每当负载平衡有利时，模型可被高速缓存。在至少一个实施例中，推理服务器可以被静态地加载到对应的分布式服务器中。
174.在至少一个实施例中，可使用在容器中运行的推理服务器来执行推理。在至少一个实施例中，推理服务器的实例可与模型(以及可选地模型的多个版本)相关联。在至少一个实施例中，如果在接收到对模型执行推理的请求时推理服务器的实例不存在，则可加载新实例。在至少一个实施例中，当启动推理服务器时，可将模型传递给推理服务器，使得只要推理服务器作为不同实例运行，就可使用同一容器来服务不同模型。
175.在至少一个实施例中，在应用执行期间，可以接收针对给定应用的推理请求，并且可以加载容器(例如，托管推理服务器的实例)(如果尚未加载)，并且可以调用开始过程。在至少一个实施例中，容器中的预处理逻辑可加载、解码传入数据和/或对传入数据执行任何附加预处理(例如，使用cpu和/或gpu)。在至少一个实施例中，一旦数据准备好进行推理，容器可根据需要对数据执行推理。在至少一个实施例中，这可包括对一个图像(例如，手x射线)的单个推理调用，或可要求对数百个图像(例如，胸部ct)的推理。在至少一个实施例中，应用可以在完成之前总结结果，这可以包括但不限于单个置信度得分、像素级分割、体素级分割、生成可视化、或生成文本以总结发现。在至少一个实施例中，不同的模型或应用可被指派不同的优先级。例如，一些模型可具有实时(tat＜1分钟)优先级，而其他模型可具有较低优先级(例如，tat＜10分钟)。在至少一个实施例中，可以从请求机构或实体测量模型执行时间，并且模型执行时间可以包括伙伴网络遍历时间，以及在推理服务上的执行。
176.在至少一个实施例中，服务1320和推理应用之间的请求的传送可被隐藏在软件开发包(sdk)后面，并且可通过队列提供鲁棒的传输。在至少一个实施例中，请求将经由单独
的应用/租户id组合的api被放置在队列中，并且sdk将从队列中拉取请求并将请求给予应用。在至少一个实施例中，可以在sdk将从其中拾取队列的环境中提供队列的名称。在至少一个实施例中，通过队列的异步通信可以是有用的，因为它可以允许应用的任何实例在其变得可用时拾取工作。结果可通过队列传送回来，以确保没有数据丢失。在至少一个实施例中，队列还可以提供分割工作的能力，因为最高优先级工作可以转到具有与其连接的应用的大多数实例的队列，而最低优先级工作可以转到具有与其连接的单个实例的队列，其以接收的顺序处理任务。在至少一个实施例中，应用可以在云1426中生成的gpu加速的实例上运行，并且推理服务可以对gpu执行推理。
177.在至少一个实施例中，可利用可视化服务1420来生成用于查看应用和/或部署管线1410的输出的可视化。在至少一个实施例中，gpu1422可以被可视化服务1420利用来生成可视化。在至少一个实施例中，呈现效果 (诸如光线跟踪)可由可视化服务1420实现以生成更高质量的可视化。在至少一个实施例中，可视化可以包括但不限于2d图像渲染、3d体积渲染、 3d体积重建、2d断层摄影切片、虚拟现实显示器、增强现实显示器等。在至少一个实施例中，虚拟化环境可以用于生成用于由系统的用户(例如，医生、护士、放射科医生等)交互的虚拟交互式显示器或环境(例如，虚拟环境)。在至少一个实施例中，可视化服务1420可以包括内部可视化器、动态图像和/或其他渲染或图像处理能力或功能(例如，光线跟踪、光栅化、内部光学器件等)。
178.在至少一个实施例中，硬件1322可包括gpu1422、ai系统1424、云1426和/或用于执行训练系统1304和/或部署系统1306的任何其他硬件。在至少一个实施例中，gpu1422(例如，nvidia的tesla和/或quadrogpu)可包括可用于执行计算服务1416、ai服务1418、可视化服务1420、其他服务和/或软件1318的特征或功能中的任何一个的处理任务的任何数量的gpu。例如，关于ai服务1418，gpu1422可以用于对成像数据(或由机器学习模型使用的其他数据类型)执行预处理，对机器学习模型的输出执行后处理，和/或用于执行推理(例如，用于执行机器学习模型)。在至少一个实施例中，云1426、ai系统1424和/或系统1400的其他部件可以使用gpu1422。在至少一个实施例中，云1426可包括用于深度学习任务的gpu优化的平台。在至少一个实施例中，ai系统1424可以使用gpu，并且可以使用一个或更多个ai系统1424来执行云1426——或者任务为深度学习或推理的至少一部分。照此，尽管硬件1322被示为分立组件，但这不旨在是限制性的，并且硬件1322的任何组件可与硬件1322的任何其他组件组合或被硬件1322的任何其他组件利用。
179.在至少一个实施例中，ai系统1424可以包括被配置用于推理、深度学习、机器学习和/或其他人工智能任务的专用计算系统(例如，超级计算机或hpc)。在至少一个实施例中，ai系统1424(例如，nvidia的dgx) 可以包括除了cpu、ram、存储装置和/或其他组件、特征或功能性之外还可以使用多个gpu1422执行的gpu优化的软件(例如，软件栈)。在至少一个实施例中，可以在云1426中(例如，在数据中心中)实现一个或更多个ai系统1424，用于执行系统1400的基于ai的处理任务的一些或全部。
180.在至少一个实施例中，云1426可包括可提供用于执行系统1400的处理任务的gpu优化的平台的gpu加速的基础结构(例如，nvidia的 ngc)。在至少一个实施例中，云1426可包括用于执行系统1400的基于 ai的任务中的一个或更多个(例如，作为硬件抽象和缩放平台)的ai系统1424。在至少一个实施例中，云1426可以与利用多个gpu的应用编排系统1428
集成，以使得能够在应用和服务1320之间和之中进行无缝缩放和负载平衡。在至少一个实施例中，云1426的任务可以是执行系统1400 的服务1320中的至少一些服务，包括计算服务1416、ai服务1418和/或可视化服务1420，如本文所描述的。在至少一个实施例中，云1426可执行小批量推理和大批量推理(例如，执行nvidia的tensorrt)，提供加速的并行计算api和平台1430(例如，nvidia的cuda)，执行应用编排系统1428(例如，kubernetes)，提供图形渲染api和平台(例如，用于光线跟踪、2d图形、3d图形、和/或其他渲染技术以产生更高质量的影片学)，和/或可以为系统1400提供其他功能。
181.图15a示出了根据至少一个实施例的用于训练、重新训练或更新机器学习模型的过程1500的数据流程图。在至少一个实施方式中，作为非限制性实例，可以使用图14的系统1400执行处理1500。在至少一个实施例中，过程1500可利用系统1400的服务1320和/或硬件1322，如本文所述。在至少一个实施例中，由过程1500生成的细化模型1512可以由部署系统 1306针对部署管线1410中的一个或更多个容器化应用来执行。
182.在至少一个实施例中，模型训练1314可以包括使用新的训练数据(例如，新的输入数据，诸如顾客数据集1506和/或与输入数据相关联的新的地面实况数据)来重新训练或更新初始模型1504(例如，预训练模型)。在至少一个实施例中，为了重新训练或更新初始模型1504，初始模型1504 的输出或丢失层可被重置、或删除、和/或用更新的或新的输出或丢失层替换。在至少一个实施例中，初始模型1504可具有先前微调的参数(例如，权重和/或偏置)，其保持来自先前训练，因此训练或重新训练1314可不花费与从头训练模型一样长的时间或需要尽可能多的处理。在至少一个实施例中，在模型训练1314期间，通过重置或替换初始模型1504的输出或丢失层，在生成关于新的预测时，可基于与输出或(一个或更多个)损失层的准确度相关联的损失计算来为新的数据集更新和重新调谐参数，顾客数据集1506(例如，图13的图像数据1308)。
183.在至少一个实施例中，预训练的模型1406可以存储在数据存储或注册表(例如，图13的模型注册表1324)中。在至少一个实施例中，预训练模型1406可能已经至少部分地在除了执行过程1500的设施之外的一个或更多个设施处被训练。在至少一个实施例中，为了保护不同设施的患者、对象或客户端的隐私和权限，可以使用场所内生成的客户或患者数据在场所内训练预训练模型1406。在至少一个实施例中，可以使用云1426和/或其他硬件1322来训练预训练的模型1406，但是机密的、隐私保护的患者数据可以不被传输到云1426的任何组件(或其他房屋外硬件)、不被云1426 的任何组件使用或不被云1426的任何组件(或其他房屋外硬件)访问。在至少一个实施例中，在使用来自一个以上设施的患者数据来训练预训练模型1406时，可以在对来自另一个设施的患者或客户数据进行训练之前针对每个设施单独地训练预训练模型1406。在至少一个实施例中，诸如其中顾客或患者数据已被发布隐私问题(例如，通过等待、供实验使用等)，或者在客户或患者数据包括在公共数据集中的情况下，来自任何数量的设施的客户或患者数据可被用来训练场所内和/或场所外的预训练模型1406，诸如在数据中心或其他云计算基础设施中。
184.在至少一个实施例中，当选择在部署管线1410中使用的应用时，用户还可以选择将用于特定应用的机器学习模型。在至少一个实施例中，用户可能不具有供使用的模型，因此用户可选择预先训练的模型1406来与应用一起使用。在至少一个实施例中，预先训练的模型1406可以不被优化用于在用户的设施的客户数据集1506上生成准确的结果(例如，基
于患者多样性、人口统计学、所使用的医学成像设备的类型等)。在至少一个实施例中，在将预训练的模型1406部署到部署管线1410中以供与应用一起使用之前，预训练的模型1406可以被更新、重新训练和/或细调以供在相应设施处使用。
185.在至少一个实施例中，用户可以选择要被更新、重新训练和/或微调的预训练的模型1406，并且预训练的模型1406可以被称为过程1500内的训练系统1304的初始模型1504。在至少一个实施例中，客户数据集1506 (例如，成像数据、基因组学数据、测序数据、或由设施处的设备生成的其他数据类型)可以用于对初始模型1504执行模型训练1314(可以包括但不限于转移学习)以生成经细化的模型1512。在至少一个实施例中，对应于顾客数据集1506的地面实况数据可由训练系统1304生成。在至少一个实施例中，地面实况数据可以至少部分地由设施处的临床医生、科学家、医生、执业医生生成(例如，如图13的标记的临床数据1312)。
186.在至少一个实施例中，在一些示例中可以使用ai辅助的注释1310 来生成地面实况数据。在至少一个实施例中，ai辅助的注释1310(例如，使用ai辅助的注释sdk来实现)可以利用机器学习模型(例如，神经网络)来生成针对顾客数据集的建议的或预测的地面实况数据。在至少一个实施例中，用户1510可以使用计算设备1508上的用户界面(图形用户界面(gui))内的注释工具。
187.在至少一个实施例中，用户1510可以经由计算设备1508与gui交互以编辑或微调(自动)注释。在至少一个实施例中，多边形编辑特征可用于将多边形的顶点移动到更准确或精细调整的位置。
188.在至少一个实施例中，一旦顾客数据集1506具有相关联的地面实况数据，地面实况数据(例如，来自ai辅助的注释、手动标记等)就可在模型训练1314期间被用来生成经细化的模型1512。在至少一个实施例中，客户数据集1506可以被应用到初始模型1504任意次数，并且地面实况数据可以用于更新初始模型1504的参数，直到针对经细化的模型1512获得可接受的准确度水平。在至少一个实施例中，一旦生成了精细化模型1512，就可以在用于执行关于医学成像数据的一个或更多个处理任务的设施处的一个或更多个部署管线1410内部署精细化模型1512。
189.在至少一个实施例中，经细化的模型1512可以被上传到模型注册表 1324中的预训练的模型1406以由另一设施选择。在至少一个实施例中，他的过程可以在任何数量的设施处完成，使得经细化的模型1512可以在新的数据集上被进一步细化任何次数以生成更通用的模型。
190.图15b是根据至少一个实施例的用于利用预先训练的注释模型来增强注释工具的客户端-服务器架构1532的示例图示。在至少一个实施例中，可以基于客户端-服务器架构1532来实例化ai辅助的注释工具1536。在至少一个实施例中，成像应用中的注释工具1536可以帮助放射科医生例如识别器官和异常。在至少一个实施例中，成像应用可以包括帮助用户1510 识别(作为非限制性实例)原始图像1534(例如，在3d mri或ct扫描中)中感兴趣的特定器官上的几个极端点并且接收特定器官的所有2d切片的自动注释结果的软件工具。在至少一个实施例中，结果可以作为训练数据1538存储在数据存储中，并且用作(例如但不限于)用于训练的地面实况数据。在至少一个实施例中，当计算装置1508发送用于ai辅助注释 1310的极端点时，深度学习模型例如可以接收这个数据作为输入并且返回分段器官或
异常的推理结果。在至少一个实施例中，预实例化的注释工具 (诸如图15b中的ai辅助的注释工具1536b)可通过向服务器(诸如举例而言可包括存储在注释模型注册表中的一组预训练模型1542的注释助手服务器1540)进行api调用(例如，api调用1544)来增强。在至少一个实施例中，注释模型注册表可以存储预先训练的模型1542(例如，机器学习模型，诸如深度学习模型)，其被预先训练以对特定器官或异常执行 ai辅助的注释。这些模型可通过使用训练管线1404进一步更新。在至少一个实施例中，当添加新的经标记的诊所数据1312时，可随时间改进预安装的注释工具。
191.这些组件可用于使用从一个或更多个质量评估值确定的参数来将组成图像合成为单个表示。
192.自动化技术
193.图16a示出了根据至少一个实施例的图16a的自动驾驶车辆1600 的示例系统架构的框图。在至少一个实施例中，图16a中的车辆1600的一个或更多个组件、一个或更多个特征和一个或更多个系统中的每一个都示出为经由总线1602连接。在至少一个实施例中，总线1602可包括但不限于can数据接口(在本文中可替代地称为“can总线”)。在至少一个实施例中，can总线可以是车辆1600内部的网络，用于帮助控制车辆1600 的各种特征和功能，例如制动器的致动、加速、制动、转向、雨刷等。在一个实施例中，总线1602可以配置成具有数十个甚至数百个节点，每个节点具有其自己的唯一识别符(例如，can id)。在至少一个实施例中，可以读取总线1602以找到方向盘角度、地面速度、发动机每分钟转动次数 (“rpm”)、按钮位置和/或其他车辆状态指示器。在至少一个实施例中，总线1602可以是符合asil b的can总线。
194.在至少一个实施例中，除了can之外或来自can，可使用flexray 和/或以太网(ethernet)。在至少一个实施例中，可以有任意数量的总线 1602，其可以包括但不限于零或更多的can总线，零或更多的flexray 总线，零或更多的以太网总线，和/或零或更多的使用其他协议的其他类型的总线。在至少一个实施例中，两个或更多个总线可以用于执行不同的功能，和/或可以用于冗余。例如，第一总线可以用于碰撞避免功能，并且第二总线可以用于致动控制。在至少一个实施例中，每个总线1602可以与车辆1600的任何组件通信，并且两个或更多个总线1602可以与相同的组件通信。在至少一个实施例中，任何数量的片上系统(“soc”)1604中的每一个，一个或更多个控制器1636中的每一个和/或车辆内的每个计算机都可以访问相同的输入数据(例如，来自车辆1600的传感器的输入)，并且可以连接到公共总线，例如can总线。
195.在至少一个实施例中，车辆1600可以包括一个或更多个控制器1636，诸如本文关于图1a所描述的那些。控制器1636可以用于多种功能。在至少一个实施例中，控制器1636可以耦合到车辆1600的各种其他组件和系统中的任何一个，并且可以用于控制车辆1600、车辆1600的人工智能、车辆1600的信息娱乐和/或其他功能。
196.在至少一个实施例中，车辆1600可以包括任何数量的soc 1604。soc 1604中的每一个可以包括但不限于中央处理单元(“一个或更多个cpu”) 1606、图形处理单元(“一个或更多个gpu”)1608、一个或更多个处理器 1610、一个或更多个高速缓存1612、一个或更多个加速器1614、一个或更多个数据存储1616和/或其他未显示的组件和特征。在至少一个实施例中，一个或更多个soc 1604可以用于在各种平台和系统中控制车辆1600。例如，在至少一
个实施例中，一个或更多个soc 1604可以与高清晰度(“hd”) 地图1622在系统(例如，车辆1600的系统)中组合，该高清晰度地图1622 可以经由网络接口1624从一个或更多个服务器(图16a中未示出)获得地图刷新和/或更新。
197.在至少一个实施例中，一个或更多个cpu 1606可以包括cpu集群或cpu复合体(在本文中可替代地称为“ccplex”)。在至少一个实施例中，一个或更多个cpu 1606可以包括多个核心和/或二级(“l2”)高速缓存。例如，在至少一个实施例中，一个或更多个cpu 1606可以在相互耦合的多处理器配置中包括八个核心。在至少一个实施例中，一个或更多 cpu 1606可以包括四个双核心集群，其中每个集群具有专用的l2高速缓存(例如，2mb l2高速缓存)。在至少一个实施例中，一个或更多cpu 1606 (例如，ccplex)可以配置成支持同时的集群操作，使得一个或更多cpu 1606的集群的任何组合在任何给定的时间都可以是活跃的。
198.在至少一个实施例中，一个或更多个cpu 1606可以实现电源管理功能，这些功能包括但不限于以下特征中的一个或更多个：空闲时可以自动对各个硬件模块进行时钟门控以节省动态功率；当该核心由于执行等待中断(“wfi”)/事件等待(“wfe”)指令而未主动执行指令时，可以对每个核心时钟进行门控；每个核心都可以独立供电；当所有核心都被时钟门控或功率门控时，每个核心集群可以被独立地时钟门控；以及/或当所有核心都被功率门控时，每个核心集群可以被独立地功率门控。在至少一个实施例中，一个或更多cpu 1606可以进一步实现用于管理功率状态的增强算法，其中指定了允许的功率状态和预期的唤醒时间，并且硬件/微码确定了针对核心、集群和ccplex输入的最佳功率状态。在至少一个实施例中，处理核心可以在软件中支持简化的功率状态输入序列，其中工作被分担给微码。
199.在至少一个实施例中，一个或更多个gpu 1608可以包括集成的gpu (在本文中或者称为“igpu”)。在至少一个实施例中，一个或更多个gpu 1608可以是可编程的，并且对于并行工作负载可以是有效的。在至少一个实施例中，一个或更多个gpu 1608可以使用增强的张量指令集。在至少一个实施例中，一个或更多个gpu 1608可以包括一个或更多个流式微处理器，其中每个流式微处理器可以包括一级(“l1”)高速缓存(例如，具有至少96kb的存储容量的l1高速缓存)，以及两个或更多个流式微处理器可以共享l2高速缓存(例如，具有512kb存储容量的l2高速缓存)。在至少一个实施例中，一个或更多个gpu 1608可以包括至少八个流式微处理器。在至少一个实施例中，一个或更多个gpu 1608可以使用计算应用编程接口(api)。在至少一个实施例中，一个或更多gpu 1608可以使用一个或更多个并行计算平台和/或编程模型(例如，nvidia的cuda)。
200.在至少一个实施例中，一个或更多个gpu 1608可以经功耗优化以在汽车和嵌入式用例中获得最佳性能。例如，在一个实施例中，可以在鳍式场效应晶体管(“finfet”)上制造一个或更多个gpu 1608。在至少一个实施例中，每个流式微处理器可以包含多个划分为多个块的混合精度处理核心，。例如但不限于，可以将64个pf32核心和32个pf64核心划分为四个处理块。在至少一个实施例中，可以为每个处理块分配16个fp32核心、8个fp64核心、16个int32核心、两个用于深度学习矩阵算术的混合精度nvidia张量核心、零级(“l0”)指令缓存、线程束调度器、分派单元和/或64kb寄存器文件。在至少一个实施例中，流式微处理器可以包括独立的并行整数和浮点数据路径来提供混合了计算和寻址运算的工作量的有效执行。在至少一个实施例中，流式微处理器可以包括独立的线程调度能力，以实现更细粒度的同步和并行线程之间的协作。在至少一个实施例中，流式微处理器可以包括组合的l1数据
高速缓存和共享存储器单元，以便在简化编程的同时提高性能。
201.在至少一个实施例中，一个或更多个gpu 1608可以包括高带宽存储器(“hbm”)和/或16gb hbm2存储器子系统，以在一些示例中提供约 900gb/秒的峰值存储带宽。在至少一个实施例中，除了或替代于hbm存储器，可以使用同步图形随机存取存储器(“sgram”)，例如图形双倍数据速率类型的五同步随机存取存储器(“gddr5”)。
202.在至少一个实施例中，一个或更多个gpu 1608可以包括统一存储器技术。在至少一个实施例中，地址转换服务(“ats”)支持可以用于允许一个或更多个gpu 1608直接访问一个或更多个cpu 1606页表。在至少一个实施例中，当一个或更多个gpu 1608存储器管理单元(“mmu”)经历未命中时，可以将地址转换请求发送到一个或更多个cpu 1606。作为响应，在至少一个实施例中，一个或更多个cpu 1606中的2cpu可以在其页面表中查找地址的虚拟-物理的映射并将转换传送回一个或更多个gpu 1608。在至少一个实施例中，统一存储器技术可以允许单个统一虚拟地址空间用于一个或更多个cpu 1606和一个或更多个gpu 1608两者的存储器，从而简化了一个或更多个gpu 1608的编程以及将应用移植到一个或更多个 gpu 1608。
203.在至少一个实施例中，一个或更多个gpu 1608可以包括任意数量的访问计数器，其可以跟踪一个或更多个gpu 1608对其他处理器的存储器的访问频率。在至少一个实施例中，一个或更多个访问计数器可以帮助确保将存储器页移动到最频繁访问页面的处理器的物理存储器中，从而提高处理器之间共享的存储器范围的效率。
204.在至少一个实施例中，一个或更多个soc 1604可以包括任何数量的高速缓存1612，包括本文所述的那些。例如，在至少一个实施例中，一个或更多个高速缓存1612可以包括可用于一个或更多个cpu 1606和一个或更多个gpu 1608(例如，连接到cpu 1606和gpu 1608)的三级(“l3”) 高速缓存。在至少一个实施例中，一个或更多个高速缓存1612可以包括回写式高速缓存，该回写式高速缓存可以例如通过使用高速缓存相干协议(例如，mei、mesi、msi等)来跟踪线的状态。在至少一个实施例中，尽管可以使用较小的高速缓存大小，根据实施例，l3高速缓存可以包括4mb 或更多。
205.在至少一个实施例中，一个或更多个soc 1604可以包括一个或更多个加速器1614(例如，硬件加速器、软件加速器或其组合)。在至少一个实施例中，一个或更多个soc 1604可以包括硬件加速集群，其可以包括优化的硬件加速器和/或大的片上存储器。在至少一个实施例中，大的片上存储器(例如4mb的sram)可以使硬件加速集群能够加速神经网络和其他计算。在至少一个实施例中，硬件加速集群可以用于补充一个或更多个 gpu 1608并且卸载一个或更多个gpu 1608的一些任务(例如，释放一个或更多个gpu 1608的更多周期以执行其他任务)。在至少一个实施例中，一个或更多个加速器1614可以用于足够稳定以经得起加速检验的目标工作负载(例如，感知、卷积神经网络(“cnn”)、递归神经网络(“rnn”) 等)。在至少一个实施例中，cnn可以包括基于区域或区域卷积神经网络 (“rcnn”)和快速rcnn(例如，如用于对象检测)或其他类型的cnn。
206.在至少一个实施例中，一个或更多个加速器1614(例如，硬件加速集群)可以包括一个或更多个深度学习加速器(“dla”)。一个或更多个 dla可以包括但不限于一个或更多个tensor处理单元(“tpu”)，其可以配置成每秒提供附加的10万亿次操作用于深度学习应用和推理。在至少一个实施例中，tpu可以是配置成并被优化用于执行图像处理功能(例如，
用于cnn、rcnn等)的加速器。可以针对神经网络类型和浮点运算以及推理的特定集合进一步优化一个或更多个dla。在至少一个实施例中，一个或更多个dla的设计可以提供比典型的通用gpu更高的每毫米性能，并且通常大大超过cpu的性能。在至少一个实施例中，一个或更多个tpu 可执行若干功能，包括支持例如int8、int16和fp16数据类型以用于特征和权重的单实例卷积功能以及后处理器功能的。在至少一个实施例中，一个或更多个dla可以针对各种功能中的任何功能，在处理或未处理的数据上快速且有效地执行神经网络，尤其是cnn，包括例如但不限于：用于使用来自相机传感器的数据进行对象识别和检测的cnn；用于使用来自相机传感器的数据进行距离估算的cnn；用于使用来自麦克风1696的数据进行紧急车辆检测以及识别和检测的cnn；用于使用来自相机传感器的数据进行人脸识别和车主识别的cnn；以及/或用于安全和/或安全相关事件的cnn。
207.在至少一个实施例中，dla可以执行一个或更多个gpu 1608的任何功能，并且通过使用推理加速器，例如，设计者可以将一个或更多个dla 或一个或更多个gpu 1608作为目标用于任何功能。例如，在至少一个实施例中，设计者可以将cnn的处理和浮点运算集中在一个或更多个dla 上，并将其他功能留给一个或更多个gpu 1608和/或一个或更多个加速器 1614。
208.在至少一个实施例中，一个或更多个加速器1614(例如硬件加速集群)可以包括(一个或更多个)可编程视觉加速器(“pva”)，其在本文中可以可替代地称为计算机视觉加速器。在至少一个实施例中，一个或更多个pva可以设计和配置为加速用于高级驾驶员辅助系统(“adas”) 1638、自动驾驶、增强现实(“ar”)应用和/或虚拟现实(“vr”)应用的计算机视觉算法。一个或更多个pva可以在性能和灵活性之间取得平衡。例如，在至少一个实施例中，一个或更多个pva中的每一个可以包括例如但不限于任何数量的精简指令集计算机(“risc”)核心、直接存储器访问 (“dma”)和/或任意数量的向量处理器。
209.在至少一个实施例中，risc核心可以与图像传感器(例如，本文描述的任意相机的图像传感器)、图像信号处理器和/或其他处理器交互。在至少一个实施例中，每个risc核心可以包括任意数量的存储器。在至少一个实施例中，根据实施例，risc核心可以使用多种协议中的任意一种。在至少一个实施例中，risc核心可以执行实时操作系统(“rtos”)。在至少一个实施例中，可以使用一个或更多个集成电路设备、专用集成电路 (“asic”)和/或存储设备来实现risc核心。例如，在至少一个实施例中， risc核心可以包括指令高速缓存和/或紧密耦合的ram。
210.在至少一个实施例中，dma可以使(一个或更多个)pva的组件能够独立于一个或更多个cpu 1606访问系统存储器。在至少一个实施例中， dma可以支持用于向pva提供优化的任何数量的特征，包括但不限于，支持多维寻址和/或循环寻址。在至少一个实施例中，dma可以支持多达六个或更多个寻址的维度，其可以包括但不限于块宽度、块高度、块深度、水平块步进、垂直块步进和/或深度步进。
211.在至少一个实施例中，向量处理器可以是可编程处理器，其可以设计为有效且灵活地执行用于计算机视觉算法并提供信号处理能力的编程。在至少一个实施例中，pva可以包括pva核心和两个向量处理子系统分区。在至少一个实施例中，pva核心可以包括处理器子系统、dma引擎 (例如，两个dma引擎)和/或其他外围设备。在至少一个实施例中，向量处理子系统可以用作pva的主要处理引擎，并且可以包括向量处理单元 (“vpu”)、指令高速缓
存和/或向量存储器(例如“vmem”)。在至少一个实施例中，vpu核心可以包括数字信号处理器，例如，单指令多数据 (“simd”)、超长指令字(“vliw”)数字信号处理器。在至少一个实施例中，simd和vliw的组合可以提高吞吐量和速度。
212.在至少一个实施例中，每个向量处理器可以包括指令高速缓存并且可以耦合到专用存储器。结果，在至少一个实施例中，每个向量处理器可以配置为独立于其他向量处理器执行。在至少一个实施例中，特定pva中包括的向量处理器可以配置为采用数据并行性。例如，在至少一个实施例中，单个pva中包括的多个向量处理器可以执行相同计算机视觉算法，除了在图像的不同区域上之外。在至少一个实施例中，包括在特定pva中的向量处理器可以在相同图像上同时执行不同的计算机视觉算法，或者甚至在序列图像或部分图像上执行不同的算法。在至少一个实施例中，除其他外，在硬件加速集群中可以包括任何数量的pva，并且在每个pva中可以包括任何数量的向量处理器。在至少一个实施例中，(一个或更多个) pva可以包括附加的纠错码(“ecc”)存储器，以增强整体系统安全性。
213.在至少一个实施例中，一个或更多个加速器1614(例如硬件加速集群)可以包括片上计算机视觉网络和静态随机存取存储器(“sram”)，用于为一个或更多个加速器1614提供高带宽，低延迟sram。在至少一个实施例中，片上存储器可以包括至少4mb sram，其包括例如但不限于八个现场可配置的内存块，pva和dla均可以对其进行访问。在至少一个实施例中，每对存储块可以包括高级外围总线(“apb”)接口、配置电路、控制器和多路复用器。在至少一个实施例中，可以使用任何类型的存储器。在至少一个实施例中，pva和dla可以经由为pva和dla提供对存储器的高速访问的主干网来访问存储器。在至少一个实施例中，主干网可以包括片上计算机视觉网络，其将pva和dla互连到存储器(例如，使用apb)。
214.在至少一个实施例中，片上计算机视觉网络可以包括接口，该接口在传输任何控制信号/地址/数据之前确定pva和dla均提供就绪和有效信号。在至少一个实施例中，接口可以提供用于发送控制信号/地址/数据的单独的相位和单独的信道，以及用于连续数据传输的突发型通信。在至少一个实施例中，尽管可以使用其他标准和协议，但是接口可以符合国际标准化组织(“iso”)26262或国际电工委员会(“iec”)61508标准。
215.在至少一个实施例中，一个或更多个soc 1604可以包括实时视线追踪硬件加速器。在至少一个实施例中，实时视线追踪硬件加速器可以用于快速且有效地确定对象的位置和范围(例如，在世界模型内)，以生成实时可视化模拟，以用于radar信号解释，用于声音传播合成和/或分析，用于sonar系统的模拟，用于一般的波传播模拟，与用于定位和/或其他功能的lidar数据进行比较，和/或用于其他用途。
216.在至少一个实施例中，一个或更多个加速器1614(例如硬件加速集群)具有用于自动驾驶的广泛用途。在至少一个实施例中，pva可以是可编程视觉加速器，其可以用于adas和自动驾驶汽车中的关键处理阶段。在至少一个实施例中，在低功耗和低延迟下pva的能力与需要可预测的处理的算法域良好匹配。换句话说，pva在半密集或密集的常规计算中表现出色，即使在小型数据集上也是如此，这些数据集可能需要具有低延迟和低功耗的可预测的运行时间。在至少一个实施例中，自主车辆，诸如车辆 1600，pva被设计为运行经典的计算机视觉算法，因为它们可以在对象检测和整数数学运算方面是有效的。
217.例如，根据技术的至少一个实施例，pva被用于执行计算机立体视觉。在至少一个实施例中，可以在一些示例中使用基于半全局匹配的算法，尽管这并不意味着限制性。在至
少一个实施例中，用于3-5级自动驾驶的应用在运行中使用动态的估计/立体匹配(例如，从运动中恢复结构、行人识别、车道检测等)。在至少一个实施例中，pva可以对来自两个单目相机的输入执行计算机立体视觉功能。
218.在至少一个实施例中，pva可以用于执行密集的光流。例如，在至少一个实施例中，pva可以处理原始radar数据(例如，使用4d快速傅立叶变换)以提供处理后的radar数据。在至少一个实施例中，例如，通过处理原始飞行时间数据以提供处理后的飞行时间数据，将pva用于飞行时间深度处理。
219.在至少一个实施例中，dla可用于运行任何类型的网络以增强控制和驾驶安全性，包括例如但不限于神经网络，其输出用于每个对象检测的置信度。在至少一个实施例中，可以将置信度表示或解释为概率，或者表示为提供每个检测相对于其他检测的相对“权重”。在至少一个实施例中，置信度使系统能够做出进一步的决定，即关于哪些检测应当被认为是真正的阳性检测而不是假阳性检测。例如，在至少一个实施例中，系统可以为置信度设置阈值，并且仅将超过阈值的检测视为真阳性检测。在使用自动紧急制动(“aeb”)系统的实施例中，假阳性检测将导致车辆自动执行紧急制动，这显然是不希望的。在至少一个实施例中，高度自信的检测可以被认为是aeb的触发。在至少一个实施例中，dla可以运行用于回归置信度值的神经网络。在至少一个实施例中，神经网络可以将参数的至少一些子集作为其输入，例如包围盒尺寸，获得的地平面估计(例如，从另一子系统)，与从神经网络和/或其他传感器(例如，一个或更多个lidar 传感器1664或一个或更多个radar传感器1660)等获得的对象的车辆 1600方向、距离、3d位置估计相关的一个或更多个imu传感器1666的输出。
220.在至少一个实施例中，一个或更多个soc 1604可以包括一个或更多个数据存储装置1616(例如，存储器)。在至少一个实施例中，一个或更多个数据存储1616可以是一个或更多个soc 1604的片上存储器，其可以存储要在一个或更多个gpu 1608和/或dla上执行的神经网络。在至少一个实施例中，一个或更多个数据存储1616可以具有足够大的容量以存储神经网络的多个实例以用于冗余和安全。在至少一个实施例中，一个或更多个数据存储1616可以包括l2或l3高速缓存。
221.在至少一个实施例中，一个或更多个soc 1604可以包括任何数量的处理器1610(例如，嵌入式处理器)。在至少一个实施例中，一个或更多个处理器1610可以包括启动和电源管理处理器，该启动和电源管理处理器可以是专用处理器和子系统，以处理启动电源和管理功能以及相关的安全实施。在至少一个实施例中，启动和电源管理处理器可以是一个或更多个 soc 1604启动序列的一部分，并且可以提供运行时电源管理服务。在至少一个实施例中，启动功率和管理处理器可以提供时钟和电压编程，辅助系统低功率状态转换，一个或更多个soc 1604热和温度传感器管理和/或一个或更多个soc 1604功率状态管理。在至少一个实施例中，每个温度传感器可以实现为其输出频率与温度成比例的环形振荡器，并且一个或更多个 soc 1604可以使用环形振荡器来检测一个或更多个cpu 1606，一个或更多个gpu1608和/或一个或更多个加速器1614的温度。在至少一个实施例中，如果确定温度超过阈值，则启动和电源管理处理器可以进入温度故障例程，并将一个或更多个soc 1604置于较低功耗状态和/或将车辆1600置于司机的安全停车图案(例如，使车辆1600安全停车)。
222.在至少一个实施例中，一个或更多个处理器1610可以还包括一组嵌入式处理器，
其可以用作音频处理引擎。在至少一个实施例中，音频处理引擎可以是音频子系统，其能够通过多个接口以及广泛且灵活范围的音频 i/o接口为硬件提供对多通道音频的完全硬件支持。在至少一个实施例中，音频处理引擎是专用处理器核心，其具有带专用ram的数字信号处理器。
223.在至少一个实施例中，一个或更多个处理器1610可以还包括始终在线的处理器引擎，该引擎可以提供必要的硬件特征以支持低功率传感器管理和唤醒用例。在至少一个实施例中，始终在线的处理器引擎上的处理器可以包括但不限于处理器核心、紧密耦合的ram、支持外围设备(例如，定时器和中断控制器)、各种i/o控制器外围设备以及路由逻辑。
224.在至少一个实施例中，一个或更多个处理器1610可以还包括安全集群引擎，该安全集群引擎包括但不限于用于处理汽车应用的安全管理的专用处理器子系统。在至少一个实施例中，安全集群引擎可以包括但不限于两个或更多个处理器核心、紧密耦合的ram、支持外围设备(例如，定时器、中断控制器等)和/或路由逻辑。在安全模式下，在至少一个实施例中，两个或更多个核心可以以锁步模式操作，并且可以用作具有用以检测其操作之间的任何差异的比较逻辑的单个核心。在至少一个实施例中，一个或更多个处理器1610可以还包括实时相机引擎，该实时相机引擎可以包括但不限于用于处理实时相机管理的专用处理器子系统。在至少一个实施例中，一个或更多个处理器1610可以还包括高动态范围信号处理器，该高动态范围信号处理器可以包括但不限于图像信号处理器，该图像信号处理器是作为相机处理管线的一部分的硬件引擎。
225.在至少一个实施例中，一个或更多个处理器1610可以包括视频图像合成器，该视频图像合成器可以是处理块(例如，在微处理器上实现)，该处理块实现视频回放应用产生最终的视频所需要的视频后处理功能，以产生用于播放器窗口的最终图像。在至少一个实施例中，视频图像合成器可以在一个或更多个广角相机1670、一个或更多个环绕相机1674和/或一个或更多个舱内监控相机传感器上执行透镜畸变校正。在至少一个实施例中，优选地，由在soc 1604的另一实例上运行的神经网络来监控舱室内监控相机传感器，该神经网络被配置为识别舱室事件并相应地做出响应。在至少一个实施例中，舱室内系统可以执行但不限于唇读以激活蜂窝服务和拨打电话、指示电子邮件、改变车辆的目的地、激活或改变车辆的信息娱乐系统和设置、或者提供语音激活的网上冲浪。在至少一个实施例中，当车辆以自主模式运行时，某些功能对于驾驶员是可用的，否则将其禁用。
226.在至少一个实施例中，视频图像合成器可以包括用于同时空间和时间降噪的增强的时间降噪。例如，在至少一个实施例中，在运动发生在视频中的情况下，降噪适当地对空间信息加权，从而减小由相邻帧提供的信息的权重。在至少一个实施例中，在图像或图像的一部分不包括运动的情况下，由视频图像合成器执行的时间降噪可以使用来自先前图像的信息来降低当前图像中的噪声。
227.在至少一个实施例中，视频图像合成器还可以配置为对输入的立体透镜帧执行立体校正。在至少一个实施例中，当使用操作系统桌面时，视频图像合成器还可以用于用户接口合成，并且不需要一个或更多个gpu 1608来连续渲染新表面。在至少一个实施例中，当对一个或更多个gpu 1608供电并使其活跃地进行3d渲染时，视频图像合成器可以被用于卸载一个或更多个gpu 1608以改善性能和响应性。
228.在至少一个实施例中，soc 1604中的一个或更多个soc可以还包括用于从相机接
收视频和输入的移动工业处理器接口(“mipi”)相机串行接口、高速接口和/或可用于相机和相关像素输入功能的视频输入块。在至少一个实施例中，一个或更多个soc 1604可以还包括输入/输出控制器，该输入/输出控制器可以由软件控制并且可以被用于接收未提交给特定角色的i/o信号。
229.在至少一个实施例中，soc 1604中的一个或更多个soc可以还包括广泛的外围接口，以使得能够与外围设备、音频编码器/解码器(“编解码器”)，电源管理和/或其他设备通信。一个或更多个soc 1604可用于处理来自(例如，通过千兆位多媒体串行链路和以太网通道连接)相机、传感器(例如，一个或更多个lidar传感器1664，一个或更多个radar传感器1660等，其可以通过以太网连接)的数据，来自总线1602的数据(例如，车辆1600的速度、方向盘位置等)，来自一个或更多个gnss传感器 1658的数据(例如，通过以太网总线或can总线连接)等。在至少一个实施例中，soc 1604中的一个或更多个soc可以还包括专用高性能海量存储控制器，其可以包括它们自己的dma引擎，并且可以用于使一个或更多个cpu 1606摆脱常规数据管理任务。
230.在至少一个实施例中，一个或更多个soc 1604可以是具有灵活架构的端到端平台，其跨越自动化级别3-5级，从而提供利用并有效使用计算机视觉和adas技术来实现多样性和冗余的综合的功能安全架构，其提供了可提供灵活、可靠的驾驶软件堆栈以及深度学习工具的平台。在至少一个实施例中，一个或更多个soc 1604可以比常规系统更快、更可靠，并且甚至在能量效率和空间效率上也更高。例如，在至少一个实施例中，一个或更多个加速器1614当与一个或更多个cpu 1606、一个或更多个gpu 1608以及一个或更多个数据存储装置1616结合时，可以提供用于3-5级自动驾驶车辆的快速、有效的平台。
231.在至少一个实施例中，计算机视觉算法可以在cpu上执行，cpu可以使用高级编程语言(例如c编程语言)配置为在多种视觉数据上执行多种处理算法。然而，在至少一个实施例中，cpu通常不能满足许多计算机视觉应用的性能要求，例如与执行时间和功耗有关的性能要求。在至少一个实施例中，许多cpu不能实时执行复杂的对象检测算法，该算法被用于车载adas应用和实际3-5级自动驾驶车辆中。
232.本文所述的实施例允许同时和/或序列地执行多个神经网络，并且允许将结果结合在一起以实现3-5级自动驾驶功能。例如，在至少一个实施例中，在dla或离散gpu(例如，一个或更多个gpu 1620)上执行的 cnn可包括文本和单词识别，从而允许超级计算机读取和理解交通界标，包括神经网络尚未被专门训练的界标。在至少一个实施例中，dla还可包括神经网络，该神经网络能够识别、解释并提供符号的语义理解，并将该语义理解传递给在cpu complex上运行的路径规划模块。
233.在至少一个实施例中，对于3、4或5级的驱动，可以同时运行多个神经网络。例如，在至少一个实施例中，由“警告界标声明：闪烁的灯指示结冰状况(caution:flashing lights indicate icy conditions)”连通电灯一起组成的警告界标可以由多个神经网络独立地或共同地解释。在至少一个实施例中，可以通过第一部署的神经网络(例如，已经训练的神经网络)将该警告界标本身识别为交通界标，可以通过第二部署的神经网络来解释文本“闪烁的灯指示结冰状况(flashing lights indicate icy conditions)”，其通知车辆的路径规划软件(最好在cpu complex上执行)：当检测到闪烁的灯光时，就会存在结冰状况。在至少一个实施例中，可以通过在多个帧上操作第三部署的神经网络来识别闪烁的灯，
向车辆的路径规划软件通知存在 (或不存在)闪烁的灯。在至少一个实施例中，所有三个神经网络可以同时运行，例如在dla内和/或在一个或更多个gpu 1608上。
234.在至少一个实施例中，用于面部识别和车辆所有者识别的cnn可以使用来自相机传感器的数据来识别授权驾驶员和/或车辆1600的所有者的存在。在至少一个实施例中，当所有者接近驾驶员门并打开灯时，常开传感器处理器引擎可用于解锁车辆，并且，在安全模式下，当所有者离开该车辆时，可用于禁用该车辆。以此方式，一个或更多个soc 1604提供防止盗窃和/或劫车的保障。
235.在至少一个实施例中，用于紧急车辆检测和识别的cnn可以使用来自麦克风1696的数据来检测和识别紧急车辆警报器。在至少一个实施例中，一个或更多个soc 1604使用cnn来对环境和城市声音进行分类，以及对视觉数据进行分类。在至少一个实施例中，训练在dla上运行的cnn以识别紧急车辆的相对接近速度(例如，通过使用多普勒效应)。在至少一个实施例中，还可以训练cnn来识别针对车辆正在运行的区域的紧急车辆，如一个或更多个gnss传感器1658所识别。在至少一个实施例中，当在欧洲运行时，cnn将寻求检测欧洲警报器，而在美国cnn将寻求仅识别北美警报器。在至少一个实施例中，一旦检测到紧急车辆，就可以在一个或更多个超声波传感器1662的辅助下使用控制程序来执行紧急车辆安全例程、减速车辆、将车辆驶至路边、停车、和/或使车辆闲置，直到(一个或更多个)紧急车辆通过。
236.在至少一个实施例中，车辆1600可以包括一个或更多个cpu 1618 (例如，一个或更多个离散cpu或一个或更多个dcpu)，其可以经由高速互连(例如pcie)耦合到一个或更多个soc 1604。在至少一个实施例中，一个或更多个cpu 1618可以包括x86处理器，例如一个或更多个cpu 1618可用于执行各种功能中的任何功能，例如包括在adas传感器和一个或更多个soc 1604之间潜在的仲裁不一致的结果，和/或一个或更多个监控控制器1636的状态和健康和/或片上信息系统(“信息soc”)1630。
237.在至少一个实施例中，车辆1600可以包括一个或更多个gpu 1620 (例如，一个或更多个离散gpu或一个或更多个dgpu)，其可以经由高速互连(例如nvidia的nvlink)耦合到一个或更多个soc 1604。在至少一个实施例中，一个或更多个gpu 1620可以提供附加的人工智能功能，例如通过执行冗余和/或不同的神经网络，并且可以至少部分地基于来自车辆1600的传感器的输入(例如，传感器数据)来用于训练和/或更新神经网络。
238.在至少一个实施例中，车辆1600可以还包括网络接口1624，其可以包括但不限于一个或更多个无线天线1626(例如，用于不同通信协议的一个或更多个无线天线，诸如蜂窝天线、蓝牙天线等)。在至少一个实施例中，网络接口1624可以用于使能通过互联网云(例如，采用服务器和/或其他网络设备)与其他车辆和/或计算设备(例如乘客的客户端设备)的无线连接。在至少一个实施例中，为了与其他车辆通信，可以在车辆160和其他车辆之间建立直接链路和/或可以建立间接链路(例如，通过网络和互联网)。在至少一个实施例中，可以使用车辆到车辆的通信链路来提供直接链路。车辆到车辆的通信链路可以向车辆1600提供关于车辆1600附近的车辆的信息(例如，车辆1600前面、侧面和/或后面的车辆)。在至少一个实施例中，该前述功能可以是车辆1600的协作自适应巡航控制功能的一部分。
239.在至少一个实施例中，网络接口1624可以包括soc，其提供调制和解调功能并使一个或更多个控制器1636能够通过无线网络进行通信。在至少一个实施例中，网络接口1624
可以包括射频前端，用于从基带到射频的上转换以及从射频到基带的下转换。在至少一个实施例中，可以以任何技术上可行的方式执行频率转换。例如，可以通过公知的过程和/或使用超外差过程来执行频率转换。在至少一个实施例中，射频前端功能可以由单独的芯片提供。在至少一个实施例中，网络接口可以包括用于通过lte、 wcdma、umts、gsm、cdma2000、蓝牙、蓝牙le、wi-fi、z-wave、 zigbee、lorawan和/或其他无线协议进行通信的无线功能。
240.在至少一个实施例中，车辆1600可以还包括一个或更多个数据存储 1628，其可以包括但不限于片外(例如，一个或更多个soc 1604)存储。在至少一个实施例中，一个或更多个数据存储1628可以包括但不限于一个或更多个存储元件，包括ram、sram、动态随机存取存储器(“dram”)、视频随机存取存储器(“vram”)、闪存、硬盘和/或其他组件和/或可以存储至少一位数据的设备。
241.在至少一个实施例中，车辆1600可以还包括一个或更多个gnss传感器1658(例如，gps和/或辅助gps传感器)，以辅助地图绘制、感知、占用光栅生成和/或路径规划功能。在至少一个实施例中，可以使用任何数量的gnss传感器1658，包括例如但不限于使用具有以太网的usb连接器连接到串行接口(例如rs-232)桥的gps。
242.在至少一个实施例中，车辆1600可以还包括一个或更多个radar 传感器1660。一个或更多个radar传感器1660可以由车辆1600用于远程车辆检测，即使在黑暗和/或恶劣天气条件下。在至少一个实施例中， radar功能安全等级可以是asil b。一个或更多个radar传感器1660 可以使用can总线和/或总线1602(例如，以传输由一个或更多个radar 传感器1660生成的数据)来进行控制和访问对象跟踪数据，在某些示例中可以访问以太网以访问原始数据。在至少一个实施例中，可以使用各种各样的radar传感器类型。例如但不限于，一个或更多个radar传感器 1660可适合于前、后和侧面radar使用。在至少一个实施例中，一个或更多个radar传感器1660是脉冲多普勒radar传感器。
243.在至少一个实施例中，一个或更多个radar传感器1660可以包括不同的配置，例如具有窄视野的远程、具有宽事业的近程、近程侧面覆盖等。在至少一个实施例中，远程radar可以用于自适应巡航控制功能。在至少一个实施例中，远程radar系统可以提供通过两次或更多次独立扫描(例如在250m范围内)实现的宽广的视野。在至少一个实施例中，一个或更多个radar传感器1660可以帮助在静态对象和运动对象之间区分，并且可以被adas系统1638用于紧急制动辅助和向前碰撞警告。包括在远程radar系统中的一个或更多个传感器1660可以包括但不限于具有多个(例如六个或更多个)固定radar天线以及高速can和flexray 接口的单基地多模式radar。在至少一个实施例中，具有六个天线、中央四个天线可以创建聚焦的波束图，该波束图设计为以较高的速度记录车辆1600的周围环境，而相邻车道的交通干扰最小。在至少一个实施例中，其他两个天线可以扩大视野，从而可以快速检测进入或离开车辆1600的车道。
244.在至少一个实施例中，作为示例，中程radar系统可包括例如高达160m(前)或80m(后)的范围，以及高达42度(前)或150度(后) 的视野。在至少一个实施例中，短程radar系统可以包括但不限于设计成安装在后保险杠的两端的任意数量的radar传感器1660。当安装在后保险杠的两端时，在至少一个实施例中，radar传感器系统可以产生两个光束，该两个光束不断地监测车辆后部和附近的盲点。在至少一个实施例中，短程radar系统可以在adas系统1638中用于盲点检测和/或车道改变辅助。
245.在至少一个实施例中，车辆1600可以还包括一个或更多个超声传感器1662。可以定位在车辆1600的前、后和/或侧面位置的一个或更多个超声传感器1662可以用于停车辅助和/或创建和更新占用光栅。在至少一个实施例中，可以使用各种各样的超声传感器1662，并且可以将不同的超声传感器1662用于不同的检测范围(例如2.5m、4m)。在至少一个实施例中，超声传感器1662可以在asil b的功能安全等级下操作。
246.在至少一个实施例中，车辆1600可以包括一个或更多个lidar传感器1664。一个或更多个lidar传感器1664可以用于对象和行人检测、紧急制动、避免碰撞和/或其他功能。在至少一个实施例中，一个或更多个 lidar传感器1664可以是功能安全等级asil b。在至少一个实施例中，车辆1600可以包括可以使用以太网的多个(例如，两个、四个、六个等) lidar传感器1664(例如，将数据提供给千兆以太网交换机)。
247.在至少一个实施例中，一个或更多个lidar传感器1664可能能够提供针对360度视野的对象及其距离的列表。在至少一个实施例中，市售的一个或更多个lidar传感器1664例如可以具有大约100m的广告范围，具有2cm-3cm的精度，并且支持100mbps的以太网连接。在至少一个实施例中，可以使用一个或更多个非突出的lidar传感器。在这样的实施例中，一个或更多个lidar传感器1664可以作为嵌入到车辆1600的前、后、侧面和/或拐角中的小型设备被实施。在至少一个实施例中，一个或更多个 lidar传感器1664，在这样的实施例中，即使对于低反射率的对象，也可以提供高达120度的水平视野和35度的垂直视野，并且具有200m的范围。在至少一个实施例中，可将前向一个或更多个lidar传感器1664配置为用于45度至135度之间的水平视野。
248.在至少一个实施例中，也可以使用lidar技术(诸如3d闪光 lidar)。3d闪光lidar使用激光闪光作为传输源，以照亮车辆1600 周围大约200m。在至少一个实施例中，闪光lidar单元包括但不限于接收器，该接收器记录激光脉冲传播时间和每个像素上的反射光，该像素又对应于从车辆1600到对象的范围。在至少一个实施例中，闪光lidar可以允许利用每个激光闪光来生成周围环境的高度准确且无失真的图像。在至少一个实施例中，可以部署四个闪光lidar传感器，在车辆1600的每一侧部署一个传感器。在至少一个实施例中，3d闪光lidar系统包括但不限于除了风扇(例如非扫描lidar设备)以外没有移动部件的固态3d 视线阵列lidar相机。在至少一个实施例中，闪光lidar设备可以每帧使用5纳秒的i类(人眼安全)激光脉冲，并且可以捕获反射激光，以3d 测距点云的形式和共同登记的强度数据。
249.在至少一个实施例中，车辆1600还可包括一个或更多个imu传感器 1666。在至少一个实施例中，一个或更多个imu传感器1666可位于车辆 1600的后轴中心。在至少一个实施例中，一个或更多个imu传感器1666 可以包括，例如但不限于，一个或更多个加速度计、一个或更多个磁力计、一个或更多个陀螺仪、一个磁罗盘、多个磁罗盘和/或其他传感器类型。在至少一个实施例中，例如在六轴应用中，一个或更多个imu传感器1666 可以包括但不限于加速度计和陀螺仪。在至少一个实施例中，例如在九轴应用中，一个或更多个imu传感器1666可以包括但不限于加速度计、陀螺仪和磁力计。
250.在至少一个实施例中，一个或更多个imu传感器1666可以实现为结合了微机电系统(“mems”)惯性传感器，高灵敏度gps接收器和先进的卡尔曼滤波算法的微型高性能gps辅助惯性导航系统(“gps/ins”)，以提供位置、速度和姿态的估算；在至少一个实施例中，一个
或更多个imu 传感器1666可使车辆1600估算航向而无需来自磁传感器通过直接观测和关联从gps到一个或更多个imu传感器1666的速度变化来实现的输入。在至少一个实施例中，一个或更多个imu传感器1666和一个或更多个 gnss传感器1658可以组合在单个集成单元中。
251.在至少一个实施例中，车辆1600可以包括放置在车辆1600内和/或周围的一个或更多个麦克风1696。在至少一个实施例中，此外，一个或更多个麦克风1696可以用于紧急车辆检测和识别。
252.在至少一个实施例中，车辆1600可以还包括任何数量的相机类型，包括一个或更多个立体相机1668、一个或更多个广角相机1670、一个或更多个红外相机1672、一个或更多个环绕相机1674、一个或更多个远程相机 1698、一个或更多个中程相机1676和/或其他相机类型。在至少一个实施例中，相机可用于捕获车辆1600的整个外围周围的图像数据。在至少一个实施例中，所使用的相机的类型取决于车辆1600。在至少一个实施例中，相机类型的任何组合可以是用于在车辆1600周围提供必要覆盖范围。在至少一个实施例中，部署的相机的数量可以根据实施例而不同。例如，在至少一个实施例中，车辆1600可以包括六个相机、七个相机、十个相机、十二个相机或其他数量的相机。相机可以作为示例但不限于支持千兆位多媒体串行链路(“gmsl”)和/或千兆位以太网。在至少一个实施例中，本文先前参照图16a和图16b可以更详细地描述了每个相机。
253.在至少一个实施例中，车辆1600可以还包括一个或更多个振动传感器1642。在至少一个实施例中，一个或更多个振动传感器1642可以测量车辆1600的部件(例如，轴)的振动。例如，在至少一个实施例中，振动的变化可以指示路面的变化。在至少一个实施例中，当使用两个或更多个振动传感器1642时，振动之间的差异可以用于确定路面的摩擦或打滑(例如，当在动力驱动轴和自由旋转轴之间存在振动差异时)。
254.在至少一个实施例中，车辆1600可以包括adas系统1638。adas 系统1638可以包括但不限于soc。在至少一个实施例中，adas系统1638 可以包括但不限于任何数量的自主/自适应/自动巡航控制(“acc”)系统、协作自适应巡航控制(“cacc”)系统、前撞警告(“fcw”)系统、自动紧急制动(“aeb”)系统、车道偏离警告(“ldw”)系统、车道保持辅助 (“lka”)系统、盲区警告(“bsw”)系统、后方交叉交通警告(“rctw”) 系统、碰撞警告(“cw”)系统、车道对中(“lc”)系统和/或其他系统、特征和/或功能及其组合。
255.在至少一个实施例中，acc系统可以使用一个或更多个radar传感器1660、一个或更多个lidar传感器1664和/或任何数量的相机。在至少一个实施例中，acc系统可以包括纵向acc系统和/或横向acc系统。在至少一个实施例中，纵向acc系统监控并控制到紧邻车辆1600的车辆的距离，并自动调节车辆1600的速度以保持与前方车辆的安全距离。在至少一个实施例中，横向acc系统执行距离保持，并在需要时建议车辆 1600改变车道。在至少一个实施例中，横向acc与其他adas应用有关，例如lc和cw。
256.在至少一个实施例中，cacc系统使用来自其他车辆的信息，该信息可以经由网络接口1624和/或一个或更多个无线天线1626从其他车辆接收经由无线链路或者间接经由网络连接(例如，经由互联网)接收。在至少一个实施例中，直接链路可以由车辆到车辆(“v2v”)的通信链路提供，而间接链路可以由基础设施到车辆(“i2v”)的通信链路提供。通常，v2v 通信概念提供关于紧接在前的车辆(例如，紧接在车辆1600之前并与之在同一车道
上的车辆)的信息，而i2v通信概念提供关于更前方交通的信息。在至少一个实施例中，cacc系统可以包括i2v和v2v信息源之一或两者。在至少一个实施例中，在给定车辆1600之前的车辆的信息的情况下，cacc 系统可以更可靠，并且具有改善交通流的平滑度并减少道路拥堵的潜力。
257.在至少一个实施例中，fcw系统被设计成警告驾驶员危险，以便该驾驶员可以采取纠正措施。在至少一个实施例中，fcw系统使用前向相机和/或一个或更多个radar传感器1660，其耦合至专用处理器、dsp、fpga 和/或asic，其电耦合至驾驶员反馈，例如显示器、扬声器和/或振动组件。在至少一个实施例中，fcw系统可以提供警告，例如以声音、视觉警告，振动和/或快速制动脉冲的形式。
258.在至少一个实施例中，aeb系统检测到与另一车辆或其他对象的即将发生的向前碰撞，并且如果驾驶员在指定的时间或距离参数内未采取纠正措施，则可以自动施加制动。在至少一个实施例中，aeb系统可以使用耦合到专用处理器、dsp、fpga和/或asic的一个或更多个前向相机和/ 或一个或更多个radar传感器1660。在至少一个实施例中，当aeb系统检测到危险时，aeb系统通常首先警告驾驶员采取纠正措施以避免碰撞，并且，如果该驾驶员没有采取纠正措施，则该aeb系统可以自动施加制动器以试图防止或至少减轻预测碰撞的影响。在至少一个实施例中，aeb系统可以包括诸如动态制动器支持和/或即将发生碰撞的制动的技术。
259.在至少一个实施例中，当车辆1600越过车道标记时，ldw系统提供视觉、听觉和/或触觉警告，例如方向盘或座椅振动，以警告驾驶员。在至少一个实施例中，当驾驶员诸如通过激活转向信号灯指示有意的车道偏离时，ldw系统不活跃。在至少一个实施例中，ldw系统可以使用耦合到专用处理器、dsp、fpga和/或asic的面向正面的相机，其被电耦合以提供诸如显示器、扬声器和/或振动组件之类的驾驶员反馈。lka系统是ldw系统的一种变型。在至少一个实施例中，如果车辆1600开始离开车道，则lka系统提供转向输入或制动以校正车辆1600。
260.在至少一个实施例中，bsw系统检测并警告汽车盲区中的车辆驾驶员。在至少一个实施例中，bsw系统可以提供视觉、听觉和/或触觉警报，以指示合并或改变车道是不安全的。在至少一个实施例中，当驾驶员使用转向灯时，bsw系统可以提供附加警告。在至少一个实施例中，bsw系统可以使用耦合到专用处理器、dsp、fpga和/或asic的一个或更多个朝后侧的相机和/或一个或更多个radar传感器1660，其电耦合到驾驶员反馈，例如显示器、扬声器和/或振动组件。
261.在至少一个实施例中，当在车辆1600倒车时在后相机范围之外检测到对象时，rctw系统可以提供视觉、听觉和/或触觉通知。在至少一个实施例中，rctw系统包括aeb系统，以确保应用车辆制动器以避免碰撞。在至少一个实施例中，rctw系统可以使用一个或更多个面向后方的 radar传感器1660，其耦合到专用处理器、dsp、fpga和/或asic，其被电耦合至诸如显示器、扬声器和/或振动组件之类的驾驶员反馈。
262.在至少一个实施例中，常规的adas系统可能易于产生误报结果，这可能使驾驶员烦恼和分散注意力，但通常不是灾难性的，因为常规的 adas系统会警告驾驶员并允许该驾驶员决定安全状况是否真正存在并采取相应动作。在至少一个实施例中，在结果冲突的情况下，车辆1600本身决定是否听从主计算机或副计算机(例如，第一控制器1636或第二控制
器 1636)的结果。例如，在至少一个实施例中，adas系统1638可以是用于将感知信息提供给备份计算机合理性模块的备用和/或辅助计算机。在至少一个实施例中，备用计算机合理性监控器可以在硬件组件上运行冗余的各种软件，以检测感知和动态驾驶任务中的故障。在至少一个实施例中，可以将来自adas系统1638的输出提供给监控mcu。在至少一个实施例中，如果来自主计算机和辅助计算机的输出冲突，则监督mcu决定如何协调冲突以确保安全操作。
263.在至少一个实施例中，主计算机可以配置为向监督mcu提供置信度分数，以指示该主计算机对所选结果的置信度。在至少一个实施例中，如果该置信度得分超过阈值，则该监督mcu可以遵循该主计算机的指示，而不管该辅助计算机是否提供冲突或不一致的结果。在至少一个实施例中，在置信度得分不满足阈值的情况下，并且在主计算机和辅助计算机指示不同的结果(例如，冲突)的情况下，监督mcu可以在计算机之间仲裁以确定适当的结果。
264.在至少一个实施例中，监督mcu可以配置为运行神经网络，该神经网络被训练和配置为至少部分地基于来自主计算机和辅助计算机的输出来确定该辅助计算机提供错误警报的条件。在至少一个实施例中，监督mcu 中的神经网络可以学习何时可以信任辅助计算机的输出，以及何时不能信任。例如，在至少一个实施例中，当该辅助计算机是基于radar的fcw 系统时，该监督mcu中的神经网络可以学习fcw系统何时识别实际上不是危险的金属对象，例如会触发警报的排水格栅或井盖。在至少一个实施例中，当辅助计算机是基于相机的ldw系统时，当存在骑自行车的人或行人并且实际上车道偏离是最安全的操作时，监督mcu中的神经网络可以学会覆盖ldw。在至少一个实施例中，监督mcu可以包括适合于运行具有相关联的存储器的神经网络的dla或gpu中的至少一个。在至少一个实施例中，监督mcu可以包括和/或被包括为一个或更多个soc 1604 的组件。
265.在至少一个实施例中，adas系统1638可以包括使用传统的计算机视觉规则执行adas功能的辅助计算机。在至少一个实施例中，该辅助计算机可以使用经典计算机视觉规则(如果-则)，并且监督mcu中的神经网络的存在可以提高可靠性、安全性和性能。例如，在至少一个实施例中，多样化的实现方式和有意的非同一性使得整个系统更加容错，尤其是对于由软件(或软件-硬件接口)功能引起的故障。例如，在至少一个实施例中，如果在主计算机上运行的软件中存在软件漏洞或错误，并且在辅助计算机上运行的不相同的软件代码提供了相同的总体结果，则监督mcu可以更有把握地认为总体结果是正确，并且该主计算机上的软件或硬件中的漏洞不会导致重大错误。
266.在至少一个实施例中，可以将adas系统1638的输出输入到主计算机的感知模块和/或主计算机的动态驾驶任务模块中。例如，在至少一个实施例中，如果adas系统1638由于正前方的对象而指示向前碰撞警告，则感知块可以在识别对象时使用该信息。在至少一个实施例中，如本文所述，辅助计算机可以具有其自己的神经网络，该神经网络经过训练从而降低了误报的风险。
267.在至少一个实施例中，车辆1600可以还包括信息娱乐soc 1630(例如，车载信息娱乐系统(ivi))。尽管被示出和描述为soc，但是在至少一个实施例中，信息娱乐系统soc 1630可以不是soc，并且可以包括但不限于两个或更多个分立组件。在至少一个实施例中，信息娱乐soc 1630 可以包括但不限于硬件和软件的组合，其可以用于提供音频(例如，音乐、个人数字助理、导航指令、新闻、广播等)、视频(例如，电视、电影、流媒体等)、电话(例
如，免提通话)、网络连接(例如，lte、wifi等) 和/或信息服务(例如，导航系统、后停车辅助、无线电数据系统、与车辆相关的信息，例如燃油水平、总覆盖距离、制动燃油水平、油位、车门打开/关闭、空气滤清器信息等)到车辆1600。例如，信息娱乐soc 1630可以包括收音机、磁盘播放器、导航系统、视频播放器、usb和蓝牙连接、汽车、车载娱乐系统、wifi、方向盘音频控制、免提语音控制、抬头显示器(“hud”)、hmi显示器1634、远程信息处理设备、控制面板(例如，用于控制各种组件、特征和/或系统和/或与之交互)和/或其他组件。在至少一个实施例中，信息娱乐soc 1630可以进一步用于向车辆1600的用户提供信息(例如，视觉和/或听觉的)，诸如来自adas系统1638的信息、自动驾驶信息(诸如计划的车辆操纵)、轨迹、周围环境信息(例如，交叉路口信息、车辆信息、道路信息等)和/或其他信息。
268.在至少一个实施例中，信息娱乐soc 1630可以包括任何数量和类型的gpu功能。在至少一个实施例中，信息娱乐soc 1630可以通过总线1602 (例如can总线、以太网等)与车辆1600的其他设备、系统和/或组件通信。在至少一个实施例中，信息娱乐soc 1630可以是耦合到监控mcu，使得信息娱乐系统的gpu可以在主控制器1636(例如，车辆1600的主计算机和/或备用计算机)发生故障的情况下执行一些自动驾驶功能。在至少一个实施例中，信息娱乐soc 1630可以使车辆1600进入司机到安全停止模式，如本文所述。
269.在至少一个实施例中，车辆1600可以还包括仪表板1632(例如，数字仪表板、电子仪表板、数字仪表操纵板等)。在至少一个实施例中，仪表板1632可以包括但不限于控制器和/或超级计算机(例如，离散控制器或超级计算机)。在至少一个实施例中，仪表板1632可以包括但不限于一组仪表的任何数量和组合，例如车速表、燃料水平、油压、转速表、里程表、转弯指示器、换档位置指示器、一个或更多个安全带警告灯、一个或更多个驻车制动警告灯、一个或更多个发动机故障灯、辅助约束系统(例如安全气囊)信息、照明控件、安全系统控件、导航信息等。在某些示例中，信息可能是在信息娱乐soc 1630和仪表板1632之间显示和/或共享。在至少一个实施例中，仪表板1632可以被包括作为信息娱乐soc 1630的一部分，反之亦然。
270.推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下面结合图7a和/或图7b提供关于推理和/或训练逻辑 715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在系统图 16a中用于至少部分地基于使用神经网络训练操作\神经网络功能和/或架构或本文所述的神经网络用例计算出的权重参数来推理或预测操作。
271.图16b是根据至少一个实施例的在基于云的服务器与图16a的自动驾驶车辆1600之间进行通信的系统1676的图。在至少一个实施例中，系统1676可以包括但不限于一个或更多个服务器1678、一个或更多个网络 1690以及任何数量和类型的车辆，包括车辆1600。在至少一个实施例中，一个或更多个服务器1678可以包括但不限于，多个gpu 1684(a)-1684 (h)(在本文中统称为gpu 1684)、pcie交换机1682(a)-1682(d) (在本文中统称为pcie交换机1682)，和/或cpu 1680(a)-1680(b) (在本文中统称为cpu 1680)、gpu 1684、cpu 1680和pcie交换机1682 可以与高速连接线互连，例如但不限于，由nvidia开发的nvlink接口 1688和/或pcie连接1686。gpu 1684通过nvlink和/或nvswitchsoc连接，gpu 1684和pcie交换机1682通过pcie互连连接。在至少一个实施例中，尽管示出了八个gpu 1684、两个cpu 1680和四个pcie交换机1682，但这并不旨在进行限制。在至少一个实施例
中，一个或更多个服务器1678 中的每一个可以包括但不限于任意数量的gpu 1684、cpu 1680和/或pcie 交换机1682的任何组合。例如，在至少一个实施例中，一个或更多个服务器1678可各自包括八个、十六个、三十二个和/或更多个gpu 1684。
272.在至少一个实施例中，一个或更多个服务器1678可以通过一个或更多个网络1690并从车辆接收表示图像的图像数据，该图像示出了意外的或改变的道路状况，例如最近开始的道路工程。在至少一个实施例中，一个或更多个服务器1678可以通过一个或更多个网络1690并且向车辆传输经更新的神经网络1692，和/或地图信息1694，包括但不限于关于交通和道路状况的信息。在至少一个实施例中，对地图信息1694的更新可以包括但不限于对hd地图1622的更新，例如关于建筑工地、坑洼、便道、洪水和 /或其他障碍物的信息。在至少一个实施例中，神经网络1692、经更新的神经网络1692和/或地图信息1694可能是由从环境中的任何数量的车辆接收的数据中表示的新训练和/或经验产生的，和/或至少基于在数据中心执行的训练(例如，使用一个或更多个服务器1678和/或其他服务器)。
273.在至少一个实施例中，一个或更多个服务器1678可以用于至少部分地基于训练数据来训练机器学习模型(例如，神经网络)。在至少一个实施例中，训练数据可以由车辆产生，和/或可以在模拟中产生(例如，使用游戏引擎)。在至少一个实施例中，标记任何数量的训练数据(例如，在相关的神经网络受益于监督学习的情况下)和/或经历其他预处理。在至少一个实施例中，没有对任何数量的训练数据进行标记和/或预处理(例如，在相关联的神经网络不需要监督学习的情况下)。在至少一个实施例中，一旦机器学习模型被训练，机器学习模型就可以被车辆使用(例如，通过一个或更多个网络1690传输到车辆，和/或机器学习模型可以被一个或更多个服务器1678使用以远程监控车辆。
274.在至少一个实施例中，一个或更多个服务器1678可以从车辆接收数据并且将数据应用于最新的实时神经网络以用于实时智能推理。在至少一个实施例中，一个或更多个服务器1678可以包括由一个或更多个gpu 1684供电的深度学习超级计算机和/或专用ai计算机，例如由nvidia开发的dgx和dgx station机器。然而，在至少一个实施例中，一个或更多个服务器1678可以包括使用cpu供电的数据中心的深度学习基础设施。
275.在至少一个实施例中，一个或更多个服务器1678的深度学习基础结构可能能够进行快速、实时的推理，并且可以使用该能力来评估和验证车辆1600中处理器、软件和/或相关硬件的健康。例如，在至少一个实施例中，深度学习基础设施可以从车辆1600接收周期性更新，例如车辆1600 在该图像序列中所定位的图像序列和/或对象(例如，通过计算机视觉和/ 或其他机器学习对象分类技术)。在至少一个实施例中，深度学习基础设施可以运行其自己的神经网络以识别对象并将它们与车辆1600所识别的对象进行比较，并且，如果结果不匹配和深度学习基础设施断定车辆1600 中的ai正在发生故障，则一个或更多个服务器1678可以将信号发送到车辆1600，以指示车辆1600的故障安全计算机采取控制、通知乘客并完成安全停车操作。
276.在至少一个实施例中，一个或更多个服务器1678可以包括一个或更多个gpu 1684和一个或更多个可编程推理加速器(例如nvidia的 tensorrt 3设备)。在至少一个实施例中，gpu驱动的服务器和推理加速的组合可以使实时响应成为可能。在至少一个实施例中，例如在性能不太关键的情况下，可以将由cpu、fpga和其他处理器驱动的服务器用于推理。在至少一个实施例中，推理和/或训练逻辑715用于执行一个或更多个实施例。关于推理和/
或训练逻辑715的细节在下文结合图7a和/或7b而提供。
277.其他变型在本公开的精神内。因此，尽管公开的技术易于进行各种修改和替代构造，但是某些示出的其实施例在附图中示出并且已经在上面进行了详细描述。然而，应理解，无意将公开内容限制为所公开的一种或更多种特定形式，而是相反，其意图是涵盖落入如所附权利要求书所定义的本公开内容的精神和范围内的所有修改、替代构造和等同物。
278.除非另有说明或显然与上下文矛盾，否则在描述所公开的实施例的上下文中(特别是在所附权利要求的上下文中)，术语“一”和“一个”和“该”以及类似指代的使用应被解释为涵盖单数和复数，而不是作为术语的定义。除非另有说明，否则术语“包括”、“具有”、“包含”和“含有”应被解释为开放式术语(意味着“包括但不限于”)。术语“连接
”ꢀ
(在未经修改时指的是物理连接)应解释为部分或全部包含在内、附接到或连接在一起，即使有某些介入。除非本文另外指出，否则本文中对数值范围的引用仅旨在用作分别指代落入该范围内的每个单独值的简写方法，并且每个单独值都被并入说明书中，就如同其在本文中被单独叙述一样。除非另外指出或与上下文矛盾，否则术语“集”(例如“项目集”)或“子集”的使用应解释为包括一个或更多个成员的非空集合。此外，除非另外指出或与上下文矛盾，否则术语相应集的“子集”不一定表示对应集的适当子集，而是子集和对应集可以相等。
279.除非以其他方式明确指出或与上下文明显矛盾，否则诸如“a，b和 c中的至少一个”或“a，b与c中的至少一个”形式的短语之类的连接语在上下文中理解为通常用来表示项目、条款等，其可以是a或b或c，也可以是a和b和c集的任何非空子集。例如，在具有三个成员的集的说明性示例中，连接短语“a，b和c中的至少一个”和“a，b与c中的至少一个”是指以下任意集：{a}，{b}，{c}，{a，b}，{a，c}，{b， c}，{a，b，c}。因此，这种连接语言通常不旨在暗示某些实施例要求存在a中的至少一个，b中的至少一个和c中的至少一个。另外，除非另有说明或与上下文矛盾，否则术语“多个”表示复数的状态(例如，“多个项目”表示多个项目)。多个至少为两个项目，但如果明确指示或通过上下文指示，则可以更多。此外，除非另有说明或从上下文中可以清楚得知，否则短语“基于”是指“至少部分基于”而不是“仅基于”。
280.除非本文另外指出或与上下文明显矛盾，否则本文描述的过程的操作可以任何合适的顺序执行。在至少一个实施例中，诸如本文所述的那些过程(或其变形和/或其组合)之类的过程在配置有可执行指令的一个或更多个计算机系统的控制下执行，并且被实现为代码(例如，可执行指令，一个或更多个计算机程序或一个或更多个应用)，该代码通过硬件或其组合在一个或更多个处理器上共同执行。在至少一个实施例中，代码以例如计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一个或更多个处理器执行的多个指令。在至少一个实施例中，计算机可读存储介质是非暂时性计算机可读存储介质，其排除了暂时性信号(例如，传播的瞬态电或电磁传输)，但包括非暂时性数据存储电路(例如，缓冲区、高速缓存和队列)。在至少一个实施例中，代码(例如，可执行代码或源代码)被存储在其上存储有可执行指令的一组一个或更多个非暂时性计算机可读存储介质(或用于存储可执行指令的其他存储器)上，该可执行指令在由计算机系统的一个或更多个处理器执行时(即，作为被执行的结果)，使得计算机系统执行本文所述的操作。在至少一个实施例中，一组非暂时性计算机可读存储介质包括多个非暂时性计算机可读存储介质，并且多个非暂时性计算机可读存储介质中的个体非暂时性存储介质中的一个或更多个缺少全部代码，而是多个非暂时性计算机可读存储介质共同存储全部代码。在至少一个实施例中，可执
行指令被执行，以使得不同的指令由不同的处理器执行，例如，非暂时性计算机可读存储介质存储指令，并且主中央处理单元(“cpu”)执行一些指令，而图形处理单元(“gpu”) 执行其他指令。在至少一个实施例中，计算机系统的不同组件具有单独的处理器，并且不同的处理器执行指令的不同子集。
281.因此，在至少一个实施例中，计算机系统被配置为实现单独地或共同地执行本文所述的过程的操作的一个或更多个服务，并且这样的计算机系统被配置有使能实施操作的适用的硬件和/或软件。此外，实现本公开的至少一个实施例的计算机系统是单个设备，并且在另一实施例中是分布式计算机系统，其包括以不同方式操作的多个设备，使得分布式计算机系统执行本文所述的操作，并且使得单个设备不执行所有操作。
282.本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本公开的实施例，并且不对公开的范围构成限制，除非另有要求。说明书中的任何语言都不应被解释为表示任何未要求保护的要素对于实践公开内容是必不可少的。
283.本文引用的所有参考文献，包括出版物、专利申请和专利，均通过引用并入本文，其程度就如同每个参考文献被单独且具体地指示为以引用的方式并入本文并且其全部内容在本文中阐述一样。
284.在说明书和权利要求中，可以使用术语“耦合”和“连接”以及它们的派生词。应当理解，这些术语可能不旨在作为彼此的同义词。相反，在特定示例中，“连接”或“耦合”可用于指示两个或更多个元件彼此直接或间接物理或电接触。“耦合”也可能意味着两个或更多个元素彼此不直接接触，但仍彼此协作或交互。
285.除非另有明确说明，否则可以理解，在整个说明书中，诸如“处理”、“计算”、“计算”、“确定”等之类的术语，是指计算机或计算系统或类似的电子计算设备的动作和/或过程，其将计算系统的寄存器和/或存储器中表示为物理量(例如电子)的数据处理和/或转换为类似表示为计算系统的存储器、寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。
286.以类似的方式，术语“处理器”可以指处理来自寄存器和/或存储器的电子数据并将该电子数据转换成可以存储在寄存器和/或存储器中的其他电子数据的任何设备或存储器的一部分。作为非限制性示例，“处理器”可以是cpu或gpu。“计算平台”可以包括一个或更多个处理器。如本文所使用的，“软件”进程可以包括例如随时间执行工作的软件和/或硬件实体，诸如任务、线程和智能代理。同样，每个过程可以指代多个过程，以连续地或间歇地顺序地或并行地执行指令。术语“系统”和“方法”在本文中可以互换使用，只要系统可以体现一种或更多种方法，并且方法可以被认为是系统。
287.在本文件中，可以参考获得、获取、接收或将模拟或数字数据输入子系统、计算机系统或计算机实现的机器中。可以通过多种方式来完成获得、获取、接收或输入模拟和数字数据，例如通过接收作为函数调用或对应用编程接口的调用的参数的数据。在一些实现方式中，可以通过经由串行或并行接口传输数据来完成获得、获取、接收或输入模拟或数字数据的过程。在另一实现方式中，可以通过经由计算机网络将数据从提供实体传输到获取实体来完成获得、获取、接收或输入模拟或数字数据的过程。也可以参考提供、输出、传送、发送或呈现模拟或数字数据。在各种示例中，提供、输出、传送、发送或呈现模拟或数字数据的过程可以通过将数据作为函数调用的输入或输出参数、应用编程接口或进程间通信机制的
参数进行传输来实现。
288.尽管上面的讨论阐述了所描述的技术的示例实现，但是其他架构可以用于实现所描述的功能，并且旨在落入本公开的范围内。此外，尽管出于讨论的目的在上面定义了具体的职责分配，但是根据情况，可以以不同的方式分配和划分各种功能和职责。
289.此外，尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书所要求保护的主题不必限于所描述的特定特征或动作。而是，公开了特定的特征和动作作为实现权利要求的示例性形式。