用于学习特定于情境的驾驶模式的分布式学习的制作方法

1.本文描述的实施例总体上涉及用于自动化系统的人工智能(ai)或机器学习(ml)模型的训练，并且在一个特定的示例中，涉及用于学习特定于情境的驾驶模式的分布式学习的方法和系统。


背景技术：

2.用于自主驾驶(ad)的ai或ml模型可以被训练以执行复杂的功能，包括例如基于交通工具内的相机和其他传感输入直接向交通工具发出转向命令。通常，这些模型被离线训练，并且需要发送大量的传感数据以进行集中训练。然而，此类数据可能是隐私敏感的；因此，在一些实例中(例如，当某些政府法规适用时)，共享原始传感数据可能是不可行的。此外，此类训练数据通常不考虑交通工具可能在其中操作的许多不同情境。另外，传输情境数据可能会引起带宽成本和/或存在隐私问题。
附图说明
3.在附图中(这些附图不一定是按比例绘制的)，同样的数字可描述不同视图中的类似组件。具有不同的字母后缀的相同的数字可表示类似组件的不同实例。在所附附图的图中通过示例的方式而非限制性地图示出一些实施例，其中：
4.图1是图示出可以在其中部署各个公开的实施例的系统的示意图；
5.图2是描绘用于以分布式方式学习用户驾驶行为或ad策略的信令流的示图；
6.图3是无向用户相似度网络的示例表示的图；
7.图4是描绘用于开发用户的驾驶简档的驾驶模型的框架的示图；
8.图5是实现ad的分布式ai/ml学习的示例方法；
9.图6图示出根据一些示例实施例的机器学习程序或代理(诸如基于交通工具本地的ai或ml模型的一个或多个程序)的训练和使用；以及
10.图7是图示根据实施例的可在其上执行本文中所讨论的技术(例如，方法)中的任何一种或多种的示例机器的框图。
具体实施方式
11.在下列描述中，出于解释的目的，阐述了众多具体细节，以便提供对一些示例实施例的全面理解。然而，对本领域技术人员将显而易见的是，可在没有这些具体细节的情况下实施本公开。
12.本文公开了用于生成ad的ai或ml模型的系统和方法，这些ai或ml模型计及特定于情境和特定于位置的行为类型(例如，在交叉路口、并道等处的行为改变等)，计及附近区域中的其他驾驶员或汽车的行为，并且基于其他补充训练数据(例如，在特定位置或情境中操作的交通工具中发出的实际转向指令)，从而在模型在交通工具内被生成并被部署时得到更好的安全性和效率。
13.驾驶的重要原则是预期周围交通工具的驾驶行为的能力。可以通过将收集到的训练数据(例如，传感器数据、驾驶命令数据和/或视频数据)与ai技术聚合来减少或消除不安全的驾驶行为，该ai技术计及就近集群中的汽车的特定于情境的行为。在示例实施例中，解决了训练ad的ml或ai模型的各种技术问题，诸如优化用于训练ml或ai模型的处理能力、存储器或带宽，遵守与关于训练数据的一个或多个数据隐私政策或约束，或针对确定交通工具在其中操作的特定情境或位置优化ml或ai模型。在示例实施例中，该解决方案包括使用从已经在该特定情境和/或该特定位置中操作和/或当前正在该特定情境和/或该特定位置中操作的交通工具集群中针对特定情境和/或特定位置收集到的数据、以分布式方式训练ai或ml模型。
14.在示例实施例中，可以跨除汽车转向之外的许多附加应用(诸如将汽车停在就近的停车场或在发生事故的情况下呼叫救护车)来应用ad的一个或多个ai或ml模型。在示例实施例中，车队管理系统(例如，基于生成允许从道路上移除不安全的交通工具或驾驶员的驾驶员或交通工具的简档)被改善。
15.在示例实施例中，分布式学习框架被实现，其中靠近路边单元(rsu)驾驶的一个或多个交通工具可以将在本地上学习的模型的参数贡献给rsu内所主控的服务器。在示例实施例中，rsu可被置于所选择的情境(诸如交叉路口)中，其中在本地上学习的模型被确定为比关于本文所讨论的一个或多个关键性能指示符(诸如驾驶员安全性或行人安全性)的更抽象的模型具有更高的准确性。然后，每个交通工具或(例如，驾驶行为的)每个用户简档可用于以相关的方式训练ad模型，说明在给定的实例/位置处的多个代理的行为。一旦相关的、特定于时间和特定于位置的多代理驾驶行为模型被收集，就可以使用许多不同的方法来开发针对不同目标或关键性能指示符的最优ad算法，关键性能指示符诸如：(a)服从于安全性规则(诸如rss)的驾驶效率；(b)利用对驾驶时间的宽松的要求来强调安全性的防御性驾驶，等等。
16.在示例实施例中，分布式训练(其中ad模型或基于ai或ml的用户简档模型在交通工具内进行本地训练，并且然后以协调的方式(例如，在与给定位置/时间情境相关联的服务器上)被组合)被实现用于多代理、特定于情境的ad解决方案的训练的自动化。优点包括以下各项中的一项或多项：用于对用户行为进行概况分析的保护隐私和带宽高效的方法、跨多个代理收集用于对根据位置和时间来对多个驾驶模式进行概况分析的ai模型的训练数据、或用于捕获用户或交通工具的特定于位置/时间的驾驶简档的增强的ad解决方案。
17.公开了一种实现自主交通工具的分布式ai或ml学习的方法。基于多个交通工具中的每一个交通工具的操作的情境来标识多个交通工具。操作的情境包括位置和位置的类型中的至少一者。多个交通工具中的每一个交通工具在其出现在该位置或该位置的类型处时，基于从该交通工具的一个或多个传感器收集到的训练数据来生成特定于该位置或该位置的类型的ai或ml模型。基于检测到多个交通工具中的一个交通工具处于与该位置或该位置的类型相关联的路边单元(rsu)的附近区域内，或者基于检测到多个交通工具中的一个交通工具处于出现在或预期将出现在该位置或该位置的类型处的附加交通工具的附近区域内，使得ai或ml模型从rsu或多个交通工具中的一个交通工具被传送到附加交通工具。使得所传送的ai或ml模型被部署在附加交通工具中，使得被配置成用于控制该附加交通工具的ai或ml自主驾驶应用的至少一个评定针对该位置或该位置的类型进行优化。下面描述了
附加的实施例。
18.图1是图示出可以在其中实现各个公开的实施例的系统100的示意图。
19.多个自主交通工具(包括交通工具1 104a至交通工具n 104b)可以各自是能够至少部分地以自主模式操作的一种或多种类型的交通工具，诸如商业交通工具、消费者交通工具、娱乐交通工具、汽车、卡车、摩托车、无人机或船。多个自主交通工具中的每一个自主交通工具可以在某些时间以手动模式进行操作，在该手动模式下，驾驶员常规地使用踏板、方向盘和其他控件来操作交通工具。在其他时间，交通工具可在完全自主模式下进行操作，其中，交通工具在没有用户干预的情况下进行操作。另外，交通工具可在半自主模式下进行操作，其中，交通工具控制驾驶的许多方面，但是驾驶员可以使用常规输入(例如，方向盘)和非常规输入(例如，语音控制)来干预或影响操作。
20.在示例实施例中，多个交通工具中的每一个交通工具包括传感器阵列，该传感器阵列可包括各种前向、侧向和后向相机、雷达、激光雷达、超声波或类似传感器。本文档中使用前向来指代主要行进方向、座位被布置面对的方向、当传动装置被设置以进行驾驶时的行进方向等。然后常规地，向后或后向被用来描述指向与向前或前向的那些方向大致相反方向的传感器。应理解，一些前向相机可具有相对宽(甚至高达180度)的视场。类似地，以用于检测相邻交通车道中的交通的角度(可能偏离中心60度)指向的后向相机也可具有相对宽的视场，该相对宽的视场可与前向相机的视场交迭。侧向传感器是从交通工具侧面向外指向的那些传感器。传感器阵列中的相机可包括能够以具有窄视场或大视场的长距或短距进行聚焦的红外相机或可见光相机。
21.在示例实施例中，交通工具包括机载诊断系统，以记录交通工具操作和交通工具性能、维护或状态的其他方面。交通工具还可包括各种其他传感器，诸如，驾驶员标识传感器(例如，座椅传感器、眼睛跟踪和标识传感器、指纹扫描仪、语音识别模块等等)、乘员传感器、(例如用于检测风速、室外温度、气压计压力、雨水/湿度)的各种环境传感器、或位置传感器(例如，一个或多个全球定位系统(gps)传感器)，等等。
22.在操作中，交通工具经由传感器阵列接口106a、106b获得传感器数据。例如，交通工具从前向传感器获得传感器数据以检测障碍物或潜在的碰撞危险。前向传感器可以包括雷达、激光雷达、可见光相机或组合。雷达在几乎所有天气和较长范围检测中是有用的，激光雷达对于较短范围检测是有用的，相机对于较长范围是有用的但在某些天气状况下(诸如，雪)常常变得不那么有效。传感器的组合可被用于在变化的操作条件下提供最广泛的灵活性。
23.交通工具控制器子系统可作为交通工具的售后组件来安装，或者可作为制造商选项来提供。作为售后组件，交通工具控制器子系统可插入交通工具中的现有adas以获得传感器数据并且可提供警告灯。替代地，交通工具控制器子系统102可合并其自己的传感器阵列来感测跟随的交通工具。
24.在示例实施例中，(多个)自主交通工具102或(多个)自主交通工具102的子系统可以使用网络112进行通信，该网络112可包括局域网(lan)、广域网(wan)、无线网络(例如，802.11或蜂窝网络)、公共交换电话网(pstn)网络、自组织网络、个域网(例如，蓝牙)、基于交通工具的网络(例如，控制器区域网络(can)总线)、或网络协议和网络类型的其他组合或排列。网络可包括单个局域网(lan)或广域网(wan)、或者lan或wan的组合(诸如，互联网)。
耦合至网络的各种设备可经由一个或多个有线或无线连接耦合至网络。
25.在示例实施例中，多个自主交通工具中的一个或多个自主交通工具与路边单元(rsu)(诸如rsu 112)进行通信。在示例实施例中，“用户分析即服务”的信息在多个交通工具之间和/或多个交通工具与一个或多个rsu之间空中流动。在示例实施例中，交通工具和交通工具内部的设备被轮询以获得模型更新或同于训练数据更新。在示例实施例中，使用空中信令框架来轮询和捕获跨自主交通工具集群的更新。
26.在示例实施例中，不是在rsu(例如，包括聚合服务器)的帮助下组合分布式模型，而是以对等方式组合模型生成和/或学习。例如，在车队控制的情况下，每个交通工具可以被配置成用于处理其自己的传感器数据并计算其中间模型。然后该模型可以被压缩并广播给附近的用户，利用附近用户的统计特性来传递知识。
27.在示例实施例中，为了在车队成员(例如，由一个或多个所有权实体被编组在一起的交通工具)之间传递知识，可以利用交通工具或用户的统计属性。例如，车队成员可以仅在其属性相对于可配置的相关强度和/或置信度值在统计上彼此关联时共享信息。该相关性特征可以在非常拥挤的道路或高负载情况下(例如，相对于rsu处的服务器)减少时间和带宽，因为仅与感兴趣的地点相关联的车队或交通工具集群的子集会共享或更新模型和/或训练数据。
28.在示例实施例中，(多个)处理器108a、108b和/或其他计算资源被包括在交通工具控制器子系统中(例如，以支持学习应用110a、110b和分布式ai或ml模块110a、110b)。在示例实施例中，学习应用110a、110b(例如，由一个或多个制造商或服务提供商)被供应到rsu或交通工具上并(例如，基于接近度检测(诸如gps或近场通信))使得对交通工具控制器子系统可用。在示例实施例中，下文将更详细描述的学习应用被配置成用于学习与驾驶简档、驾驶策略、或附近交通工具正在其中操作的特定位置或位置的类型(例如，道路类型、道路的功能分类等)相关的驾驶环境有关的信息。在示例实施例中，下文更详细描述的分布式ai或ml模块被配置成用于实现本文所述的操作中的一个或多个操作(例如，以提供特定于位置或位置的类型的ai或ml模型的分发和聚合)。
29.在示例实施例中，基于对从rsu处的每个交通工具或附加交通工具接收到的驾驶行为模型进行聚合来生成针对特定的位置或位置的类型的良好驾驶行为的模型。在示例实施例中，可以基于良好驾驶行为的模型来生成ad的专用于位置或位置的类型的各种策略。然后，该模型和/或策略可以被分发到处于该位置或该位置的类型的交通工具，以用于接近实时地集成到它们的ad应用中和/或供每个交通工具进行进一步的本地细化。
30.图2是描绘用于以分布式方式学习用户驾驶行为或ad策略的信令流的示图。
31.在所描绘的分布式学习框架中，驾驶通过交叉路口或靠近路边单元(rsu)的每个交通工具被配置成用于将本地地学习的ai或ml模型的参数贡献给在路边基础设施(例如，和rsu)上主控的和/或在另一交通工具中主控的服务器。可以使用该方法训练若干种类型的模型，这些模型中的每一种模型均可以提供不同的益处。例如，可以在不牺牲隐私的情况下以分布式方式训练针对驾驶简档和行为的基于ai或ml的模型。另外，考虑到在给定的实例/位置处的多个代理的行为，每个交通工具和/或每个用户的驾驶行为简档可用于以相关的方式训练ad模型。一旦相关的、特定于时间和特定于位置的多代理驾驶行为模型和/或训练数据被收集，就可以开发针对不同目标的最优ad算法，不同的目标诸如：(a)服从于安全
性规则(诸如rss)的驾驶效率；(b)利用对驾驶时间的宽松的要求来强调安全性的防御性驾驶，等等。
32.在示例实施例中，每个交通工具训练其驾驶行为(例如，用户k)的生成模型。在示例实施例中，该模型是驾驶行为的简单分类器(例如，激进的、典型的、保守的，等等)。然后，这些简档可被用作特定交通工具(例如，用户m)的输入，从而以其他交通工具的(多个)行为的给定分类为条件来训练其驾驶策略。为了激励用户对学习作出贡献，用户能够下载其他用户的、改善他们的本地ad策略的“摘要驾驶简档”的快照。更一般地，多代理学习算法可用于开发整体ad模型，该整体ad模型可被参与方用户下载(并应用于特定情境)。例如，可以使用图上的联合多任务学习。
33.在示例实施例中，持续学习应用(例如，用于学习用户驾驶行为或ad策略)被供应(例如，被供应到rsu的服务器中)。在示例实施例中，服务提供商(例如，保险公司、汽车公司、政府机构或供应商)订阅使用持续学习应用生成的训练数据或ai或ml模型。在示例实施例中，订阅者可以是基于参与程度来接收信用的选入订阅者。在示例实施例中，用户k下载在rsu处供应的持续学习应用并在交通工具中部署持续学习应用。在示例实施例中，用户k基于由用户k的交通工具收集到的本地数据向其他用户(例如，用户m)和/或rsu提供模型更新。
34.在示例实施例中，第三方(例如，保险公司、汽车公司、第三方供应商等)可以访问用于生成特定于情境的分布式模型更新的训练数据，以用于在ai服务器处生成一个或多个特定于情境的生成模型。在示例实施例中，生成模型随后可以被发送到服务提供商，服务提供商进而可以将生成模型用于各种目的。
35.例如，保险公司可以使用用户简档来确定驾驶行为并为用户提供定制的保险策略。政府机构(诸如城市、市政、或交通当局)可以使用相关的简档，以用于增强交通管理、道路规划、和放置警告标志等。汽车公司或第三方ai供应商可以使用该信息来开发基于ai的自主驾驶或驾驶辅助解决方案(ad/adas)。在示例实施例中，也可以在(诸如用于自主驾驶和部分自动化的交通工具的)车队管理系统中利用生成模型，因为特定的系统可以更便宜地维护和操作。为此，与单个机器的经验相对照，不同的车队成员的经验可被聚合。由于车队成员可能执行类似的任务，他们可能共享相同的系统设计。然而，在现实中，车队成员和驾驶员可能(例如，在动态或行为上)略有不同。例如，商业用户或私人用户在借车时可能具有不同的行为。在此，将数据的多样性在所有或多个成员上进行智能地聚合增强了学习过程。
36.在示例实施例中，所公开的操作通过将对用户信息的共享限制在本地生成的ai或ml模型而不是原始数据，为终端客户提供增强的隐私。另外，联合学习框架帮助用户从可能由不同的汽车制造商制造的汽车的驾驶行为中受益，并用作使相同数据的重复使用在全球范围内受益的方式。
37.生成模型可以获得大量用户的用户驾驶简档。在实际设置中，可能存在其中不同的生成模型可以输出不同用户集合的不同驾驶简档的情况。例如，当多个不同的服务提供商利用不同的模型来表征用户的驾驶简档时，这可能为真。类似地，即使在由相同的服务提供商分析时，不同的生成模型也可以基于用户的地理位置来被利用。例如，一个生成模型可以专门输出针对用户的不同安全性相关的变量，诸如紧急制动的频率、加速的次数、夜间驾
驶的比率等等。另一生成模型可以基于驾驶员的能源效率来对用户进行概况分析，提供诸如平均驾驶英里数/月、平均驾驶英里数/加仑、平均乘客数、平均加速次数等之类的数据。
38.考虑对归属于小型的用户集合v的大型的驾驶简档集合给出评级的情况。可以填充用户的完整矩阵u(其中和|)，并且可以生成包括属性p的完整驾驶简档，属性p包含用户跨驾驶简档/属性中的每一者的排名。目标可能是具有可以预测跨缺失属性的用户排名的可扩展的模型
39.为此，提供了基于图神经网络的方法。给定不完整的uxp矩阵，用户相似度图网络被定义。用户相似度矩阵可以通过例如计算考虑已经具有用户对的评级的属性的皮尔逊相关性来构建。每个图信号可以与不同的驾驶简档/属性相对应，并且可以由网络中的已经被给予评级的每个用户的现有评级组成。
40.图3是无向用户相似度网络的示例表示300的图。在此，节点表示用户，并且边表示用户跨驾驶简档的平均相似度。节点半径与图信号强度成比例。边宽度与节点之间的图信号的差异成比例。
41.简档集合p可以包括从生成模型的库中生成的所有简档的并集。训练和测试样本可以(例如，通过将给予到我们对预测其评级感兴趣的用户的评级归零)从图信号中获得。可以训练图神经网络(gnn)来预测被归零的用户对针对其他用户已评级的任何属性/简档的评级。换言之，目标是完成用户相似度评级矩阵的第u行。gnn可以集中训练并被部署在服务提供商的ai服务器上。然后，ai服务器可以获得仅填充了部分简档的用户的完整驾驶简档。
42.一旦驾驶简档是可用的，离线和在线分布式方法就可用于开发同时计及在特定情境(位置、一天中的时间等)中操作的多个交通工具的驾驶策略。
43.图4是描绘用于开发用户的驾驶简档的驾驶模型的框架的示图。
44.在示例实施例中，用户的经量化的简档对每个交通工具/用户可用。然后，本地驾驶策略是基于根据不同的驾驶简档对周围交通工具的行为进行分类，然后考虑将该不同的驾驶简档适配本地ad模型。在此，可以相对于可用于给定情境的各种驾驶简档来离线训练ad模型。为用户下载该经离线训练的ad模型以及驾驶简档。然后根据周围交通工具的驾驶行为的本地分类展开驾驶策略。替代地，(与周围交通工具的驾驶行为的本地分类组合的)本地驾驶模型也可以以分布式的方式来完成。
45.此类ad模型也可以经由图nn进行训练(例如，以捕获道路上的多个交通工具的驾驶策略之间的空间/时间关系)。
46.在示例实施例中，所公开的框架可以在需要时触发适当的动作，诸如在紧急情况下(例如，当驾驶员具有健康状况并且系统将其驾驶风格分类为危险时)。该动作可以触发汽车或车队管理api中的api功能来接管转向功能。为了更好地理解用户动作，可以将来自用户设备的健康传感器考虑在内。
47.在示例实施例中，该框架可以更一般地扩展到在用户行进时使用替代传感器(诸如电话)的其他概况分析应用(例如，包括用户的观看/收听模式、互联网使用、参与水平等)。
48.图5是实现ad的分布式ai/ml学习的示例方法。
49.在操作502处，标识多个交通工具。在示例实施例中，基于多个交通工具中的每一
个交通工具的操作的情境来标识多个交通工具。在示例实施例中，操作的情境包括位置和位置的类型中的至少一者。例如，位置可能与gps坐标或位置的另一种唯一标识符相对应。位置的类型可以包括该位置的一个或多个分类，诸如按材料(例如，土质、砾石、泥灰、石灰、水结碎石(wbm)、沥青、混凝土)、功能(例如，国家公路、州公路、地区道路、农村道路、乡村道路、州际公路、其他干线公路、次干路或地方公路)、交通量(例如，轻交通道路(例如每天多于400个交通工具)、中等交通道路(例如每天高达1000个交通工具)、高交通道路(例如多于1000个交通工具))、行人量、骑自行车者量、骑摩托车者量、宽度、经济性(例如，低成本的道路、中等成本的道路、高成本的道路)、交通类型(例如，人行道(例如，仅行人)、自行车或自行车道、高速公路(例如，仅限特定的交通工具))、刚性(例如，柔性路面或刚性路面)、地形(例如，平原地区道路和/或丘陵地区道路)、和/或安全性(例如，行人安全性数据，驾驶员安全性数据、交通工具安全性数据)。例如，对于包括被分类为交叉路口的至少一部分的位置的类型，交叉路口进而可以按路段、交通控制、车道设计、转向车道、转向信号、车道管理等中的一项或多项进行分类。
50.在示例实施例中，多个交通工具中的每一个交通工具可被配置成用于生成特定于位置或位置的类型的ai或ml模型。例如，多个交通工具中的每一个交通工具可以(例如，基于机器学习应用的安装)被配置成用于在交通工具出现在该位置或该位置的类型时(例如，经由交通工具的一个或多个传感器，诸如上文所述的传感器)收集训练数据，并且被配置成用于基于收集到的数据来生成特定于该位置或该位置的类型的ai或ml模型。在示例实施例中，ai或ml模型可部署在交通工具中，以控制与交通工具的自主驾驶(诸如加速、制动、转向等)有关的至少一个方面。在示例实施例中，(例如，基于用于生成ai或ml模型的特定于位置的训练数据的量或与该ai或ml模型聚合的附加模型(例如，来自其他交通工具)的数量和/或成熟度)跟踪被部署在特定的交通工具中的ai或ml模型的成熟度。
51.在操作504处，使得ai或ml模型从rsu或多个交通工具中的一个交通工具被传送到附加交通工具。在示例实施例中，该传送基于检测到rsu或多个交通工具中的一个交通工具处于附加交通工具的邻近区域内。在示例实施例中，该传送基于确定附加交通工具(例如，在时间帧内)出现在或预期将出现在该位置或该位置的类型处(例如，基于被部署在交通工具内的gps系统中的经规划的路线或由交通工具所采取的先前路线的历史)。
52.在操作605处，使所传送的ai或ml模型被部署在附加交通工具中，使得由被配置成用于控制附加交通工具的ai或ml自主驾驶应用做出的至少一个评定(例如，安全速度、驾驶行为等的评定)针对位置或位置的类型被优化。在示例实施例中，ai或ml模型的部署和/或传送基于ai或ml模型的成熟度满足成熟度阈值。
53.在示例实施例中，使ai或ml模型被传送进一步基于检测到rsu、多个交通工具中的一个交通工具、或附加交通工具的可用带宽超过最小(例如，可配置的)带宽阈值。
54.在示例实施例中，使ai或ml模型被传送进一步基于检测到多个交通工具中的一个交通工具和附加交通工具属于相同的交通工具车队。
55.在示例实施例中，使ai或ml模型部署在附加交通工具中基于交通工具的用户选入接收ai或ml模型。
56.在示例实施例中，在附加交通工具中部署所传送的ai或ml模型包括将所传送的ai或ml模型与由安装在附加交通工具上的ai或ml学习应用先前在本地生成的附加ai或ml模
型进行聚合。
57.在示例实施例中，在附加交通工具上安装ai或ml学习应用基于检测到ai或ml学习应用先前被供应到rsu或多个交通工具中的一个交通工具上。
58.在示例实施例中，经传送的ai或ml模型是先前与由多个交通工具中的一个附加交通工具在本地生成的附加ai或ml模型进行聚合的模型。
59.在示例实施例中，使ai或ml模型被传送包括空中发送ai或ml模型。
60.在示例实施例中，使得经聚合的ai或ml模型被传送到多个交通工具中的附加交通工具或rsu。
61.在示例实施例中，多个ai或ml模型从多个交通工具被传送到rsu。多个ai或ml模型中的每一者可由被安装在多个交通工具中的每一个交通工具上的ai或ml应用在本地生成，并且基于多个交通工具中的每一个交通工具与rsu的接近度来被传送到rsu。然后，多个ai或ml模型可以在rsu处进一步聚合。在示例实施例中，rsu可以基于模型的成熟度来聚合模型。因此，在示例实施例中，仅超过成熟度阈值的ai或ml模型可以被传递给rsu和/或在rsu处被聚合。
62.在示例实施例中，ai或ml模型(例如，基于实体选入对接收经聚合的ai或ml模型的订阅)被传递到实体的ai系统，在该ai系统中这些ai或ml模型可以随后被实体部署在实体的其他ai应用中(例如，以基于位置的类型来优化策略或行为)。
63.图6图示出根据一些示例实施例的机器学习程序或代理(诸如基于交通工具本地的ai或ml模型的一个或多个程序)的训练和使用。在一些示例实施例中，机器学习程序(mlp)(也被称为机器学习算法或工具)被用来执行ad。
64.机器学习(ml)是通过基于数据的分析中发现的模式进行推断来为计算机系统提供执行任务的能力，而不需要明确地被编程的应用。机器学习探索了算法(在此也被称为工具)的研究和构建，这些算法可从现有数据中学习并作出关于新的数据的预测。此类机器学习算法通过从示例训练数据612建立ml模型616来操作，以便做出表示为输出或评定620的数据驱动的预测或决策。尽管针对少数机器学习工具提出了示例实施例，但是本文提出的原则可以应用于其他机器学习工具。
65.数据表示是指组织数据以用于在计算机系统上进行存储的方法，包括所标识的特征及其值的结构。在ml中，通常用二维或多维向量或矩阵来表示数据。在处理大量的数据和许多特征时，数据表示是重要的，使得训练能够标识数据内的相关性。
66.在示例实施例中，ml存在两种模式：有监督ml和无监督ml。有监督ml使用先验知识(例如，将输入与输出或结果进行相关的示例)来学习输入与输出之间的关系。有监督ml的目标是学习这样的函数：该函数在给定一些训练数据的情况下，对训练输入和输出之间的关系进行最佳地近似，使得ml模型可以在给定输入时实现相同的关系，以生成对应的输出。无监督ml是使用既没有被分类也没有被标记的信息来训练ml算法，并允许算法在没有引导的情况下作用于该信息。无监督ml在探索性分析中是有用的，因为它可以自动地标识数据中的结构。
67.在示例实施例中，有监督ml任务包括分类问题和回归问题。分类问题(也被称为归类问题)旨在将项分类为若干类别值中的一个(例如，该对象是苹果还是橙子？)。回归算法旨在量化一些项(例如，通过为某个输入的值提供得分)。常用的有监督ml算法的一些示例
是逻辑回归(lr)、朴素贝叶斯、随机森林(rf)、神经网络(nn)、深度神经网络(dnn)、矩阵因数分解和支持向量机(svm)。
68.在示例实施例中，无监督ml任务包括聚类、表示学习、和密度估计。常用的无监督ml算法的一些示例是k-均值聚类、主成分分析、和自动编码器。
69.训练数据612包括特征602的值的示例。在一些示例实施例中，训练数据包括具有特征602的值的示例和指示结果(诸如对驾驶员的行为的评定)的标签的经标记的数据。机器学习算法利用训练数据612找到影响结果的所标识的特征602之间的相关性。特征602是被观察到的现象的单独可测量的属性。特征的概念与统计技术(诸如线性回归)中使用的解释的变量的概念相关。选择信息性的、鉴别的和独立的特征对于模式识别、分类、和回归中的ml的有效操作是重要的。特征可以是不同的类型，诸如数字特征、字符串、和图。
70.在一个示例实施例中，特征602可以是不同的类型，并且可以包括以下各项中的一项或多项：交通工具传感器阵列数据、交通工具驾驶命令、或情境数据(例如，从传感器数据(诸如gps坐标)推断出的位置的类型(诸如交叉路口))；交通工具驾驶策略数据、或从位置的类型、一天中的时间推断出的其他数据、或与交通工具的操作的情境相关的其他元数据(诸如与操作的交通工具相关联的风险数据))。
71.在训练614期间，ml算法基于所标识的特征602和针对训练定义的配置参数611来分析训练数据612。训练614的结果是能够取得输入以产生评定的ml模型616。
72.训练ml算法涉及分析大量的数据(例如，从几千兆字节到兆兆字节或更多)，以便找到数据相关性。ml算法利用训练数据612找到影响结果或评定620的所标识的特征602之间的相关性。在一些示例实施例中，训练数据612包括经标记的数据，该经标记的数据是针对一个或多个所标识的特征602和一个或多个结果的已知数据，诸如确定要被发布到交通工具以自主地控制交通工具的驾驶命令。
73.ml算法通常在找到ml算法标识为数据内的最佳相关性之前探索许多可能的函数和参数；因此，训练可能利用大量的计算资源和时间。
74.在示例实施例中，一些ml算法可以包括配置参数611，而且ml算法越复杂，对于用户可用的参数就越多。配置参数611定义ml算法在搜索最佳ml模型时的变量。训练参数包括模型参数和超参数。模型参数是从训练数据中学习到的，而超参数不是从训练数据中学习到的，而是被提供给ml算法。
75.模型参数的一些示例包括最大模型尺寸、训练数据的最大传递次数、数据混洗类型、回归系数、决策树分割位置等。超参数可以包括神经网络中隐藏层的数量、每个层中的隐藏节点的数量、学习率(也许具有针对学习率的各种自适应方案)、正则化参数、非线性激活函数的类型等。找到正确的(或最佳)的超参数集合可能是一项利用大量的计算机资源的非常耗时的任务。
76.当ml模型616被用于执行评定时，新的数据618被作为输入提供给ml模型616，并且ml模型616生成评定620作为输出。
77.特征提取是减少描述大型的数据集合所需的资源量的过程。在执行复杂数据的分析时，主要问题之一是源于所涉及变量的数量的问题。利用大量的变量进行的分析通常需要大量的存储器和计算能力，并且它可能会导致分类算法对训练样本过度拟合，并且对新样本进行较差地归纳。特征提取包括构建变量的组合，以绕过这些大型数据集的问题，同时
出于预期的目的，仍然以足够的准确性描述数据。
78.在一些示例实施例中，特征提取从初始测得的数据的集合开始，并建立旨在提供信息性且非冗余的导出的值(特征)，以促进后续的学习和泛化步骤。进一步地，特征提取与降维(诸如将大型向量(有时具有非常稀疏的数据)简化到捕获相同或类似信息量的较小向量)相关。
79.图7是图示根据实施例的以计算机系统800的示例形式的机器的框图，在该计算机系统800中，可执行指令的集合或指令序列以使该机器执行本文中所讨论的方法中的任何一种方法。在替代实施例中，该机器作为独立设备进行操作，或可被连接(例如，联网)到其他机器。在联网的部署中，该机器可在服务器-客户端网络环境中作为服务器或客户端机器来进行操作，或者其可在对等(或分布式)网络环境中充当对等机。该机器可以是头戴式显示器、可穿戴设备、个人计算机(pc)、平板pc、混合平板、个人数字助理(pda)、移动电话、或能够执行指定要由该机器采取的动作的指令(顺序地或以其他方式)的任何机器。进一步地，虽然仅图示出单个机器，但是，术语“机器”也应当被认为包括单独地或联合地执行一组(或多组)指令以执行本文中所讨论的方法中的任何一种或多种方法的机器的任何集合。类似地，术语“基于处理器的系统”应当认为包括由处理器(例如，计算机)控制或操作以单独地或联合地执行指令来执行本文中所讨论的方法中的任何一种或多种方法的一个或多个机器的任何集合。
80.示例计算机系统800包括至少一个处理器802(例如，中央处理单元(cpu)、图形处理单元(gpu)或该二者、处理器核、计算节点等)、主存储器804和静态存储器806，这些组件经由链路808(例如，总线)彼此通信。计算机系统800可进一步包括视频显示单元810、字母数字输入设备812(例如，键盘)、以及用户界面(ui)导航设备814(例如，鼠标)。在一个实施例中，视频显示单元810、输入设备812和ui导航设备814被并入到触屏显示器中。计算机系统800可以附加地包括存储设备816(例如，驱动器单元)、信号生成设备818(例如，扬声器)、网络接口设备820以及一个或多个传感器(未示出)，该一个或多个传感器诸如全球定位系统(gps)传感器、罗盘、加速度计、陀螺仪、磁力计、或其他传感器。
81.存储设备816包括机器可读介质822，在该机器可读介质822上存储有一组或多组数据结构和指令824(例如，软件)，这些数据结构和指令824具体化本文中所描述的方法或功能中的任何一者或多者，或者由本文中所描述的方法或功能中的任何一者或多者利用。在由计算机系统804执行指令824期间，这些指令824也可完全地或至少部分地驻留在主存储器804、静态存储器806内，和/或驻留在处理器802内，其中，主存储器804、静态存储器806和处理器802也构成机器可读介质。
82.虽然机器可读介质822在示例实施例中被图示为单个介质，但术语“机器可读介质”可包括存储一个或多个指令824的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读介质”也应当被认为包括任何有形介质，该有形介质能够存储、编码或携带供由机器执行并且使机器执行本公开的方法中的任何一种或多种方法的指令，或者该有形介质能够存储、编码或携带由此类指令利用或与此类指令相关联的数据结构。术语“机器可读介质”应当相应地被认为包括但不限于固态存储器以及光和磁介质。机器可读介质的特定示例包括非易失性存储器，作为示例，包括但不限于：半导体存储器设备(例如，电可编程只读存储器(eprom)、电可擦除可编程只读存储器
(eeprom)和闪存设备)；诸如内部硬盘及可移除盘之类的磁盘；磁光盘；以及cd-rom和dvd-rom盘。
83.可使用传输介质，经由网络接口设备820，利用数个公知的传输协议中的任何一种协议(例如，http)，进一步在通信网络826上传送或接收指令824。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网、移动电话网络、普通老式电话(pots)网络、以及无线数据网络(例如，蓝牙、wi-fi、3g、以及4g lte/lte-a、5g、dsrc或wimax网络)。术语“传输介质”应当被认为包括能够存储、编码或携带由机器执行的指令的任何无形的介质，并且包括用于促进此类软件的通信的数字或模拟通信信号或者其他无形的介质。
84.以上具体实施方式包括对附图的引用，附图形成具体实施方式的部分。附图通过图示方式示出可被实施的具体实施例。这些实施例在本文中也被称为“示例”。此类示例可包括除所示出或所描述的那些要素以外的要素。然而，还构想了包括所示出或所描述的要素的示例。而且，还构想了使用所示出或所描述的那些要素(或其一个或多个方面)的任何组合或排列的示例，或参照本文中所示出或所描述的特定示例(或其一个或多个方面)，或参考本文中所示出或所描述的其他示例(或其一个或多个方面)。
85.在此文档中引用的出版物、专利和专利文档通过引用被整体结合在本文中，就好像通过引用单独地被结合那样。在本文档与通过引用结合的那些文档之间不一致的用法的情况下，所结合的(多个)引用文档中的用法是对此文档的用法的补充；对于不可调和的不一致性，此文档中的用法占主导。
86.在此文档中，如在专利文档中常见的那样，使用术语“一(a或an)”以包括一个或多于一个，这独立于“至少一个”或“一个或多个”的任何其他实例或用法。在此文档中，除非另外指示，否则使用术语“或”来指非排他性的或，使得“a或b”包括“a但非b”、“b但非a”、以及“a和b”。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应的术语“包含(comprising)”和“其特征在于(wherein)”的普通英语等价词。此外，在所附权利要求书中，术语“包括(including)”和“包含(comprising)”是开放式的，也就是说，在权利要求中包括除此类术语之后列举的那些要素之外的要素的系统、设备、制品或过程仍被视为落在那项权利要求的范围内。此外，在所附权利要求中，术语“第一”、“第二”、以及“第三”等仅用作标记，并且不旨在表明它们的对象的数值顺序。
87.以上描述旨在是说明性而非限制性的。例如，可结合其他示例来使用以上所描述的示例(或者其一个或多个方面)。诸如可由本领域普通技术人员在仔细阅读以上描述之后使用其他实施例。摘要允许读者快速地确定本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。而且，在以上具体实施方式中，各种特征可分组在一起以使本公开精简。然而，权利要求可以不陈述本文中所公开的每一特征，因为实施例可以表征所述特征的子集。进一步地，实施例可包括比特定示例中所公开的那些特征更少的特征。因此，所附权利要求书由此被并入具体实施方式中，其中一项权利要求独立成为单独实施例。本文中所公开的实施例的范围应当参照所附权利要求书连同此类权利要求所赋予权利的等价方案的完整范围来确定。