跨越频带的侧行链路通信的制作方法

跨越频带的侧行链路通信
1.相关申请的交叉引用
2.本pct国际专利申请是2019年10月17日提交的题为“dynamic vehicle warning signal emission”的美国专利申请第16/656,312号的继续申请，并要求其优先权，其全部内容通过引用并入本技术。


背景技术：

3.如今运行的车辆通常配备有喇叭，喇叭使车辆的操作员能够引起对车辆的注意，例如向其他人警告环境中的潜在危险。传统的车辆喇叭被配置为以特定的频率和音量发射声音。然而，车辆喇叭的特定频率和/或音量可能常常不足以引起行人的注意，例如经由耳机听音乐的行人或听力困难的行人。同样地，车辆的喇叭可能无法有效地向其他人警告潜在的危险。
附图说明
4.参考附图来描述详细描述。在图中，参考编号的最左侧数字标识参考编号首次出现的图。在不同的图中使用相同的附图标记表示相似或相同的部件或特征。
5.图1是根据本公开的示例的环境的图示，其中动态警告信号系统可以被自主车辆使用以向对象警告在车辆与环境中的对象之间的潜在冲突。
6.图2是用于至少部分地基于检测到的对发射的警告信号的对象反应来修改由车辆发射的警告信号的过程的图示。
7.图3是环境的图示，在该环境中，车辆基于确定对象正在阻挡车辆的车辆路径而发射信号，该信号包括用于向对象警示阻挡的警告信号和用于指示对象的潜在对象路径的对象路径信号。
8.图4是用于实现本文描述的技术的示例系统的框图。
9.图5描绘了用于发射不同信号以向对象警告在车辆和对象之间的潜在冲突的示例过程。
10.图6示出了用于至少部分地基于车辆的位置和对与车辆相关的对象的检测来发射警告信号的另一个示例过程。
11.图7描绘了用于基于确定对象正在阻挡车辆路径来发射警告信号或路径信号中的至少一个的示例过程。
具体实施方式
12.本公开涉及用于改进车辆警告系统的技术。车辆警告系统可以被配置为发射声音和/或光以警告车辆附近环境中的对象(例如，动态对象)与车辆的潜在冲突。车辆可以包括自主或半自主车辆。对象可能包括行人、骑自行车的人、动物(例如狗、猫、鸟等)、其他车辆(例如汽车、卡车、摩托车、轻便摩托车等)或任何其他可能导致与车辆冲突(例如，碰撞)的对象。车辆计算系统可以被配置为识别环境中的对象并确定车辆和对象之间可能发生的潜
在冲突。车辆计算系统可以发射第一信号以向对象警告潜在的冲突，并且基于确定对象反应与预期反应基本上不匹配，发射第二(不同)信号。车辆计算系统可以继续修改警告信号，直到对象根据预期反应做出反应或对象不再与车辆相关(例如，碰撞的可能性不再存在)，从而最大化车辆的安全操作。
13.车辆计算系统可以被配置为识别环境中的对象。在一些示例中，可以基于来自车辆的传感器(例如，相机、运动检测器、激光雷达、雷达等)的传感器数据来识别对象。在一些示例中，可以基于从远程传感器接收到的传感器数据来识别对象，远程传感器例如与另一车辆相关联的传感器或安装在被配置为与多个车辆共享数据的环境中的传感器。在各种示例中，车辆计算系统可以被配置为确定与对象相关联的分类，例如对象是否是行人、骑自行车的人、动物、其他车辆等。
14.车辆计算系统可以被配置为发射第一警告信号以警告一个或多个对象环境中车辆的存在和/或操作。第一警告信号可以包括音频信号和/或光信号。第一警告信号可以包括第一组特征，例如频率、音量、亮度、颜色、形状、运动等。在各种示例中，可以基于对环境中的对象和/或与该检测相关联的特征的检测来发射第一警告信号。在这样的示例中，与检测相关联的特征可以包括车辆和对象之间的距离、车辆和对象之间的相对速度等。例如，车辆计算系统可以检测到道路上的骑自行车的人，并且可以确定骑自行车的人可能听不到从后面接近的车辆。车辆计算系统可以向骑自行车的人发射警告信号，例如警告骑自行车的人车辆接近，以使骑自行车的人不会转向或以其他方式操纵进入道路。
15.在一些示例中，可以基于分类、子分类(例如，年龄、身高等)和/或与检测到的对象相关联的附加特征来发射第一警告信号。在这样的示例中，车辆计算系统可以确定与检测到的对象相关联的分类、子分类和/或附加特征，并且可以基于分类、子分类和/或附加特征确定与第一警告信号相关联的第一组特征。例如，为警告行人车辆操作而生成的第一警告信号可以包括比在以上示例中描述的为警告骑自行车的人而生成的第一警告信号更低的音量。对于另一示例，为引起汽车操作员的注意而生成的第一警告信号可以包括比为引起摩托车操作员的注意而生成的第一警告信号更高的音量。对于又一个示例，为佩戴耳机的行人生成的第一警告信号可以包括第一频率，并且为正在注视(例如，与车辆相关联的方向)的行人生成的第一警告信号可以包括第二频率。
16.在各种示例中，可以基于与车辆相关联的位置(例如与行人、骑自行车的人或其他对象相关联的位置(例如，学校区域、操场附近、建筑区域等))发射第一警告信号。在一些示例中，可以基于与车辆相关联的速度(例如，小于每小时15英里、小于每小时30公里等)来发射第一警告信号。在一些示例中，第一警告信号可以包括电动车辆警告声音，例如法律和/或法规要求的声音。
17.在一些示例中，车辆计算系统可以基于确定检测到的对象与车辆相关而使得发射第一警告信号(例如，车辆和对象之间可能存在潜在冲突，对象可能会减慢车辆的行进速度)。在各种示例中，车辆计算系统可以被配置为利用在2018年11月16日提交的标题为“dynamic sound发射for vehicles”的美国专利申请序列号16/193，945中描述的技术来确定对象的相关性，通过引用将其并入本文。在一些示例中，对象相关性的确定可以基于与在车辆路径的阈值距离内的对象相关联的位置。在这样的示例中，路径可以对应于车辆计划从第一位置行驶到目的地的可行驶表面。在一些示例中，对象相关性的确定可以基于与和
车辆相关联的轨迹(例如，与车辆路径相关联的轨迹)相交的对象的潜在轨迹。在这样的示例中，车辆计算系统可以基于传感器数据确定潜在的对象轨迹。
18.在各种示例中，对象的轨迹和/或意图可以利用在2019年9月17日提交的标题为“feature-based prediction”的美国专利号10，414，395中描述的技术来确定，该专利的全部内容通过引用并入本文。例如，车辆计算系统可以检测在车辆前方道路上行走的行人。车辆计算系统可以确定行人轨迹可能与车辆轨迹冲突，使得在没有对一个或两个轨迹进行修改的情况下，车辆和行人之间可能发生碰撞。车辆计算系统可以使第一警告信号被发射以警告行人道路上的车辆操作。在一些示例中，车辆计算系统可以使第一警告信号与修改车辆轨迹(例如，让行行人)同时或紧接在其之前发射，以便最大化车辆的安全操作。
19.在各种示例中，车辆计算系统可以基于传感器数据确定对第一警告信号的对象反应。在一些示例中，反应可以包括对象轨迹的变化(例如，速度增加、速度降低、远离车辆的行进方向等)、对象的头部和/或肩部的移动、姿势(例如，波形等)、对象的脚部放置、对象所持有的物品的位置调整(例如，调整电子设备、书籍、杂志或其他物品的位置)，和/或任何指示对象对第一警告信号作出反应的其他运动。
20.在各种示例中，车辆计算系统可以将对象反应与和第一警告信号(也通常称为第一信号)相关联的预期反应(通常也称为对象动作)进行比较。在各种示例中，车辆计算系统可以被配置为基于第一警告信号的一个或多个特征来确定预期反应(例如，体积、频率、亮度、颜色、运动(例如，动画运动、光序列等)、信号的形状等)和/或与对象相关联的数据(例如，对象属性(例如，分类，位置(例如，面对/朝向车辆移动，面对/远离车辆等)，与车辆的距离、轨迹等)、对象活动(例如，步行、跑步、骑摩托车(例如，对象轨迹暗示的特定活动，例如基于速度等)、阅读书籍、打电话、查看电子设备上的数据、与另一车辆交互、与另一个对象交互(例如，与另一个人交谈、查看婴儿车等)、吃、喝、操作感觉障碍装置(例如，手杖、助听器等)、听耳机等)。在一些示例中，车辆计算系统可以访问预期反应的数据库以确定与第一警告信号相关联的预期反应。在这样的示例中，可以至少部分地基于与第一警告信号的对象和/或特征相关联的数据来存储数据库中的预期反应。在各种示例中，车辆计算系统可以利用机器学习技术确定预期反应。在这样的示例中，可以利用包括多个警告信号和检测到的对其的反应的训练数据来训练模型。
21.基于对象反应和预期反应之间的比较，车辆计算系统可以确定对象是否按预期反应(例如，对象反应和预期反应之间是否存在基本匹配)。响应于确定对象反应与预期反应基本匹配，车辆计算系统可以将遭遇(例如，与第一警告信号和对象反应相关联的数据)存储在数据库中。在一些示例中，数据库可以用于未来的对象反应比较，例如增加对第一警告信号的反应的置信度、训练机器学习模型等。
22.在各种示例中，确定对象反应和预期反应之间的基本匹配可以包括阈值数量的动作(例如，一个匹配动作、两个匹配动作等)的匹配、阈值百分比的动作(例如、90％、50％等)等。在一些示例中，可以基于对象反应和预期反应之间的阈值匹配和/或阈值差异来确定基本匹配。动作可以包括轨迹修改(例如，增加速度、降低速度、改变行进方向等)、身体运动(例如，脚放置、头部旋转、肩部运动等)、姿势等。例如，对第一警告信号的预期反应可以包括头部和/或肩部运动以及对对象所持有的电子设备的位置调整。对象反应可以包括朝向车辆的头部运动。基于至少头部运动的匹配，车辆计算系统可以确定对象反应和预期反应
基本匹配。对于另一个示例，车辆计算系统可以确定对象反应与预期反应的匹配率为75％，阈值匹配率为65％。基于匹配的百分比达到或超过阈值匹配的确定，车辆计算系统可以确定对象反应与预期反应基本匹配。
23.在一些示例中，确定对象反应和预期反应之间的基本匹配可以包括确定对对象轨迹的修改满足或超过阈值修改。在一些示例中，阈值修改可以包括使对象与车辆无关的修改(例如，不阻碍车辆的行进、没有冲突的可能性等)。在这样的示例中，至少部分地基于确定修改，车辆计算系统可以使车辆沿着车辆轨迹(例如，以计划的速度、方向等)前进。在一些示例中，阈值修改可以包括与对象轨迹相关联的速度和/或方向的改变(例如，45度、90度等)。
24.响应于确定对象反应基本上不匹配(例如，小于动作的阈值数量、百分比匹配等)，车辆计算系统可以确定对象没有根据预期反应作出反应。在这样的示例中，车辆计算系统可以确定对象仍然不知道车辆操作和/或车辆在环境中的存在。基于对象没有根据预期反应做出反应的确定，车辆计算系统可以发射第二警告信号。在一些示例中，第二警告信号可以包括与第一警告信号不同的模态(例如，光、声音等)的信号。例如，第一警告信号可以包括声音发射并且第二警告信号可以包括光发射。
25.在一些示例中，第二警告信号可以包括与第一警告信号相同模态的信号。在这样的示例中，车辆计算系统可以修改第一警告信号的频率、音量、亮度、颜色、形状、运动和/或其他特征以生成第二警告信号。例如，基于确定检测到的对象没有根据对包括以50分贝发射的第一频率的第一警告信号的预期反应作出反应，车辆计算系统可以使包括第二频率的第二警告信号以70分贝发射。对于另一个示例，基于确定检测到的对象没有对包括红光和绿光发射的第一警告信号作出反应，车辆计算系统可以使包括黄光和蓝光的第二警告信号被发射。然而，应当理解，上述示例中的特定音量和颜色仅用于说明目的，并且本文设想了其他信号特征(例如，音量、频率、亮度、颜色、形状、运动等)。
26.在各种示例中，车辆计算系统可以将第二对象反应与和第二警告信号相关联的第二预期反应进行比较。响应于确定第二对象反应与第二预期反应基本匹配，车辆计算系统可以将与对象反应和/或第二警告信号相关联的数据存储在对象反应的数据库中。如上所述，在一些示例中，数据库可用于未来对象反应比较，例如，以增加对警告信号的反应的置信度，以训练机器学习模型等。
27.响应于确定第二对象反应与第二预期反应基本不匹配，车辆计算系统可使得第三警告信号被发射，第三警告信号不同于第一警告信号和第二警告信号(例如，不同的模态，不同的特征等)。继续上面的示例，基于确定对以70分贝发射的第二频率的第二对象反应与第二预期反应基本上不匹配，车辆计算系统可以使得以90分贝发射第三频率。
28.在各种示例中，车辆计算系统可以继续修改(例如，迭代修改)发射的警告信号，直到对象反应与对警告信号的预期反应基本匹配。在各种示例中，车辆计算系统可以基于确定对象与车辆相关来继续修改发射的警告信号。在这样的示例中，可以基于确定检测到的对象与车辆相关来发射修改的警告信号。在一些示例中，车辆计算系统可以被配置为连续和/或周期性地(例如，每0.1秒、1.0秒、在生成修改的警告信号之前等)确定检测到的对象是否与车辆相关。例如，车辆计算系统可以根据第二预期反应确定检测到的对象没有对第二警告信号作出反应。然而，在发射第三警告信号之前，车辆计算系统可以确定检测到的对
象在车辆后面并且在与车辆不同的方向上行驶。这样，车辆计算系统可以确定检测到的对象不再与车辆相关并且可以确定不发射第三警告信号。
29.在各种示例中，基于确定检测到的对象根据预期反应做出反应和/或检测到的对象与车辆无关，车辆计算系统可以停止发射警告信号。在一些示例中，基于确定检测到的对象根据预期反应做出反应和/或检测到的对象与车辆无关，车辆计算系统可以使得发射第一警告信号。在这样的示例中，第一警告信号可以包括发射以警告附近对象车辆存在和/或操作的基线警告信号。例如，并且如上所述，基线警告信号可以包括电动车辆警告声音，例如法律和/或法规要求的声音。对于另一个示例，基线警告信号可以包括基于与车辆相关联的位置发射的声音和/或光。
30.除了提供警告信号以向对象警示车辆的存在和/或操作之外，车辆计算系统可以被配置为环境中的对象生成路径信号。在各种示例中，路径信号可以包括建议的路线，以供对象采取以避免与车辆发生冲突(例如，碰撞、阻挡等)。在各种示例中，车辆计算系统可以基于确定对象是阻挡对象来生成路径信号。在这样的示例中，车辆计算系统可以确定对象正在阻挡车辆的路径。基于确定对象停止在至少部分地阻挡车辆朝向目的地向前行进的位置，对象可以阻挡车辆的路径。在一些示例中，车辆计算系统可以基于确定车辆在停留在可行驶廊道内(例如，车辆计划在其上沿着路径行驶的可行驶表面)时而无法继续向目的地行进，而确定对象是车辆。例如，对象可能停在车辆路径中的交叉路口，使得车辆无法行进通过交叉路口。
31.在各种示例中，基于确定对象是阻挡对象，车辆计算系统可以被配置为识别阻挡对象的潜在路线选择。潜在的路线选择可以包括阻挡对象可以遵循以移出车辆路径的畅通(例如，未被占用的)路径。在一些示例中，潜在的路线选项可以包括阻挡对象可以移动到的区域。在一些示例中，该区域可以包括阻挡对象的操作者不能看到的区域，例如由于另一个对象位于阻挡对象和该区域之间。使用上面的示例，阻挡对象可能在车辆前方的十字路口左转，并且可能停在送货车辆后面的十字路口的第一车道上。阻挡对象可能无法看到第二车道中交叉口以外的区域未被占用，并且因此阻挡对象可能不知道阻挡对象可以移动到其中以使得交叉口畅通的区域。车辆计算系统可以被配置为识别阻挡对象可以移动到的区域。
32.在各种示例中，基于对阻挡对象可以移动到的区域的识别(例如，阻挡对象可以遵循以移出车辆路径的畅通路径)，车辆计算系统可以使路径信号被发射。路径信号可以向阻挡对象的操作员指示该区域是空的。在一些示例中，路径信号可以包括在该区域的方向上发射的光、箭头或车辆计算系统可以通过其传达阻挡对象可以移动到的畅通区域的其他方式。
33.本文描述的技术可以显著提高在环境中运行的自主和半自主车辆的安全运行。越来越多的行人、骑自行车的人、骑摩托车的人等经常在通过耳机听音乐、播客等的同时在可行驶的表面上操作。经由耳机发射的声音可能会使附近行驶的车辆的声音淹没，从而使人们不知道车辆的存在和/或操作，即使是那些发射电动车辆警告声的车辆。为了提高自主和/或半自主车辆的意识并因此提高安全性，本文所描述的技术识别出对象没有对车辆发射的第一警告信号作出反应，并且调整第一警告信号的一个或多个特征以试图向对象警告车辆操作和/或存在。车辆计算系统可以继续修改(例如，迭代修改)警告信号，直到对象根
据预期反应做出反应或不再与车辆相关，从而最大化车辆在环境中的安全操作。
34.本文描述的技术可以以多种方式实现。下面参考以下附图提供示例实施方式。尽管在自主车辆的背景下进行了讨论，但本文描述的方法、装置和系统可以应用于各种系统(例如，传感器系统或机器人平台)，并且不限于自主车辆。在另一个示例中，这些技术可以用在航空或航海环境中，或用在使用机器视觉的任何系统中(例如，在使用图像数据的系统中)。此外，本文描述的技术可以与真实数据(例如，使用传感器捕获)、模拟数据(例如，由模拟器生成)或两者的任何组合一起使用。
35.图1是环境100的图示，其中自主车辆104(例如，车辆104)的一个或多个计算系统102可以利用动态警告信号系统来警告一个或多个对象106车辆104在环境100中存在和/或操作。计算系统102可以基于由车辆104的一个或多个传感器108和/或一个或一个或多个远程传感器捕获的传感器数据来检测对象106(例如，安装在另一车辆104上和/或安装在环境100中的传感器，例如用于交通监控、避免碰撞等)。传感器108可以包括激光雷达传感器、雷达传感器、超声换能器、声纳传感器、位置传感器(例如，gps、指南针等)、惯性传感器(例如，惯性测量单元(imu)，加速度计，磁力计，陀螺仪等)，相机(例如，rgb，ir，强度，深度，飞行时间等)、麦克风、飞行时间传感器、环境传感器(例如，温度传感器、湿度传感器、光传感器、压力传感器等)等。
36.在一些示例中，传感器数据可以被提供给感知组件110，感知组件110被配置为确定与对象106(例如，汽车、卡车、行人、自行车、摩托车、动物等)相关联的分类112。在各种示例中，感知组件110可以基于与对象106相关联的一个或多个特征来确定对象分类112。这些特征可以包括尺寸(例如，宽度、高度、深度等)、形状(例如，几何、对称等)和/或对象106的其他区别特征。例如，感知组件110可以识别对象106的大小和/或形状，例如对象106(1)，对应于行人，并且诸如对象106(2)的另一对象106的大小和/或形状对应于骑自行车的人。
37.在各种示例中，部分地基于对环境100中一个或多个对象106的检测，计算系统102的警告信号组件114可以生成和/或使得发射第一警告信号，以便向对象警告106车辆104的存在和/或操作。第一警告信号可以包括音频信号和/或视觉信号。第一警告信号可以包括第一组特征，例如频率、音量、亮度、颜色、形状、运动等。在一些示例中，第一组特征可以包括预定的一组特征。在这样的示例中，第一警告信号可以包括与向对象警告106车辆104的存在和/或操作相关联的基线警告信号。例如，第一警告信号可以包括电动车辆警告声音，该声音包括预定频率并以预定音量发射。
38.在各种示例中，可以动态地确定第一组特征，例如基于与环境100相关联的一个或多个实时条件。实时条件可以包括与对象106相关联的数据(例如，对象属性(例如，分类、位置(例如，面向/朝向车辆移动、面向/远离车辆等)、与车辆的距离、轨迹等)、对象活动(例如，步行，跑步，骑摩托车(例如，由对象轨迹暗示的特定活动，例如基于速度等)、看书、打电话、在电子设备上查看数据、与另一车辆交互，与另一个对象互动(例如，与另一个人交谈、看婴儿车等)、吃、喝、操作感觉障碍装置(例如，手杖、助听器等)、听耳机等)，环境因素(例如，环境100中的噪音水平、交通量、道路条件等)、天气条件(例如，雨、雪、冰雹、风等)、车辆考虑因素(例如，速度、车辆104中的乘客)等)等。例如，与为佩戴耳机的行人生成的第一警告信号相关联的第一组特征可以包括第一频率和与为正在与车辆相关联的方向看的行人生成的第一警告信号相关联的第一组特征可以包括第二频率。
39.在各种示例中，第一警告信号的频率(例如，一个或多个频率)可以包括对象106可感知的频率(或频率的集合/范围)，例如基于对象106的分类112。例如，警告信号组件114可以确定对象106是狗。部分基于作为狗的分类112，警告信号组件114可以确定以狗而不是人类可检测到的频率发射第一警告信号，例如使狗避开车辆104和/或车辆路径。在各种示例中，第一组特征的一个或多个特征(例如，音量和/或音量范围、一个或多个频率、亮度、形状、运动和/或颜色)可以基于紧急性来确定警告(例如，低紧急性(例如，警告)、中紧急性((例如，小心)、高紧急性(例如，警告))、车辆104和对象106之间发生冲突的可能性、要传达给对象106的消息(例如，车辆104正在接近，请停车，轨迹正在快速收敛等)。
40.在各种示例中，可以基于对象活动(例如，检测到的与对象106相关联的分心)来确定第一组特征中的一个或多个特征。检测到的分心可以包括对移动电话的触觉使用、确定潜在冲突对象正在进行对话(例如，在移动电话或类似对象上，与对象106附近的另一个对象一起)、确定对象106佩戴耳机、耳罩、耳塞或配置为适合耳道内或耳道周围的任何其他装置。
41.在一些示例中，可以基于环境中的天气条件来确定第一组特征中的一个或多个特征。天气条件可以包括雨、风、雨夹雪、冰雹、雪、温度、湿度、大的压力变化，或可能影响环境100中对象106的听觉感知的任何其他天气现象。可以根据环境中的路况确定预警信号的一个或多个特征。道路条件可以包括路面的平滑度(例如，混凝土、沥青、砾石等)、坑洼的数量、不平坦的地形(例如，隆隆带、搓板、道路的波纹等)等。例如，在砾石路上运行的对象106和/或车辆104可能比在光滑表面上运行时产生更大的噪声量。由对象106和/或车辆104产生的噪声的增加(例如，来自行驶的噪声的影响量)可能使得随后的警告信号的确定音量和/或音量范围的增加。
42.在各种示例中，第一组特征的一个或多个特征可以基于对象106在环境100中的位置来确定。例如，如果对象106位于车辆104共享的道路中，则音量和/或音量范围和/或亮度可能高于对象106位于人行道上的情况，例如指示进入道路的意图。对于另一示例，如果对象106是站在相反方向交通之间的中间带上的行人，则音量和/或音量范围和/或亮度可能高于如果对象106位于自行车道中、靠近路边的情况。
43.在一些示例中，可以基于检测到的车辆104上的一个或多个传感器108的丢失来确定第一组特征的一个或多个特征。例如，车辆计算系统可以确定车辆上的扬声器是无法以最佳容量运行。因此，车辆计算系统可以增加警告信号的音量以补偿扬声器容量的降低。对于另一个示例，车辆计算系统可以确定车辆104上的灯没有工作。因此，车辆计算系统可以增加视觉警告信号的亮度和/或闪烁频率以补偿不起作用的灯。
44.在各种示例中，第一组特征的一个或多个特征可以基于对车辆104中的乘客的检测来确定。在一些示例中，乘客的检测可以基于从车辆的一个或多个传感器108接收到的传感器数据。在一些示例中，乘客的检测可以基于接收到的信号，例如从与乘客相关联的计算装置接收到的信号，该信号指示乘客存在于车辆中。在各种示例中，车辆计算系统可以基于对乘客的检测来减小音频警告信号的音量和/或音量范围和/或频率，例如，以不给乘客造成负面体验到发射巨大的噪音。
45.在各种示例中，警告信号组件114可以基于与车辆104相关联的位置生成(例如，确定第一组特征)第一警告信号和/或使得发射第一警告信号。该位置可以包括学校区域，建
筑区、靠近游乐场、商业区、市区等。在一些示例中，警告信号组件114可以基于一天中的时间、一周中的一天、季节、日期(例如，假期等)等来生成第一警告信号和/或使得第一警告信号被发射。在一些示例中，警告信号组件114可以基于与车辆104相关联的速度生成第一警告信号和/或使得发射第一警告信号。在这样的示例中，基于确定车辆104正以或低于阈值速度行驶(例如，28公里/小时、22英里/小时、15英里/小时等)，警告信号组件114可以使第一警告信号被发射。
46.在各种示例中，计算系统102可以被配置为确定诸如对象106(1)和106(2)之类的对象106与车辆104相关(例如，车辆104和对象106之间可能存在潜在冲突，对象106可能潜在地减慢车辆104的行进速度)。在各种示例中，可以利用在于2019年4月19日提交的标题为“dynamic object relevance determination”的美国专利申请序列号16/389,7205，于2019年5月20日提交的标题为“object relevance determination”的美国专利申请序列号16/417,260，以及于2019年8月2日提交的题为“relevant object detection”的美国专利申请序列号16/530,515中描述的技术来确定对象相关性，其全部内容通过引用并入本文。
47.在一些示例中，可以基于对象106(1)和可行驶表面116(例如，道路、车辆104在其中运行的车道等)之间的距离(d)来确定对象相关性。在这样的示例中，可以基于距离(d)等于或小于阈值距离(例如，18英寸、1英尺、4米等)来确定对象106是相关的。在各种示例中，可以基于与对象106相关联的分类112来确定阈值距离。例如，与行人相关联的第一阈值距离可以是1米，而与骑自行车者相关联的第二阈值距离可以是5米。
48.在各种示例中，可以基于与其相关联的对象轨迹来确定对象106是相关的。在这样的示例中，计算系统102可以被配置为例如基于传感器数据来确定预测的对象轨迹(例如，对象轨迹)。在一些示例中，对象轨迹可以基于环境的自上而下表示，例如通过利用在于2018年10月4日提交的标题为“trajectory prediction on top-down scenes”的美国专利申请序列号16/151,607，以及于2019年7月5日提交的标题为“prediction on top-down scenes based on action data”的美国专利申请序列号16/504,147中描述的技术，其全部内容通过引用并入本文。在一些示例中，可以使用概率热图(例如，离散概率分布)、树搜索方法、时间逻辑公式和/或机器学习技术来确定预测的对象轨迹以预测对象行为，例如在于2017年11月8日提交的题为“probabilistic heat maps for behavior prediction”的美国专利申请序列号15/807,521中描述的技术，其全部内容通过引用并入本文。
49.在各种示例中，对象106可以基于对象轨迹和车辆轨迹之间的交叉点与车辆104相关。在一些示例中，对象106可以基于对象106和车辆104在各自轨迹上的预测位置是相关的。在一些示例中，基于确定与在对象轨迹上行进的对象106相关联的预测的未来对象位置在与车辆轨迹上行驶的车辆104相关联的预测未来车辆位置的阈值距离(例如，2英尺、10英尺、2米、4米等)内，对象106可以与车辆104相关。
50.在各种示例中，对象106可以基于对象106和车辆104之间的冲突概率(例如，碰撞的可能性)与车辆104相关。冲突概率可以基于对象106将继续在对象轨迹上和/或将对象轨迹改变为与车辆104冲突的确定的可能性。在一些示例中，冲突概率可以对应于车辆104和对象106之间冲突的可能性(例如，概率)高于冲突的阈值水平(例如，阈值概率)。
51.在各种示例中，车辆计算系统可以利用环境的自顶向下表示来确定冲突的概率，例如在上面并入本文的美国专利申请中所描述的。在一些示例中，车辆计算系统可以将环
境的自上而下表示输入到机器学习模型中，该机器学习模型被配置为输出预测与对象106的未来位置相关联的概率的热图指示(例如，预测与其相关联的对象轨迹和/或概率)。在这样的示例中，车辆计算系统可以在时间上向前预测车辆104的移动并且确定与对象106相关联的热图与车辆104的未来位置之间的冲突概率，如由时间向前的投影所确定的。
52.在一些示例中，可以基于与对象106相关联的分类112来确定冲突概率。在这样的示例中，与对象106相关联的分类112可以帮助确定对象106将保持或改变轨迹的可能性。例如，在道路一侧检测到的鹿可能是不可预测的，并且因此具有很高的概率会改变轨迹以与车辆104发生冲突。因此，鹿可以被确定为可能与车辆104潜在冲突(例如，与车辆104相关)的对象106。
53.在一些示例中，基于相关性的确定，计算系统102的警告信号组件114可以生成第一警告信号以警告车辆104的环境中的相关对象106的存在和/或操作。如上所述，可以基于与相关对象106相关联的分类112来确定第一警告信号的第一组特征(例如，频率、音量、亮度、颜色、形状、运动等)。
54.在各种示例中，第一警告信号可以经由车辆104上的一个或多个发射器118发射。发射器118可以包括扬声器、灯、显示器、投影仪和/或被配置为发射信号的任何其他设备。在一些示例中，第一警告信号可以在车辆周围的多个方向上发射(例如，在车辆104的前面、后面和侧面上基本相同)。在一些示例中，第一警告信号可以在车辆104周围的多个方向上均匀地发射。例如，电动车辆警告声音可以经由安装在车辆104的拐角处并的扬声器发射，并且被配置为在车辆104周围大致相等地广播第一警告信号。
55.在一些示例中，警告信号组件114可以被配置为使第一警告信号向环境100中的相关对象106和/或检测到的对象106发射。在一些示例中，第一警告信号可以经由一个或多个发射器118发射，发射器118基本上面向一个或多个对象106(例如，检测到的对象、相关对象等)被检测到的方向。例如，可以在车辆104的前面和右侧(例如，在与可驱动表面116相邻的人行道上)检测到对象106。基于对车辆104前面和右侧的对象的检测，警告信号组件114可以使第一警告信号经由安装在车辆104前面和右侧的发射器118发射。在一些示例中，第一警告信号可以利用诸如于2017年5月4日提交的标题为“method for robotic vehicle communication with an external environment via acoustic beam forming”的美国专利号9,878,664中描述的波束控制和/或波束形成阵列技术向相关对象106和/或向环境100中检测到的对象106发射，其全部内容以引用方式并入本文。
56.在一些示例中，警告信号组件114可以被配置为连续和/或周期性地(例如，每0.5秒、3.0秒等)修改第一警告信号以生成第二警告信号，等等。在一些示例中，对警告信号的修改可以至少部分地基于由计算系统102处理的附加传感器数据。例如，警告信号组件114可以使第一警告信号在第一时间被发射，其至少一个特征是基于环境中的基线噪声水平确定的。车辆计算系统可以在第二时间确定基线噪声水平的增加，并且警告信号组件114可以生成第二警告信号以更高的音量发射。
57.在各种示例中，警告信号组件114可以被配置为确定对第一警告信号的对象反应。在这样的示例中，警告信号组件114可以被配置为确定对警告信号的实时对象反应。在一些示例中，警告信号组件114可以从感知组件110接收处理后的传感器数据，例如与环境100中的对象106的对象反应相关联的数据。对象反应可以包括改变(或缺乏变化)，例如对象轨迹
(例如，速度增加、速度减少、远离车辆的行进方向等)、对象的头部和/或肩部的运动、手势(例如，挥手等)、对象的脚的位置、对该对象持有的物品的位置调整(例如，调整电子设备、书籍、杂志或其他物品的位置)，和/或指示对象对第一警告信号作出反应的任何其他移动。
58.警告信号组件114可以将对象反应与预期反应120进行比较。预期反应可以基于第一警告信号的特征(例如，音量、频率、亮度、颜色、运动(例如，动画运动、光序列等)、信号的形状等)和/或与对象106相关联的数据(例如，对象属性(例如，分类112、位置(例如，面向车辆104/朝向车辆104移动、面向/远离车辆104等)、与车辆104的距离(d)、对象轨迹等)、对象活动(例如，步行、跑步、骑滑板车)，(例如,由对象轨迹暗示的特定活动,例如基于速度等)，看书，在电话上交谈,在电子设备上查看数据,与另一车辆交互，与另一对象交互106(例如，与另一个人交谈、看婴儿车等)、吃、喝、操作感觉障碍装置(例如，手杖、助听器等)、听耳机等)。在一些示例中，警告信号组件114可以访问包括多个预期反应的数据库122以确定与第一警告信号相关联的预期反应120。在这样的示例中，可以至少部分地基于与对象106相关联的数据和/或第一警告信号的特征来存储数据库122中的预期反应120。例如，数据库122可以包括对象106(1)的预期反应120(1)，行人查看电子设备，以包括降低对象106(1)正在查看的电子设备和/或移动头部和/或朝向车辆104的肩膀(例如，第一警告信号的发射)。对于另一个示例，数据库122可以包括对象106(2)、骑自行车的人的预期反应120(2)，以包括对象轨迹的变化(例如，速度增加、速度降低、行进方向的改变等)和/或头部运动。在说明性示例中，数据库122可以位于与计算系统102分开的自主车辆104上。在这样的示例中，计算系统102可以经由有线和/或无线连接。在一些示例中，数据库122可以远离计算系统102，例如存储在远程计算系统上并且可以经由无线连接访问的数据库。在其他示例中，数据库122可以位于计算系统102上。
59.如关于对象106(2)所示，预期反应120(2)可以包括与对象106(2)相关联的轨迹的变化。轨迹的改变可以包括对对象106(2)行进的速度和/或方向的修改(例如，加速、减速、改变阈值量等)和/或方向。在各种示例中，计算系统102可以在发射第一警告信号之后一次基于来自传感器的附加传感器数据来确定更新的预测对象轨迹。在一些示例中，更新的预测对象轨迹可以利用环境的自上而下表示和/或与其相关联的热图来确定，例如在以上通过引用并入本文的美国专利申请中描述的那些。在各种示例中，计算系统102可以确定对对象轨迹的修改(例如，预测对象轨迹与在发射第一警告信号之后确定的更新的预测对象轨迹之间的差异)。在一些示例中，预期反应可以基于该修改。例如，预期反应可包括对象减慢前进速度或改变行进方向(例如，从与车辆104相交的轨迹变为平行轨迹)。计算系统102可以将修改和/或更新的对象轨迹与预期反应120(2)进行比较以确定对象106(2)是否根据预期反应作出反应。
60.在一些示例中，计算系统102可以基于确定对象在发射第一警告信号的阈值时间(例如，1秒、2秒等)内做出反应(例如，修改行为)来确定第一警告信号成功地向对象警告106。在一些示例中，计算系统102可以将与反应相关联的响应存储在数据库122中。在各种示例中，尽管检测到意外反应(例如，不是预期反应)，但计算系统102可以继续迭代修改警告信号，直到检测到预期的反应。在这样的示例中，计算系统可以将与警告信号的每次迭代和对应的反应(预期的和/或意外的)相关联的数据存储在数据库122中。
61.在各种示例中，车辆计算系统可以利用机器学习技术确定预期反应120。如以下关
于图4更详细讨论的，在一些示例中，计算系统102可以包括反应训练组件，该反应训练组件被配置为利用机器学习技术训练模型以确定对警告信号的预期反应120。在这样的示例中，可以利用包括多个警告信号和检测到的对其的反应的训练数据来训练模型。
62.基于对象反应(例如，实际反应、实时反应等)和预期反应120之间的比较，警告信号组件114可以确定对象106是否如预期地对第一警告信号反应(例如，对象反应和预期反应120之间是否存在基本匹配)。在各种示例中，确定对象反应和预期反应120之间的基本匹配可以包括阈值数量的动作(例如，一个匹配动作、两个匹配动作等)的匹配、动作的阈值百分比(例如，80％、55％等)等。在一些示例中，可以基于对象反应和预期反应120之间的阈值匹配和/或阈值差异来确定基本匹配。动作可以包括轨迹修改(例如，增加速度、降低速度、改变行进方向等)、身体运动(例如，脚放置、头部旋转、肩部运动等)、姿势等。例如，对第一警告信号的预期反应120(1)可以包括头部和/或肩部运动以及对对象106(1)所持有的电子设备的位置调整。实际对象反应可以包括朝向车辆104的头部运动。基于至少头部运动的匹配，警告信号组件114可以确定对象反应和预期反应120基本匹配。对于另一示例，对第一警告信号的预期反应120(2)可以包括头部运动、对对象轨迹的修改和/或对对象轨迹的修改幅度。警告信号组件114可以接收指示，例如来自预测组件，与对象轨迹相关联的速度已经降低了每小时5英里。部分地基于对象轨迹修改及其幅度，警告信号组件可以确定对象反应与预期反应120(2)的匹配率为85％，在动作的75％阈值百分比之上，对象反应与预期反应120(2)基本匹配。
63.响应于确定对象反应基本匹配预期反应120，车辆计算系统可以将遭遇(例如，与第一警告信号和对象反应相关联的数据)存储在数据库122中。在一些示例中，数据库122可以用于将来的对象反应比较，例如增加对第一警告信号的对象反应的置信度，以训练机器学习模型等。
64.响应于确定对象反应基本上不匹配(例如，小于动作的阈值数量、百分比匹配等)，警告信号组件114可以根据预期反应120确定对象106没有反应。在这样的示例中，警告信号组件114可以确定对象106仍然不知道车辆104的操作和/或车辆104在环境100中的存在。基于确定对象106没有根据预期反应120做出反应，警告信号组件114可以生成第二警告信号。第二信号可以包括音频和/或视觉信号。第二警告信号可包括与第一警告信号相同或不同形式(例如，光、声音等)的信号。例如，第一警告信号可以包括声音发射并且第二警告信号可以包括光发射。作为另一示例，第一警告信号可以包括声音发射，而第二警告信号可以包括声音发射。
65.在各种示例中，警告信号组件114可以确定第二警告信号的第二组特征(例如，频率、音量、亮度、颜色、运动(例如，动画运动、光序列等)、信号的形状等)。在一些示例中，第二组特征可以包括对第一警告信号的一个或多个特征的预定修改。在这样的示例中，警告信号组件114可以修改第一警告信号的频率、音量和/或亮度中的一个或多个以生成第二警告信号。例如，与第二警告信号相关联的音量可以包括从第一警告信号增加10分贝。
66.在各种示例中，可以动态地确定第二组特征，例如基于环境100中的实时条件，如上所述。在一些示例中，警告信号组件114可以处理实时考虑和对第一警告信号作出反应的失败，并且可以确定与第二警告信号相关联的第二组特征。在一些示例中，警告信号组件114可以访问数据库122以确定与第二信号相关联的第二组特征。在一些示例中，第二组特
征可以基于实时考虑存储在数据库122中。在各种示例中，可以利用机器学习技术来确定第二组特征。在一些示例中，警告信号组件114可以将实时考虑和具有第一警告信号不成功的指示的第一组特征输入到被配置为输出第二组特征的机器学习模型中。在这样的示例中，警告信号组件114可以根据输出的第二组特征生成第二警告信号。
67.在各种示例中，第二组特征可以部分基于紧急性的升级，例如从低紧急性到中等或高紧急性，增加冲突的可能性和/或概率，例如从中等概率到高概率等等。例如，警告信号组件114可以使第一警告信号以第一频率和第一音量发射以向对象警告106，例如对象106(1)，该对象106在距离车辆操作的可驱动表面116的阈值距离内。基于确定对象106(1)没有根据预期反应120(1)做出反应，并且车辆104已经移动靠近与对象106(1)相关联的位置，车辆计算系统可以确定与通知相关的紧急性和/或发生冲突的可能性增加。因此，警告信号组件114可以确定修改频率和/或增加第一警告信号的音量以产生第二警告信号。
68.在各种示例中，第二组特征可以包括对第一组特征的预定修改。在这样的示例中，可以将第一组特征中的一个或多个特征修改预定量以确定第二组特征。在一些示例中，预定义的修改可以存储在数据库122中，例如与第一警告信号和/或其特征、与对象106相关的数据等相关联。例如，与第二警告信号相关联的音量可以包括比第一警告信号增加10分贝。对于另一个示例，第二警告信号可以包括比第一警告信号增加100流明。
69.在各种示例中，警告信号组件114可以将第二对象反应与和第二警告信号相关联的第二预期反应120进行比较。响应于确定第二对象反应与第二预期反应120基本匹配，警告信号组件114可以将与对象反应和/或第二警告信号相关联的数据存储在数据库122中。如上所述，在一些示例中，数据库122可用于未来的对象反应比较，例如增加对警告信号的反应的置信度、训练机器学习模型等。
70.响应于确定第二对象反应与第二预期反应120基本上不匹配，警告信号组件114可以生成第三警告信号并使得发射第三警告信号，第三警告信号不同于第一警告信号和第二警告信号(例如，不同的模态、不同的特征等)。例如，基于确定对象106没有响应以50分贝发射的第一音频警告信号和以70分贝发射的第二音频警告信号，警告信号组件114可以确定发射视觉警告信号作为第三个警告信号。因此，警告信号组件114可以确定视觉警告信号的颜色和亮度(例如，与第三警告信号相关联的第三组特征)。警告信号组件114可以利用与上述关于确定与第三警告信号相关联的第三组特征的那些技术相似或相同的技术。
71.在各种示例中，车辆计算系统可以继续修改发射的警告信号，直到对象反应与对警告信号的预期反应120基本匹配。在各种示例中，警告信号组件114可以基于确定对象106仍然与车辆104相关来继续修改发射的警告信号。在这样的示例中，可以基于确定对象106与车辆104相关来发射修改的警告信号。在一些示例中，警告信号组件114可以被配置为连续和/或周期性地(例如，在生成修改的警告信号之前每0.1秒、1.0秒等)确定对象106是否与车辆104相关。在一些示例中，警告信号组件114可以从计算系统102的另一个组件接收对象106相关性的指示。在各种示例中，可以接收对象106相关性的指示响应于由警告信号组件114发送的相关性查询。在这样的示例中，警告信号组件114可以在生成修改的警告信号之前发送相关性查询，例如在消耗计算资源生成修改的警告信号之前验证对象106的相关性。在这样的示例中，本文描述的技术可以改进计算系统102的功能，至少通过基于对象106不相关性的确定使附加计算资源(处理能力、存储器等)可用于计算系统102的其他功能。
72.在各种示例中，基于确定对象106根据预期反应120做出反应和/或对象106与车辆104无关，警告信号组件114可以停止发射警告信号。在一些示例中，基于确定对象106根据预期反应120做出反应和/或对象106与车辆104无关，警告信号组件114可以使第一警告信号被发射。在这样的示例中，第一警告信号可以包括发射的基线警告信号以警告附近对象车辆104的存在和/或操作。例如，并且如上所述，基线警告信号可以包括电动车辆警告声音，例如法律和/或法规要求的声音。对于另一个示例，基线警告信号可以包括基于与车辆104相关联的位置和/或诸如上述那些的实时条件发射的声音和/或光。
73.图2是用于至少部分地基于对象106对发射的警告信号202的对象反应204来修改由车辆104发射的警告信号202的过程200的图示。
74.在操作206，该过程可以包括在诸如环境100的环境中发射第一警告信号202(1)。第一警告信号202(1)可以包括音频和/或视觉信号。第一警告信号202(1)可以包括第一组特征(例如，频率、音量、亮度、颜色、运动(例如，动画运动、光序列等)、信号的形状等)。在一些示例中，与第一警告信号202(1)相关联的第一组特征可以是预定义的，例如基于从车辆104发射的基线声音以向对象警告106车辆104存在和/或车辆104的操作。例如，第一警告信号202(1)可以包括以100分贝发射的频率为528赫兹的电动车辆警告声音。
75.在各种示例中，与车辆104相关联的车辆计算系统可以基于环境中的一个或多个实时条件来确定第一组特征。如上所述，实时条件可以包括与对象106相关联的数据(例如，对象属性(例如，分类、位置(例如，面向/朝向车辆移动、面向/远离车辆等)、与车辆的距离、轨迹等)、对象活动(例如，步行、跑步、骑摩托车，(例如，对象轨迹暗示的特定活动，例如基于速度等)、看书、打电话、查看电子设备上的数据、与另一车辆交互、与另一个对象交互(例如，与另一个人交谈、查看婴儿车等)、吃、喝、操作感觉障碍装置(例如，手杖、助听器等)、听耳机等)、环境因素(例如，环境中的噪音水平、交通量、道路条件等)、天气条件(例如，雨、雪、冰雹、风等)、车辆考虑因素(例如，速度、车辆104中的乘客等)，等等。例如，车辆计算系统可以确定检测到的对象106是在雨中走向车辆104并且在车辆104的阈值距离内的行人。由于对象轨迹，车辆104的阈值距离内的对象位置以及下雨，车辆计算系统可以确定以100分贝发射1000赫兹的信号。
76.在说明性示例中，第一警告信号202(1)可以在与检测到的对象106相关联的车辆104的一侧被发射。在这样的示例中，第一警告信号202(1)可以被配置为向对象警告106在自行车道上、人行道上和/或车辆计算系统检测到对象106和/或合理预期对象操作的其他区域(例如，合法操作区域、典型操作区域等)。在一些示例中，第一警告信号202(1)可以在车辆周围发射，例如朝向前部、后部、右侧和左侧。在一些示例中，第一警告信号202(1)可以包括指向对象106的声束形成信号和/或光信号。
77.在操作208，车辆计算系统可以将对象反应204与对第一警告信号202(1)的预期反应120进行比较。如上所述，车辆计算系统可以基于来自一个或多个传感器的传感器数据来确定对象反应204。传感器可以包括安装在车辆上、安装在其他车辆上和/或安装在环境中的传感器。对象反应204可以包括对第一警告信号202(1)的实时对象反应，例如对对象106的对象轨迹、位置和/或运动的改变或缺乏。在说明性示例中，对象反应204包括基本没有运动。例如，对象106的位置(例如，头部、肩部、手臂、腿等)保持基本相同，并且对象106继续将电子设备保持在基本相同的位置。
78.预期反应120可以基于第一警告信号202(1)的特征(例如，音量、频率、亮度、颜色、运动(例如，动画运动、光序列等)、信号的形状等)和/或与对象106相关联的数据(例如，对象属性(例如，分类、位置(例如，面对/朝向车辆移动、面对/远离车辆等)、与车辆的距离、轨迹等)、对象活动(例如，步行、跑步、骑滑板车，(例如，由对象轨迹暗示的特定活动，例如基于速度等)、看书、打电话、查看电子设备上的数据、与另一车辆交互、与另一个对象交互(例如，对另一个人说话，看着婴儿车等)，吃，喝，操作感觉障碍装置(例如，手杖，助听器等)，听耳机等)。在一些示例中，车辆计算系统可以访问包括多个预期反应的数据库以确定与第一警告信号202(1)相关联的预期反应120。在这样的示例中，可以至少部分地基于与对象106相关联的数据和/或第一警告信号202(1)的特征来存储数据库中的预期反应120。在各种示例中，车辆计算系统可以利用机器学习技术确定预期反应120。在说明性示例中，预期反应120包括朝向车辆104的头部运动(例如，旋转)和电子设备从升高位置(例如，在对象头部前面)到较低位置的运动。
79.在操作210，该过程包括基于与预期反应120显著不同的对象反应204发射第二警告信号。在各种示例中，车辆计算系统可以基于对象反应204和预期反应120之间的显著差异确定对象106没有处理第一警告信号202(1)(例如，对象106没有听到和/或看到第一警告信号202(1))。
80.基本性差异的确定可以基于与对象反应204相关联的一个或多个动作，该动作不同于预期反应120的一个或多个动作。这些动作可以包括轨迹修改(例如，速度增加、速度降低、行进方向的改变等)、身体运动(例如，足部放置、头部旋转、肩部运动等)、姿势等。在一些示例中，基于确定对动作的阈值数量和/或动作的阈值百分比不同(例如，阈值差异)，可以确定对象反应204与预期反应120显著不同。例如，预期反应可以包括脚部放置、头部运动和肩部移动。基于确定对象反应仅包括脚部放置，车辆计算系统可以确定未满足动作的阈值数量(两个)，因此，对象反应与预期反应显著不同。
81.第二警告信号202(2)可以包括与第一警告信号202(1)具有相同或不同形态的信号。第二警告信号202(2)可以包括第二组特征。在各种示例中，车辆计算系统可以基于对第一组特征的预定义调整来确定第二组特征。在这样的示例中，车辆计算系统可以基于预先定义的调整来修改第一警告信号202(1)的频率、音量、亮度、颜色、运动和/或形状。例如，第一警告信号202(1)可以包括以65分贝发射的第一频率的音频信号。基于确定对象106没有根据预期反应做出反应，车辆计算系统可以增加15分贝的音量并发射80分贝的第二警告信号202(2)。
82.在说明性示例中，车辆计算系统可以使第二警告信号202(2)在车辆104的与第一警告信号202(1)相同的一侧被发射(例如，在与检测到的对象106相关联的车辆104的一侧)。在其他示例中，车辆计算系统可以使第二警告信号202(2)指向对象106，例如在声束形成信号和/或光信号中。在又一示例中，第二警告信号202(2)可以在车辆周围发射，例如朝向车辆104的前部、后部、右侧和左侧。
83.在操作212，该过程包括发射不同的警告信号202，直到对象反应204匹配(例如，基本上匹配)预期反应120或对象106不再与车辆104相关。在各种示例中，车辆计算系统可以被配置为基于实时对象反应连续修改警告信号以优化车辆104在环境中的安全操作。
84.在各种示例中，车辆计算系统可以生成相同模态和/或不同模态的不同警告信号
202。在一些示例中，车辆计算系统可以在第一模态中发射预定数量的警告信号202并且可以改变为第二模态。在这样的示例中，车辆计算系统可以确定第一模态在向对象警告106车辆104的存在和/或操作方面是无效的。例如，车辆计算系统可以发射三个音频警告信号202，并且可以基于对音频信号的对象反应204和对音频信号的预期反应120之间的显著差异来确定音频信号是无效的，例如由于对象106听力困难、听响亮的音乐等。车辆计算系统可以将第四警告信号202(和随后的警告信号202)修改为视觉警告信号202，例如各种颜色、运动(例如，排序)、形状和/或强度的闪光灯。
85.在各种示例中，车辆计算系统可以被配置为连续和/或周期性地(例如，在生成修改的警告信号之前每0.2秒、0.5秒等)确定对象106是否与车辆104相关。在一些示例中，在生成后续警告信号202之前(例如在确定对象反应204与预期反应120显著不同之后)，车辆计算装置可以确定对象与车辆104的相关性。对象106可以基于对象轨迹和车辆轨迹之间的交叉点与车辆104相关。可以利用上述技术和以上通过引用并入的专利申请中描述的技术来确定对象轨迹。在一些示例中，对象106可以基于对象106和车辆104在各自轨迹上的预测位置是相关的。
86.在一些示例中，对象106可以基于确定与车辆104相关，该确定是与在对象轨迹上行进的对象106相关联的预测未来对象位置在与车辆轨迹上行驶的车辆104相关联的预测未来车辆位置的阈值距离内(例如，4英尺、12英尺、1米、3米等)。在各种示例中，可以基于对象106在车辆104前面的位置(例如，在沿一个方向行驶的车辆104前面)以及对象106与车辆104在轨迹上行驶的可行驶表面(例如道路)之间的距离(例如，从对象到车辆104的路径的距离)，确定对象106与车辆104相关。在这样的示例中，基于距离等于或小于阈值距离的确定，对象106可以是相关的。
87.在各种示例中，基于确定对象106根据预期反应120做出反应和/或对象106与车辆104无关，车辆计算装置可以停止发射警告信号202。在一些示例中，基于在确定对象106根据预期反应120作出反应和/或对象106与车辆104无关时，警告信号组件114可以使得发射第一警告信号202(1)。在这样的示例中，第一警告信号可以包括基线警告信号202，该基线警告信号202被发射以警告附近的对象106车辆104的存在和/或操作。例如，基线警告信号可以包括基于与车辆104相关联的位置和/或诸如环境因素、天气条件、车辆考虑、与对象106相关联的数据等实时条件发射的声音和/或光。
88.图3是环境300的图示，在该环境300中，诸如车辆104的车辆302基于确定对象308(1)阻挡车辆302的车辆路径310而发射信号304和306。信号可以包括警告信号304，例如警告信号202以向对象警告106车辆302的存在和/或操作，以及路径信号306以指示对象106的潜在对象路径。与车辆相关联的车辆计算系统可以被配置为至少部分地基于从车辆的一个或多个传感器和/或一个或多个远程传感器接收的传感器数据来检测环境中的对象308，例如对象106(例如，与其他车辆相关联的传感器、安装在环境300中的传感器等)。
89.在各种示例中，诸如计算系统102之类的车辆计算系统可以被配置为确定对象308(例如，阻挡对象308(1))正在阻挡与车辆302行进通过环境300相关联的车辆路径310(路径310)。在一些示例中，车辆路径310可以包括车辆302从当前位置312到目的地的路径。在一些示例中，车辆路径310可以包括与车辆302行驶到目的地相关联的可行驶表面(例如，可行驶区域)。在一些示例中，可行驶表面可以包括车辆302的宽度和/或车辆302任一侧的安全
裕度。在一些示例中，可行驶表面可以包括车辆302行驶所在的车道314的宽度。
90.在一些示例中，车辆计算系统可以基于确定与阻挡对象308(1)相关联的对象位置316至少部分地在可行驶区域和/或车辆路径310内，来确定阻挡对象308(1)正在阻挡车辆路径310。在各种示例中，车辆计算系统可以基于确定车辆302在车道314中绕着阻挡对象308(1)行进而确定阻挡对象308(1)正在阻挡车辆路径310。在说明性示例中，阻挡对象308(1)停止穿过车辆路径310并阻挡车道314。在这样的示例中，车辆302可能无法在车道314中沿车辆路径310前进(或相邻车道318)。在其他示例中，阻挡对象308(1)可以阻挡较少的车道314(例如，阻挡车辆路径310的阻挡对象308(1)的较小百分比)；然而，车辆计算系统可以基于确定车辆302在保持在车道314的范围内时不能绕过阻挡对象308(1)来确定对象308是阻挡对象308(1)。
91.在各种示例中，车辆计算系统可以被配置为识别阻挡对象308(1)可以移动到的区域320。在一些示例中，区域320可以包括不在车辆路径310、车道314和/或相邻车道318中的位置。在这样的示例中，区域320可以包括阻挡对象308(1)可以移动以不再阻挡车辆302和/或在车道314和/或相邻车道318中行驶的其他车辆/对象308的前进。
92.在一些示例中，区域320可以包括阻挡对象308(1)的操作者可能无法查看的位置，例如基于被诸如对象308(2)的另一对象阻挡的观看路径。例如，阻挡对象308(1)可能在车辆302前面的交叉路口322左转。阻挡对象308(1)可能在对象308(2)后面的左侧车道上运行。由于对象位置316和位置(例如，部分通过左转的定向)，阻挡对象308(1)的操作员可能无法看到右侧车道中的区域320是否没有对象308。
93.在各种示例中，车辆计算系统可以使得从诸如发射器118的发射器发射路径信号306。在一些示例中，路径信号306可以包括离开车辆路径310的对象路径(路线)的指示310。在一些示例中，路径信号306可以向阻挡对象308(1)的操作者指示区域320存在并且是空的。在说明性示例中，路径信号306包括指向区域320的箭头，路径信号306投影(例如，显示)在道路表面上，使得阻挡对象308(1)的操作员可以查看路径信号306来自对象位置316。在另一个示例中，路径信号306可以包括提供阻挡对象308(1)可以移动到的区域320的指示的全息图像。尽管在图3中描绘为箭头，但这仅用于说明性目的，并且这里设想了其他设计、形状、符号等。例如，路径信号306可以包括被配置为指示路线的灯的闪烁序列，例如进场照明系统。
94.在各种示例中，车辆计算系统可以发射路径信号306并且可以确定阻挡对象308(1)的操作员没有根据预期反应做出反应(例如，操作员没有向区域320移动阻挡对象308(1))。在一些示例中，基于确定阻挡对象308(1)的操作者没有根据对路径信号306的预期反应做出反应，车辆计算系统可以使警告信号304发射，例如警告路径信号306的阻挡对象308(1)的操作员和/或车辆存在和/或操作。在一些示例中，车辆计算系统可以使警告信号304发射到在发射路径信号306之前引起阻挡对象308(1)的操作者的注意。警告信号304可以包括具有第一组特征的音频和/或视觉信号(例如，频率，音量，发亮度，颜色，运动(例如，动画运动，光测序等)，信号的形状等)。
95.如上所述，车辆计算系统可以被配置为检测阻挡对象308(1)的操作者对警告信号304的反应(例如，操作者反应)。车辆计算系统可以基于从与车辆相关联的传感器和/或远程传感器收集的传感器数据来检测操作者的反应。部分由于传感器数据提供的车辆操作员
的有限可见性，操作员反应可以包括身体运动，例如头部运动、肩部运动、手势(例如，挥手等)等。如上所述，车辆计算系统可以被配置为将操作者反应与预期反应，例如预期反应120进行比较。另外，在车辆计算系统使得路径信号306与警告信号304同时或在警告信号304之前发射的示例中，预期反应可以包括阻挡对象308(1)朝向区域320移动。基于比较，车辆计算系统可以确定阻挡对象308(1)的操作者是否知道车辆302和/或路径信号306的存在和/或操作。
96.基于确定阻挡对象308(1)的操作者不知道车辆302的存在和/或操作(例如，操作者的反应与预期的反应基本上不匹配)和/或路径信号306，车辆计算系统可以修改警告信号304。修改可以包括模态(例如，音频信号到视觉信号)、频率、音量、亮度、颜色、运动、形状等的改变。在各种示例中，车辆计算系统可以发射修改的警告信号304以警告阻挡对象308(1)的操作者车辆302和/或路径信号306的存在和/或操作。如上所述，车辆计算系统可以被配置为连续地修改警告信号304，直到操作者反应基本上与预期反应匹配或车辆计算系统确定阻挡对象308(1)与车辆302无关(例如，不再阻挡路径310)。
97.尽管关于阻挡对象308(1)描述了图3，但这并非旨在进行限制，并且车辆计算系统可以被配置为其他(非阻挡)对象308生成和发射路径信号306。例如，车辆计算系统可以检测到车辆302的阈值距离内的对象308。如果对象308保持在阈值距离内的第一位置，则车辆计算系统可以基于对象308在阈值距离内并且为了最大化操作安全性来确定减慢车辆302的前进速度。如果对象移动到阈值位置之外的第二位置，则车辆计算系统可以确定车辆302可能不需要为了最佳操作安全而减速。车辆计算系统因此可以生成路径信号306以向对象308指示对象308移动的第二位置，以便不阻碍车辆302的向前行进。
98.图4是用于实现本文描述的技术的示例系统400的框图。在至少一个示例中，系统400可以包括车辆402，例如车辆104。
99.车辆402可以包括一个或多个车辆计算装置404(例如，车辆计算系统)，例如计算系统102，一个或多个传感器系统406，例如传感器108，一个或多个发射器408，例如发射器118、一个或多个通信连接410、至少一个直接连接412和一个或多个驱动系统414。
100.车辆计算装置404可以包括一个或多个处理器416和与一个或多个处理器416通信耦合的存储器418。在所示示例中，车辆402是自主车辆；然而，车辆402可以是任何其他类型的车辆，例如半自主车辆，或具有至少一个图像捕获装置(例如，支持摄像头的智能手机)的任何其他系统。在所示示例中，车辆计算装置404的存储器418存储定位组件420、感知组件422、规划组件424、一个或多个系统控制器426和包括信号发射组件430的警告信号组件428、反应确定组件432、机器学习组件434、反应数据库436和对象路径确定组件438。尽管出于说明性目的在图4中将其描绘为驻留在存储器418中，但是可以设想定位组件420、感知组件422、规划组件424、一个或多个系统控制器426和警告信号组件428(和/或其中所示的组件和/或数据库)可以附加地或替代地可由车辆402访问(例如，存储在远离车辆402的存储器上或可由其以其他方式访问，例如在一个或多个(远程)计算装置442的存储器440上)。
101.在至少一个示例中，定位组件420可以包括从传感器系统406接收数据以确定车辆402的位置和/或方向(例如，x-、y-、z-位置、滚动、俯仰或偏航)。例如，定位组件420可以包括和/或请求/接收环境的一个或多个地图，并且可以在地图内连续地确定自主车辆的位置和/或方向。出于讨论的目的，地图可以是在二维、三维或n维中建模的任意数量的数据结
构，它们能够提供相关环境的信息，例如但不限于拓扑(例如十字路口)、街道、山脉、道路、地形和一般环境。在一些情况下，地图可以包括但不限于：纹理信息(例如，颜色信息(例如，rgb颜色信息、lab颜色信息、hsv/hsl颜色信息)等)、强度信息(例如，激光雷达信息、雷达信息等)；空间信息(例如，投影到网格上的图像数据、单个“面元”(例如，与单个颜色和/或强度相关的多边形))、反射率信息(例如，镜面反射信息、回射率信息、brdf信息、bssrdf信息等)。在至少一个示例中，地图可以包括环境的三维网格。在一些示例中，可以至少部分地基于地图来控制车辆402。即，地图可以附加地与感知组件422和/或规划组件424结合使用，以确定车辆402的位置、检测环境中的对象和/或生成路线和/或轨迹以在环境中导航。
102.在一些示例中，一个或多个地图可以存储在可经由网络444访问的远程计算装置(例如计算装置442)上。在一些示例中，可以基于例如特征(例如，实体的类型、一天中的时间、一周中的一天、一年中的季节等)来存储多个地图。存储多个地图可能具有相似的内存要求，但会提高访问地图中数据的速度。
103.在各种示例中，定位组件420可以被配置为利用slam(同时定位和映射)、clams(同时校准、定位和映射)、相对slam、束调整、非线性最小二乘优化等来接收图像数据、激光雷达数据、雷达数据、imu数据、gps数据、车轮编码器数据等以准确确定车辆402的位置。在一些情况下，定位组件420可以向车辆402的各个组件提供数据以确定自主车辆402的初始位置，从而确定与对象发生冲突的可能性(例如概率)，例如对象是否与车辆402相关，如本文所述。
104.在一些示例中，感知组件422可以包括执行对象检测、分割和/或分类的功能。在一些示例中，感知组件422可以提供指示存在接近车辆402的对象(例如，实体、动态对象)和/或对象分类为对象类型(例如，汽车、行人、骑自行车的人、狗、猫、鹿、未知等)。在一些示例中，感知组件422可以提供经处理的传感器数据，该数据指示靠近车辆402的静止实体的存在和/或将静止实体分类为类型(例如，建筑物、树木、路面、路边、人行道、未知等)。在附加或替代示例中，感知组件422可以提供经处理的传感器数据，其指示与检测到的对象(例如，被跟踪的对象)和/或对象所在的环境相关联的一个或多个特征。在一些示例中，与对象相关联的特征可以包括但不限于x位置(全局和/或局部位置)、y位置(全局和/或局部位置)、z位置(全局和/或局部位置)、方向(例如，滚动、俯仰、偏航)、对象类型(例如，分类)、对象的速度、对象的加速度、对象的范围(大小)等。与环境相关的特征可以包括但不限于环境中另一个对象的存在、环境中另一个对象的状态、一天中的某个时间、一周中的一天、季节、天气条件(例如，雨、雨夹雪、冰雹、雪、温度、湿度等)、黑暗/光明的指示等。
105.通常，规划组件424可以确定车辆402要遵循的路径以穿越环境。例如，规划组件424可以确定各种路线和轨迹以及各种详细程度。例如，规划组件424可以确定从第一位置(例如，当前位置)行进到第二位置(例如，目标位置)的路线。出于本讨论的目的，路线可包括用于在两个位置之间行进的航路点序列。作为非限制性示例，航路点包括街道、十字路口、全球定位系统(gps)坐标等。此外，规划组件424可以生成用于引导车辆402沿着从第一位置到第二位置的路线的至少一部分的指令。在至少一个示例中，规划组件424可以确定如何将车辆402从航路点序列中的第一航路点引导到航路点序列中的第二航路点。在一些示例中，指令可以是轨迹或轨迹的一部分。在一些示例中，可以根据后退水平技术基本上同时生成多个轨迹(例如，在技术容差内)，其中选择多个轨迹之一以供车辆402导航。
106.在一些示例中，规划组件424可以包括预测组件以生成环境中对象的预测轨迹。例如，预测组件可以为距车辆402的阈值距离内的对象生成一个或多个预测轨迹。在一些示例中，预测组件可以测量对象的轨迹并且基于观察到的和预测的行为生成对象的轨迹。在各种示例中，对象的轨迹和/或意图可以利用美国专利号10,414,395和/或美国专利申请序列号16/151,607、16/504,147和/或15/807,521中描述的技术来确定，上述专利通过引用并入本文。
107.在至少一个示例中，车辆计算装置404可以包括一个或多个系统控制器426，其可以被配置为控制车辆402的转向、推进、制动、安全、发射器、通信和其他系统。系统控制器426可以与驱动系统414的相应系统和/或车辆402的其他组件通信和/或控制相应的系统。
108.如图4所示，车辆计算装置404可以包括警告信号组件428。警告信号组件428可以包括信号发射组件430。在各种示例中，信号发射组件430可以被配置以确定何时发射警告信号，例如警告信号202和304。在一些示例中，信号发射组件430可以基于与车辆402相关联的位置来确定发射警告信号。在这样的示例中，信号发射组件430可以从定位组件420接收位置数据并且可以基于位置数据确定发射警告信号。在各种示例中，该位置可以包括与学区、市区、商业区、建筑区和/或行人、踏板车、骑自行车者等通常与行进的其他区域相关联的区域。
109.在各种示例中，信号发射组件430可以基于与车辆402相关联的速度来确定发射警告信号。在一些示例中，信号发射组件430可以接收车辆速度的指示和/或车辆速度高于或低于阈值速度(例如，每小时15英里、每小时30公里等)的指示，例如来自感知组件422，并且可能使得警告信号被发射。在各种示例中，警告信号可以包括电动车辆警告声音，例如法律或法规要求的警告电动(安静)车辆环境中的对象的声音。在这样的示例中，信号发射组件430可以接收车辆402的速度处于或低于阈值速度的指示，并且可以基于该指示来发射警告信号。
110.在各种示例中，信号发射组件430可以基于确定环境中对象的检测和/或该对象与车辆的相关性来确定发射警告信号。在各种示例中，可以基于对象与车辆之间的距离小于阈值距离来确定对象与车辆相关。在一些示例中，对象可以基于确定对象的预测对象轨迹与和车辆402相关联的车辆轨迹相交而相关。在这样的示例中，对象可以基于确定冲突(例如，碰撞)可能存在于车辆402和对象之间。
111.信号发射组件430可以被配置为确定与警告信号相关联的一组特征。在各种示例中，该组特征可以是预先确定的(例如，预先确定的频率、音量、亮度、颜色、运动、形状等)，例如基于车辆402的位置、速度等。在这样的示例中，信号发射组件430可以发射预定的警告信号。例如，警告信号可以包括基于确定车辆402的速度小于每小时23英里而发射的电动车辆警告声音。信号发射组件430可以使具有为电动车辆警告声音指定的预定频率和音量的警告信号经由一个或多个发射器408发射。
112.在各种示例中，信号发射组件430可以动态地确定与警告信号相关联的一组特征，例如基于实时条件。实时条件可以包括一个或多个环境因素(例如，环境100中的噪声水平、交通量、与对象106的接近程度等)、天气条件(例如，雨、雪、冰雹、风等)、车辆考虑因素(例如，速度、车辆104中的乘客等)、与对象106相关联的数据(例如，对象属性(例如，分类、位置(例如，面向/朝向车辆移动、面向/离开车辆等)、离车辆的距离、轨迹等)、对象活动(例如，
步行、跑步、骑滑板车，(例如，对象轨迹暗示的特定活动，例如基于速度等)、看书、打电话、在电子设备上查看数据、与另一车辆交互、与另一对象交互(例如，与另一个人交谈、看着婴儿车等)、吃、喝、操作感觉障碍装置(例如手杖、助听器等)、听耳机等)等。在这样的示例中，信号发射组件430可以接收与环境相关联的数据，例如来自定位组件420和/或感知组件422的数据，并且可以动态地确定与警告信号相关联的特征集合。
113.在各种示例中，信号发射组件430可以被配置为确定环境因素中的一个或多个包括未知环境因素。未知环境因素可包括信号发射组件430未被训练理解的环境中的条件，例如车辆附近的行人数量超过阈值数量，环境中的噪声水平高于阈值噪声等级之类的。例如，信号发射组件430可以确定车辆被一大群行人包围。在各种示例中，信号发射组件430可以基于未知的环境因素来确定该组特征。在这样的示例中，该组特征可以包括基于未知环境因素的事件特定特征集合。在各种示例中，信号发射组件430可以使与未知环境因素相关联的数据、与警告信号相关联的一组特征以及对警告信号的对象反应存储在反应数据库中。在此类示例中，数据可用于训练系统以针对未知环境因素的预期(期望)反应进行优化。
114.在各种示例中，信号发射组件430可以被配置为确定要发射警告信号的方向。在一些示例中，信号发射组件430可以使警告信号在车辆周围被发射，例如在车辆周围的所有方向上被发射。在一些示例中，信号发射组件430可以使警告信号在与环境中的对象相关联的方向上被发射。例如，警告信号可以经由车辆右侧的扬声器发射，指向靠近道路的人行道上的行人和/或自行车道上的骑自行车的人。在各种示例中，信号发射组件430可以使警告信号向特定对象发射，例如相关对象。在这样的示例中，警告信号可以使警告信号经由指向特定对象的发射器408发射。在一些示例中，可以利用波束控制和/或波束形成阵列技术将音频警告信号指向特定对象。
115.在各种示例中，警告信号组件428的反应确定组件432可以被配置为确定对警告信号的对象反应。对象反应可以包括对象轨迹的变化(例如，速度增加、速度降低、远离车辆的行进方向等)、对象的头部和/或肩部的运动、姿势(例如，波浪等)、对象的脚部放置、对象所持物品的位置调整(例如，调整电子设备、书籍、杂志或其他物品的位置)，和/或任何其他指示性运动对象对第一个警告信号作出反应。在各种示例中，反应确定组件432可以从感知组件422接收传感器数据并且可以基于传感器数据确定对象反应。在其他示例中，反应确定组件432可以例如从感知组件422接收对象反应的指示。在这样的示例中，感知组件422可以处理传感器数据以确定对象反应。
116.在各种示例中，反应确定组件432可以将检测到的对象反应与预期反应进行比较。在各种示例中，反应确定组件432可以访问反应数据库436(和/或计算装置442上的反应数据库456)以确定预期反应。在这样的示例中，可以基于与对象相关联的数据和/或与警告信号相关联的特征集来存储预期反应。
117.在各种示例中，反应确定组件432可以从计算装置442的机器学习组件434或机器学习组件454接收预期反应。在这样的示例中，机器学习组件434和/或454可以被配置为接收与对象相关联的数据和/或与警告信号相关联的一组特征并输出预期反应。机器学习组件434和/或454可以包括利用训练数据训练的一个或多个模型，训练数据包括对多个警告信号的多个对象反应。
118.在各种示例中，机器学习组件434和/或454可以被训练以确定用于向对象警告车
辆存在的最佳信号。最佳信号可以基于环境中存在的一种或多种实时考虑，例如环境因素、天气条件、对象活动等(如上所述)。最佳信号可以包括成功地向特定对象警告车辆的存在和/或操作的可能性最大的信号。
119.在一些示例中，机器学习组件434和/或454可以利用训练数据来训练，训练数据包括先前发射的警告信号、对其的对象反应和/或与其相关联的相关实时考虑。在这样的示例中，机器学习组件434和/或454可以被配置为接收包括实时考虑的输入并且可以输出最佳警告信号(例如，与最佳警告信号相关联的特征)和/或对其的预期反应。在各种示例中，训练数据可以包括先前发射的信号和相关联的反应和/或成功地使对象远离和/或离开车辆402的路径的实时考虑。在这样的示例中，由机器学习组件434和/或454输出以警告特定对象的最佳信号可以包括使得具有与特定对象相似属性的另一对象根据预期反应作出反应的信号(例如，远离车辆路径、移出车辆路径、确认车辆的存在402等)。
120.基于对象反应和预期反应之间的比较，反应确定组件432可以被配置为确定对象反应是否与预期反应基本匹配。在一些示例中，基于确定对象反应和预期反应共享阈值数量的动作(例如，特征)，对象反应可以基本上匹配预期反应。动作的阈值数量可以是一个或多个动作。在一些示例中，动作的阈值数量可以基于场景(例如，紧急性、对象的分类、车辆速度等)动态地确定。例如，针对相交相关对象的紧急警告信号可以包括三个匹配动作的阈值数量，以确定对象反应与预期反应基本匹配，而针对位于人行道上的静止对象的非紧急警告信号可以包括一个匹配动作以确定基本性匹配。
121.在一些示例中，对象反应可以基于确定阈值百分比的动作在对象反应和预期反应之间匹配而与预期反应基本匹配。继续上面的示例，对相交相关对象的紧急警告信号可以包括90％的匹配，而非紧急警告信号可以包括50％的匹配。
122.响应于确定对象反应与预期反应基本匹配，反应确定组件432可以确定对象已被警告车辆402的存在和/或操作。在各种示例中，基于基本匹配的确定，反应确定组件432可以使与警告信号和对象反应相关联的数据存储在反应数据库436和/或反应数据库456中。在一些示例中，基于对基本匹配的确定，反应确定组件432可以向机器学习组件434和/或454提供与对象反应和警告信号相关联的数据，例如以训练机器学习组件434和/或454输出相关的预期反应。
123.响应于确定对象反应与预期反应基本不匹配，反应确定组件432可以修改与警告信号相关联的特征集。在各种示例中，反应确定组件432可以使得发射第二(修改的)警告信号。第二(修改的)警告信号可以包括第二组特征。第二(修改的)警告信号可以包括与第一警告信号相同或不同模态的信号。在一些示例中，反应确定组件432可以修改警告信号的频率、音量、亮度、颜色、运动和/或形状中的一项或多项以生成第二(修改的)警告信号。反应确定组件432可以使第二(修改的)警告信号经由一个或多个发射器408被发射，以更新的尝试向对象警告车辆402的存在和/或操作。
124.在各种示例中，反应确定组件432可以继续修改与警告信号相关联的特征集，直到对象反应与预期反应基本匹配。在一些示例中，反应确定组件432可以基于确定对象与车辆402的相关性来修改特征集。在这样的示例中，反应确定组件432可以被配置为确定对象相关性，例如利用上述技术。在各种示例中，反应确定组件432可以在生成修改的信号和/或使得发射修改的信号之前确定对象是否相关。
125.在各种示例中，反应确定组件432可以确定相关对象是阻挡对象。如上面关于图3所描述的，阻挡对象可以位于至少部分阻挡车辆402的路径的位置。在一些示例中，响应于确定相关对象是阻挡对象，反应确定组件432可以向对象路径确定组件438发送阻挡对象的指示。在各种示例中，对象路径确定组件438可以被配置为确定道路上的区域是否是空的，在该区域中阻挡对象可以移出车辆402的路径。
126.如上所述，该区域可以包括不在车辆路径中的位置、与车辆相关联的车道和/或相邻车道。在一些示例中，该区域可以包括阻挡对象可以移动到其中以不再阻挡车辆402和/或沿相同方向(在相同车道或相同道路上)行驶的其他车辆/对象的前进的位置，例如车辆402。在一些示例中，该区域可以包括阻挡对象的操作者可能无法看到的位置，例如基于被另一个对象阻挡的观察路径。
127.在各种示例中，对象路径确定组件438可以向信号发射组件430发送阻挡对象可以移动到其中的空旷区域的指示到信号发射组件430。在一些示例中，信号发射组件430可以使得路径信号经由发射器408被发射。路径信号可以包括阻挡对象可以移动到的空旷区域的指示、到那里的路线和/或附加信息。在各种示例中，路径信号可以包括特征(例如，频率、音量、亮度、颜色、运动、形状等)以向操作员指示到该区域的路径是畅通的。例如，路径信号可以包括投影在道路表面上的绿色箭头，例如在与空旷区域相关联的车道中。对于另一个示例，路径信号可以投射在道路表面上以呈现为通向空旷区域的一组有序闪光灯，例如进场照明系统。
128.在一些示例中，反应确定组件432可以被配置为确定操作者反应是否与预期反应匹配。在这样的示例中，预期的反应可以包括阻挡对象的操作者跟随路径信号(例如，向该区域移动、移出车辆的路径)。在一些示例中，基于确定操作者反应与预期反应基本匹配和/或对象与车辆402无关，反应确定组件432可以向信号发射组件430和/或发射器408发送指示以停止发射路径信号。
129.如可以理解的，本文讨论的组件(例如，定位组件420、感知组件422、规划组件424、一个或多个系统控制器426、包括信号发射组件430的警告信号组件428、反应确定组件432、机器学习组件434、反应数据库436和对象路径确定组件438为了说明的目的被描述为分开的。然而，由各种组件执行的操作可以组合或在任何其他组件中执行。
130.在一些情况下，本文讨论的一些或所有组件的方面可以包括任何模型、技术和/或机器学习技术。例如，在某些情况下，存储器418(和存储器440，下文讨论)中的组件可以实现为神经网络。如本文所述，示例性神经网络是一种受生物学启发的技术，其将输入数据传递通过一系列连接层以产生输出。神经网络中的每一层还可以包括另一个神经网络，或者可以包括任意数量的层(无论是否卷积)。如在本发明的上下文中可以理解的，神经网络可以利用机器学习，机器学习可以指代这样的技术的宽泛类别，其中基于学习的参数生成输出。
131.在一些示例中，车辆计算装置404可以利用机器学习技术来确定要从车辆402发射的警告信号的一个或多个特征(例如，频率、音量、亮度、颜色、形状、运动等)。在一些示例中，可以训练一个或多个数据模型以基于环境中的一个或多个条件来确定警告信号的特征。条件可以包括环境因素(例如，环境中的噪音水平、交通量、与对象的接近程度等)、天气条件(例如，雨、雪、冰雹、风等)、与对象相关的数据(例如，对象属性(例如，分类、位置(例
如，面向/朝向车辆移动、面向/远离车辆等)、与车辆的距离、轨迹等)、对象活动(例如，步行、跑步、骑滑板车(例如，由对象轨迹暗示的特定活动，例如基于速度等)、读书、打电话、查看电子设备上的数据、与另一车辆交互、与另一个对象交互(例如，与另一个人交谈、看婴儿车等)、吃、喝、操作感觉障碍装置(例如，手杖、助听器等)、听耳机等)等。在各种示例中，数据模型可以被训练以至少部分地基于环境中存在的条件来输出警告信号的特征。
132.尽管在神经网络的上下文中进行了讨论，但可以使用与本公开一致的任何类型的机器学习。例如，机器学习算法可以包括但不限于回归算法(例如，普通最小二乘回归(olsr)、线性回归、逻辑回归、逐步回归、多元自适应回归样条(mars)、局部估计散点图平滑(loess))，基于实例的算法(例如，岭回归，最小绝对收缩和选择算子(lasso)，弹性网络，最小角度回归(lars))，决策树算法(例如，分类和回归树(cart)、迭代二分法3(id3)、卡方自动交互检测(chaid)、决策树桩、条件决策树)、贝叶斯算法(例如，朴素贝叶斯、高斯朴素贝叶斯、多项朴素贝叶斯、平均单依赖估计器(aode)、贝叶斯信念网络(bnn)，贝叶斯网络)，聚类算法(例如，k均值，k中值，期望最大化(em)，层次聚类)，关联规则学习算法(例如，感知器，反向传播，跳场网络，径向基函数网络(rbfn))、深度学习算法(例如，深度玻尔兹曼机(dbm)，深度信念网络(dbn)，卷积神经网络(cnn)，堆叠自动编码器)，降维算法(例如，主成分分析(pca)、主成分回归(pcr)、偏最小二乘回归(plsr)、sammon映射、多维缩放(mds)、投影追踪、线性判别分析(lda)、混合判别分析(mda)、二次判别分析(qda)、灵活判别分析(fda))、集成算法(例如，提升、自举聚合(bagging)、ada提升、堆叠泛化(混合)、梯度提升机(gbm)、梯度提升回归树(gbrt)、随机森林)、svm(支持向量机)、监督学习、无监督学习、半监督学习等。架构的其他示例包括神经网络，例如resnet-50、resnet-101、vgg、densenet、pointnet等。
133.在至少一个示例中，传感器系统406可以包括激光雷达传感器、雷达传感器、超声换能器、声纳传感器、位置传感器(例如，gps、指南针等)、惯性传感器(例如，惯性测量单元(imu)、加速度计、磁力计、陀螺仪等)、相机(例如rgb、ir、强度、深度、飞行时间等)、麦克风、车轮编码器、环境传感器(例如温度传感器、湿度传感器、光传感器、压力传感器等)。传感器系统406可以包括这些或其他类型的传感器中的每一个的多个实例。例如，激光雷达传感器可以包括位于车辆402的拐角、前部、后部、侧面和/或顶部的单独的激光雷达传感器。作为另一个示例，相机传感器可以包括设置在车辆402的外部和/或内部周围的不同位置处的多个相机。传感器系统406可以向车辆计算装置404提供输入。另外或替代地例如，传感器系统406可以经由一个或多个网络444以特定频率、在预定时间段过去之后、近乎实时地向一个或多个计算装置442发送传感器数据。
134.如上所述，车辆402还可包括用于发射光和/或声音的一个或多个发射器408。该示例中的发射器408包括与车辆402的乘客通信的内部音频和视觉发射器。作为示例而非限制，内部发射器可以包括扬声器、灯、标志、显示屏、触摸屏、触觉发射器(例如，振动和/或力反馈)、机械致动器(例如，安全带张紧器、座椅定位器、头枕定位器等)等。该示例中的发射器408还包括外部发射器。作为示例而非限制，该示例中的外部发射器包括作为警告信号和/或用于指示对象和/或车辆402的行进方向和/或车辆动作的其他指示器(例如，指示灯、标志、灯阵列等)，以及一个或多个音频发射器(例如，扬声器、扬声器阵列、喇叭等)，以用于与行人或其他附近车辆进行听觉通信，其中一个或多个包括声束转向技术。
135.车辆402还可以包括能够在车辆402和一个或多个其他本地或远程计算装置442之间进行通信的通信连接410。例如，通信连接410可以促进与车辆402和/或驱动系统414上的其他本地计算装置的通信。而且，通信连接410可以允许车辆与附近的其他计算装置进行通信(例如，计算装置442、其他附近的车辆等)和/或用于接收传感器数据的一个或多个远程传感器系统446。
136.通信连接410可以包括用于将车辆计算装置404连接到另一个计算装置或网络，例如网络444的物理和/或逻辑接口。例如，通信连接410可以实现基于wi-fi的通信，例如通过ieee 802.11标准定义的频率、例如蓝牙的短距离无线频率、蜂窝通信(例如，2g、3g、4g、4g lte、5g等)或使相应的计算装置能够与其他计算装置交互的任何合适的有线或无线通信协议。
137.在至少一个示例中，车辆402可以包括一个或多个驱动系统414。在一些示例中，车辆402可以具有单个驱动系统414。在至少一个示例中，如果车辆402具有多个驱动系统414，单独驱动系统414可以位于车辆402的相对端(例如，前部和后部等)。在至少一个示例中，驱动系统414可以包括一个或多个传感器系统以检测驱动系统414和/或车辆402周围环境的状况。作为示例而非限制，传感器系统可以包括一个或多个车轮编码器(例如，旋转编码器)以感测驱动系统的车轮的旋转，惯性传感器(例如，惯性测量单元、加速度计、陀螺仪、磁力计等)以测量驱动系统、相机或其他图像传感器的方向和加速度、超声波传感器以声学方式检测驱动系统周围的对象、激光雷达传感器、雷达传感器等。诸如车轮编码器的一些传感器对于驱动系统414可能是唯一的。在一些情况下，驱动系统414上的传感器系统可能重叠或补充车辆402的相应系统(例如，传感器系统406)。
138.驱动系统414可以包括许多车辆系统，包括高压电池、驱动车辆的电动机、将来自电池的直流电转换成交流电以供其他车辆系统使用的逆变器、转向系统，包括转向马达和转向齿条(可以是电动的)、包括液压或电动执行器的制动系统、包括液压和/或气动元件的悬架系统、用于分配制动力以减轻牵引力损失并保持控制的稳定性控制系统、hvac系统、照明(例如，用于照亮车辆外部环境的头灯/尾灯等照明)和一个或多个其他系统(例如，冷却系统、安全系统、车载充电系统、其他电气组件，例如dc/dc转换器、高压接头、高压电缆、充电系统、充电端口等)。另外，驱动系统414可以包括驱动系统控制器，该驱动系统控制器可以接收和预处理来自传感器系统406的数据并且控制各种车辆系统的操作。在一些示例中，驱动系统控制器可以包括一个或多个处理器和与一个或多个处理器通信耦合的存储器。存储器418可以存储一个或多个模块以执行驱动系统414的各种功能。此外，驱动系统414还可以包括一个或多个通信连接，其使相应驱动系统能够与一个或多个其他本地或远程计算装置442进行通信。
139.在至少一个示例中，直接连接412可以提供物理接口以将一个或多个驱动系统414与车辆402的车身耦合。例如，直接连接412可以允许在驱动系统414和车辆之间传递能量、流体、空气、数据等。在一些情况下，直接连接412可以进一步将驱动系统414可释放地固定到车辆402的车身。
140.在至少一个示例中，定位组件420、感知组件422、规划组件424、一个或多个系统控制器426和警告信号组件428及其各种组件可以如上所述处理传感器数据，并且可以通过一个或多个网络444将它们各自的输出发送到计算装置442。在至少一个示例中，定位组件
420、感知组件422、规划组件424、一个或多个系统控制器426和警告信号组件428可以以特定频率、在预定时间段过去之后、近乎实时地等发送它们各自的输出到计算装置442。
141.在一些示例中，车辆402可以经由网络444向计算装置442发送传感器数据。在一些示例中，车辆402可以从计算装置442和/或一个或多个或多个远程传感器系统446经由网络444接收传感器数据。传感器数据可以包括原始传感器数据和/或经处理的传感器数据和/或传感器数据的表示。在一些示例中，传感器数据(原始的或处理的)可以作为一个或多个日志文件被发送和/或接收。
142.计算装置442可以包括处理器448和存储地图组件450、传感器数据处理组件452、机器学习组件454和反应数据库456的存储器440(如上所述)。在一些示例中，地图组件450可以包括生成各种分辨率的地图的功能。在这样的示例中，地图组件450可以将一个或多个地图发送到车辆计算装置404以用于导航目的。在各种示例中，传感器数据处理组件452可以被配置为从一个或多个远程传感器接收数据，例如传感器系统406和/或远程传感器系统446。在一些示例中，传感器数据处理组件452可以被配置为处理数据并将处理后的传感器数据发送到车辆计算装置404，例如供警告信号组件428使用。在一些示例中，传感器数据处理组件452可以被配置为发送原始传感器数据到车辆计算装置404。
143.车辆402的处理器416和计算装置442的处理器448可以是能够执行指令以处理数据和执行如本文所述的操作的任何合适的处理器。作为示例而非限制，处理器416和448可以包括一个或多个中央处理单元(cpu)、图形处理单元(gpu)或处理电子数据以将该电子数据转换为可存储在寄存器和/或存储器中的其他电子数据的任何其他装置或装置的一部分。在一些示例中，集成电路(例如，asic等)、门阵列(例如，fpga等)和其他硬件装置也可以被认为是处理器，只要它们被配置为实现编码指令。
144.存储器418和440是非暂时性计算机可读介质的示例。存储器418和440可以存储操作系统和一个或多个软件应用程序、指令、程序和/或数据以实现这里描述的方法和归属于各种系统的功能。在各种实施方式中，存储器可以使用任何合适的存储器技术来实施，例如静态随机存取存储器(sram)、同步动态ram(sdram)、非易失性/闪存型存储器或能够存储信息的任何其他类型的存储器。这里描述的架构、系统和单独的元素可以包括许多其他逻辑、程序和物理组件，其中在附图中示出的那些仅仅是与这里的讨论相关的示例。
145.在一些情况下，存储器418和440可以至少包括工作存储器和存储存储器。例如，工作存储器可以是用于存储要由处理器416和448操作的数据的容量有限的高速存储器(例如，高速缓冲存储器)。在一些情况下，存储器418和440可以包括存储存储器，其可以是用于长期存储数据的容量相对较大的低速存储器。在一些情况下，处理器416和448不能直接对存储在存储存储器中的数据进行操作，并且可能需要将数据加载到工作存储器中以基于数据执行操作，如本文所讨论的。
146.应当注意，虽然图4被示为分布式系统，但在替代示例中，车辆402的组件可以与计算装置442相关联和/或计算装置442的组件可以与车辆402相关联。也就是说，车辆402可以执行与计算装置442相关联的一个或多个功能，反之亦然。
147.图5-7示出了根据本公开的实施例的示例过程。这些过程被图示为逻辑流程图，其中的每个操作表示可以在硬件、软件或其组合中实现的操作序列。在软件的上下文中，操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，当由一个或多个处理
器执行时，执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被解释为限制，并且任何数量的描述的操作可以以任何顺序和/或并行组合以实现过程。
148.图5描绘了示例过程500，用于描绘用于发射不同信号以向对象警告车辆和对象之间的潜在冲突的示例过程。例如，过程500中的一些或全部可以由图4中的一个或多个组件执行，如本文所述。例如，过程500的一些或全部可以由车辆计算装置404执行。
149.在操作502，该过程可以包括至少部分地基于传感器数据检测车辆环境中的对象。传感器数据可以包括从车辆的一个或多个传感器和/或一个或多个远程传感器接收的数据，例如安装在环境中或安装在其他车辆上的传感器。在各种示例中，车辆的车辆计算系统可以被配置为确定与对象相关联的分类(例如，类型)。
150.在操作504，该过程可以包括至少部分地基于检测到对象来发射第一警告信号。在各种示例中，可以基于对象相关性的确定来发射第一警告信号。在这样的示例中，车辆计算系统可以被配置为确定对象是否与车辆相关。在各种示例中，可以利用美国专利申请序列号16/389,720、16/417,260和16/530,515中描述的技术来确定对象相关性，以上通过引用并入本文。
151.在一些示例中，可以基于对象与车辆在其上运行的可行驶表面(例如，车辆在其中运行的道路、车道等)之间的距离来确定对象相关性。在这样的示例中，可以基于等于或小于阈值距离(例如，23英寸、5英尺、5米等)的距离来确定对象是相关的。在各种示例中，可以基于与对象和/或对象活动相关联的分类来确定阈值距离。例如，与步行的行人相关联的第一阈值距离可以是2米，而与正在奔跑的行人相关联的第二阈值距离可以是4米。
152.在各种示例中，可以基于与其相关联的对象轨迹来确定对象是相关的。在这样的示例中，车辆计算系统可以被配置为例如基于传感器数据来确定预测的对象轨迹(例如，对象轨迹)。如上所述，可以根据美国专利申请序列号16/151,607、16/504,147和15/807,521中描述的技术来确定对象轨迹，以上通过引用将其并入本文。
153.在各种示例中，可以基于对象轨迹和车辆轨迹之间的交叉点来确定对象与车辆相关。在一些示例中，对象可以基于对象和车辆在相应轨迹上的预测位置是相关的。在一些示例中，基于确定与在对象轨迹上行进的对象相关联的预测的未来对象位置在与车辆轨迹上行驶的车辆相关联的预测未来车辆位置的阈值距离内(例如，3英尺、9英尺、1.5米、3.3米等)，对象可以与车辆相关联。
154.在各种示例中，第一警告信号可以包括音频信号和/或视觉信号。第一警告信号可以包括第一组特征，例如频率、音量、亮度、颜色、形状、运动等。在一些示例中，第一组特征可以包括预定的一组特征。在这样的示例中，第一警告信号可以包括与向对象警告车辆的存在和/或操作相关联的基线警告信号。在各种示例中，可以动态地确定第一组特征，例如基于与环境相关联的一个或多个实时条件。实时条件可以包括与对象相关联的数据(例如，对象属性(例如，分类、位置(例如，面向/朝向车辆移动、面向/远离车辆等)、与车辆的距离、轨迹等)，对象活动(例如，步行，跑步，骑摩托车，(例如，对象轨迹暗示的特定活动，例如基于速度等)，读书，打电话，在电子设备上查看数据、与另一车辆交互、与另一个对象交互(例如，与另一个人交谈、查看婴儿车等)、吃、喝、操作感觉障碍装置(例如，手杖、助听器等)、听耳机等)、环境因素(例如，环境中的噪音水平、交通量、道路状况等)、天气条件(例如，雨、
雪、冰雹、风等)、车辆考虑因素(例如，速度、车辆中的乘客等)等。
155.在各种示例中，可以在与对象相关联的方向上发射第一警告信号。例如，车辆计算系统可以使第一警告信号经由基本上面向对象的发射器发射。在一些示例中，第一警告信号可以针对对象，例如在波束形成的阵列中。
156.在操作506，该过程可以包括确定对象是否根据对(第一)警告信号的预期反应作出反应并且对象是否保持与车辆相关。在各种示例中，车辆计算系统可以在确定对象是否根据预期反应做出反应之前或同时验证对象与车辆的相关性。
157.在各种示例中，车辆计算系统可以被配置为基于传感器数据确定对第一警告信号的对象反应。在一些示例中，反应可以包括对象轨迹的变化(例如，速度增加、速度降低、远离车辆的行进方向等)、对象的头部和/或肩部的运动、姿势(例如，波浪等)、对象的脚部放置、对象所持有的物品的位置调整(例如，调整电子设备、书籍、杂志或其他物品的位置)，和/或指示对象对第一警告信号作出反应的任何其他运动。
158.在各种示例中，车辆计算系统可以将对象反应与和第一警告信号相关联的预期反应进行比较。在各种示例中，车辆计算系统可以被配置为基于第一警告信号的一个或多个特征来确定预期反应(例如，音量、频率、亮度、颜色、形状、运动等)和/或相关的数据来确定预期反应与对象(例如，对象属性(例如，分类、位置(例如，面向/朝向车辆移动、面向/远离车辆等)、与车辆的距离、轨迹等)、对象活动(例如，步行、跑步、骑滑板车(例如，由对象轨迹暗示的特定活动，例如基于速度等)、看书、打电话、查看电子设备上的数据、与另一车辆交互、与另一个对象互动(例如，与另一个人交谈、看婴儿车等)、吃、喝、操作感觉障碍装置(例如，手杖、助听器等)、听耳机等)。在一些示例中，车辆计算系统可以访问预期反应的数据库以确定与第一警告信号相关联的预期反应。在这样的示例中，可以至少部分地基于与第一警告信号的对象和/或特征相关联的数据来存储数据库中的预期反应。在各种示例中，车辆计算系统可以利用机器学习技术确定预期反应。在这样的示例中，可以利用包括多个警告信号和检测到的对其的反应的训练数据来训练模型。
159.基于对象反应和预期反应之间的比较，车辆计算系统可以确定对象是否根据预期反应作出反应(例如，对象反应和预期反应之间是否存在基本匹配)。
160.基于确定对象根据预期反应作出反应(例如，在506处的“是”)，在操作508处的过程可以包括将对象反应存储在反应数据库中。在一些示例中，反应数据库可以用于未来的对象反应比较，例如增加对第一警告信号的反应的置信度、训练机器学习模型等。在各种示例中，与第一警告信号相关联的数据、对象反应和/或与环境相关联的实时考虑可用于训练机器学习模型以选择用于通知(例如，警告)对象的最佳信号。
161.基于确定对象没有根据预期反应作出反应(例如，在506处的“否”)，在操作510，该过程可以包括至少部分地基于对象反应发射第二警告信号。在一些示例中，第二信号可以包括对第一警告信号的修改。在这样的示例中，与第一警告信号相比，第二信号可以包括具有不同频率、音量、亮度、颜色、形状、运动等的信号。
162.在一些示例中，车辆计算系统可以基于对频率、音量、亮度、颜色、形状、运动等的预定修改来确定第二组特征。例如，随后的警告信号可以包括增加音量，使得第一警告信号可以包括以50分贝发射的音频信号，第二警告信号可以包括以60分贝发射的音频信号，等等。在各种示例中，车辆计算系统可以基于一个或多个实时条件确定第二组特征。如上所
述，实时条件可以包括环境因素、天气条件、车辆考虑因素、与对象相关联的数据等。
163.在各种示例中，可以在与对象相关联的方向上发射第二警告信号。例如，车辆计算系统可以使第二警告信号经由基本上面向对象的发射器发射。在一些示例中，第二警告信号可以针对对象，例如在波束形成的阵列中。
164.在各种示例中，车辆计算系统可以存储与第一警告信号、对象反应和/或基于对象没有根据预期反应做出反应的实时考虑相关联的数据(在操作510中的“否”)。在一些示例中，数据可用于比较不同警告信号的相对有效性，例如确定给定场景的优化信号。
165.在发射第二警告信号之后，该过程可以包括再次确定对象是否根据对警告信号的预期反应作出反应并且该对象是否与车辆保持相关，例如在操作506处所示的。在各种示例中，车辆计算系统可以连续地修改(例如，迭代地修改)警告信号，直到车辆计算系统确定对象根据预期反应作出反应或确定对象与车辆无关。在一些示例中，车辆计算系统可以将警告信号修改预定次数和/或直到与警告信号相关联的一组特征包括最大音量、频率和/或亮度。在一些示例中，车辆计算系统可以使得发射最后修改的警告信号，直到对象不再与车辆相关。在一些示例中，车辆计算系统可以使最后修改的警告信号在预定的时间量(例如，30秒、2分钟等)内发射。
166.图6描绘了用于至少部分地基于车辆的位置和与车辆相关的对象的检测来发射警告信号的示例过程600。例如，过程600中的一些或全部可以由图4中的一个或多个组件执行，如本文所述。例如，过程600的一些或全部可以由车辆计算装置404执行。
167.在操作602，该过程可以包括确定车辆在环境中的速度和/或位置。在各种示例中，车辆计算系统可以基于由车辆的一个或多个传感器提供的数据来确定车辆的速度和/或位置。
168.在操作604，该过程可以包括确定速度和/或位置是否与警告信号发射相关联。在各种示例中，车辆的速度可以与警告信号发射相关联。在这样的示例中，基于车辆的速度低于阈值速度，车辆计算系统可以使车辆发射警告信号。
169.在各种示例中，车辆的位置可以与警告信号发射相关联。在一些示例中，该位置可以与对象的分类(例如，行人、骑自行车的人等)相关联。在各种示例中，该位置可以与学校区、操场附近、市区、商业区、建筑区、流行的自行车路线等相关联。
170.在各种示例中，位置可以与基于一天中的时间、一周中的一天、日期(例如，假期、季节等)的对象、区域等的分类相关联。在这样的示例中，车辆计算系统可以确定一天中的时间、星期几、日期等，并确定该位置是否与警告信号发射相关联。例如，车辆计算系统可以在与行人相关的学校区域中运行。基于确定日期和/或日期与上课日相关联，车辆计算系统可以确定该位置与警告信号发射相关联。
171.基于确定该位置不与速度相关联和/或位置与警告信号发射相关联(操作604处的“否”)，在操作606，该过程可以包括确定是否在环境中检测到相关对象。
172.如上所述，可以基于从车辆的一个或多个传感器和/或一个或多个远程传感器接收的传感器数据来检测对象。在各种示例中，车辆计算系统可以确定对象是否与车辆相关。如上所述，相关性的确定可以基于对象和车辆之间的距离、对象和车辆路径(例如，与车辆路径相关联的可行驶表面、车道等)之间的距离、一个或多个对象轨迹、车辆轨迹等。
173.基于确定在该区域中未检测到相关对象(在操作606处为“否”)，该过程可以包括
确定车辆在环境中的速度和/或位置，例如关于操作602所描述的那些。
174.基于确定车辆的速度和/或位置与警告信号发射(操作604处的“是”)或在环境中检测到相关对象(操作606处的“是”)相关联，该过程可以包括，在操作608，部分地基于速度、位置和/或相关对象发射第一信号(例如，第一警告信号)。第一信号可以包括音频和/或视觉警告信号。第一信号可以包括第一组特征(例如，频率、体积、亮度、颜色、形状、运动等)。第一组特征可以包括一个或多个预定特征和/或一个或多个动态确定的特征。预定特征可以基于速度、位置和/或相关对象(例如，分类、接近度等)。动态确定的特征可以基于环境中的一个或多个实时条件(例如，与对象相关联的数据、环境因素、天气条件、车辆考虑等)。
175.在各种示例中，可以在与对象相关联的方向上发射第一信号。例如，车辆计算系统可以使第一信号经由基本上面向对象的发射器发射。在一些示例中，第一信号可以被引导到对象，例如在波束形成的阵列中。
176.在操作610，该过程可以包括根据预期反应确定对象是否反应(对第一信号)。在各种示例中，车辆计算系统可以确定对象反应，例如基于传感器数据。对象反应可以包括对象轨迹的变化(或缺乏)(例如，速度增加、速度减小、远离车辆的行进方向等)、对象的头部和/或肩部的运动、手势(例如，挥手等)、对象的脚部放置、对象所持有的物品的位置调整(例如，调整电子设备、书籍、杂志或其他物品的位置)，和/或指示对象对第一信号作出反应的任何其他运动。
177.车辆计算系统可以将对象反应与预期反应进行比较以确定对象是否根据预期反应作出反应。在一些示例中，计算系统可以访问预期反应的数据库以确定预期反应。在各种示例中，可以基于与对象相关联的数据、第一信号的特征等将预期反应存储在数据库中。在一些示例中，车辆计算系统可以利用机器学习技术确定预期反应。在这样的示例中，车辆计算系统可以将与对象相关联的数据和/或第一信号的特征输入到经过训练以确定对象的预期反应的机器学习模型中，并且可以接收预期反应的输出。
178.如上所述，对象可以基于(观察到的、检测到的)对象反应和预期反应之间的基本匹配根据预期反应作出反应。车辆计算系统可以基于多个动作(例如，特征)和/或对象反应和预期反应匹配之间的动作百分比来确定基本匹配。
179.基于确定对象根据预期反应作出反应(操作610处的“是”)，在操作612，该过程可以包括将对象反应存储在诸如数据库122的反应数据库中。在一些示例中，数据库可用于未来的对象反应比较，例如增加对第一信号的对象反应的置信度、训练机器学习模型等。
180.基于确定对象没有根据预期反应做出反应(在操作610处的“否”)，在操作614处的过程可以包括确定对象是否仍然与车辆相关。持续相关性的确定可以基于上述相关性确定技术，例如在操作606的描述中。
181.在各种示例中，车辆计算系统可以存储与第一信号、对象反应和/或基于对象没有根据预期反应做出反应的实时考虑相关联的数据(操作610处的“否”)。在一些示例中，数据可用于比较不同警告信号的相对有效性，例如确定给定场景的优化信号。
182.基于确定对象与车辆无关(操作614处的“否”)，该过程可以包括，在操作602处，确定车辆在环境中的速度和/或位置。
183.基于确定对象与车辆相关(在操作614处的“是”)，该过程可以包括，在操作616，至
少部分地基于对象反应发射第二信号。第二信号可以包括发射的音频和/或视觉信号以向对象警告车辆存在和/或操作。第二信号可以包括与第一信号相同或不同的模态。第二信号可以包括第二组特征。在各种示例中，第二组特征可以包括与第一组特征不同的一个或多个特征。在一些示例中，车辆计算系统可以修改第一组特征以生成第二信号(例如，第二组特征)。
184.在各种示例中，可以在与对象相关联的方向上发射第二信号。例如，车辆计算系统可以使第二信号经由基本上面向对象的发射器发射。在一些示例中，第二信号可以指向对象，例如在波束形成的阵列中。
185.至少部分地基于发射第二信号，该过程可以包括，在操作610，根据预期反应确定对象是否反应(对第二信号)。在各种示例中，车辆计算系统可以继续修改发射的信号，直到对象变得与车辆无关或对象根据预期反应做出反应。在一些示例中，车辆计算系统可以将信号修改预定次数(例如，7次、10次等)。在这样的示例中，车辆计算系统可以停止修改发射的信号。在一些示例中，车辆计算系统可以在预定时间段内修改信号。在这样的示例中，车辆计算系统可以在时间段期满之后停止修改信号。
186.图7描绘了用于基于确定对象正在阻挡车辆路径来发射警告信号或路径信号中的至少一个的示例过程700。例如，过程700中的一些或全部可以由图4中的一个或多个组件执行，如本文所述。例如，过程700的一些或全部可由车辆计算装置404执行。
187.在操作702，该过程可以包括确定环境中的对象正在阻挡车辆路径。车辆计算系统可以基于从车辆的一个或多个传感器和/或环境中的一个或多个远程传感器接收的传感器数据来确定该对象是阻挡对象。在各种示例中，车辆路径可以包括与从车辆的当前位置到目的地的路线相关联的道路的可行驶区域。在一些示例中，可行驶区域可以包括车辆的宽度和/或车辆任一侧的缓冲距离(例如，12厘米、6英寸、1英尺等)。
188.在各种示例中，车辆计算系统可以基于确定与对象相关联的对象位置至少部分地在车辆路径内来确定对象正在阻挡车辆路径。在各种示例中，车辆计算系统可以基于确定车辆不能在与车辆路径相关联的车道中的对象周围行进来确定对象正在阻挡车辆路径。
189.在操作704，该过程可以包括基于阻挡车辆路径的对象发射第一信号。第一信号可以包括音频和/或视觉警告信号。第一信号可以包括第一组特征(例如，频率、音量、亮度、颜色、形状、运动等)。第一组特征可以包括一个或多个预定特征和/或一个或多个动态确定的特征。预定特征可以基于速度、位置和/或相关对象(例如，分类、接近度等)。动态确定的特征可以基于环境中的一个或多个实时条件(例如，与对象相关联的数据、环境因素、天气条件、车辆考虑等)。
190.在各种示例中，可以在与对象相关联的方向上发射第一信号。例如，车辆计算系统可以使第一信号经由基本上面向对象的发射器发射。在一些示例中，第一信号可以被引导到对象，例如在波束形成的阵列中。
191.在操作706，该过程可以包括确定对象是否根据预期反应做出反应(对第一信号)。在各种示例中，车辆计算系统可以确定对象反应，例如基于传感器数据。对象反应可以包括对象轨迹的变化(或缺乏)(例如，速度增加、速度减小、远离车辆的行进方向等)、对象的头部和/或肩部的运动、手势(例如，挥手等)、对象的脚部放置、对象所持有的物品的位置调整(例如，调整电子设备、书籍、杂志或其他物品的位置)，和/或指示对象对第一信号作出反应
的任何其他运动。
192.车辆计算系统可以将对象反应与预期反应进行比较以确定对象是否根据预期反应作出反应。在一些示例中，计算系统可以访问预期反应的数据库以确定预期反应。在各种示例中，可以基于与对象相关联的数据、第一信号的特征等将预期反应存储在数据库中。在一些示例中，车辆计算系统可以利用机器学习技术确定预期反应。在这样的示例中，车辆计算系统可以将与对象相关联的数据和/或第一信号的特征输入到被训练以确定对象的预期反应的机器学习模型中，并且可以接收预期反应的输出。
193.如上所述，对象可以基于(观察到的、检测到的)对象反应和预期反应之间的基本匹配根据预期反应作出反应。车辆计算系统可以基于多个动作(例如，特征)和/或对象反应和预期反应匹配之间的动作百分比来确定基本匹配。
194.基于确定对象没有根据预期反应做出反应(操作706处的“否”)，该过程在操作708处可以包括向对象发射第二信号。第二信号可以包括音频和/或视觉警告信号。第二信号可以包括第二组特征(例如，频率、音量、亮度、颜色、形状、运动等)。第二组特征可以包括一个或多个预定特征和/或一个或多个动态确定的特征。预定特征可以基于速度、位置和/或相关对象(例如，分类、接近度等)。动态确定的特征可以基于环境中的一个或多个实时条件(例如，与对象相关联的数据、环境因素、天气条件、车辆考虑等)。
195.在各种示例中，可以在与对象相关联的方向上发射第二信号。例如，车辆计算系统可以使第二信号经由面向对象的发射器发射。在一些示例中，第二信号可以指向对象，例如在波束形成的阵列中。
196.基于确定对象根据预期反应做出反应(在操作706处的“是”)，在操作710，该过程可以包括确定是否识别出用于对象移出车辆路径的区域。在一些示例中，该区域可以包括不在车辆路径中的位置、与车辆相关联的车道和/或相邻车道。在这样的示例中，该区域可以包括阻挡对象可以移动到以不再阻挡在车道和/或相邻车道中行驶的车辆和/或其他车辆/对象的前进的位置。在一些示例中，该区域可以包括足够大的尺寸以使对象移动并且不再阻挡车辆和/或其他车辆/对象的前进。在一些示例中，该区域可以包括对象的操作者可能无法查看的位置，例如基于被另一个对象阻挡的查看路径。
197.基于确定对象移出车辆路径的区域存在(在操作710处为“是”)，在操作712处，该过程可以包括发射包括该区域的指示的第三信号。在一些示例中，第三信号可以包括离开车辆路径的对象路径(路线)的指示。在一些示例中，第三信号可以向对象的操作者指示该区域存在并且是空的。在各种示例中，第三信号可以包括符号或其他指示符，例如箭头，以向对象的操作者指示与该区域相关联的位置。在各种示例中，符号或其他指示符可以投影在接近对象和/或区域的可行驶表面上。在一些示例中，符号或其他指示符可以包括在对象的操作者的视野中投影的全息图像。
198.在操作714，该过程可以包括确定对象与车辆无关。另外，车辆计算系统可以基于确定不存在用于对象移出路径的区域(在操作710处的“否”)来确定该对象是不相关的。在各种示例中，对象与车辆无关的确定可以基于对象不再阻挡车辆路径的确定。在这样的示例中，车辆计算系统可以确定对象已经移入或移向该区域(例如，根据第三信号)和/或车辆路径之外的另一个区域。
199.在操作716，该过程可以包括根据车辆路径控制车辆。在各种示例中，根据车辆路
径的车辆控制可以基于交通规则、法律等。例如，车辆计算系统可以确定，当对象不再阻挡车辆路径时，交通灯变红了。基于交通灯变红的确定，车辆可以保持位置并等待交通灯变绿。
200.示例条款
201.a：一种车辆，包括：传感器；发射器；一个或多个处理器；以及一个或多个存储指令的计算机可读介质，这些指令在执行时将车辆配置为：至少部分地基于来自传感器的传感器数据，确定与车辆相关联的环境中的对象；至少部分地基于传感器数据确定与对象相关联的对象轨迹；至少部分地基于对象轨迹确定对象与车辆的行进相关；至少部分地基于确定对象与车辆的行进相关，经由发射器发射第一信号，第一信号包括第一特征；至少部分地基于传感器数据确定对第一信号的对象反应；以及至少部分地基于对象反应，发射第二信号，其中第二信号包括不同于第一特征的第二特征。
202.b：根据段落a所述的车辆，其中，发射第二信号进一步至少部分地基于确定对象反应不同于预期反应，其中对象反应是第一对象反应并且预期反应是第一预期反应，以及其中指令进一步使车辆：确定对第二信号的第二对象反应；以及至少部分地基于第二对象反应，将与第二对象反应相关联的数据存储在数据库中。
203.c：根据段落a或b所述的车辆，其中：第一特征包括以下至少一个：一个或多个第一频率；一个或多个第一音量；一个或多个第一亮度；一个或多个第一颜色；一个或多个第一形状；或者一个或多个第一运动；以及第二特征包括以下至少一个：一个或多个第二频率；一个或多个第二音量；一个或多个第二亮度；一个或多个第二颜色；一个或多个第二形状；或者一个或多个第二运动。
204.d：根据段落a至c中任一项所述的车辆，其中，第一特征或第二特征中的至少一个至少部分地基于与对象相关联的活动，该活动包括以下各项中的至少一个：听耳机；在移动装置上查看数据；看书；用手机通话；吃；喝；预测轨迹所暗示的特定活动；操作感觉障碍装置；对象的头部朝向远离与车辆相关联的位置的方向；与环境中的另一车辆交互；或者与靠近该对象的另一个对象交互。
205.e：根据段落a至c中任一项所述的车辆，其中，该指令进一步使车辆至少部分地基于以下至少一个来确定预期反应：机器学习技术；或者存储在数据库中的预期反应数据，其中，预期反应与以下至少一个相关：第一特征；对象的分类；对象的位置；或者对象活动。
206.f：一种计算机实现的方法，包括：基于来自车辆上的传感器的传感器数据检测环境中的对象，该对象包括对象属性；至少部分地基于对象属性，使第一信号在第一时间经由车辆的发射器发射，第一信号包括第一特征；至少部分地基于来自传感器的附加传感器数据，在第一时间之后的第二时间确定对象的对象反应；并且基于对象反应，使第二信号经由车辆的发射器发射，第二信号包括第二特征。
207.g：根据段落f所述的计算机实现的方法，其中，该传感器数据为第一传感器数据，该方法还包括：确定对象与车辆的行进相关；以及至少部分地基于确定对象与车辆的行进相关，使得第一信号或第二信号中的至少一个在与对象相关联的方向上被发射。
208.h：根据段落f或g所述的计算机实现的方法，其中，使得第二信号被发射进一步基于确定对象在第二时间之后继续阻碍车辆的行进。
209.i：根据段落f至h中任一项所述的计算机实现的方法，其中，第一特征或第二特征
中的至少一个至少部分地基于以下各项中的至少一个：环境中的环境因素；环境中的天气条件；车辆在环境中的位置；车辆在环境中的速度；与对象相关联的活动；对象相对于车辆的位置；一天中车辆运行的时间；一年中车辆运行的时间；或者一周中车辆运行的的一天。
210.j：根据段落i所述的计算机实现的方法，其中，该活动包括以下各项中的至少一个：听耳机；在移动装置上查看数据；看书；用手机通话；吃；喝；预测轨迹所暗示的特定活动；操作感觉障碍装置；对象的头部朝向远离与车辆相关联的位置的方向；与环境中的另一车辆交互；或者与靠近该对象的另一个对象交互。
211.k：根据段落f至i中任一项所述的计算机实现的方法，其中，使得第二信号被发射进一步至少部分地基于确定对象反应不同于预期反应，并且其中对象反应是第一对象反应并且预期反应是第一预期反应，该方法还包括：确定对象对第二信号的第二对象反应；以及在至少部分地基于第二对象反应的数据库中存储与第二信号或第二对象反应中的至少一个相关联的数据。
212.l：根据段落f至k中任一项所述的计算机实现的方法，其中，发射器包括以下至少之一：扬声器；灯；或者投影仪。
213.m：根据段落f至l中任一项所述的计算机实现的方法，还包括迭代地发射附加信号直到以下至少之一：确定对象与车辆无关；确定与警告信号相关联的定时器已到期；或者确定发射的警告信号的数量达到或超过阈值数量。
214.n：根据段落f至m中任一项所述的计算机实现的方法，还包括：确定该对象至少部分地阻挡了与该车辆相关联的车辆路径；识别对象移动的位置，该位置在车辆路径之外并且没有其他对象；以及至少部分地基于识别位置，使得第三信号经由第二发射器被发射，其中第三信号向对象提供用于对象移动的位置的指示。
215.o：一种系统或装置，包括：处理器；以及存储指令的非暂时性计算机可读介质，当执行该指令时，使处理器执行如段落f-m中任一项所描述的计算机实现的方法。
216.p：一种系统或装置，包括：用于处理的机构；以及与用于处理的机构耦合的用于存储的机构，用于存储的机构包括用于配置一个或多个装置以执行根据段落f-m中任一项所描述的计算机实现的方法的指令。
217.q：一个或多个存储指令的非暂时性计算机可读介质，当执行这些指令时，使车辆执行包括以下操作的操作：至少部分地基于来自传感器的传感器数据检测环境中的对象，该对象包括对象属性；至少部分地基于对象属性，在第一时间经由车辆的发射器发射第一信号，第一信号包括第一特征；至少部分地基于来自传感器的附加传感器数据，确定对象在第一时间之后的第二时间的对象反应；以及基于经由车辆的发射器发射第二信号的对象反应，第二信号包括第二特征。
218.r：根据段落q所述的一个或多个非暂时性计算机可读介质，该操作还包括：确定该对象与车辆的行驶相关；以及至少部分地基于确定对象与车辆的行进相关，使得第一信号或第二信号中的至少一个在与对象相关联的方向上被发射。
219.s：根据段落q或r所述的一个或多个非暂时性计算机可读介质，该操作还包括：确定与对象相关联的活动；以及至少部分地基于该活动来确定第一特征，其中，该活动包括以下一项或多项：听耳机；在移动装置上查看数据；看书；用手机通话；吃；喝；预测轨迹所暗示的特定活动；操作感觉障碍装置；对象的头部朝向远离与车辆相关联的位置的方向；与环境
中的另一车辆交互；或与靠近该对象的另一个对象交互。
220.t：根据段落q至s中任一项所述的一个或多个非暂时性计算机可读介质，该操作还包括：利用机器学习模型确定第二特征，机器学习模型至少部分地基于先前发射的信号被训练，这使得具有相似属性的附加对象执行用于解除阻挡车辆的动作。
221.u：根据段落q至t中任一项所述的一个或多个非暂时性计算机可读介质，其中：对象属性包括对象轨迹，对象反应包括对与对象轨迹相关联的速度或方向中的至少一个的修改，以及发射第二信号至少部分地基于确定对速度或方向中的至少一个的修改小于与预期反应相关联的阈值修改。
222.v：根据段落u所述的一个或多个非暂时性计算机可读介质，该操作还包括进一步包括迭代地发射附加信号直到以下至少一个：确定对象与车辆的行进无关；确定与警告信号相关联的定时器已到期；或确定发射的警告信号的数量达到或超过阈值数量。
223.虽然上述示例条款a至v是针对一种特定实现方式进行描述的，但应理解，在本文档的上下文中，示例条款a至v的内容还可以通过方法、设备、系统、计算机可读介质和/或另一种实现方式来实现。
224.结论
225.虽然已经描述了本文描述的技术的一个或多个示例，但其各种改变、添加、置换和等效物包括在本文描述的技术的范围内。
226.在示例的描述中，参考了构成其一部分的附图，这些附图通过图解的方式示出了要求保护的主题的具体示例。应当理解，可以使用其他示例并且可以进行改变或改变，例如结构改变。这样的示例、改变或变更不一定脱离关于预期要求保护的主题的范围。尽管本文中的步骤可以以特定顺序呈现，但在某些情况下，可以改变顺序以便在不同时间或以不同顺序提供某些输入，而不改变所描述的系统和方法的功能。公开的程序也可以以不同的顺序执行。另外，本文中的各种计算不需要按照所公开的顺序执行，并且可以容易地实现使用计算的替代排序的其他示例。除了重新排序之外，计算还可以分解为具有相同结果的子计算。