显示系统和方法与流程

显示系统和方法
1.相关申请的交叉引用
2.本技术要求2020年5月22日提交的美国临时申请no.63/028,953的优先权，该申请的全部内容通过引用并入本文。
技术领域
3.本技术涉及显示系统，更具体地涉及在自主车辆中使用的显示系统。


背景技术：

4.随着交通运输业向自主(即，无人驾驶)车辆发展，这些自主车辆的制造者和设计者必须解决传统车辆所不关心的问题。不幸的是，自主车辆在街道上仍然是罕见的，人们仍然不确定它们的运作方式。
5.例如，当一个人在人行横道上等待过马路，而车辆正驶向同一人行横道时，这个人通常会等待，直到有信号表明车辆的司机看到他们。例如，这个人可能会等到另一辆车的司机盯着他们......或向他们挥手......或向他们闪烁大灯。
6.然而，自主车辆没有司机。因此，车辆中没有人可以向在人行横道上等待过马路的人提供信号。


技术实现要素：

7.概念2
8.在一个实施方式中，计算机实现的方法在计算设备上执行且包括：监测一个或多个机器视觉传感器，以获得有关自主车辆附近的一个或多个行人的感知信息；识别感知信息内的一个或多个人形形状，从而限定一个或多个检测到的人形形状；生成附近物体显示信息，附近物体显示信息相对于自主车辆定位所述一个或多个检测到的人形形状；以及在视觉显示系统上呈现附近物体显示信息，从而确认自主车辆对所述一个或多个行人的感知。
9.可以包括以下一个或多个特征。识别感知信息内的一个或多个人形形状可以包括：将一个或多个限定的人形形状与感知信息内的一个或多个未识别的物体进行比较，以识别感知信息内的一个或多个人形形状。附近物体显示信息可以包括动态的附近物体显示信息，动态的附近物体显示信息随着所述一个或多个检测到的人形形状相对于自主车辆的位置变化而变化。在视觉显示系统上呈现附近物体显示信息可以包括：在视觉显示系统上呈现动态的附近物体显示信息，从而动态地确认自主车辆对所述一个或多个行人的感知。所述一个或多个机器视觉传感器可以包括激光雷达系统。视觉显示系统可以被配置为安装在自主车辆的车顶上。视觉显示系统可以是柱形视觉显示系统。柱形视觉显示系统可以包括：被照亮部分；以及位于被照亮部分和自主车辆的车顶之间的未被照亮部分。视觉显示系统可以是360度的视觉显示系统。视觉显示系统可以被集成到自主车辆中。
10.在另一实施方式中，计算机程序产品驻留在计算机可读介质上，并且具有存储在
计算机可读介质上的多条指令。所述指令在由处理器执行时，使处理器执行操作，所述操作包括：监测一个或多个机器视觉传感器，以获得有关自主车辆附近的一个或多个行人的感知信息；识别感知信息内的一个或多个人形形状，从而限定一个或多个检测到的人形形状；产生附近物体显示信息，附近物体显示信息相对于自主车辆定位所述一个或多个检测到的人形形状；以及在视觉显示系统上呈现附近物体显示信息，从而确认自主车辆对所述一个或多个行人的感知。
11.可以包括以下一个或多个特征。识别感知信息内的一个或多个人形形状可包括：将一个或多个限定的人形形状与感知信息内的一个或多个未识别的物体进行比较，以识别感知信息内的一个或多个人形形状。附近物体显示信息可以包括动态的附近物体显示信息，动态的附近物体显示信息随着所述一个或多个检测到的人形形状相对于自主车辆的位置变化而变化。在视觉显示系统上呈现附近物体显示信息可以包括：在视觉显示系统上呈现动态的附近物体显示信息，从而动态地确认自主车辆对所述一个或多个行人的感知。所述一个或多个机器视觉传感器可以包括激光雷达系统。视觉显示系统可以被配置为安装在自主车辆的车顶上。视觉显示系统可以是柱形视觉显示系统。柱形视觉显示系统可以包括：被照亮部分；以及位于被照亮部分和自主车辆的车顶之间的未被照亮部分。视觉显示系统可以是360度的视觉显示系统。视觉显示系统可以被集成到自主车辆中。
12.在另一实施方式中，计算系统包括处理器和存储器，处理器和存储器被配置为执行操作，所述操作包括：监测一个或多个机器视觉传感器，以获得有关自主车辆附近的一个或多个行人的感知信息；识别感知信息内的一个或多个人形形状，从而限定一个或多个检测到的人形形状；生成附近物体显示信息，附近物体显示信息相对于自主车辆定位所述一个或多个检测到的人形形状；以及在视觉显示系统上呈现附近物体显示信息，从而确认自主车辆对一个或多个行人的感知。
13.可以包括以下一个或多个特征。识别感知信息内的一个或多个人形形状可以包括：将一个或多个限定的人形形状与感知信息内的一个或多个未识别的物体进行比较，以识别感知信息内的一个或多个人形形状。附近物体显示信息可以包括动态的附近物体显示信息，动态的附近物体显示信息随着所述一个或多个检测到的人形形状相对于自主车辆的位置变化而变化。在视觉显示系统上呈现附近物体显示信息可以包括：在视觉显示系统上呈现动态附近物体显示信息，从而动态地确认自主车辆对所述一个或多个行人的感知。所述一个或多个机器视觉传感器可以包括激光雷达系统。视觉显示系统可以被配置为安装在自主车辆的车顶上。视觉显示系统可以是柱形视觉显示系统。柱形视觉显示系统可以包括：被照亮部分；以及位于被照亮部分和自主车辆的车顶之间的未被照亮部分。视觉显示系统可以是360度的视觉显示系统。视觉显示系统可以被集成到自主车辆中。
14.在附图和下面的描述中列出一个或多个实施方式的细节。其他特征和优点将从描述、附图和权利要求书中变得明显。
附图说明
15.图1是根据本公开的一实施方式的自主车辆的示意图。
16.图2a是根据本公开的一实施方式的被包括在图1的自主车辆内的各种系统的一个实施方式的示意图。
17.图2b是根据本公开的一实施方式的被包括在图1的自主车辆内的各种系统的另一实施方式的示意图。
18.图3是根据本公开的一实施方式的被包括在图1的自主车辆内的各种系统的另一实施方式的示意图。
19.图4a-图4c是根据本公开的一实施方式的图1的自主车辆的状态指示系统的示意图。
20.图5是根据本公开的一个实施方式的在图1的自主车辆的一个或多个系统上执行的状态指示过程的一个实施方式的流程图。
21.图6a-图6c是根据本公开的一个实施方式的图1的自主车辆的状态指示系统的示意图。
22.图7是根据本公开的一个实施方式的在图1的自主车辆的一个或多个系统上执行的状态指示过程的另一实施方式的流程图。
23.图8是根据本公开的一个实施方式的图1的自主车辆的状态指示系统的示意图；以及
24.图9a图-9b是根据本公开的一个实施方式的图1的自主车辆的状态指示系统的示意图。
25.各图中的相似附图标记表示相似元件。
具体实施方式
26.自主车辆概述
27.参照图1，显示了自主车辆10。如本领域所知，自主车辆(例如，自主车辆10)是能够感知其环境并在很少或没有人类输入的情况下移动的车辆。自主车辆(例如，自主车辆10)可以结合各种传感器系统来感知其周围环境，其中的示例可以包括但不限于雷达、计算机视觉、激光雷达(lidar)、全球定位系统(gps)、里程表、温度和惯性，其中，这些传感器系统可以被配置为解释道路上的车道和标记、路标、红绿灯、行人、其他车辆、路边物体、危害等。
28.自主车辆10可包括多个传感器(例如，传感器12)、多个电子控制单元(例如，ecu 14)和多个执行器(例如，执行器16)。因此，自主车辆10内的传感器12可以监测自主车辆10所处的环境，其中，传感器12可以向ecu 14提供传感器数据18。ecu 14可以处理传感器数据18，以确定自主车辆10应以何种方式移动。然后，ecu 14可以向执行器16提供控制数据20，以便自主车辆10可以按照ecu 14决定的方式移动。例如，被包括在传感器12内的机器视觉传感器可以"读取"限速标志，限速标志说明自主车辆10正在行驶的道路上的限速现在是每小时35英里。被包括在传感器12内的这个机器视觉传感器可以向ecu 14提供传感器数据18，以表明自主车辆10正在行驶的道路上的限速现在是35英里/小时(mph)。当收到传感器数据18时，ecu 14可以处理传感器数据18，并可以确定自主车辆10(目前以45英里/小时的速度行驶)行驶速度过快，并且需要减速。因此，ecu 14可以向执行器16提供控制数据20，其中，控制数据20可以例如应用自主车辆10的制动器或消除当前应用于加速器的任何执行信号(从而允许自主车辆10滑行直到自主车辆10的速度降低到35英里/小时)。
29.系统冗余
30.可以想象，由于自主车辆10由被包括在其中的各种电子系统(例如，传感器12、
ecu14和执行器16)控制，在设计自主车辆10时，应考虑这些系统中的一个或多个可能的故障，并可采用适当的应急计划。
31.例如，还参考图2a，被包括在自主车辆10内的各种ecu(例如，ecu 14)可以被分区，以便各种ecu(例如，ecu 14)的职责可以被逻辑地分组。例如，ecu 14可以包括自主控制单元50，其可以从传感器12接收传感器数据18。
32.自主控制单元50可以被配置为执行各种功能。例如，自主控制单元50可以接收和处理外感传感器数据(例如，传感器数据18)，可以估计自主车辆10在其操作环境内的位置，可以计算自主车辆10的周围环境的表示，可以计算自主车辆10的安全轨迹，并且可以命令其他ecu(特别是车辆控制单元)以使自主车辆10执行所需的机动动作。
33.自主控制单元50可以包括强大的计算能力、持久性存储器和内存。
34.因此，自主控制单元50可以处理传感器数据18以确定自主车辆10应该以何种方式运行。然后，自主控制单元50可以向车辆控制单元54提供车辆控制数据52，其中，然后，车辆控制单元54可以处理车辆控制数据52，以确定各个控制系统(例如，动力总成系统56、制动系统58和转向系统60)应该以何种方式响应，以实现由自主控制单元50在车辆控制数据52内限定的轨迹。
35.车辆控制单元54可被配置为控制被包括在自主车辆10内的其他ecu。例如，车辆控制单元54可以控制转向、动力系统和制动控制器单元。例如，车辆控制单元54可以：向动力系统控制单元64提供动力系统控制信号62；向制动控制单元68提供制动控制信号66；以及给转向控制单元72提供转向控制信号70。
36.动力总成控制单元64可以处理动力总成控制信号62，以便可以向动力总成系统56提供适当的控制数据(通常由控制数据20表示)。此外，制动控制单元68可以处理制动控制信号66，以便可以向制动系统58提供适当的控制数据(通常由控制数据20表示)。此外，转向控制单元72可以处理转向控制信号70，以便将向转向系统60提供适当的控制数据(通常由控制数据20表示)。
37.动力总成控制单元64可被配置为控制在自主车辆10内的变速器(未显示)和发动机/牵引电机(未显示)；而制动控制单元68可被配置为控制在自主车辆10内的机械/再生制动系统(未显示)；以及转向控制单元72可被配置为控制在自主车辆10内的转向柱/转向架(未显示)。
38.自主控制单元50可以是高度复杂的计算系统，可以提供广泛的处理能力(例如，具有多核处理器、离散协同处理单元、数千兆字节的内存和持久性存储器的工作站级计算系统)。相比之下，车辆控制单元54可以是简单得多的设备，可以提供与被包括在自主车辆10内的其他ecu相当的处理能力(例如，具有适度的微处理器(cpu频率低于200兆赫)、低于1兆字节的系统内存和没有持久性存储器的计算系统)。由于这些更简单的设计，车辆控制单元54可能比自主控制单元50具有更大的可靠性和耐久性。
39.为了进一步提高冗余性和可靠性，被包括在自主车辆10内的一个或多个ecu(ecu 14)可以以冗余的方式配置。例如，还参考图2b，显示了ecu 14的一个实施方式，其中，利用了多个车辆控制单元。例如，这个特定实施方式被显示为包括两个车辆控制单元，即第一车辆控制单元(例如，车辆控制单元54)和第二车辆控制单元(例如，车辆控制单元74)。
40.在这种特定配置中，所述两个车辆控制单元(例如，车辆控制单元54、74)可以以各
种方式配置。例如，所述两个车辆控制单元(例如，车辆控制单元54、74)可以被配置为主动-被动配置，其中，例如，车辆控制单元54执行处理车辆控制数据52的主动角色，而车辆控制单元74承担被动角色并基本上处于待机模式。在车辆控制单元54发生故障的情况下，车辆控制单元74可以从被动角色过渡到主动角色并承担处理车辆控制数据52的角色。替代地，所述两个车辆控制单元(例如，车辆控制单元54、74)可以被配置为主动-主动配置，其中，例如，车辆控制单元52和车辆控制单元74都执行处理车辆控制数据54的主动角色(例如，分摊工作量)，其中，在车辆控制单元54或车辆控制单元74发生故障的情况下，幸存的车辆控制单元可以处理所有的车辆控制数据52。
41.虽然图2b说明了被包括在自主车辆10内的各种ecu(例如ecu14)可以以冗余方式配置的方式的一个示例，但这仅用于说明目的，并且并不旨在成为本公开的限制，因为其他配置是可能的并且被认为是在本公开的范围内。例如，自主控制单元50可以以冗余方式配置，其中，第二自主控制单元(未显示)被包括在自主车辆10内，并以主动-被动或主动-主动方式配置。此外，可以预见的是，一个或多个传感器(例如，传感器12)和/或一个或多个执行器(例如，执行器16)可以以冗余的方式配置。因此，可以理解的是，就自主车辆10而言，可实现的冗余程度可能仅受自主车辆10的设计标准和预算约束的限制。
42.自主性计算子系统
43.还参考图3，自主车辆10的各种ecu可以被分组/安排/配置，以实现各种功能。
44.例如，ecu 14中的一个或多个可被配置为实现/形成感知子系统100，其中，感知子系统100可被配置为处理来自车载传感器的数据(例如，传感器数据18)，以计算自主车辆10附近感兴趣的物体的简明表示(其示例可包括但不限于其他车辆、行人、交通信号、交通标志、路标、危险物等)，并且识别可能有助于确定自主车辆10的位置的环境特征。此外，ecu 14中的一个或多个可被配置为实现/形成状态估计子系统102，其中状态估计子系统102可被配置为处理来自车载传感器的数据(例如，传感器数据18)，以估计自主车辆10在其运行环境中的位置、方向和速度。此外，ecu 14中的一个或多个可被配置为实现/形成规划子系统104，其中，规划子系统104可被配置为计算期望的车辆轨迹(使用感知输出106和状态估计输出108)。此外，ecu 14中的一个或多个可被配置为实现/形成轨迹控制子系统110，其中，轨迹控制子系统110使用规划输出112和状态估计输出108(与反馈和/或前馈控制技术结合)来计算可导致自主车辆10在其操作环境中执行其预期轨迹的致动器指令(例如，控制数据20)。
45.出于冗余的目的，上述子系统可以分布遍及各种设备(例如，自主控制单元50和车辆控制单元54、74)。附加地/替代地，由于计算要求的增加，感知子系统100和规划子系统104可以几乎完全位于自主控制单元50内，其(如上所述)比车辆控制单元54、74具有更多的计算马力。相反，由于状态估计子系统102和轨迹控制子系统110的较低计算要求，其可以在车辆控制单元54、74具有必要的计算能力的情况下完全位于车辆控制单元54、74上；和/或可以部分地位于车辆控制单元54、74上且部分地位于自主控制单元50上。然而，状态估计子系统102和轨迹控制子系统110的位置在任何应急计划架构的设计中都可能是至关重要的，因为这些子系统的位置可能决定应急计划的计算、传输和/或执行方式。
46.状态指示系统
47.还参考图4a、4b、4c，显示了自主车辆10的外视图，其中，自主车辆10可以包括状态
指示系统200，用于传递有关可移动车辆(例如自主车辆10)的状态信息。
48.状态指示系统200可以包括接口系统(例如，接口系统202)，其被配置为接收有关可移动车辆(例如，自主车辆10)附近的一个或多个物体(例如，物体206、208、210、212)的感知信息(例如，感知信息204)。可移动车辆(例如，自主车辆10)附近的一个或多个物体(例如，物体206、208、210、212)可以包括以下一个或多个：
49.·
可移动车辆附近(例如，自主车辆10)的行人(例如，物体208、210、212)，例如，在自主车辆10旁边行走/经过的人；
50.·
可移动车辆(例如，自主车辆10)附近的第三方车辆(例如，物体206)，例如，在自主车辆10附近行驶/停止的其他车辆。
51.如上所述，自主车辆10内的传感器12可以监测自主车辆10所处的环境，其中，传感器12可以向ecu 14提供传感器数据18，所述传感器数据可以被处理以确定自主车辆10应该以何种方式操作。接口系统202可被配置为与传感器12(一般)和被包括在可移动车辆(例如，自主车辆10)内的一个或多个机器视觉传感器(具体)接口。这种机器视觉传感器的示例可以包括但不限于激光雷达系统。
52.如本领域所知，激光雷达是通过用激光瞄准一物体并测量反射光返回接收器的时间来确定范围(可变距离)的方法。由于激光返回时间的不同，并通过改变激光波长，激光雷达也可用于对地球表面和海洋底部的区域进行数字3-d表示。它有地面、空中和移动应用。激光雷达是"光探测和测距"或"激光成像、探测和测距"的首字母缩写。激光雷达有时被称为3-d激光扫描，是3-d扫描和激光扫描的特殊组合。激光雷达通常用于制作高分辨率地图，应用于测量学、大地测量学、地理学、地质学、地貌学、地震学、林业、大气物理学、激光制导、机载激光扫描测图(alsm)和激光测高。该技术也被用于一些自主车辆的控制和导航。
53.状态指示系统200可以包括处理系统(例如，处理系统214)，其被配置为处理感知信息(例如，感知信息204)以生成附近物体显示信息(例如，附近物体显示信息216)。处理系统214可以以各种方式配置。处理系统214的一个示例可以包括独立处理系统，其包括一个或多个处理器(未显示)和一个或多个存储器架构(未显示)。处理系统214的另一示例可以包括ecu 14的一部分。处理系统214可以耦合到存储设备(例如，存储设备114)。存储设备114的示例可以包括但不限于：硬盘驱动器；raid设备；随机存取存储器(ram)；只读存储器(rom)；以及所有形式的闪存存储设备。
54.状态指示系统200可以包括视觉显示系统(例如，视觉显示系统218)，其被配置为呈现附近物体显示信息(例如，附近物体显示信息216)。正如下文将更详细地讨论的那样，视觉显示系统(例如，视觉显示系统218)可以被配置为以视觉方式传递有关自主车辆10的状态信息，所述视觉方式对于自主车辆10附近的人来说是容易理解的。
55.此外，接口系统(例如，接口系统202)可以被配置为接收可移动车辆状态信息(例如，可移动车辆状态信息220)。如上所述，自主车辆10内的传感器12可以监测自主车辆10所处的环境，其中，传感器12可以向ecu 14提供传感器数据18。因此，接口系统(例如，接口系统202)可以从ecu 14获得这种可移动车辆状态信息(例如，可移动车辆状态信息220)。
56.因此，可移动车辆状态信息(例如，可移动车辆状态信息220)可以识别以下一项或多项：
57.·
可移动车辆是否正在减速；
58.·
可移动车辆是否正在加速；
59.·
可移动的车辆是否是静止的；以及
60.·
可移动车辆是否正在转弯。
61.处理系统(例如，处理系统214)可以被配置为处理可移动车辆状态信息(例如，可移动车辆状态信息220)以生成车辆状态显示信息(例如，车辆状态显示信息222)，其中，视觉显示系统(例如，视觉显示系统218)可以被配置为呈现车辆状态显示信息(例如，车辆状态显示信息222)。如将在下面更详细地讨论的那样，视觉显示系统(例如，视觉显示系统218)可以被配置为以视觉方式传递有关自主车辆10的状态信息，所述视觉方式对于自主车辆10附近的人来说是容易理解的。
62.视觉显示系统(例如，视觉显示系统218)可以被配置为安装在可移动车辆(例如，自主车辆10)的车顶(例如，车顶224)上。视觉显示系统(例如，视觉显示系统218)可以以各种方式配置，所有这些都被认为是在本公开的范围内。
63.柱形：视觉显示系统(例如，视觉显示系统218)可以是柱形视觉显示系统(如图4a-图4b所示)。当视觉显示系统218以柱形方式配置时，视觉显示系统218可以包括：被照亮部分(例如，被照亮部分226)；以及位于被照亮部分(例如，被照亮部分226)和可移动车辆(例如，自主车辆10)的车顶(例如，车顶224)之间的未被照亮部分(例如，未被照亮部分228)，从而相对于可移动车辆(例如，自主车辆10)的车顶(例如，车顶224)提供"悬浮"外观。
64.盘形：视觉显示系统(例如，视觉显示系统218)可以是盘形视觉显示系统(如图4c所示)。当视觉显示系统218以盘形方式配置时，视觉显示系统218可以在可移动车辆(例如，自主车辆10)附近的车顶(例如，车顶224)的地方被总体照亮，从而提供较低的轮廓，这在用于较高轮廓的车辆(例如，suv和货车)时可能是理想的。
65.无论配置如何，视觉显示系统(例如，视觉显示系统218)可以是360度的视觉显示系统，从而以视觉方式传递有关自主车辆10的状态信息，而不管人们是否位于自主车辆10附近的位置。
66.虽然视觉显示系统(例如，视觉显示系统218)在上文被描述为安装在可移动车辆(例如，自主车辆10)的车顶(例如，车顶224)上，但这仅用于说明目的，并且不旨在成为本公开的限制，因为其他配置是可能的，并且被认为是在本公开的范围内。例如，视觉显示系统(例如，视觉显示系统218)可以以各种方式集成到可移动车辆(例如，自主车辆10)中。因此，视觉显示系统(例如，视觉显示系统218)可以是可移动车辆(例如，自主车辆10)的窗口(例如，窗口230)的一部分(或被结合到其中)。
67.状态指示过程(针对行人)
68.如上所述，视觉显示系统(例如，视觉显示系统218)可以被配置为以视觉方式传递有关自主车辆10的状态信息，所述视觉方式对于自主车辆10附近的人来说是容易理解的。
69.还请参考图5，为了以这种视觉方式传递这种状态信息，处理系统214可以执行状态指示过程250。如上所述，处理系统214可以以各种方式配置，其中的示例可以包括但不限于：
70.·
独立处理系统，其包括一个或多个处理器(未显示)和一个或多个存储器架构(未显示)；和/或
71.·
ecu 14的一部分。
72.状态指示过程250的指令集和子程序可存储在耦合到ecu 14的存储设备114上，可由被包括在ecu 14内的一个或多个处理器(未显示)和一个或多个存储器架构(未显示)执行。存储设备114的示例可以包括但不限于：硬盘驱动器；raid设备；随机存取存储器(ram)；只读存储器(rom)；和所有形式的闪存存储设备。
73.状态指示过程250可以在单个ecu上执行，或者可以跨多个ecu之间协作执行。例如，状态指示过程250可以仅由自主控制单元50、车辆控制单元54或车辆控制单元74执行。替代地，状态指示过程250可以跨自主控制单元50、车辆控制单元54和车辆控制单元74的组合协作地执行。因此，在后一种配置中，在自主控制单元50、车辆控制单元54或车辆控制单元74中的一个发生故障的情况下，幸存的控制单元可以继续执行状态指示过程250。
74.状态指示过程250可以监测252一个或多个机器视觉传感器(例如，一般的传感器12和具体的激光雷达传感器)，以获得有关自主车辆(例如，自主车辆10)附近的一个或多个行人(例如，物体208、210、212)的感知信息(例如，感知信息204)。感知信息204可以是三维图像，以总体识别自主车辆10的在地理上的附近的所有物体。
75.状态指示过程250可以识别254感知信息(例如，感知信息204)内的一个或多个人形形状，从而限定一个或多个检测到的人形形状。当识别254感知信息(例如，感知信息204)内的一个或多个人形形状时，状态指示过程250可以将一个或多个限定的人形形状(例如，限定的人形形状232)与感知信息(例如，感知信息204)内的一个或多个未识别的物体进行比较256，以识别感知信息(例如，感知信息204)内的一个或多个人形形状。
76.限定的人形形状232可以是手动限定的(例如，通过状态指示过程250的设计者/程序员)和/或自动限定的(例如，通过人工智能/机器学习(ai/ml)，其方式类似于ai/ml可以识别照片内的人脸)。一般来说，感知信息204可以是三维图像，以总体识别自主车辆10的在地理上的附近的多个未识别物体。因此，状态指示过程250可以将限定的人形形状232与感知信息(例如，感知信息204)内的一个或多个未识别的物体进行比较256，以识别感知信息(例如，感知信息204)内的一个或多个人形形状。
77.一旦识别到感知信息204内的人形形状254，状态指示过程250可以生成258附近物体显示信息(例如，附近物体显示信息216)，所述附近物体显示信息相对于自主车辆(例如，自主车辆10)定位所述一个或多个检测到的人形形状。然后，状态指示过程250可以在视觉显示系统(例如，视觉显示系统218)上呈现260附近物体显示信息(例如，附近物体显示信息216)，从而确认自主车辆(例如，自主车辆10)对一个或多个行人(例如，物体208、210、212)的感知。
78.例如，图6a说明了两个行人(例如，行人300、302)静止地站在自主车辆10的侧面附近的情况。因此，附近物体显示信息216可以相对于自主车辆10定位一个或多个检测到的人形形状(例如，行人300、302)。此外，状态指示系统200的视觉显示系统218可以以视觉方式传递有关自主车辆10的状态信息，所述视觉方式对于自主车辆10附近的人(例如，行人300、302)来说是容易理解的。因此，视觉显示系统218可以呈现指向(或对应于)行人300的第一标志(例如，标志304)。由于行人300是静止的，标志304可以在视觉显示系统302内静止。此外，视觉显示系统218可以呈现指向(或对应于)行人302的第二标志(例如，标志306)。由于行人302是静止的，标志306可以在视觉显示系统302内静止。
79.此外，图6b说明了一个行人(例如，行人300、308)静止地站在自主车辆10前面附近
的情况。因此，附近物体显示信息216可以相对于自主车辆10定位一个或多个检测到的人形形状(例如，行人308)。此外，状态指示系统200的视觉显示系统218可以以视觉方式传递有关自主车辆10的状态信息，所述视觉方式对于靠近自主车辆10的人(例如，行人308)来说是容易理解的。因此，视觉显示系统218可以呈现指向(或对应于)行人308的标志(例如，标志310)。由于行人308是静止的，指标310可以在视觉显示系统302内静止。此外，由于行人310处于自主车辆10的路径中(即，阻碍)，标志310可以以例如朝左的箭头的形式向行人310提供指令，以要求行人308向左移动并离开自主车辆10的路径。
80.附近物体显示信息(例如，附近物体显示信息216)可以包括动态的附近物体显示信息(例如，附近物体显示信息216)，所述动态的附近物体显示信息随着一个或多个检测到的人形形状的位置相对于自主车辆(例如，自主车辆10)变化而变化。因此，当在视觉显示系统(例如，视觉显示系统218)上呈现260附近物体显示信息(例如，附近物体显示信息216)时，状态指示过程250可以在视觉显示系统(例如，视觉显示系统218)上呈现262动态的附近物体显示信息(例如，附近物体显示信息216)，从而动态地确认自主车辆(例如，自主车辆10)对所述一个或多个行人(例如，物体208、210、212)的感知。
81.例如，图6c说明了两个行人(例如，行人312、314)在自主车辆10前面行走的情况。因此，附近物体显示信息216可以相对于自主车辆10定位一个或多个检测到的人形形状(例如，行人312、314)。此外，状态指示系统200的视觉显示系统218可以以视觉方式传递有关自主车辆10的状态信息，所述视觉方式对于靠近自主车辆10的人(例如，行人312、314)来说是容易理解的。相应地，视觉显示系统218可以呈现指向(或对应于)行人312的第一标志(例如，标志316)。随着行人312从左向右移动，标志316也可以在视觉显示系统302内从左向右移动。此外，视觉显示系统218可以呈现指向(或对应于)行人314的第二标志(例如，标志318)。当行人314从左到右移动时，指标318也可以在视觉显示系统302内从左向右移动。
82.状态指示过程(针对车辆)
83.以类似于状态指示过程10跟踪自主车辆(例如，自主车辆10)附近的行人的方式，状态指示过程10也可以跟踪自主车辆(例如，自主车辆10)附近的车辆。
84.例如，还参考图7，状态指示过程250可以监测350一个或多个机器视觉传感器(例如，一般的传感器12和具体的激光雷达传感器)，以获得有关靠近自主车辆(例如，自主车辆10)的一辆或多辆第三方车辆(例如，物体206)的感知信息(例如，感知信息204)。
85.状态指示过程250可以识别352感知信息(例如，感知信息204)内的一个或多个车辆形状，从而限定一个或多个检测到的车辆形状。当识别352感知信息(例如，感知信息204)内的一个或多个车辆形状时，状态指示过程250可以将一个或多个限定的车辆形状(例如，限定的车辆形状234)与感知信息(例如，感知信息204)内的一个或多个未识别的物体进行比较354，以识别感知信息(例如，感知信息204)内的一个或多个车辆形状。
86.限定的车辆形状234可以是手动限定的(例如，通过状态指示过程250的设计者/程序员)和/或自动限定的(例如，通过人工智能/机器学习(ai/ml)，其方式类似于ai/ml可以识别照片内的车辆)。一般来说，感知信息204可以是三维图像，以通常识别处于自主车辆10的在地理上的附近的多个未识别物体。因此，状态指示过程250可以将限定的车辆形状234与感知信息(例如，感知信息204)内的一个或多个未识别的物体进行比较354，以识别感知信息(例如，感知信息204)内的一个或多个车辆形状。
87.一旦识别到感知信息204内的车辆形状352，状态指示过程250可以生成356附近物体显示信息(例如，附近物体显示信息216)，所述附近物体显示信息相对于自主车辆(例如，自主车辆10)定位一个或多个检测到的车辆形状。然后，状态指示过程250可以在视觉显示系统(例如，视觉显示系统218)上呈现358附近物体显示信息(例如，附近物体显示信息216)，从而确认自主车辆(例如，自主车辆10)对所述一辆或多辆第三方车辆(例如，物体206)的感知。
88.附近物体显示信息(例如，附近物体显示信息216)可以包括动态的附近物体显示信息(例如，附近物体显示信息216)，所述动态的附近物体显示信息随着一个或多个检测到的车辆形状的位置相对于自主车辆(例如，自主车辆10)变化而变化。相应地，当在视觉显示系统(例如，视觉显示系统218)上呈现358附近物体显示信息(例如，附近物体显示信息216)时，状态指示过程250可以在视觉显示系统(例如，视觉显示系统218)上呈现360动态的附近物体显示信息(例如，附近物体显示信息216)，从而动态地确认自主车辆(例如，自主车辆10)对所述一辆或多辆第三方车辆(例如，物体206)的感知。
89.如图6a、图6b、图6c所示，视觉显示系统218可以呈现各种标志(例如，标志304、306、310、316、318)，其中，这些标志(例如，标志304、306、310、316、318)中的每一个被显示为包括例如"简笔人物画"，以表明所述标志(例如，标志304、306、310、316、318)指向(或对应于)行人(例如，行人300、302、308、312、314)。相应地，还参考图8，当状态指示过程10正在跟踪自主车辆10附近的车辆时，视觉显示系统218可以呈现各种标志(例如，标志320)，包括例如"汽车图"，以表明所述标志(例如，标志320)指向(或对应于)车辆(例如，第三方车辆322)。
90.状态指示过程(针对av状态)
91.如上所述，接口系统(例如，接口系统202)可以被配置为接收可移动车辆状态信息(例如，可移动车辆状态信息220)，其中，这个可移动车辆状态信息(例如，可移动车辆状态信息220)可以识别以下一项或多项：
92.·
可移动车辆是否正在减速；
93.·
可移动车辆是否正在加速；
94.·
可移动的车辆是否是静止的；以及
95.·
可移动车辆是否正在转弯。
96.处理系统(例如，处理系统214)可以被配置为处理可移动车辆状态信息(例如，可移动车辆状态信息220)以生成车辆状态显示信息(例如，车辆状态显示信息222)，其中，视觉显示系统(例如，视觉显示系统218)可以被配置为呈现车辆状态显示信息(例如，车辆状态显示信息222)。
97.因此，如图9a所示，视觉显示系统218的附近物体部分350可以被配置为跟踪自主车辆(例如，自主车辆10)附近的行人。此外，视觉显示系统218的状态部分352可以被配置为呈现车辆状态显示信息222。例如，状态部分352可以包括：
98.·
"左转"区段354，其可在自主车辆10计划左转时照亮；
99.·
"右转"区段356，其可在自主车辆10计划右转时照亮；
100.·
状态区段358，其可以：
101.i.通过例如显示纯白色来表明自主车辆10正在稳定状态下巡航，
102.ii.通过例如显示从白色到浓绿色变化的颜色来表明自主车辆正在加速，
103.iii.通过例如显示从白色到浓红色变化的颜色来表明自主车辆正在减速，以及
104.iv.通过例如显示纯红色来表明自主车辆是静止的。
105.此外，如图9b所示，视觉显示系统218的附近物体部分350可以被配置为跟踪自主车辆(例如，自主车辆10)附近的第三方车辆。同样，视觉显示系统218的状态部分352可以被配置为呈现车辆状态显示信息222(如上所述)。
106.概要
107.正如本领域技术人员所理解的那样，本公开可以体现为方法、系统或计算机程序产品。因此，本公开可以采取完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施方式的形式，这些都可以在本文中总体被称为"电路"、"模块"或"系统"。此外，本公开可采取在计算机可用的存储介质上的计算机程序产品的形式，所述介质具有在所述介质中体现有计算机可使用的程序代码。
108.可以利用任何合适的计算机可用或计算机可读介质。计算机可用或计算机可读介质可以是，例如但不限于，电子、磁、光、电磁、红外或半导体系统、装置、设备或传播介质。计算机可读介质的更具体的示例(非详尽清单)可包括以下内容：具有一条或多条电线的电连接器、便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤、便携式光盘只读存储器(cd-rom)、光学存储设备、诸如支持互联网或内联网的传输介质、或磁存储设备。计算机可用或计算机可读介质也可以是纸或另一种合适的介质，程序被打印在上面，因为程序可以通过例如对纸或其他介质的光学扫描而被电子化捕获、然后被编译、解释、或在必要时以合适的方式被处理，然后被存储在计算机内存中。在本文的上下文中，计算机可用或计算机可读介质可以是可以包含、存储、通信、传播或运输程序的任何介质，以便由指令执行系统、装置或设备使用或与指令执行系统、装置或设备相连接。计算机可用介质可以包括在基带中或作为载波的一部分被传播的数据信号，在被传播的数据信号中体现了计算机可用的程序代码。计算机可用程序代码可以使用任何适当的媒介进行传播，包括但不限于互联网、有线、光缆、射频等。
109.用于执行本公开的操作的计算机程序代码可以用面向对象的编程语言编写，如java、smalltalk、c++或类似语言。然而，用于执行本公开的操作的计算机程序代码也可以用传统的程序性编程语言编写，诸如"c"编程语言或类似编程语言。该程序代码可以作为独立的软件包完全在用户的计算机上执行、部分在用户的计算机上执行，所述独立的软件包部分在用户的计算机上且部分在远程计算机上、或者完全在远程计算机或服务器上。在后一种情况下，远程计算机可以通过局域网/广域网/互联网(例如，网络14)与用户的计算机连接。
110.本公开参照根据本公开的实施方式的方法、装置(系统)和计算机程序产品的流程图说明和/或方框图进行描述。可以理解的是，流程图说明和/或方框图中的每个块、以及流程图说明和/或方框图中的各块的组合可以通过计算机程序指令实现。这些计算机程序指令可提供给通用计算机/专用计算机/其他可编程数据处理装置的处理器，从而通过由计算机或其他可编程数据处理装置的处理器执行的指令创造出用于实现流程图和/或方框图中的一个或多个块所规定的功能/行为的手段。
111.这些计算机程序指令也可以存储在计算机可读存储器中，其可以指示计算机或其
他可编程数据处理装置以特定方式运行，从而使存储在计算机可读存储器中的指令产生制造品，其包括实现流程图和/或方框图中指定的功能/行为的指令手段。
112.计算机程序指令也可以被加载到计算机或其他可编程数据处理设备上，以使一系列操作步骤在计算机或其他可编程设备上执行，产生计算机实现的过程，从而使在计算机或其他可编程设备上执行的指令提供实现流程图和/或方框图中规定的功能/行为的步骤。
113.图中的流程图和方框图可以说明根据本公开的各种实施方式的系统、方法和计算机程序产品的可能实施方式的结构、功能和操作。在这方面，流程图或方框图中的每个块可以代表模块、段或代码的一部分，其包括一个或多个用于实现指定逻辑功能的可执行指令。还应注意的是，在一些替代性的实施方式中，块中指出的功能可能不按图中指出的顺序出现。例如，连续显示的两个块实际上可以基本上同时执行，或者各块有时可以按相反的顺序执行，这取决于所涉及的功能。还要指出的是，方框图和/或流程图说明中的每个块，以及方框图和/或流程图说明中的各块的组合，可以由执行指定功能或行为的基于硬件的特殊用途系统，或特殊用途硬件和计算机指令的组合来实现。
114.本文使用的术语仅用于描述特定的实施方式，并不意味着对公开内容的限制。如本文所使用的单数形式"一"、"一个"和"所述"也包括复数形式，除非上下文明确指出。应进一步理解，当本说明书中使用术语"包括"和/或"包含"时，具体说明存在所述特征、整数、步骤、操作、元素和/或组件，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组。
115.以下权利要求中所有手段或步骤加功能元件的相应结构、材料、行为和等价物旨在包括与其他具体要求的元件结合执行功能的任何结构、材料或行为。对本公开的描述是为了说明和描述的目的而提出的，但并不意味着详尽无遗或限于所公开的形式。对于本领域的普通技术人员来说，许多修改和变化是显而易见的，而不会偏离本公开的范围和精神。选择和描述实施方式是为了最好地解释本公开的原理和实际应用，并使本领域普通技术人员能够理解本公开的各种实施方式，并对其进行各种修改，以适合所设想的特定用途。
116.已经描述了一些实施方式。在详细描述了本技术的公开内容并参考了其实施方式之后，显然可以在不脱离所附权利要求书中限定的公开范围的情况下进行修改和变化。