用于自主车辆操作的交通信号管理的制作方法

本主题公开涉及用于自主车辆操作的交通信号管理。

背景技术：

车辆的自主操作需要以足够高的速率来进行信息收集和决策作出，以对实时情况采取行动并做出反应。可以自主操作的示例性车辆包括汽车、卡车、建筑设备、农场设备和自动化工厂设备。自主操作要求车辆观察并考虑许多与驾驶员相同的输入。例如，当接近交叉路口(intersection)时，自主车辆必须观察并考虑照明光的颜色。为此，自主车辆必须首先准确确定交通灯在视野中的位置。自主车辆还必须确定哪个交通灯与自主车辆正在行驶的车道相对应。因此，期望提供用于自主操作的交通信号管理。

技术实现要素：

在一个示例性实施例中，一种执行用于自主车辆的操作的交通信号管理的方法包括从具有一个或多个交通灯的交叉路口处的两个或更多车辆获得车辆数据。车辆数据包括车辆位置、车辆速度以及图像信息或图像。该方法还包括基于车辆数据确定关于一个或多个交通灯的三种类型信息中的至少一种。三种类型信息包括一个或多个交通灯的位置、一个或多个交通灯的信号相位和定时(spat)以及一个或多个交通灯的车道对应。提供有关一个或多个交通灯的三种类型信息中的至少一种，用于自动车辆的操作。

除了本文所述的一个或多个特征之外，确定一个或多个交通灯的位置还包括使用图像信息或图像，以及使用来自从交叉路口处的两个或更多个车辆获得的车辆数据的车辆位置。

除了本文描述的一个或多个特征之外，该方法还包括从一个或多个其他来源获得附加信息。该附加信息包括一个或多个交通灯和一个或多个其他源的勘测位置，该一个或多个其他源包括中继来自交叉路口、市政交通中心信息系统或商业交通中心信息系统的消息的两个或更多个车辆。

除了本文描述的一个或多个特征之外，该方法还包括确定使用来自交叉路口的两个或更多个车辆的车辆数据确定的一个或多个交通灯的位置和使用标准偏差或中值绝对偏差从附加信息获得的勘测位置之间的一致性(consensus)。

除了本文所述的一个或多个特征之外，所述方法还包括继续基于所述一致性大于阈值一致性值为自主车辆的操作提供一个或多个交通灯的位置，以及基于所述一致性小于阈值一致性值，增加从中获取车辆数据的两个或更多车辆的数量。

除了本文描述的一个或多个特征之外，该方法还包括基于图像信息或图像从两个或更多个车辆获得用于一个或多个交通灯的spat观察值，以及基于来自两个或更多车辆的spat观察值之间的一致性大于第一阈值来确定一个或多个交通灯的spat是静态的以使spat是始终相同的，还是动态的以使spat基于交通流量或一天中的时间变化。

除了本文所述的一个或多个特征之外，该方法还包括基于来自两个或更多个车辆的车辆数据中指示的车辆位置和车辆速度获取用于一个或多个交通灯的基于运动的spat，并确定spat观察值与基于运动的spat之间的一致性。

除了本文所述的一个或多个特征外，该方法还包括基于spat观察值与基于运动的spat之间的一致性大于第二阈值，继续提供基于一个或多个交通灯的spat是静态的的一个或多个交通灯的spat，以及继续提供基于一个或多个交通灯的spat是动态的的一个或多个交通灯的spat以及置信度值，该置信度值随着向管理系统报告车辆数据的最近性降低而衰减。

除了本文所述的一个或多个特征之外，该方法还包括基于来自两个或更多个车辆的车辆位置和图像信息或图像来确定车道对应性。

除了本文所述的一个或多个特征之外，为自主车辆的操作提供关于一个或多个交通灯的三种类型信息中的至少一种是作为应用程序接口(api)或作为增强地图。

在另一示例性实施例中，一种执行用于自主车辆的操作的交通信号管理的系统，包括通信模块，该通信模块在具有一个或多个交通灯的交叉路口处从两个或更多个车辆获得车辆数据。车辆数据包括车辆位置、车辆速度以及图像信息或图像。该系统还包括处理器，以基于车辆数据确定关于一个或多个交通灯的三种类型信息中的至少一种，这三种类型信息包括一个或多个交通灯的位置、一个或多个交通灯的信号相位和定时(spat)以及一个或多个交通灯的车道对应性，并为自主车辆的操作提供有关一个或多个交通灯的三种类型信息中的至少一种。

除了本文所述的一个或多个特征之外，处理器还使用图像信息或图像并使用来自从交叉路口处的两个或更多个车辆获得的车辆数据中的车辆位置来确定一个或多个交通灯的位置。

除了本文所述的一个或多个特征之外，通信模块还从一个或多个其他源获得附加信息，该附加信息包括一个或多个交通灯的勘测位置，以及一个或多个其他源包括中继来自交叉路口、市政交通中心信息系统或商业交通中心信息系统的消息的两个或更多个车辆。

除了本文所述的一个或多个特征之外，处理器确定使用来自交叉路口处的两个或更多个车辆的车辆数据得到的一个或多个交通灯的位置和使用标准偏差或中位数绝对偏差从附加信息获得的勘测位置之间的一致性。

除了本文所述的一个或多个特征之外，处理器基于所述一致性大于阈值一致性值来为自主车辆的操作提供一个或多个交通灯的位置，并基于所述一致性小于阈值一致性值来增加从中要获取车辆数据的两个或更多车辆的数量。

除了本文所述的一个或多个特征之外，处理器还基于图像信息或图像从两个或更多个车辆获得用于一个或多个交通灯的spat观察值，并基于来自两个或更多个车辆的spat观察值之间的一致性大于第一阈值来确定一个或多个交通灯的spat是静态的以使spat是始终相同的，还是动态的以使spat基于交通流量或一天中的时间而变化。

除了本文所述的一个或多个特征之外，处理器还基于来自两个或更多个车辆的车辆数据中指示的车辆位置和车辆速度获得用于一个或多个交通灯的基于运动的spat，并确定spat观察值与基于运动的spat之间的一致性。

除了本文所述的一个或多个特征之外，基于spat观察值与基于运动的spat之间的一致性大于第二阈值，处理器还提供基于一个或多个交通灯的spat是静态的的一个或多个交通灯的spat，以及提供基于一个或多个交通灯的spat是动态的的一个或多个交通灯的spat以及置信度值，该置信度值随着向管理系统报告车辆数据的最近性的降低而衰减。

除了本文所述的一个或多个特征之外，处理器还基于来自两个或更多个车辆的车辆位置和图像信息或图像来确定车道对应性。

除了本文所述的一个或多个特征之外，处理器还为自主车辆的操作提供关于一个或多个交通灯的三种类型信息中的至少一种，作为应用程序接口(api)或作为增强地图。

当结合附图考虑时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点将显而易见。

附图说明

在下面的详细描述中，仅通过示例的方式出现其他特征、优点和细节，该详细描述参考附图，在附图中：

图1是根据一个或多个实施例的有助于用于自主车辆操作的交通信号管理的系统的框图；

图2是根据一个或多个实施例的通过确定交通灯的位置来执行用于自主车辆操作的交通信号管理的方法的过程流程；

图3是根据一个或多个实施例的通过确定交通灯的静态定时模式来执行用于自主车辆操作的交通信号管理的方法的过程流程；

图4是根据一个或多个实施例的通过确定交通灯的动态定时模式来执行用于自主车辆操作的交通信号管理的方法的过程流程；

图5示出了进一步详述参考图3和图4讨论的一致性确定的过程；和

图6示出了根据一个或多个实施例的基于用于自主车辆操作的交通信号管理来增强的示例性地图。

具体实施方式

以下描述本质上仅是示例性的，并且无意于限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。

如前所述，自主车辆必须获得传送实时情景的信息，并且必须及时对该信息采取行动或做出反应。减少自主车辆所需的实时处理的任何现有知识可以确保安全和有效操作所需的及时动作。本文详细描述的系统和方法的实施例涉及用于自主操作的交通信号管理。根据本文详述的示例性实施例，交通信号管理可以是基于云计算的。在具有交通灯的交叉路口的特定情况下，可以向正在接近的自主车辆提供三种类型信息。该信息可以采用应用程序接口(api)的形式，也可以用于增强自主车辆用于导航的地图。

三种类型信息中的第一类型是交通灯在全局坐标(即纬度、经度、海拔)中的位置。该信息有助于在自主车辆的视野中更快地获取交通灯的位置。这样的信息减轻了搜索交通灯位置所花费的时间和计算资源。第二类型信息是交通灯的定时模型(例如，信号相位和定时(spat)模型)。该信息指示每个灯的持续时间，并且可以帮助做出决策(例如，在交叉路口接近之前进行速度控制)或促进对变绿的灯的更快反应，例如(例如，启用(engagement)启动/停止功能或从停止处恢复自动驾驶功能)。第三类型信息表示当在给定交叉路口处有一组以上的信号灯时，与该交叉路口处的每个车道相对应的特定交通灯(即，一组两个或三个信号灯)。三种类型信息是独立的，使得在给定的交叉路口仅一种或两种类型的信息可用，而不是全部三种。

根据示例性实施例，图1是有助于用于自主车辆操作的交通信号管理的系统的框图。示出了三个示例性车辆100a、100b、110c(通常称为100)。车辆100中的任何一个或全部可以自主地操作。示例性车辆100a之一是卡车，而其他两个示例性车辆100b、100c是汽车。如针对车辆100c所示的，每辆车辆100可以包括一个或多个相机105和车辆控制器107。图1中所示的示例性相机105并非旨在限制在替代实施例中的相机105的数量或位置。如进一步讨论的，相机105中的一个或两个可以提供原始图像以进行处理，或者可以提供来自获得的图像的信息。图1指示两组交通灯130a、130b(通常称为130)，并指示两者都在相机105的虚线所示的示例性视场(fov)中。

车辆控制器107可以是彼此通信以执行本文所讨论的功能的车辆控制器107的集合。车辆控制器107可以执行或促进通信功能以及自主控制功能。该通信可以包括车辆到基础设施(v2i)通信，该通信包括与智能交叉路口140交换专用短程通信(dsrc)消息135，例如图1的示例中包括交通灯130的智能交叉路口。dsrc消息135可以传送交通灯130的规范(specification)，例如用于操作信号灯或spat的定时模式，或指示哪个车道601(图6)与哪个交通灯130对应的本地交叉路口数据。

由车辆100的车辆控制器107执行或促进的通信还可以包括将车辆数据115提供给管理系统110，该管理系统110可以例如使用基于云计算的服务器来实现。例如，车辆100可以使用一个或两个相机105来提供图像或基于处理后的图像的信息。车辆控制器107可以通过控制器局域网(can)获得其他信息以与管理系统110通信。该其他信息可以包括基于全球导航卫星系统(gnss)(例如，全球定位系统(gps))、速度、偏航率以及其他位置和运动数据的车辆100的位置。车辆数据115还可以包括从智能交叉路口140转发到管理系统110的dsrc消息135。车辆控制器107和管理系统110可以包括处理电路，该处理电路可以包括专用集成电路(asic)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或成组的)和存储器、组合逻辑电路和/或提供相应所述功能的其他合适部件。车辆控制器107和管理系统110还包括用于根据已知的通信协议和方案执行无线通信的通信模块。

管理系统110可以从许多车辆100获得车辆数据115，如图1所示。因此，管理系统110可以从车辆100集中源数据(例如，位置、速度、停止时期、停止时间)，其允许管理系统110基于车辆100的运动模式来推断交通灯130的spat或车道对应性。管理系统110可以与除了车辆100之外的商业或市政交通中心信息系统120交换信息125。交通中心信息系统120可以从智能交叉路口140提供与dsrc消息135相似的信息。例如，商业实体或市政当局可以进行调查并提供交通灯130的位置。如前所述，管理系统110可以使用车辆数据115和信息125以及车辆数据115和信息125的处理来提供api或增强地图600(图6)到自主车辆100。如前所述的，关于交通灯130的三种类型信息中的一种或多种可能是特别令人感兴趣的。这三种类型信息包括交通灯130的全局位置、指示等改变的定时模式的spat和每个交通灯130的车道对应。

图2是根据一个或多个实施例的执行用于自主车辆操作的交通信号管理的方法200的过程流程。具体地，图2所示的方法200涉及指示交通灯130的全球位置(纬度、经度、海拔)的第一类型信息。该过程可以由管理系统110执行，为了说明的目的，讨论了将过程应用于具有一个或多个交通灯130的给定交叉路口。

在框205处，获得输入可以包括多个源。在框210处，获得智能交叉路口信息包括(例如基于调查)从车辆100获得交通信号130在智能交叉路口的位置。如果给定的交叉路口是智能交叉路口140，则车辆100从智能交叉路口140接收v2i通信(例如，dsrc消息)，然后将该信息提供给管理系统110。将该信息上载到管理系统110的车辆100的数量可能受到限制(例如，基于智能交叉路口140行驶的频率，每隔一车辆100或每隔十(tenth)车辆100)。该选择性报告可以由管理系统110经由与车辆100的通信来控制，以便管理通信和计算资源。

在框205处获得输入还可以包括在框220中获得车辆数据115。车辆数据115包括can数据(例如gps位置、速度)以及来自车辆100的图像信息或图像。由每个车辆100提供给管理系统110的车辆数据115可能仅限于在采集区域(例如，在感兴趣的交叉路口之前5到15英尺)采集的车辆数据115。通过仅在基于相机的范围估计更准确的范围内收集样本，这提高了系统精度。此外，可以通过管理系统110以类似于参考框210讨论的选择性报告方案来控制提供车辆数据115的车辆100的数量。作为车辆数据115的一部分的图像信息或图像可以由每个车辆100的不同相机105获得。例如，图像信息可以是基于图像而从相机105获得的信息，而图像可以是由另一相机105获得并且有助于场景的三维(3d)重建的原始图像。在给定的车辆100中，任何一种或两种类型的相机105都可用。

在框205处获得输入还可以包括在框230处从商业和/或市政交通中心信息系统120获得交通中心信息。类似于智能交叉路口140，商业和/或市政交通中心信息系统120可以提供交通灯130或至少交叉路口的勘测位置。交通中心信息系统120可以是基于云计算的，并且可以与管理系统110进行云到云的通信。在框240处，确定给定交叉路口处的一个或多个交通灯130的纬度、经度和海拔是指基于在框205处可用的不同输入中的每个来获取该位置。在智能交叉路口信息(框210处)和交通中心信息(框230处)的情况下，可以提供交通灯130的位置，或者至少提供勘测时的位置。在车辆数据115的情况下(在框220处)，例如，可以从图像或图像信息来确定交通灯130的位置。即，管理系统110可以另外处理车辆数据115以确定位置。作为车辆数据115的一部分的can数据(例如，车辆100的gps位置)有助于确定该位置信息与哪个交通灯130相关。

在框250处，量化对交通灯130的位置的置信度(confidence)是指交叉验证从不同输入源确定(在框240处)的位置(在框205处)。可以从由每个输入源提供的位置获得标准偏差、中位数绝对偏差或其他指标(indicator)。为了交叉验证该位置，可以将车辆100一起(例如，每个指示的位置的平均值)或单独地进行处理。

在框260处，检查置信度是否超过阈值。如果是，则在框265处提供位置是指管理系统110例如经由api或在地图600(图6)上指示给定交叉路口的交通灯130的位置，以供自主车辆100使用。如果基于框260处的检查，置信度未超过阈值，则在框270处，增加报告车辆100的数量是指控制选择性报告。具体地，可以指示更多车辆100报告智能交叉路口信息(在框210处)或报告车辆数据115(在框220处)。

图3是根据一个或多个实施例的执行用于自主车辆操作的交通信号管理的方法300的过程流程。具体地，图3中所示的方法300涉及指示交通灯130的定时模式或spat的第二类型的信息。该过程可以由管理系统110执行并且为了说明的目的，讨论了将该过程应用于具有一个或多个交通灯130的给定交叉路口。与参考图2讨论的确定第一类型的信息、位置不同，通过交通灯130可以具有静态spat或动态spat这一事实使交通灯130的spat的确定变得复杂。静态spat意味着交通灯130操作的定时模式始终相同。动态spat意味着交通灯130操作的定时模式发生变化。该变化可以基于一天中的时间，使得例如存在两个或更多个特定模式。可替代地，动态spat可以指代完全没有特定模式的根据交通流动态地操作的交通灯130。

一旦已经为给定交通灯130确定了spat，只要在限定的时间内(即足够频繁地)将更新的spat信息提供给管理系统110，就可以验证和维护spat。如果未在限定的时间内提供更新的spat信息，或者尚未为给定的交通灯130确定spat，则执行图3中所示的过程。在框310处，从车辆100获得车辆数据115是指管理系统110从车辆100接收can数据(例如，gps位置、速度)和图像信息或图像。

在框320处，检查车辆数据115(在框310处获得的)是否为足够最近的。如果车辆数据115不够为最近的，则在框325使可用于给定交通灯130的任何spat不可用。这是因为尚未验证spat，并且最近数据不可用于验证管理系统110先前可用于给定的交通灯130的spat。如果车辆数据115足够为最近的(基于框320处的检查)，则在框330处确定在指定的持续时间内spat观察值之间是否存在一致性。spat观察值是根据图像或图像处理针对给定交通灯130在每个车辆100处的spat确定。例如，指定的持续时间可以是两天。该持续时间有助于确定给定交通灯130具有静态还是动态spat。例如，一致性可以基于确定标准偏差或其他度量是否低于阈值。

如果在框330处的检查确定在指定的持续时间内来自不同车辆100的spat观察值之间没有一致性，则在框335处可以将给定的交通灯130视为具有动态spat。这参考图4进行进一步讨论。如果确定(在框330处)在指定持续时间内来自车辆100的spat观察值之间存在一致性，则在框340处确定spat观察值是否与用于同一交通灯130的基于运动的spat一致。

基于运动的spat是指管理系统110基于由车辆100提供作为车辆数据115的一部分的运动信息(例如，车辆100在交通灯130的位置停止了多长时间)推断交通灯130的定时模式。在框340处，可以基于标准偏差或类似度量来确定一致性。如果在框340处的检查指示在spat观察值与基于运动的spat之间没有一致性，则在框325处执行使任何先前的spat不可用的过程。如果在框340处的检查指示在spat观察值与基于运动的spat之间存在一致性，则管理系统110例如经由api或在地图600(图6)上提供交通灯130的spat，以在框345处由自主车辆100使用。

图4是根据一个或多个实施例的执行用于自主车辆操作的交通信号管理的方法400的过程流程。具体地，图4中所示的方法400涉及指示交通灯130的定时模式或spat的第二类型信息，并且更具体地，方法400涉及动态spat。为了确定动态spat，频率(例如，管理系统110从车辆100获得观察值的最小速率)、最近性(例如，向管理系统110报告的观察值的年龄)和规则性(例如，向管理系统110报告的观察值的一致分布)是所有重要因素。这是因为，通过频繁、最近的和规则的输入，管理系统110可以在有限的持续时间内将动态spat视为静态spat。如参考框340(图3)所讨论的，检查了基于运动的spat和spat观察值。如果两者未一致，则可以提供衰减的置信度估计。另外，可以将交通控制周期参数提供给管理系统110以帮助验证spat。例如，交通控制周期参数可以包括对于给定速度限制的每个阶段的最小时间。

在框405处，从车辆100获得车辆数据115作为对管理系统110的输入。这类似于框310处的过程(图3)。在框410处，检查在管理系统110处从车辆100接收的输入是否足够频繁。例如，可以根据经验确定足够性。如果输入不够频繁，则在框415处，使由管理系统110为给定交通灯130提供的任何先前的spat不可用。如果在框410处的检查指示输入在管理系统110处被足够频繁地接收到，然后，在框420处，应用1静态spat方法是指使用参考图3讨论的方法300。如前所述，对管理系统110的足够频繁的输入有助于将动态spat像静态spat一样对待。但是，还有与spat的衰减置信度值相关的附加特征，如详细说明的。

在框430，检查来自车辆100的spat观察值是否与通过管理系统110的基于运动的spat确定相匹配。这类似于框340处(图3)的检查。匹配的确定可以例如基于标准偏差的阈值或另一度量。图3所示的方法300指示基于spat观察值与基于运动的spat之间的一致性而提供spat(在框345处)以供自主车辆100使用(在框340处)。但是，对于动态spat，结果不那么直接。如果在框430处的检查指示spat观察值与基于运动的spat不一致，则在框415处执行使先前可用的spat不可用的过程。然而，如果在框440处的检查指示spat观察值与基于运动的spat之间的一致性，则执行框440处的过程。在框440处，提供spat以供自主车辆100使用，但是具有置信度水平。该置信度水平基于对管理系统110的输入的最近性和规则性。因此，框440处的过程还包括检查输入是如何最近的，并且随着输入变得不太最近而降低置信度水平。在框450处，如果检查指示置信度不大于阈值，则在框415处，执行使先前可用的spat不可用的过程。只要置信度大于阈值(根据框450处的检查)，则框440处的过程继续。

图5示出了过程500，其进一步详细说明了在框340处(图3)和框430处(图4)的一致性确定。因此，继续参考图3和图4所示的过程。在框510处，累积输入是指在框310处或框405处从车辆100获得车辆数据115。根据需要，可以验证输入的最近性或规则性。在框520处，创建训练数据集和验证数据集包括使用spat观察值作为训练数据集以及使用基于运动的spat作为验证数据集。在框530处，将spat模型与训练数据集匹配有助于发现最佳拟合模型。在框540处，利用验证数据集来验证最佳拟合模型导致一置信度水平(例如，基于标准偏差或其他度量)。在框550处，例如，如果置信度水平低于阈值，则基于验证结果去除异常值数据(在框540处)是指从管理系统110的输入中移除异常值。

图6示出了根据一个或多个实施例的由管理系统110增强以指示三种类型信息中的一种或多种的示例性地图600。示出了三个车道601a、601b、601c(通常称为601)。指示了从每个车道601行进或转向的方向。每个车道601与虚拟交通控制设备(vtcd)vtcd1、vtcd2、vtcd3相关联。vtcd与车道601的关联、vtcd的spat以及每个vtcd的全局位置(即，纬度、经度、海拔)可以在地图600上指示。其他信息(例如，速度限制)也可以被指示。

可以将第三种类型信息、车道定位或与每个车道601对应的特定交通灯130确定为参考图2-5讨论的过程流程的扩展。具体地，例如，在框220处获得的can数据提供每个报告车辆100的位置和运动。在示例性场景中，每个车道601可以具有对应的交通灯130。在那种情况下，每个交通灯130的位置(即，参考图2讨论的第一类型信息)可用于将交通灯与特定车道601相关联。即使当两个或更多个车道601由同一交通灯130控制时，由车辆100提供的图像信息或原始图像可以由管理系统110使用，以将车道601与交通灯130关联。当spat信息可用时，车辆100在不同车道601中的移动是通过为输入到管理系统110的一部分的can数据获得的，可以用于将特定的交通灯130与给定的车道601相关联。可替代地，可以在不确定第一类型(全球位置)和第二类型(spat)信息的情况下实现车道定位。管理系统110可以使用车辆数据115(例如，图像、图像信息)来将车道601与交通灯130相关联，而无需另外确定交通灯130的位置。

尽管已经参考示例性实施例描述了以上公开，但是本领域技术人员将理解，在不脱离本发明范围的情况下，可以做出各种改变并且可以用等同物代替其要素。另外，在不脱离本公开的实质范围的情况下，可以做出许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。