用于检测交通信号及其关联状态的鲁棒方法

用于检测交通信号及其关联状态的鲁棒方法
【专利摘要】公开了用于检测交通信号及其关联状态的方法和设备。在一个实施例中，一种示例方法包括利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息。车辆可被配置为在自主模式中运转并且目标区域可以是交通信号通常所位于的一类区域。该方法还可包括在目标区域信息中检测交通信号，确定交通信号的位置，并且确定交通信号的状态。另外，还可确定对交通信号的置信度。例如，可将交通信号的位置与交通信号的已知位置相比较。基于交通信号的状态和对交通信号的置信度，可在自主模式中控制车辆。
【专利说明】用于检测交通信号及其关联状态的鲁棒方法
[0001] 相关申请的交叉引用
[0002] 本申请要求2012年3月26日递交的序列号为13/430, 150的美国专利申请的优 先权,特此通过引用并入该申请的内容。

【背景技术】
[0003] -些车辆被配置为在自主模式中运转，其中车辆在几乎没有或没有来自驾驶员的 输入的情况下导航经过一环境。这种车辆可包括被配置为感测关于该环境的信息的一个或 多个传感器。车辆可使用感测到的信息来导航经过该环境。
[0004] 例如，如果传感器的输出指示出车辆正在接近障碍物，则车辆可导航绕过该障碍 物。此外，车辆可感测关于交通标志和交通信号的信息。例如，交通标志可提供监管信息或 警告信息，而位于道路交叉口、人行横道和其他位置的交通信号可用于控制竞争的交通流。


【发明内容】

[0005] 在一个不例方面中，公开了一种方法，其包括利用车辆的一个或多个传感器扫描 目标区域以获得目标区域信息。车辆可被配置为在自主模式中运转并且目标区域可以是交 通信号通常所位于的一类区域。该方法还可包括在目标区域信息中检测交通信号并且确定 交通信号的位置。此外，可确定交通信号的状态和对交通信号的置信度。确定对交通信号 的置信度可包括但不限于将交通信号的位置与交通信号的一个或多个已知位置相比较。根 据该方法，可基于交通信号的状态和对交通信号的置信度来在自主模式中控制车辆。
[0006] 在另一示例方面中，公开了一种非暂态计算机可读介质，其中存储有指令，这些指 令可被计算设备执行来使得该计算设备执行功能。这些功能可包括利用车辆的一个或多个 传感器扫描目标区域以获得目标区域信息。车辆可被配置为在自主模式中运转并且目标区 域可以是交通信号通常所位于的一类区域。这些功能还可包括在目标区域信息中检测交通 信号并且确定交通信号的位置。此外，基于这些功能，可以确定交通信号的状态和对交通信 号的置信度。确定对交通信号的置信度可包括但不限于将交通信号的位置与交通信号的一 个或多个已知位置相比较。根据这些功能，可基于交通信号的状态和对交通信号的置信度 来在自主模式中控制车辆。
[0007] 在另一示例方面中，公开了一种被配置为在自主模式中运转的示例车辆。该车辆 可包括一个或多个传感器、存储器、处理器以及存储在存储器中并可被处理器执行的指令。 指令可被执行来使得一个或多个传感器扫描目标区域以获得目标区域信息。目标区域可以 包括交通信号通常所位于的一类区域。指令还可被执行来在目标区域信息中检测交通信 号，确定交通信号的位置，并且确定交通信号的状态。此外，指令可被执行来确定对交通信 号的置信度。确定对交通信号的置信度可包括将交通信号的位置与交通信号的一个或多个 已知位置相比较。指令还可被执行来基于交通信号的状态和对交通信号的置信度来在自主 模式中控制车辆。
[0008] 前述
【发明内容】
只是说明性的，而并不打算以任何方式进行限定。除了以上描述的 说明性方面、实施例和特征以外，通过参考附图和以下详细描述，另外的方面、实施例和特 征将变得清楚。

【专利附图】

【附图说明】
[0009] 图1是控制车辆的示例方法的框图。
[0010] 图2A-2C是扫描目标区域的车辆的示例概念图示。
[0011] 图3A-3B是用于控制车辆的不例流程图和关联状态表。
[0012] 图4是用于控制车辆的另一示例流程图。
[0013] 图5A-5C是扫描目标区域的车辆的更多示例概念图示。
[0014] 图6根据实施例示出了示例车辆。
[0015] 图7是根据实施例的示例车辆的简化框图。
[0016]图8是示出根据本文给出的至少一些实施例布置的包括用于在计算设备上执行 计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的示意图。

【具体实施方式】
[0017] 在以下详细描述中，参考形成描述的一部分的附图。在附图中，相似的符号通常标 识相似的组件，除非上下文另有规定。详细描述、附图和权利要求中描述的说明性实施例并 不欲进行限定。可以利用其他实施例，并且可以作出其他改变，而不脱离本文给出的主题的 范围。容易理解，本文概括描述的以及附图中示出的本公开的各方面可按许多种不同的配 置来布置、替换、组合、分离和设计，所有这些在这里都已明确设想到。
[0018] 车辆，例如被配置为自主运转的车辆，可被配置为扫描目标区域以获得目标区域 信息。车辆的一个或多个传感器可扫描目标区域。在一个示例中，目标区域可以是交通信 号通常位于其中的一类区域。例如，关于交通信号通常出现之处的一般信息，例如接近交叉 口、高度范围、接近道路边缘等等，可用于确定目标区域。在一些示例中，车辆的传感器可连 续地扫描目标区域以找到被临时或永久移动的交通灯，和/或找到新的交通灯，例如没有 关于其的在先信息可得的交通灯。
[0019] 作为示例，与交通信号的已知位置相关联的数据可指示出给定百分比的交通灯出 现在由地面之上的高度下限和高度上限定义的高度范围内。车辆可使用该高度范围来扫描 即将来到的区域以获得高度下限与高度上限之间的目标区域信息。
[0020] 在一些情况中，可在目标区域信息中检测交通信号。在交通信号的地图暗示出交 通信号存在于环境的某一区域中的情况中，车辆可预期在目标区域信息中找到交通信号。 或者，如果交通信号的地图没有在目标区域中指示出任何交通信号，那么车辆仍可在交通 信号实际存在的情况下扫描目标区域。此外，可以确定与检测到的交通信号相关联的状态。 关联状态随后可用于控制自主模式中的车辆。
[0021] 在另一情况中，可以基于检测到交通信号的场景来确定检测到的交通信号和交通 信号的关联状态的置信度。例如，车辆可以对于在车辆预期检测到交通信号的位置中检测 到的交通信号的置信度更高，并且对于在车辆未预期检测到交通信号的位置中检测到的交 通信号的置信度更低。因此，在一些示例中，可基于对交通信号的置信度来修改对车辆的控 制。
[0022] 图1是控制车辆的示例方法100的框图。图1所示的方法100表示例如可用于本 文描述的车辆的方法，并且可由车辆或车辆的组件来执行，或者更一般而言由服务器或其 他计算设备来执行。方法1〇〇可包括如方框102-112中的一个或多个所示的一个或多个操 作、功能或动作。虽然这些方框是按先后顺序示出的，但这些方框可被并行执行，和/或按 与本文描述的那些不同的顺序执行。另外，基于期望的实现方式，各种方框可被组合成更少 的方框，划分成额外的方框，和/或被去除。
[0023] 此外，对于方法100和本文公开的其他过程和方法，框图示出了所呈现实施例的 一种可能实现方式的功能和操作。在此，每个方框可表示程序代码的模块、片段或部分，程 序代码包括可由处理器执行来实现该过程中的特定逻辑功能或步骤的一个或多个指令。程 序代码可被存储在任何类型的计算机可读介质上，例如包括盘或硬盘驱动器的存储设备。 计算机可读介质可包括非暂态计算机可读介质，例如像寄存存储器、处理器缓存和随机访 问存储器（RandomAccessMemory，RAM)那样短时间存储数据的计算机可读介质。计算 机可读介质还可包括非暂态介质，例如次级或永久长期存储装置，比如只读存储器（read onlymemory,ROM)、光盘或磁盘以及致密盘只读存储器（compact-discreadonlymemory, CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介 质可被认为是例如计算机可读存储介质、有形存储设备或者其他制品。
[0024] 此外，对于方法100和本文公开的其他过程和方法，每个方框可表示被配置为执 行该过程中的特定逻辑功能的电路。
[0025] 如图所不，最初，在方框102,方法100包括利用车辆的一个或多个传感器扫描目 标区域以获得目标区域信息。在一些情况中，车辆可被配置为在自主模式中运转。参考图6 和图7描述的车辆是可被配置为自主运转的车辆的一个这种示例。在一些情况中，基于交 通信号的状态和位置确定的控制命令可用于辅助车辆的驾驶员或作为输入被提供到车辆 的控制系统。
[0026] 在一个示例中，目标区域可以是交通信号通常位于其中的一类区域。例如，目标区 域可包括对于交通信号来说典型的高度和或宽度的范围。目标区域可以与车辆的行进方向 相对应的即将来到的区域的一部分。在一种情况中，关于交通信号的已知位置的统计信息 可指示出给定百分比的交通信号出现在地面以上的某一高度范围之间。作为示例，收集的 关于交通信号的数据可指示出90%的交通信号被升高在地面以上的10到16英尺之间。类 似地，关于交通信号的已知位置的信息可指示出给定百分比的交通信号位于行车道或道路 的左侧或右侧的给定量以内。基于关于交通信号的位置的统计资料，可以选择预定的目标 区域。
[0027] 因此，在一个示例中，车辆可不断地扫描目标区域。在一些情况中，目标区域可基 于车辆或者车辆位于其中的环境的状况而变化。作为示例，可基于车辆的速度或朝向来加 宽或缩窄目标区域。车辆可包括GPS接收器（或其他地理定位组件）来确定地理位置，并 且包括加速度计、陀螺仪或其他加速度设备来确定与重力的方向有关的俯仰、偏航和滚转 (或者其变化）。在一些情况中，如果车辆在转向，则可加宽目标区域。在另一情况中，当车 辆的地理位置正接近交叉口时，可以扩展目标区域。在一些情况中，可以将车辆的地理位置 与包括关于道路的交叉口的信息的环境的地图相比较来确定车辆接近交叉口。
[0028] 车辆的一个或多个传感器可包括成像组件和/或非成像组件。例如，各种类型的 相机可按各种配置被安装到车辆以获得目标区域信息。在一种情况中，相机可被定位为正 对前方并且安装在后视镜后面或附近。此外，相机可利用具有30度视野的固定镜头来捕捉 相机的感兴趣的特定区域，例如2040x1080区域。可以校准相机来在各种距离检测交通信 号以确保合理的刹车距离。在另一示例中，可以设定相机的增益和快门速度来避免在日间 和/或夜间期间交通灯的饱和。
[0029] 在另一示例中，一个或多个传感器可包括被配置为确定到目标区域中的物体的表 面的距离的三维（3D)扫描设备。在一种情况中，结构化光投影设备和相机可用于确定描述 目标区域的三维点云。在另一情况中，诸如LIDAR或激光测距仪之类的激光和/或雷达设 备可扫描目标区域以确定到物体的距离。在其他情况中，立体相机或飞行时间相机可用于 距离成像。从而，目标区域信息可包括二维图像和描述目标区域的三维点云的任何组合。
[0030]目标区域信息也可被存储在一个或多个短期或长期存储器中。在方框104,方法 100包括在目标区域信息中检测交通信号。在一些情况中，可在目标区域信息中识别对于交 通信号预期的图案、模板、形状或签名。作为示例，交通信号分类器可找到具有适当大小和 纵横比的红、黄、绿物体的图案，并且将该图案标记为潜在的交通信号。示例图像处理技术 可用于识别图像的与已知图案匹配的一个或多个部分。模板匹配是一个可能的示例。虽然 本公开是结合具有一组红、黄、绿灯的典型垂直或水平交通信号来描述的，但应理解这种特 定结构只是用作示例。交通信号可能有所变化并且有时候可能有复杂的几何结构，并且这 些额外的几何结构也可被检测。
[0031] 在目标区域信息包括三维点云的示例中，可以检测3D点云中的可具有对于交通 信号预期的形状的物体。例如，基于3D点云的物体识别系统可用于识别描述3D点云内的 兴趣点的特征。随后可将这些特征与对于一类或多类交通信号的3D模型预期的特征相比 较来识别兴趣点的群组作为3D点云内的是交通信号的物体。
[0032] 在方框106,方法100包括确定交通信号的位置。在一些情况中，车辆的地理位置 信息和/或朝向信息可与目标区域信息相关联。例如，在目标区域信息包括图像的情况中， 与图像相关联的元数据可指示出在获得该目标区域信息时车辆（或者车辆的用于获得目 标区域信息的传感器）的地理位置和朝向。基于车辆和/或车辆的传感器的地理位置和朝 向，可以估计检测到的交通信号的位置。
[0033] 作为示例，可以基于车辆（或者车辆的传感器）的位置来估计交通信号的位置。例 如，可以对于获得目标区域信息的时刻确定车辆的GPS坐标以及前进方向或行进方向。车 辆的位置和行进方向可与区域的道路线路图相关联，并且可以识别该道路线路图上的最近 的即将来到的交叉口。交通信号的位置可被确定为是该交叉口的位置。
[0034] 在另一示例中，可利用三角测量来以3D估计交通信号的位置。为了经由三角测量 来以3D估计位置，可以使用检测到的交通信号的两个或更多个图像。例如，可在两个或更 多个图像中检测一交通信号（或多个交通信号）。在一些情况中，可以确定第一图像的交 通信号是与第二图像中的交通信号相同的交通信号。在近仿射运动和/或高帧速率的情况 中，模板跟踪器可用于关联后续图像中的检测到的交通信号。
[0035] 在帧速率较低（例如，4fps)的情况下，可以使用直接运动补偿。如果对于每个图 像已知车辆的确切姿态，则利用描述相机的运动的相机模型来在图像之间对图像之间的俯 仰、偏航和滚转的变化进行校正可能是简单明了的。然而，对交通信号的位置的估计可能需 要考虑到由于车辆的移动（例如，向前运动）引起的图像之间物体的表观运动。在一个示 例中，假定交通灯具有约0. 3米的直径。到具有W的真实宽度和在由具有焦距f的相机拍 摄的图像中具有表观宽度wa的交通灯的距离d可如下得出：

【权利要求】
1. 一种方法，包括： 利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息，其中所述车辆被配 置为在自主模式中运转并且所述目标区域是交通信号通常所位于的一类区域； 在所述目标区域信息中检测交通信号； 确定所述交通信号的位置； 确定所述交通信号的状态； 确定对所述交通信号的置信度，其中确定对所述交通信号的置信度包括将所述交通信 号的位置与交通信号的一个或多个已知位置相比较；以及 基于所述交通信号的状态和对所述交通信号的置信度来在自主模式中控制所述车辆。
2. 如权利要求1所述的方法，其中，所述目标区域在所述车辆前方并且包括对于交通 信号预期的高度范围。
3. 如权利要求1所述的方法，其中，所述目标区域接近交通交叉口。
4. 如权利要求1所述的方法，其中，将所述交通信号的位置与交通信号的一个或多个 已知位置相比较包括： 确定所述交通信号的位置不对应于交通信号的一个或多个已知位置。
5. 如权利要求1所述的方法，其中，所述目标区域信息包括由一个或多个相机获得的 图像，其中在所述目标区域信息中检测交通信号包括在所述图像中识别对于交通信号预期 的红、黄和绿物体的图案。
6. 如权利要求1所述的方法，其中，所述目标区域信息包括三维点云，并且其中，在所 述目标区域信息中检测交通信号包括在所述三维点云中识别具有对于交通信号预期的形 状的物体。
7. 如权利要求1所述的方法，其中，所述目标区域信息包括地理位置和朝向信息，并且 其中，所述交通信号的位置是基于所述地理位置和朝向信息来确定的。
8. 如权利要求7所述的方法，其中，所述交通信号的位置是三维位置，并且所述方法还 包括： 将所述交通信号的三维位置存储在存储器中。
9. 如权利要求1所述的方法，其中，交通信号的一个或多个已知位置是基于交通信号 的三维位置的地图和所述车辆的地理位置来确定的。
10. -种非暂态计算机可读介质，其中存储有指令，所述指令可被计算设备执行来使得 该计算设备执行功能，所述功能包括： 利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息，其中所述车辆被配 置为在自主模式中运转并且所述目标区域包括交通信号通常所位于的一类区域； 在所述目标区域信息中检测交通信号； 确定所述交通信号的位置； 确定所述交通信号的状态； 确定对所述交通信号的置信度，其中确定对所述交通信号的置信度包括将所述交通信 号的位置与交通信号的一个或多个已知位置相比较；以及 基于所述交通信号的状态和对所述交通信号的置信度来在自主模式中控制所述车辆。
11. 如权利要求10所述的非暂态计算机可读介质，其中，所述目标区域在所述车辆前 方并且包括对于交通信号预期的高度范围。
12. 如权利要求10所述的非暂态计算机可读介质，其中，所述目标区域接近交通交叉 □。
13. 如权利要求10所述的非暂态计算机可读介质，其中，所述目标区域信息包括由一 个或多个相机获得的图像，其中在所述目标区域信息中检测交通信号包括在所述图像中识 别对于交通信号预期的红、黄和绿物体的图案。
14. 如权利要求10所述的非暂态计算机可读介质，还包括可被所述计算设备执行来使 得所述计算设备执行功能的指令，该功能包括： 将所述交通信号的位置存储在存储器中，其中所述交通信号的位置是三维位置。
15. 如权利要求10所述的非暂态计算机可读介质，其中，交通信号的一个或多个已知 位置是基于交通信号的三维位置的地图和所述车辆的地理位置来确定的。
16. -种车辆，被配置为在自主模式中运转，包括： 一个或多个传感器； 存储器； 处理器；以及 指令，其被存储在所述存储器中并可被所述处理器执行来： 使得所述一个或多个传感器扫描目标区域以获得目标区域信息，其中所述目标区域包 括交通信号通常所位于的一类区域； 在所述目标区域信息中检测交通信号； 确定所述交通信号的位置； 确定所述交通信号的状态； 确定对所述交通信号的置信度，其中确定对所述交通信号的置信度包括将所述交通信 号的位置与交通信号的一个或多个已知位置相比较；以及 基于所述交通信号的状态和对所述交通信号的置信度来在自主模式中控制所述车辆。
17. 如权利要求16所述的车辆，其中，所述目标区域在所述车辆前方并且包括对于交 通信号预期的高度范围。
18. 如权利要求16所述的车辆，其中，所述目标区域信息包括由一个或多个相机获得 的图像，其中在所述目标区域信息中检测交通信号包括在所述图像中识别对于交通信号预 期的红、黄和绿物体的图案。
19. 如权利要求16所述的车辆，还包括被存储在所述存储器中并可被所述处理器执行 来进行以下操作的指令： 将所述交通信号的位置存储在所述存储器中，其中所述交通信号的位置是三维位置。
20. 如权利要求16所述的车辆，其中，交通信号的一个或多个已知位置是基于交通信 号的三维位置的地图和所述车辆的地理位置来确定的。
【文档编号】B60W10/00GK104411559SQ201380016416
【公开日】2015年3月11日 申请日期:2013年2月4日 优先权日:2012年3月26日
【发明者】N.费尔菲尔德, D.I.弗格森, A.利万多夫斯基 申请人:谷歌公司