用于自动驾驶的可缩放道路标志解释系统的制作方法

本公开涉及车辆道路标志检测和解释系统。

背景技术：

1、现有技术中的道路标志检测和解释系统利用深度卷积神经网络(cnns)和数据驱动算法，该算法学习自动解析标志的图像，并将它们的观测结果分配给一组预定的类别。当应用于现实世界中的自动驾驶时，该方法可以充分地检测日常驾驶的普通道路标志，但是该方法在意外或不常见的情况下是不够的，包括但不限于事故通知消息板和建筑消息板。在现实世界驾驶场景中，这种方法基本上无能为力，因为道路标志可以呈现在训练中不能解决的无数形状和形式。

2、虽然当前的道路标志检测系统实现了它们的预期目的，但是需要一种新的和改进的道路标志解释系统。

技术实现思路

1、根据若干方面，道路标志解释系统包括：安装在车辆上或车辆中的前置摄像机，该前置摄像机收集多个道路标志的图像数据。首先，卷积神经网络(cnn)从前置摄像机接收图像数据，并产生包括一个或多个标志文本实例的标志预测的集合。界定文本提取器的第二cnn从前置摄像机接收图像数据，并提取包括多个标志文本实例的文本候选。在第二cnn中提供标志和标志数据定位，以从多个标志文本实例来计算文本顺序。标志文本合成器模块从第一cnn接收各个标志文本实例，并从光学字符识别器(ocr)接收数字化形式的各个标志文本实例。语义编码和解释模块接收标志文本实例并识别多个道路标志的高级语义。

2、在本公开的另一方面，为ocr提供字符识别算法，该字符识别算法将来自标志文本实例的文本顺序转换成一个或多个机器可读的数字化形式。

3、在本公开的另一方面，规划器和路由器模块接收语义编码和解释模块的输出。由导航路由器部分接收的规划器部分计算路线规划。

4、在本公开的另一方面，除了从车载计算机的存储器保存和检索的数据之外，车载计算机还从摄像机接收图像数据，以执行道路标志解释并生成和显示数据结果。

5、在本公开的另一方面，普通道路标志的图像被保存在车载计算机的存储器中并从其检索，其中摄像机接收与普通道路标志的图像相比较的图像数据。

6、在本公开的另一方面，由前置摄像机提供自我中心视角，该自我中心视角界定了作为第一人称视点的对车辆可见的物体。

7、在本公开的另一方面，第二cnn的文本提取器接收整个图像作为输入，并且第二cnn被应用为分割网络。

8、在本公开的另一个方面，由ocr识别的各个标志文本实例被构造为形成具有长短期记忆网络(lstm)架构的模型，以支持包括字符到单词的输出的有序序列。

9、在本公开的另一方面，通过标志文本合成器模块的操作，以包括从左到右和从上到下的多个标志文本实例的逻辑读取顺序来配置多个标志文本实例中的各个实例。

10、在本公开的另一方面，语句编码器具有馈送到语句编码器中以获得数字特征表示的多个标志文本实例中的各个实例。利用通用语句编码器(use)或任何其他语句编码器来生成完整语句的固定长度特征向量。在计算中应用距离测度，该计算被执行以确定多个标志文本实例中的任意两个文本实例的第一点与多个文本实例中的任意两个文本实例的第二点之间的距离。

11、根据几个方面，解释道路标志的方法包括：从安装在车辆上或车辆中的前置摄像机采集包括多个道路标志的图像数据的图像数据；将来自该前置摄像机的该图像数据馈送到第一卷积神经网络(cnn)中，以产生包括一个或多个标志文本实例的标志预测的集合，并且并行地将来自该前置摄像机的图像数据馈送到第二cnn中，该第二cnn界定文本提取器以提取包括该多个标志文本实例的文本候选项；为该第二cnn提供标志和标志数据定位以从该多个标志文本实例计算文本顺序；将来自该第一cnn的各个标志实例和来自光学字符识别器(ocr)的数字化形式的标志文本实例中的各个标志实例传送到标志文本合成器模块中；将标志文本实例馈送到语义编码和解释模块以识别多个道路标志的高级语义。

12、在本公开的另一方面，该方法包括：将语义编码和解释模块的输出转发给规划器；以及操作该规划器以计算路线规划并将该路线规划馈送到导航路由器。

13、在本公开的另一方面，该方法包括：推荐车辆采用由导航路由器优化过导航的行进时间和距离的路线，并且在自动驾驶车辆的情况下导航车辆或将路线传达给车辆操作者。

14、在本公开的另一方面，该方法包括：检测示例性标志的一般形状和界定该标志的文本记号的一个或多个标志文本实例。

15、在本公开的另一方面，该方法包括：使用ocr来评估文本标志的成员关系，该文本标志的成员关系包括文本是否位于标志文本实例中的一者的边界区域内。

16、在本公开的另一方面，该方法包括：应用ocr的字符识别算法以将标志文本实例的文本顺序转换成机器可读的一个或多个数字化形式。

17、在本公开的另一方面，该方法包括：使用该语义编码和解释模块将多个标志文本实例中的各个标志文本实例编码为固定维度特征向量；并且编码器分类由查找一类标志的最接近匹配标志所组成，并将文本实例分配给最接近匹配标志的同一类。

18、根据几个方面，解释道路标志的方法包括：从安装在车辆上或车辆中的前置摄像机采集包括多个道路标志的图像数据的图像数据；将来自该前置摄像机的该图像数据馈送到第一卷积神经网络(cnn)中，以产生包括一个或多个标志实例的标志预测的集合，并且并行地将来自该前置摄像机的图像数据馈送到第二cnn中，该第二cnn界定文本提取器以提取包括该多个文本实例的文本候选；为该第二cnn提供标志和标志数据定位，以从该多个文本实例计算文本顺序；将来自该第一cnn的各个标志实例和来自光学字符识别器(ocr)的数字化形式的文本实例中的各个标志实例传送到标志文本合成器模块中；将语义编码和解释模块的输出转发给规划器；以及操作该规划器以计算路线规划并将该路线规划馈送到导航路由器。

19、在本公开的另一方面，该方法包括：将文本实例馈送到语义编码和解释模块，以识别多个道路标志的高级语义。

20、在本公开的另一方面，该方法包括：使用导航路由器为车辆推荐优化过导航的行进时间和距离的路线；以及将该路线传送到地图，该地图识别该路线并向车辆操作者呈现具有更新的路径约束的路线。

21、根据在本文提供的描述，其他应用领域将变得显而易见。应当理解，说明书和具体实施例仅用于说明的目的，而不旨在限制本公开的范围。

技术特征：

1.一种道路标志解释系统，包括：

2.根据权利要求1所述的道路标志解释系统，其中，所述多个文本实例包括文本顺序，并且还包括设置有所述光学字符辨识器ocr的字符识别算法，所述字符识别算法将所述多个文本实例的文本顺序转换成一个或多个机器可读的数字化形式。

3.根据权利要求2所述的道路标志解释系统，包括：

4.根据权利要求1所述的道路标志解释系统，其中，所述摄像机界定前置摄像机，并且还包括车载计算机，除了从所述车载计算机的存储器保存和检索的数据之外，所述车载计算机还从所述前置摄像机接收所述图像数据，以执行道路标志解释并产生和显示数据结果。

5.根据权利要求4所述的道路标志解释系统，包括普通道路标志，所述普通道路标志具有保存在所述车载计算机的存储器中并从所述车载计算机的存储器中被检索的图像，其中所述前置摄像机接收与所述普通道路标志的图像进行比较的所述图像数据。

6.根据权利要求1所述的道路标志解释系统，包括自我中心视角，所述自我中心视角将对所述车辆可见的物体界定为由所述摄像机提供的第一人称视点。

7.根据权利要求1所述的道路标志解释系统，其中，所述第二卷积神经网络cnn的文本提取器接收所述多个道路标志的图像数据的全部内容作为输入，并且所述第二卷积神经网络cnn被应用为分割网络。

8.根据权利要求1所述的道路标志解释系统，其中，由所述光学字符辨识器ocr标识的各个文本实例被构造为形成具有长短期记忆网络lstm架构的模型，以支持包括字符到单词的输出的有序序列。

9.根据权利要求1所述的道路标志解释系统，包括通过所述标志文本合成器模块的操作，以包括按照从左到右和从上到下的所述多个文本实例的逻辑读取顺序配置的所述多个文本实例中的各个文本实例。

10.根据权利要求1所述的道路标志解释系统，包括：

技术总结
一种道路标志解释系统包括安装在车辆上或车辆中的前置摄像机用于收集多个道路标志的图像数据。第一卷积神经网络CNN从前置摄像头接收图像数据，并产生包括一个或多个标志文本实例的标志预测的集合。界定文本提取器的第二卷积神经网络CNN从前置摄像机接收图像数据，并提取包括多个标志文本实例的文本候选。在第二卷积神经网络CNN中提供标志和标志数据定位，以从多个标志文本实例计算文本顺序。标志文本合成器模块从第一卷积神经网络CNN接收各个标志文本实例，并从光学字符识别器OCR接收数字化形式的各个标志文本实例。语义编码和解释模块接收标志文本实例并识别多个道路标志的语义。

技术研发人员：J·许,K·山田,M·J·戴利,A·埃斯纳·阿什里·伊斯法哈尼,H·权,D·M·陈,A·佩里,J·兰普金斯
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：
技术公布日：2024/2/25