交通标志检测方法及相关设备与流程

本申请涉及智能交通应用领域，具体涉及一种交通标志检测方法及相关设备。

背景技术：

如今，随着智能交通系统在如智能驾驶、无人驾驶等场景的应用，地图服务设备通常会基于车辆行驶的起始位置和目标位置之间的交通情况，为车载终端提供道路引导数据，以引导车辆安全、顺畅行驶到目的地。

以地图导航场景为例，通常是由车载终端联网，向地图服务设备发送导航请求，以使地图服务器响应该导航请求，确定地图采集员使用图像采集设备所采集到的相应道路图像，反馈至车载终端进行展示，来指引车辆行驶。

然而，在实际应用中，往往会因外界环境或车载终端自身等各种因素，导致地图服务设备与车载终端之间的网络通信异常，出现数据延时或接收失败等问题，从而降低车辆行驶导航的实时性和可靠性，甚至会威胁自动驾驶车辆的行驶安全性。

技术实现要素：

有鉴于此，本申请提出了以下技术方案：

一方面，本申请提出了一种交通标志检测方法，所述方法包括：

获取车辆行驶方向上的交通实景图像；

对所述交通实景图像进行压缩处理，得到待检测图像；所述待检测图像的分辨率小于所述交通实景图像的分辨率；

对所述待检测图像进行主交通标志检测，依据主交通标志检测结果，获得存在与检测到的第一主交通标志相匹配的第一辅助交通标志的潜在图像区域；所述潜在图像区域包括所述交通实景图像的局部图像区域；

对所述潜在图像区域进行辅助交通标志检测，依据辅助交通标志检测结果，获取检测到的所述第一辅助交通标志映射在所述交通实景图像的目标位置信息。

在一些实施例中，所述对所述待检测图像进行主交通标志检测，依据主交通标志检测结果，获得存在与检测到的第一主交通标志相匹配的第一辅助交通标志的潜在图像区域，包括：

将所述待检测图像输入主交通标志检测网络，获得所述交通实景图像包含的第一主交通标志；

以所述交通实景图像包含的第一主交通标志为参照物，确定存在与所述第一主交通标志相匹配的第一辅助交通标志的局部图像区域；

由确定的所述局部图像区域构成潜在图像区域。

在一些实施例中，所述以所述交通实景图像包含的第一主交通标志为参照物，确定存在与所述第一主交通标志相匹配的第一辅助交通标志的局部图像区域，包括：

在所述交通实景图像中，以获得的所述第一主交通标志为中心向周围扩散预设距离，得到存在与所述第一主交通标志相匹配的第一辅助交通标志的局部图像区域。

在一些实施例中，在以获得的所述第一主交通标志为中心向周围扩散预设距离的过程中，所述方法还包括：

检测到所述第一主交通标志与第一图像边界的第一边界距离小于所述预设距离；所述第一图像边界是指所述第一扩散方向上所述交通实景图像的边界；

在所述第一扩散方向上从所述第一主交通标志扩散至所述第一图像边界，按照第一图像填充方式继续进行图像填充扩散，直至所述第一扩散方向上的扩散距离达到所述预设距离；

所述由确定的所述局部图像区域构成潜在图像区域，包括：

由得到的所述交通实景图像中的所述局部图像区域以及图像填充区域，构成存在所述第一辅助交通标志的潜在图像区域。

在一些实施例中，所述以所述交通实景图像包含的第一主交通标志为参照物，确定存在与所述第一主交通标志相匹配的第一辅助交通标志的局部图像区域，包括：

依据所述交通实景图像包含的第一主交通标志的标志类型，获取所述标志类型的主交通标志对应的第一位置部署关系；其中，所述第一位置部署关系是指交通道路设施中，所述标志类型的主交通标志，与该主交通标志相匹配的辅助交通标志之间的相对位置关系；

依据所述第一位置部署关系，从所述交通实景图像中，确定存在与所述第一主交通标志相匹配的第一辅助交通标志的局部图像区域。

在一些实施例中，所述由确定的所述局部图像区域构成所述潜在图像区域，包括：

将确定的所述局部图像区域的面积与预设辅助交通标志检测面积进行比较；

若所述局部图像区域的面积小于所述预设辅助交通标志检测面积，对所述局部图像区域进行放大处理，得到具有所述预设辅助交通标志检测面积的潜在图像区域；

若所述局部图像区域的面积大于所述预设辅助交通标志检测面积，对所述局部图像区域进行压缩处理，得到具有所述预设辅助交通标志检测面积的潜在图像区域；

其中，所述潜在图像区域的分辨率小于所述交通实景图像的分辨率。

在一些实施例中，所述对所述潜在图像区域进行辅助交通标志检测，依据辅助交通标志检测结果，获取检测到的所述第一辅助交通标志映射在所述交通实景图像的目标位置信息，包括：

将所述潜在图像区域输入辅助交通标志检测网络，得到所述潜在图像区域包含的第一辅助交通标志，以及所述第一辅助交通标志在所述潜在图像区域中的区域位置信息；

获取所述潜在图像区域在所述交通实景图像中的潜在区域位置信息；

依据所述潜在图像区域的获得方式以及所述潜在区域位置信息，对所述区域位置信息进行坐标转换处理，得到所述第一辅助交通标志在所述交通实景图像中的目标位置信息。

在一些实施例中，若所述第一主交通标志的数量为多个，所述获得存在与检测到的第一主交通标志相匹配的第一辅助交通标志的潜在图像区域，包括：

依据检测到的多个第一主交通标志，获得所述多个第一主交通标志各自相匹配的第一辅助交通标志分别存在的潜在图像区域；其中，所述潜在图像区域包含相应的所述第一辅助交通标志，以及至少部分与该第一辅助交通标志相匹配的所述第一主交通标志；

所述对所述潜在图像区域进行辅助交通标志检测包括：

对获得的每一个所述潜在图像区域进行辅助交通标志检测。

在一些实施例中，所述依据所述潜在图像区域的获得方式以及所述潜在区域位置信息，对所述区域位置信息进行坐标转换处理，得到所述第一辅助交通标志在所述交通实景图像中的目标位置信息，包括：

确定获得所述潜在图像区域过程中，对所述交通实景图像的图像填充数据，以及对从所述交通实景图像得到的存在所述第一辅助交通标志的局部图像区域的缩放比例；其中，所述图像填充数据包括不同扩散方向上的填充距离；所述潜在图像区域是对所述局部图像区域是压缩或放大处理得到的；

利用所述不同扩散方向上的填充距离、所述缩放比例以及所述潜在区域位置数据，对得到的所述区域位置信息进行还原处理，得到所述第一辅助交通标志在所述交通实景图像的目标位置信息。

在一些实施例中，所述方法还包括：

依据所述目标位置信息，对所述交通实景图像进行渲染；

输出渲染得到的导航图像，在所述导航图像中展示检测到的所述第一主交通标志，以及与所述第一主交通标志相匹配的第一辅助交通标志；或者，

在所述导航图像中弹出交通提示窗口，由所述交通提示窗口展示针对所述第一辅助交通标志的交通提示信息；所述交通提示信息是基于所述第一辅助交通标志的辅助交通指示信息，以及本车辆的行驶状态信息和/或系统时间确定的；或者，

对所述交通提示信息进行语音播报。

在一些实施例中，所述方法还包括：

依据所述目标位置信息，获得相应第一辅助交通标志的辅助交通指示信息；

利用所述目标位置信息和所述辅助交通指示信息，获得相应第一辅助交通标志在所述交通实景图像中的结构化感知结果；

将所述结构化感知结果上报至地图服务设备，由所述地图服务设备利用所述结构化感知结果更新相应地图数据。

在一些实施例中，所述方法还包括：

依据所述目标位置信息，获得所述车辆与相应的所述第一附属交通标志之间的相对距离；

获取所述交通实景图像包含的第一主交通标志的主交通指示信息，以及与该第一主交通标志相匹配的第一辅助交通标志的辅助交通指示信息；

利用所述相对距离、所述主交通指示信息以及所述辅助交通指示信息，生成所述车辆行驶方向上的道路引导消息；

对所述道路引导消息进行语音播报。

又一方面，本申请还提出了一种交通标志检测装置，所述装置包括：

交通实景图像获取模块，用于获取车辆行驶方向上的交通实景图像；

待检测图像得到模块，用于对所述交通实景图像进行压缩处理，得到待检测图像；所述待检测图像的分辨率小于所述交通实景图像的分辨率；

潜在图像区域获得模块，用于对所述待处理交通图像进行主交通标志检测，依据主交通标志检测结果，获得存在与检测到的第一主交通标志相匹配的第一辅助交通标志的潜在图像区域；所述潜在图像区域包括所述交通实景图像的局部图像区域；

目标位置信息获取模块，用于对所述潜在图像区域进行辅助交通标志检测，依据辅助交通标志检测结果，获取检测到的所述第一辅助交通标志映射在所述交通实景图像的目标位置信息。

又一方面，本申请还提出了一种终端设备，所述终端设备包括：

通信接口；

存储器，用于存储实现如上所述的交通标志检测方法的程序；

处理器，用于加载并执行所述存储器存储的程序，以实现如上述的交通标志检测方法的各步骤。

又一方面，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器调用并执行，实现如上述的交通标志检测方法。

基于上述技术方案，本申请提出直接由车载终端采集本车辆行驶方向上的交通实景图像，由本地的车载终端识别其包含的辅助交通标志，整个检测过程无需依赖服务器，避免了通信网络不顺畅而带来的各种问题。而且，为了适用于计算能力较差的车载终端，本申请将实时采集到的交通实景图像进行压缩处理，降低图像分辨率，对得到的分辨率较低的待检测图像进行主交通标志检测，定位交通实景图像中的第一主交通标志，相对于直接对交通实景图像进行交通标志检测的处理方式，大大降低了对车载终端的资源占用，在实现对尺寸较大的主交通标志的可靠检测的同时，避免了处理过程卡顿或死机，而影响检测效率。

之后，车载终端将依据主交通标志检测结果这一先验知识，获得交通实景图像中存在与检测到的第一主交通标志相匹配的第一辅助交通标志的潜在图像区域，再对其进行辅助交通标志检测，能够快速且准确地得到辅助交通标志检测结果，即获取该第一辅助交通标志在交通实景图像的目标位置信息。可见，相对于直接从本地采集的交通实景图像中检测辅助交通标志的处理方式，本申请在保证精准定位交通实景图像中的辅助交通标志的同时，极大减少了整个交通标志检测过程的计算量非常小，保证本地计算能力较差的车载终端足够支持实现，满足不同应用场景对辅助交通标志的精准检测需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了实现本申请提供的交通标志检测方法的终端设备的一可选示例的硬件结构示意图；

图2示出了实现本申请提供的交通标志检测方法的终端设备的又一可选示例的硬件结构示意图；

图3示出了本申请提出的交通标志检测方法的一可选示例的流程示意图；

图4示出了本申请提出的交通标志检测方法中，主交通标志与其相匹配的辅助交通标志的位置关系示意图；

图5示出了本申请提出的交通标志检测方法的又一可选示例的流程示意图；

图6示出了本申请提出的交通标志检测方法中，从交通实景图像中获得潜在图像区域的一可选实现方式的流程示意图；

图7示出了本申请提出的交通标志检测方法中，从交通实景图像中获得潜在图像区域的又一可选实现方式的流程示意图；

图8示出了本申请提出的交通标志检测方法的又一可选示例的应用流程示意图；

图9示出了本申请提出的交通标志检测装置的一可选示例的结构示意图；

图10示出了本申请提出的交通标志检测装置的又一可选示例的结构示意图；

图11示出了适用于本申请提出的交通标志检测方法和装置的一可选应用环境的系统架构示意图。

具体实施方式

针对背景技术部分描述的技术问题，本申请提出由车辆上的终端设备(即车载终端)，来实现交通标志(即用文字或符号传递引导、限制、警告或指示信息的道路设施，可以包括主交通标志及其对应的较小尺寸的辅助交通标志)的实时检测，从而依据检测到的交通标志所包含或表征的交通指示信息，来精准且可靠地控制或指引车辆行驶，提高车辆行驶安全性。

具体的，可以由车辆上本地的图像采集设备获取车辆行驶方向上的交通实景图像，相对于地图采集员预先采集并上报的道路图像，该交通实景图像包含的信息内容与行驶道路设施一致，能够包含行驶道路增加的各种交通标志，这样，将交通实景图像发送至本地车载终端中的处理器，以输入目标检测网络进行交通标志检测，确定该交通实景图像包含的各交通标志，进而通过对检测到的交通标志进行语义或文本识别等处理，得到相应的交通指示信息，以使得车辆驾驶员或车载终端能够及时且准确得知当前行驶道路的交通情况，据此可以及时调整车辆行驶方向、速度等，保证车辆行驶安全性、导航可靠性。

然而，由于图像采集设备直接采集到的交通实景图像的分辨率通常比较高，且道路上安装的交通标志包括有面积较大的主交通标志，也有面积较小的辅助交通标志，这样，为了保证对辅助交通标志的可靠检测，避免过度下采样而导致辅助交通标志的特征消失，可以直接将高分辨率的交通实景图像输入目标检测网络(即交通标志检测网络)进行交通标识检测，虽然能够保留在整个图像中所占面积较小目标的特征，但该检测过程的计算量非常庞大，对于本地车辆中计算能力较差的终端设备，如配置较低计算能力的嵌入式系统的车载终端等来说，将无法支持该检测方法的顺利运行，可能会出现卡顿、死机等问题。

针对上述问题，提出先对采集到的高分辨率的交通实景图像进行下采样等压缩处理，降低图像的分辨率后，再输入目标检测网络进行交通标志检测。但这种方式很容易造成面积较小的辅助交通标志的特征消失，导致目标检测失败。对此，本申请进一步提出对采集的交通实景图像进行下采样处理后，先检测其中较大面积的主交通标志，再利用检测到的主交通标志这一先验知识，在交通实景图像中确定位于该主交通标志附近的与其相匹配的辅助交通标志所在的潜在图像区域，此时，由于交通标志是该潜在图像区域的主要特征，本申请直接对该潜在图像区域进行辅助交通标志检测，相对于直接采集的高分辨率的交通实景图像进行交通标志检测，极大降低了图像处理的计算量，提高了辅助交通标志的检测效率和准确性，从而保证车辆行驶控制或引导的实时性和精准度。

而且，本申请提出的这种交通标志检测方法，在运行过程中占用的计算资源较低，能够更好地适用于具有较低计算能力的终端设备，直接由车辆本地的终端即可实现，能够更好地满足不同场景下的检测需求；且由于车载终端无需联网，依赖地图服务器实现交通标志检测，也就避免了因网络通信异常，导致数据延迟或接收失败，降低交通标志检测结果对车辆行驶自动控制或指引的实时性和准确性。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，如在不冲突的情况下，将本申请中的实施例及实施例中的特征可以相互组合，都属于本申请保护的范围。

应当理解，本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

参照图1，为实现本申请提供的交通标志检测方法的终端设备的一可选示例的硬件结构示意图，在实际应用中，该终端设备可以包括但并不局限于智能手机、平板电脑、台式计算机、上网本、智能手表、增强现实技术(augmentedreality，ar)设备、虚拟现实(virtualreality，vr)设备、车载设备等具有较低计算能力的设备。本申请对该终端设备的产品类型不做限定，可视情况而定。如图1所示，本实施例提出的终端设备可以包括但并不局限于：通信接口11、存储器12和处理器13，其中：

通信接口11、存储器12、处理器13各自的数量可以是至少一个，且通信接口11、存储器12以及处理器13可以连接通信总线，相互之间可以通过该通信总线实现数据交互，具体实现过程可以根据实际应用需求确定，本申请不做详述。

通信接口11可以为适用于无线网络或有线网络的通信模块的接口，如gsm模块、wifi模块、蓝牙模块、无线射频模块、5g/6g(第五代移动通信网络/第六代移动通信网络)模块等通信模块的通信接口，可以实现与其他设备的数据交互。本实施例中，可以用于传输图像采集设备所采集的交通实景图像，以使处理器13按照本申请提出的交通标志检测方法，得到交通实景图像中各类型交通标志的位置信息，将其反馈至其他设备输出或进一步处理等，具体可以根据实际应用需求确定，本申请实施例在此不做详述。

可以理解，上述通信接口11还可以包括如usb接口、串/并口等接口，用以实现计算机设备内部组成部件之间的数据交互。关于该通信接口11包含的接口类型及数量，可以根据该计算机设备的设备类型及其应用需求确定，本申请不做一一详述。

存储器12可以用于存储实现本申请提出的交通标志检测实现方法的程序(其包括有多个计算机操作指令)；处理器13可以用于加载并执行存储器12存储的程序，以实现本申请实施例提出的交通标志检测方法的各步骤，具体实现过程可以参照但并不局限于下文方法实施例相应部分的描述，本实施例在此不做详述。

本申请实施例中，存储器12可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。具体可以为随机存储记忆体(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、可擦除可编程只读存储器(erasableprogrammableread-onlymemory，eprom)、或便携式只读存储器(compactdiscread-onlymemory，cd-rom)等，本申请对计算机设备包含的存储器12的类型及数量不做限制，可视情况而定。

处理器13可以包括但并不局限于：中央处理器(centralprocessingunit，cpu)、特定应用集成电路(application-specificintegratedcircuit，asic)、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件等，可依据场景需求确定处理器13包含的器件类型和数量，本申请对此不做限制。

在又一些实施例中，在上述终端设备为上文列举的智能手机、车载设备等设备的情况下，参照图2所示的终端设备的又一可选示例的结构示意图，该终端设备还可以包括如感应触摸显示面板上的触摸事件的触摸感应单元、拾音器等输入设备；显示器、扬声器、振动机构、灯等至少一个输出设备；电源模组；传感器模组；天线等，可以依据实际需求确定，本申请在此不做一一详述。

这样，在该又一些实施例的实际应用中，终端设备按照本申请提出的交通标志检测方法，高效且精准地检测本地采集的交通实景图像中主交通标志及其对应的辅助交通标志，在不同应用场景中，可以依据检测到的辅助交通标志在交通实景图像的目标位置信息，得到相应的应用需求数据，如在导航场景下，可以依据该目标位置信息，对该交通实景图像进行语义识别，得到辅助交通指示信息，之后，可以结合车辆行驶状态信息和/或系统时间等，生成相应的交通提示信息，再通过语音播报或弹出提示框输出，提醒驾驶员在需要时及时调整车辆行驶车道、车速等，但并不局限于这种车辆导航应用场景，对于其他应用场景实现过程类似，本申请不做一一列举。

当然，对于本申请从实时采集到的交通实景图像中，检测到的主交通标志及其相匹配的辅助交通标志后，也可以依据该检测结果，更新地图服务设备中的相应地图数据，这样，对于后续访问该路段的地图时，将获得包含该主交通标志及其相匹配的辅助交通标志的地图数据，甚至可以参照上述方式，对该辅助交通标志的辅助交通提示信息，和/或由此得到的交通提示信息进行展示，以提高在线地图导航的精准度和可靠性。

应该理解的是，图1所示的终端设备的结构并不构成对本申请实施例中终端设备的限定，在实际应用中，终端设备可以包括比图1所示的更多或更少的部件，或者组合某些部件，可以结合该终端设备的设备类型及功能需求确定，本申请在此不做一一列举。

参照图3，为本申请提出的交通标志检测方法的一可选示例的流程示意图，该方法可以适用于上述终端设备，该终端设备可以是位于具有较低计算能力的车载终端，本申请对该车载终端的具体产品类型不做限制，可依据具体应用场景确定。如图3所示，本实施例提出的交通标志检测方法可以包括但并不局限于以下步骤：

步骤s11，获取车辆行驶方向上的交通实景图像；

步骤s12，对该交通实景图像进行压缩处理，得到待检测图像；该待检测图像的分辨率小于交通实景图像的分辨率；

结合上文对本申请技术构思的相关描述，为了保证道路引导可靠和精准度，本申请由位于本车辆中的图像采集设备，如行车记录仪、安装在车辆挡风玻璃上且镜头朝向车辆行驶方向的摄像头等，来实时或周期性地采集车辆行驶方向上的交通实景图像，本申请对交通实景图像的具体采集实现方法不做限制，可视情况而定。

之后，图像采集设备可以将采集到的交通实景图像发送至终端设备的处理器进行图像处理，具体可以采用目标检测算法，来检测其中的各类交通标志，以实现车辆行驶的道路引导。由于目标检测网络的输入图像的面积(即尺度)通常是确定的，但对于不同类型的图像采集设备，其工作性能不同，在同一场景下所采集到的图像面积和/或分辨率等属性信息均可能不同，所以说，直接采集到的交通实景图像的属性信息可能不符合目标检测网络的输入格式要求，本申请可以依据该输入格式要求对交通实景图像进行预处理。

同时，考虑到终端设备所能够提供的计算资源有限，为了减小图像处理过程中的计算量，本申请提出对直接采集到的交通实景图像进行压缩处理，如图像像素下采样等，来得到具有特定面积且分辨率较低的待检测图像，也就是说，本申请可以采用有损压缩方式，对较高分辨率的交通实景图像进行压缩处理，具体压缩实现过程不做详述。可以理解这种有损压缩方式所产生的图像损失，并不会对主交通标志这一目标的检测结果造成影响，即在本申请允许的图像失真范围内。

在又一些实施例中，若图像采集设备直接采集到的交通实景图像的分辨率比较低，且图像面积符合目标检测网络的输入图像格式要求，也可以不用对其进行压缩处理，直接将其作为待检测图像进行后续处理。所以，在实际应用中，可以检测交通实景图像的面积是否大于预设主交通标识检测面积，分辨率是否大于分辨率阈值，若是，执行上述步骤s12；若检测结果都是否，可以将该交通实景图像确定为待检测图像。

步骤s13，对待检测图像进行主交通标志检测，依据主交通标志检测结果，获得存在与检测到的第一主交通标志相匹配的第一辅助交通标志的潜在图像区域；

对于交通道路上部署的交通标志，通常包含主交通标志及其相匹配的辅助交通标志，该辅助交通标志通常位于主交通标志附近，如图4所示，辅助交通标志通常用以说明主交通标志作用的时间范围、路段范围、对象范围等，以准确解析主交通标志的含义，其面积通常比较小，本申请对主交通标志及其相匹配的辅助交通标志各的内容，以及两者之间的相对位置关系不做限制，可视情况而定。

继上文图像压缩处理后，得到的待检测图像的分辨率较小，对于在整个待检测图像中所占面积较小的辅助交通标志，为了避免目标检测网络过度下采样而导致辅助交通标志特征消失，导致检测失败，如上文对本申请技术构思的相关描述，本申请将对待检测图像中所占面积较大的主交通标志进行目标检测，从而定位交通实景图像中的主交通标志，再利用主交通标志与辅助交通标志之间的邻近位置关系，确定存在辅助交通标志的局部图像区域，构成检测辅助交通标志的潜在图像区域。显然，相对于交通实景图像，本申请确定出的潜在图像区域包含的使其局部区域，所包含的图像特征大大减少，且在该潜在图像区域中大部分为交通标志的图像特征，有助于快速且准确地识别出辅助交通标志所在区域。

需要说明，上述主交通标志检测结果可以包括检测到的第一主交通标志在交通实景图像中的区域位置，为了得到该主交通标志检测结果，本申请实施例可以利用主交通标志检测网络，对待检测图像进行主交通标志检测，定位待检测图像包含的每一个主交通标志(为了方便后续方案描述，本申请将检测到的该主交通标志记为第一主交通标志)所在区域后，依据该待检测图像与交通场景图像之间的缩放关系，定位交通场景图像中第一主交通标志所在区域，具体实现过程本申请不做限制。

由此可见，本申请获得的潜在图像区域，可以是该交通实景图像的局部图像区域(如主交通标志位于交通实景图像相对中间位置等)，或是部分为该交通实景图像的局部图像区域，另一部分为基于该局部图像区域填充得到的填充图像区域(其适用于第一主交通标志位于交通场景图像的边缘位置等场景)，这种情况下，该潜在图像区域可以包括该局部图像区域和填充图像区域。所以说，上述潜在图像区域可以包括相应的第一辅助交通标志，以及至少部分与该第一辅助交通标志相匹配的第一主交通标志，具体可以依据实际情况来确定潜在图像区域包含的图像内容，本申请对此不做限制。相对于整个交通实景图像，潜在图像区域大大减少了包含的道路元素以及图像特征，这样，对该潜在图像区域进行目标检测，极大提高了目标检测效率和精准度。

步骤s14，对该潜在图像区域进行辅助交通标志检测，依据辅助交通标志检测结果，获取检测到的所述第一辅助交通标志映射在所述交通实景图像的目标位置信息。

继上文描述，本申请实施例定位到交通实景图像包含的第一主交通标志，由此从交通实景图像中，获得位于其附近与其相匹配的第一辅助交通标志的潜在图像区域后，为了实现对第一辅助交通标志的准确且快速检测，本申请实施例将该潜在图像区域作为后续目标检测的输入图像，实现对辅助交通标志这类目标的检测。

可以理解，由于在该潜在图像区域中，辅助交通标志成为大面积目标，即便该潜在图像区域的分辨率较低，目标检测网络对其执行过度下采样，也能够成功采样到辅助交通标志，保证在较低计算能力的计算机设备上可靠实现辅助交通标志的精准检测，本申请对如何实现潜在图像区域的辅助交通标志检测的方法不做限制。

在实际应用中，关于上述主交通标志检测和辅助交通标志检测的具体实现方法，为了进一步提高目标检测效率和准确性，本申请可以采用人工智能(artificialintelligence,ai)技术包含的如机器学习、深度学习等技术，训练得到相应的目标检测模型，调用相应的目标检测模型实现。其中，人工智能技术是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

机器学习和深度学习作为人工智能的核心，是使计算机具有智能的根本途径，在实际应用中，可以采用如人工神经网络、置信网络、强化学习、迁移学习、归纳学习等算法，实现相应模型或网络结构的学习训练，以满足具体应用需求。本申请实施例中，可以利用如卷积神经网络算法等，来训练主交通标志检测网络(即主交通标志检测模型)/辅助交通标志检测网络(即辅助交通标志检测模型)，以实现对相应输入图像的目标(即主交通标志或辅助交通标志)检测，确定输入图像包含的相应交通标志所在区域，具体实现过程本申请不做详述。

应该理解的是，按照上述方式若检测出交通实景图像包含多个第一主交通标志，可以按照上述处理方式，来确定每一个第一主交通标志相匹配的第一辅助交通标志的潜在图像区域，即得到多个第一辅助交通标志各自的潜在图像区域，之后，对于每一个潜在图像区域均可以按照上述方式进行目标检测，定位出每一个潜在图像区域实际包含的第一辅助交通标志，检测过程相同，本申请实施例不做一一详述。

由上文描述的辅助交通标志检测过程可知，本申请实施例直接检测到的是第一辅助交通标志的区域位置，实际是潜在图像区域中的第一辅助交通标志的区域位置，即该区域位置是指在潜在图像区域这一图像坐标系下的位置，即由该潜在图像区域中的图像像素位置表示，但由于潜在图像区域并不是直接采集到的交通实景图像中的图像区域，该区域位置无法直接表示第一辅助交通标志在交通实景中的位置，需要进一步进行位置转换，将其映射到交通实景图像中，才能够用以实现车辆道路引导、地图热更新、自动驾驶控制等。

因此，本申请在检测到的潜在图像区域中的第一辅助交通标志，在该潜在图像区域的坐标系下的位置信息后，可以依据该潜在图像区域与交通实景图像之间的图像位置关系，获得第一辅助交通标志在交通实景图像中的目标位置信息，即将潜在图像区域的坐标系下的位置信息，转换到交通实景图像的坐标系下，以得到同一辅助交通标志在交通实景图像中的位置检测结果。需要说明，本申请对不同图像坐标系下，同一区域的位置坐标转换处理的实现方法不做限制，可视情况而定。

所以说，本申请所获取的如上目标位置信息是第一辅助交通标志在交通实景图像中的区域位置，其能够表征该第一辅助交通标志在实景道路上的坐标位置，这样，在不同的应用场景下，可以据此对交通实景图像进行处理，或结合本车辆的行驶状态信息(如车辆当前所处位置、行驶速度/加速度、行驶方向等)、系统时间等其他场景信息进行分析，得到可靠且精准满足该应用场景需求的数据，如渲染得到的包含辅助交通标志的导航图像、指引车辆行驶方向/速度等参数的交通提示信息、用以更新相应地图数据的结构化数据等。本申请对不同应用场景对检测到的每一帧交通实景图像中辅助交通标志的目标位置信息的使用方式不做限制，可视情况而定。

在又一些实施例中，本申请还可以利用计算机视觉技术，来实现对交通标志进行追踪识别。其中，计算机视觉技术是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。因此，其通常被应用到图像处理、图像识别、图像语义理解、图像检索、ocr(opticalcharacterrecognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实vr、增强现实ar、同步定位与地图构建等领域，以及人脸识别、指纹识别等生物特征识别应用场景。

基于此，在该实施例中，若需要进一步识别所检测到交通标志所包含或表征的交通指示信息，可以利用计算机视觉技术对交通标志区域图像进行语义识别，后续可以直接对所得到的交通指示信息，或者是结合车辆行驶状态、系统时间等参数生成的交通提示信息等进行语音播报，或更精准地实现ar导航图像的渲染等，实现更加准确、智能的导航规划，或将对各类交通标志在交通实景图像中的结构化感知结果上传至地图服务设备，以实时更新相应的地图数据，提高在线地图数据的精准度，具体实现过程本申请在此不做详述。

综上所述，对于本地具有较低计算能力的车载终端，得到本地采集到车辆行驶方向上高分辨率的交通实景图像后，可以对其进行压缩处理，降低图像分辨率，再对得到的分辨率较低的待检测图进行主交通标志检测，定位交通实景图像中的第一主交通标志，该目标检测过程的计算量较小，终端设备具有的计算资源能够支持的主交通标志检测的实现，之后，将依据主交通标志检测结果这一先验知识，获得交通实景图像中存在与检测到的第一主交通标志相匹配的第一辅助交通标志的潜在图像区域，对其进行辅助交通标志检测，能够快速且准确地得到辅助交通标志检测结果，据此获取其映射到交通实景图像的目标位置信息，从而在保证精准定位交通实景图像中的辅助交通标志的同时，极大减少了整个交通标志检测过程的计算量非常小，进而使得车载终端能够实时且精准地实现车辆控制，提高车辆行驶安全性及用户驾驶体验。

参照图5，为本申请提出的交通标志检测方法的又一可选示例的流程示意图，本申请实施例可以是上文实施例描述的交通标志检测方法的一可选细化实现方法，但并不局限于本实施例描述的这种细化实现方法，如图5所示，该方法可以包括：

步骤s21，获取车辆行驶方向上的交通实景图像；

步骤s22，按照预设压缩比，对该交通实景图像进行压缩取样，得到待检测图像；

关于步骤s21和步骤s22的具体实现过程，可以参照上述实施例相应部分的描述，本实施例不做赘述。

步骤s23，将待检测图像输入主交通标志检测网络，得到待检测图像包含的第一主交通标志；

本申请实施例中，主交通标志检测网络是用于检测主交通标志这类目标的目标检测网络，结合上文实施例相应部分的描述，可以预先基于卷积神经网络(或其他机器学习/深度学习网络)，对包含各类主交通标志的第一样本图像进行训练，直至满足训练约束条件，如训练次数达到预设次数、训练所得网络的检测准确率达到准确率阈值或损失值小于损失阈值等，将最终训练得到的卷积神经网络确定为主交通标志检测网络，即主交通标志检测模型。本申请对主交通标志检测网络的具体训练实现过程不做详述。

这样，在实际应用中，按照上述方式得到较低分辨率的待检测图像后，可以调用预训练的主交通标志检测网络，将本次获得的待检测图像输入该主交通标志检测网络，由其包含的多个卷积层进行特征提取，从而依据提取到的特征图，确定该待检测图像包含的主交通标志的检测框，即确定待检测图像包含的主交通标志的位置信息。

继上文描述，由于待检测图像的分辨率较低，大大减小了卷积层的特征提取计算量，且由于主交通标志的尺寸往往比较大，在整个交通场景图像中所占面积相对较大，这样，即便将交通场景图像压缩到较低分辨率，仍会保留主交通标志的特征，从而保证主交通标志检测网络能够可靠且高效地，识别出待检测图像包含的一个或多个主交通标志，记为第一主交通标志。

步骤s24，依据预设压缩比，对得到的待检测图像包含的第一主交通标志进行位置修正处理，定位交通实景图像包含的该第一主交通标志；

如上文对本申请技术构思的描述，由于辅助交通标志在整个待检测图像中的面积相对比较小，目标检测网络直接对待检测图像进行辅助交通标志检测，很容易因过度下采样而导致检测失败，为了解决这一问题，本申请将先对待检测图像中，面积较大的主交通标志进行目标检测，得到主交通标志在待检测图像中的区域位置。

由于待检测图像相对于交通实景图像进行了压缩处理，待检测图像包含的像素点数小于交通实景图像包含的像素点数，因此，这两个图像中同一对象的位置表示是不同的，所以，为了更精准地实现附属交通标志的检测，在获取存在附属交通标志的局部图像区域时，将从直接采集到的交通实景图像中获取，这样就需要将得到主交通标志在待检测图像中的区域位置，映射到直接采集到的交通实景图像中，即定位交通实景图像中第一主交通标志，具体实现过程本申请不做详述。

其中，参照图6所示的场景流程示意图，交通实景图像中第一主交通标志的检测结果，可以由相应的检测框所在的位置区域，因此，该第一主交通标志在交通实景图像中的位置可以由该检测框所在位置标识，而该检测框的位置可由该检测框对角像素点的坐标表示，但并不局限于这种表示方式，可视情况而定。

步骤s25，以交通实景图像包含的第一主交通标志为参照物，确定存在与第一主交通标志相匹配的第一辅助交通标志的局部图像区域；

继上文描述，在确定出交通实景图像中的第一主交通标志所在区域之后，如上图4所示，由于辅助交通标志通常位于主交通标志附近，本申请可以参照第一主交通标志在交通实景图像中的位置，确定出该交通实景图像中第一辅助交通标志所在的局部图像区域。

在一种可能的实现方式中，参照图6所示的场景处理流程示意图，本申请可以在交通实景图像中，可以以定位的第一主交通标志为中心向周围扩散预设距离，将形成的封闭区域确定为存在与第一主交通标志相匹配的第一辅助交通标志的局部图像区域，但并不局限于这种确定局部图像区域的实现方式，且本申请对预设距离的具体数值不做限制，可以依据但并不局限于主交通标志与辅助交通标志之间的相对位置关系，以及各自的尺寸大小等因素确定，且，该局部图像区域可以是圆形区域或正方形区域等，本申请对该局部图像区域的形状不做限制，可视情况而定。

在又一种可能的实现方式中，在以第一主交通标志为中心向周围扩散过程中，对于不同的扩散方向的扩散距离可以不同，并不限于上文实施例描述的同等距离(如上述预设距离)的扩散方式，按照这种不同扩散方式所确定的局部图像区域可能为长方形、椭圆形或不规则图形等，本申请在此不做一一详述。

需要说明，在以第一主交通标志为中心向周围扩散过程中，如图7所示的场景流示意图中上边附图所示的交通实景图像，若第一主交通标志位于靠近交通实景图像的某一边界，那么，在相应的第一扩散方向上进行区域扩散时，该第一扩散方向将先到达交通实景图像的边界，即检测到第一主交通标志与第一图像边界的第一边界距离小于预设距离；该第一图像边界是指第一扩散方向上交通实景图像的边界，此时，为了能够继续扩散且扩散的区域具有图像特征，在第一扩散方向上从第一主交通标志扩散至第一图像边界时，本申请可以采用按照第一图像填充方式，在第一扩散方向继续进行图像填充扩散，直至第一扩散方向上的扩散距离达到预设距离或该第一扩散方向对应的预设扩散距离等，本申请对第一图像填充方式包含的图像填充实现过程不做详述。

可见，本实施例确定存在第一辅助交通标志的图像区域过程中，按照上述方式从交通实景图像中，确定出局部图像区域仍未满足扩散要求，将在该局部图像区域基础上继续进行图像填充扩散，具体实现过程包括但并不局限于上文描述的实现方式。

在又一种可能的实现方式，在实际安装主交通标志和辅助交通标志时，通常是按照特定的规则实现的，从而使同一标志类型的主交通标志与其辅助交通标志之间的位置部署关系基本固定，如上下关系或左右关系等，因此，在确定局部图像区域过程中，本申请也可以依据第一主交通标志的标志类型，获取标志类型的主交通标志对应的第一位置部署关系；其中，该第一位置部署关系是指交通道路设施中，该标志类型的主交通标志，与该主交通标志相匹配的辅助交通标志之间的相对位置关系。

之后，在直接采集到的交通实景图像中，依据第一位置部署关系，确定存在与第一主交通标志相匹配的第一辅助交通标志的局部图像区域(或者，由该局部图像区域和上述图像填充区域构成的待处理图像区域)，以提高局部图像区域(或待处理图像区域)的确定效率，且保证该局部图像区域包含的第一辅助交通标志的图像特征尽量完整且详细，有助于提高后续辅助交通标志检测的精准度和检测效率。

步骤s26，由确定的该局部图像区域构成潜在图像区域；

继上文描述，本申请所要获取的潜在图像区域可以是交通实景图像中的局部图像区域，也可能是由一部分为交通实景图像中的局部图像区域，与另一部分是基于该局部图像区域的图像进行填充得到的图像填充区域构成，具体可视情况而定。应该理解，无论哪种获取方式，该潜在图像区域相对于直接采集到的交通实景图像来说，都大大减小了图像面积，即减小了所包含的图像特征类别和数量，有利于后续对该潜在图像区域进行目标检测时，提高辅助交通标志的检测效率和准确性。

在实际应用中，图像采集设备的当前镜头配置参数的变化，及其与交通标志之间的距离变化，将会影响所采集到的交通实景图像中，各交通标志所占的面积大小，因此，按照上述处理方式得到的局部图像区域的面积将会随着主交通标志面积大小的影响，若检测出的交通实景图像中的第一主交通标志的区域面积较大，导致据此得到的局部图像区域的面积也比较大，不符合目标检测网络的输入图像面积要求；反之，得到的局部图像区域的面积过小，也不满足目标检测网络的输入图像面积要求。

所以，在得到局部图像区域后，可以依据辅助交通标志检测网络的输入图像格式要求，对该局部图像区域进行预处理，如将辅助交通标志检测网络要求输入图像所具有的特定面积记为预设辅助交通标志检测面积，可以将确定的局部图像区域的面积与预设辅助交通标志检测面积进行比较，若局部图像区域的面积小于预设辅助交通标志检测面积，对该局部图像区域进行放大处理，得到具有预设辅助交通标志检测面积的潜在图像区域；反之，若局部图像区域的面积大于预设辅助交通标志检测面积，对该局部图像区域进行压缩处理，得到具有预设辅助交通标志检测面积的潜在图像区域。

可见，经过对局部图像预处理后，将会降低局部图像区域的分辨率，从而使得到的潜在图像区域的分辨率小于交通实景图像的分辨率，以降低后续目标检测的计算量。当然，若想要进一步降低辅助交通标志检测的计算量，本申请还可以进一步对局部图像区域进行下采样，以降低其图像分辨率，具体实现可视情况而定。

在又一些实施例中，在需要对局部图像区域进行图像填充处理的场景下，可以按照上述缩放处理方法，对图像填充处理后得到的待处理图像区域进行处理，得到符合辅助交通标志检测网络的输入图像要求的潜在图像区域，具体实现过程类似，本申请在此不做详述。

需要说明，对于潜在图像区域与上述待检测图像各自的分辨率、面积等属性参数可以相同，也可以不相同，可视情况而定，本申请对此不做限制。

步骤s27，将该潜在图像区域输入辅助交通标志检测网络，得到潜在图像区域包含的第一辅助交通标志，以及第一辅助交通标志在潜在图像区域中的区域位置信息；

本申请实施例中，辅助交通标志检测网络是以辅助交通标志为目标的一种目标检测网络，可以基于卷积神经网络，对样本潜在图像进行训练得到，但并不局限于这种获取方式，由于其构建实现过程与上述主交通标志检测网络的构建实现过程类似，可以参照上文对主交通标志网络的获取过程的描述，本实施例在此不做赘述。

步骤s28，获取该潜在图像区域在交通实景图像中的潜在区域位置信息；

步骤s29，依据潜在图像区域的确定方式以及潜在区域位置信息，对区域位置信息进行坐标转换处理，得到第一辅助交通标志在交通实景图像中的目标位置信息。

如上文实施例相应部分的描述，对于直接定位出的潜在图像区域中第一辅助交通标志的区域位置信息后，需要进一步确定该第一辅助交通标志映射到直接采集到的交通实景图像中的目标位置信息，即将第一辅助交通标志的区域位置信息，从潜在图像区域所表示的图像坐标系下，转换到交通实景图像所表示的图像坐标系下，得到由该交通实景图像的像素点位置表示的目标位置信息，本申请对同一对象如何在两个图像坐标系之间进行位置信息转换处理的实现过程详述。

在一些实施例中，结合上文实施例描述的潜在图像区域的获取过程，上述目标位置信息的获取过程可以包括但并不局限于以下步骤：

确定获得潜在图像区域过程中，对交通实景图像的图像填充数据，以及对从交通实景图像得到的存在第一辅助交通标志的局部图像区域的缩放比例；其中，该图像填充数据可以包括不同扩散方向上的填充距离；如上述分析，该潜在图像区域是对局部图像区域是压缩或放大处理得到的，该缩放比例可以包括压缩比例或放大比例，具体可视情况而定。之后，可以利用不同扩散方向上的填充距离、该缩放比例以及所确定的潜在区域位置数据，对得到的区域位置信息进行还原处理，得到第一辅助交通标志在交通实景图像的目标位置信息。

示例性的，假设潜在图像区域的潜在区域位置数据为(x1c，y1c，x2c，y2c)，即由潜在图像区域的两个对角像素点的位置坐标(x1c，y1c)和(x2c，y2c)，来表示潜在图像区域的潜在区域位置数据，且该潜在图像区域相对于直接得到的局部图像区域，区域宽和高都压缩或放大了s倍，即上述缩放比例为1/s，若在局部图像区域获取过程中，存在图像填充处理过程，相对于第一主交通标志的上下左右依次对应的填充距离分别记为padup、paddown、padleft、padright。

可以理解，若某一扩散方向未进行图像填充，那么，该方向上的填充距离为0，如上图7所示，在以第一主交通标志为中心，向右侧扩散过程中，达到交通实景图像边界后，需要对后续扩散区域进行填充，可见，右侧对应的填充距离为右侧图像边界与局部图像区域右侧边界之间的垂直距离，具体数值不做限制。由此类推，对于其他填充场景，可能多个扩散方向需要填充部分扩散区域，从而得到多个填充距离，获取过程类似，本申请不做详述。

基于此，按照上述方式检测到第一辅助交通标志在潜在图像区域的区域位置信息为(x1，y1，x2，y2)，那么，将其映射到直接采集的交通实景图像上，该第一辅助交通标志所在区域的目标位置信息(x1，y1，x2，y2)中的各坐标值可以按照以下公式计算：

x1＝(x1-padleft)/s+x1c；y1＝(y1-padup)/s+y1c；

x2＝(x2-padright)/s+x2c；y2＝(y2-paddown)/s+y2c；

需要说明，关于将潜在图像区域中的第一辅助交通标志位置，映射到交通实景图像中的实现过程，包括但并不局限于上文描述的计算方法。

综上所述，在车辆行驶过程中，参照图8所示的场景流程示意图，可以由该车辆中的图像采集设备采集行驶方向上的交通实景图像，如图8中第一行左侧第一幅图所示，该交通实景图像包含了行驶方向上的道路以及道路两旁的设施，如交通标志、输电线路、路灯、摄像头等道路元素，由于该交通实景图像的分辨率往往比较高，若直接进行目标检测，需要占用极大计算资源，很容易导致计算能力较低的车载终端死机或卡顿等异常，无法正常运行，所以，本申请将先对该交通实景图像进行下采样压缩处理，得到低分辨率预设尺寸的待检测图像。

之后，先对待检测图像中交通标志特征比较明显且相对详细完整的主交通标志进行目标检测，定位检测到的第一主交通标志在原始采集的交通实景图像中的位置后，以检测到的第一主交通标志为中心向周围扩散，形成存在位于其附近的第一辅助交通标志的潜在图像区域，以实现辅助交通标志的目标检测。

其中，在检测之前，为了进一步提高检测效率且满足目标检测网络对输入图像的格式要求，可以对获取的潜在图像区域进行缩放处理，再输入利用预训练的辅助交通标志检测网络进行目标检测，确定潜在图像区域中第一辅助交通标志所在的区域位置，进而依据该潜在图像区域与交通实景图像之间的图像坐标转换关系，将辅助交通标志检测结果映射到交通实景图像中，从而在本地快速且精准地实现交通实景图像中辅助交通标志的定位检测，无需依赖通信网络，也能够满足相应应用场景对辅助交通标志定位检测的应用需求。

在本申请提出的又一些实施例中，按照上文实施例描述的处理方式，完成对待检测图像的主交通标志检测之后，直接得到待检测图像中的第一主交通标志后，本申请也可以直接在该待检测图像中，以检测到的第一主交通标志检测框为参照物，确定存在与其相匹配的第一辅助交通标志的潜在图像区域，此时，由于待检测图像就是低分辨率图像，所以，本实施例可以直接将从待检测图像中截取的存储第一辅助交通标志的局部图像区域，作为潜在图像区域，不需要再进行下采样，以降低图像分辨率，之后对潜在图像区域的辅助交通标志的检测实现过程类似，本实施例不做详述。

其中，需要说明的是，在获取所检测到的第一辅助交通图像映射到直接采集的交通实景图像的目标位置信息的过程中，本实施例需要考虑由交通实景图像压缩得到待检测图像过程的压缩比，即依据该压缩比、潜在图像区域在待检测图像中的潜在区域位置信息，以及获取该潜在图像区域的不同扩散方向上的填充距离等数据，对检测到的潜在图像区域中的第一辅助交通标志的区域位置信息进行坐标转换处理，得到其在交通实景图像中的目标位置信息，具体转换处理过程本实施例不做详述。

应该理解的是，在实际应用中，为了提高辅助交通标志的检测准确性，本申请优先选择上文描述的，从直接采集到的交通实景图像中，提取存在第一辅助交通标志的局部图像区域，来构建潜在图像区域的处理方式。

基于上文各实施例描述的交通标志检测方法，下面将以导航场景、地图热更新、自动驾驶等不同应用场景为例，来说明该方法在相应应用场景下的实现过程。

示例性的，如在ar导航场景下，其是将导航定位技术与ar技术结合起来，提供一种新的导航形式，其中，ar技术是一种通过计算机系统提供的虚拟信息增加用户对真实世界感知的技术。即ar技术可以将虚拟信息应用到真实世界，实现将计算机生成的虚拟物体、虚拟场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。换句话说，这种技术的目标是在屏幕上将虚拟世界套在现实世界中并进行互动，另外，由于真实场景和虚拟信息实时地叠加到了同一个画面中，因此在被人类感官所感知后，可以达到超越现实的感官体验。

可见，将ar技术运行到地图导航领域，实现了除了基于传统的二维地图导航之外的ar导航，可以在真实场景图像中叠加显示虚拟导航提示信息，从而使用户获得超越现实的感官体验。需要说明，这种ar导航技术既可以应用在驾驶场景下，也可以应用在诸如步行等其他有地图导航需求的场景下，本申请对此不进行具体限定，本实施例仅以驾驶场景下的ar导航为例进行说明。

结合上文对本申请技术构思的相关描述，本申请希望不用联网，依赖服务器实现ar导航，而是由本地的终端设备实时且精准检测行驶道路上的各类型的交通标志，以实现道路图像的精准且高效渲染，满足ar导航的实时性和准确性。

具体的，用户驾驶车辆过程中需要开启ar导航的情况下，用户可以对终端设备输入目的地进行导航操作，生成相应的ar导航请求，以请求获得导航至目的地的目标导航数据，基于该ar导航请求可以触发本地的图像采集设备启动，由该图像采集设备对车辆行驶方向上的道路进行图像采集，得到实时的交通实景图像，之后，如上文实施例描述的交通标志检测方法，结合图8所示，对实时采集的任一帧交通实景图像进行下采样压缩处理，将得到的预设尺寸较低分辨率的待检测图像输入主交通标志检测网络，输出该帧交通实景图像中的主交通标志(如图8所示的40等)所在的检测框，为了进一步检测位于其附近的辅助交通标志(即用以解释主交通标志含义的辅助信息，如限速、19点以后、前方200米等文字，可视情况而定)，将以检测出主交通标志所在的检测框为参照，在其周围划分出局部区域为存在辅助交通标志的潜在图像区域，后续直接检测该潜在图像区域中的辅助交通标志，相对于直接从整个交通实景图像中检测辅助交通标志，极大减少了图像处理工作量，提高了检测效率和精准度，能够更好地适用于计算能力较差的车载终端。

其中，在辅助交通标志检测过程中，为了进一步减小计算量，可以先对从交通实景图像中划分出的局部图像区域进行下采样处理，得到特定尺寸的较低分辨率的潜在图像区域，输入辅助交通标志检测网络进行辅助交通标志检测，能够快速且准确地确定出辅助交通标志在潜在图像区域中的位置，进而结合之前得到潜在图像区域所执行的压缩/放大、图像填充等处理方式，将检测出的辅助交通标志的位置信息映射到交通实景图像中，即本申请精准检测出当前道路的交通实景图像中的主交通标志及其相匹配的辅助交通标志，整个检测过程均在本地的车载终端实现，无需联网依赖计算能力较强的服务器实现，避免了网络质量较差存在的各种问题；而且，本申请是对实时采集的行驶道路的交通实景图像进行交通标志检测，相对于服务器对道路采集员上报的道路实景图像更加准确。

之后，车载终端可以依据得到的辅助交通标志在当前帧的交通实景图像中的目标位置信息，对该帧交通实景图像进行渲染，保证了渲染得到的导航图像与车辆行驶方向上的道路场景一致，详细包含道路上的各种道路设施、附属设施等，如限速牌及其附属牌内容、转向牌、红绿灯、电子眼、摄像头、车道线、马路边缘线等，这样，无论是由车载终端显示屏直接输出渲染得到的导航图像，还是由车载终端将该导航图像投射到如挡风玻璃等物体上进行展示，或者是其他输出方式，都能够帮助驾驶员更加清晰且准确地，看到行驶前方道路上的各种设施，以便据此调整行驶路线或行驶速度等，以遵循交通规则安全行驶。

其中，为了提高辅助交通标志的辅助交通指示信息的提醒可靠性和及时性，本申请可以在导航图像中弹出交通提示窗口，由交通提示窗口展示针对第一辅助交通标志的交通提示信息，保证驾驶员快速看到该交通提示信息；需要说明，该交通提示信息可以是基于第一辅助交通标志的辅助交通指示信息，以及本车辆的行驶状态信息和/或系统时间等参数确定的，具体内容可视情况而定，本申请对此不做限制。

示例性的，若针对车辆行驶前方某一路段临时设置前方500米在12:00～16:30限行的交通标志，地图服务器所提供的地图数据并不会包含该交通标志内容，这样，传统ar导航应用中，地图服务器所提供的导航线路将不准确，不能及时提醒驾驶员绕行，非常不便。而采用本申请提出的交通标志检测方法，是由车辆本地图像采集设备，实时采集行驶道路的交通实景图像，及时获取临时设置的如上内容的交通标志，具体按照上述交通标志检测方法，准确定位该交通实景图像中，临时设置的交通标志中主交通标志，以及也能够精准定位相匹配的辅助交通标志，再依据检测结果，对检测到的各交通标志进行语义识别，即可得到交通标志所包含的交通指示信息，如前方500米在12:00～16:30限行。

之后，车载终端可以获取当前系统时间以及当前车辆与该交通标志之间的相对距离，进而结合上述检测得到的交通指示信息，可以计算得到限行路段与本车辆之间的距离，同时判断当前系统时间是否位于限行时间段内，若位于该限定时间段内，可以输出当前时间前方距离的路段限行的交通提示信息，如当前时间前方700米处开始限行，根据需要还以输出解除限行的时间等信息，本申请对该交通提示信息的内容不做限制。对于该交通提示信息，如上述分析，可以由弹出在显示屏上的交通提示窗口进行展示，也可以采用语音播报方式进行输出，本申请对其输出方式不做限制。

可以理解，对于检测到的包含其他内容的辅助交通标志，据此的到的交通提示信息的内容也会所有改变，本申请在此不做一一列举，可视情况而定。

在又一些实施例中，如上文描述的ar导航场景，本申请还可以依据检测出的交通实景图像中，主交通标志和辅助交通标志的位置进行图像渲染，能够保证渲染得到并展示的导航图像中，能够准确展示如上内容的交通标志，根据需要还可以调整该交通标志的展示状态，以突出该交通标志内容，如放大辅助交通标志进行展示，保证驾驶员能够及时看到该交通标志所包含的“前方500米在12:00～16:30限行”这一内容，及时调整行驶路线。需要说明，对于其他内容的交通标志的检测及输出方法类似，本申请在此不做一一详述。

由此可见，本申请利用本地的车载终端实现ar导航，直接采集行驶道路的交通实景图像，依据其包含的主交通标志确定的局部图像，进行目标对象的二次检测，使用较少资源即可快速且准确定位交通实景图像中的辅助交通标志，这样，依据定位出的辅助交通标志进行图像渲染，能够保证渲染得到的导航图像可以准确且完整展示辅助交通标志，提高ar导航的可靠性及精准度。

在又一些实施例中，在上述导航场景下，本申请还可以依据目标位置信息，获得车辆与相应的第一附属交通标志之间的相对距离，还可以获取交通实景图像包含的第一主交通标志的主交通指示信息，以及与该第一主交通标志相匹配的第一辅助交通标志的辅助交通指示信息，从而利用该相对距离、主交通指示信息以及辅助交通指示信息，生成车辆行驶方向上的道路引导消息，之后，可以对道路引导消息进行语音播报，当然也可以采用其他输出方式输出该道路引导消息，本申请对该道路引导消息的输出方式和表现形式不做限制。

示例性的，若车辆前方100米有一交通标志(即交通牌)，如图4左侧第三个交通标志，按照本实施例描述的道路引导消息的获取方法，所得到的道路引导消息可以为前方100米的交通标志指示，在8点到18点限速40，驾驶员收到该道路引导消息后，可以及时调整车辆行驶速度，以便在进入限速路段时不会违规驾驶，相对于达到限速路段才能够看到该交通标志，导致驾驶员反映不及时而超速或发送碰撞等故障，提高了驾驶安全性。对于其他类型交通标志的指示处理过程类似，本申请不做一一列举。

在又一些可选示例的，如地图热更新应用场景下，本申请可以依据得到的目标位置信息，获得相应第一辅助交通标志的辅助交通指示信息，从而利用目标位置信息和辅助交通指示信息，获得相应第一辅助交通标志在交通实景图像中的结构化感知结果，关于该结构化感知结果的数据格式和内容要求，可以依据地图更新数据格式要求确定，本申请对此不做限制。之后，终端设备可以将该结构化感知结果上报至地图服务设备，由地图服务设备利用结构化感知结果更新相应地图数据，从而提高地图上相应道路地图数据的精准度。这样，后续其他用户请求在线地图导航等场景下，所请求到的地图数据能够包含各道路上的交通标志，提高导航规划线路的精准度。其中，对于道路中包含的各类别的交通标志，可以参照但并不局限于上文列举的语音播报、弹出交通提示框、局部放大展示等方式输出，以保证驾驶员清楚且及时得知该交通指示信息。

在又一些可选示例中，如自动驾驶场景下，按照上述方式得到当前帧交通实景图像中辅助交通标志的目标位置信息，并据此识别出该辅助交通标志的辅助交通指示信息后，处理器可以结合该辅助交通指示信息，生成针对本车辆的自动驾驶控制指令，如调整车辆行驶方向、行驶速度/加速度等控制策略，发送至车辆机动组件执行，来调整车辆行驶状态，保证车辆行驶安全性及可靠性。

在实际应用中，本申请提出的交通标志检测方法中，所得到的包含主交通标志检测框和辅助交通标志检测框的交通实景图像，甚至是依据定位检测到的辅助交通标志及其目标位置信息进行地图更新后的地图数据等均可以保存于区块链，以提高数据存储安全性，同时也方便其他用户随时访问查询最新地图数据，满足应用需求。

参照图9，为本申请提出的交通标志检测装置的一可选示例的结构示意图，该装置可以适用于终端设备，如计算能力较差的ar眼镜、ar头盔、平板电脑或其他车载设备等，可视情况而定，本申请对该终端设备的产品类型不做限制。如图9所示，该装置可以包括：

交通实景图像获取模块21，用于获取车辆行驶方向上的交通实景图像；

待检测图像得到模块22，用于对所述交通实景图像进行压缩处理，得到待检测图像；所述待检测图像的分辨率小于所述交通实景图像的分辨率；

潜在图像区域获得模块23，用于对所述待处理交通图像进行主交通标志检测，依据主交通标志检测结果，获得存在与检测到的第一主交通标志相匹配的第一辅助交通标志的潜在图像区域；所述潜在图像区域包括所述交通实景图像的局部图像区域；

目标位置信息获取模块24，用于对所述潜在图像区域进行辅助交通标志检测，依据辅助交通标志检测结果，获取检测到的所述第一辅助交通标志映射在所述交通实景图像的目标位置信息。

在一些实施例中，如图10所示，上述潜在图像区域获得模块23可以包括：

主交通标志检测单元231，用于将所述待检测图像输入主交通标志检测网络，获得所述交通实景图像包含的第一主交通标志；

局部图像区域确定单元232，用于以所述交通实景图像包含的第一主交通标志为参照物，确定存在与所述第一主交通标志相匹配的第一辅助交通标志的局部图像区域；

在一些实施例中，该局部图像区域确定单元232可以包括：

第一扩散处理单元，用于在所述交通实景图像中，以获得的所述第一主交通标志为中心向周围扩散预设距离，得到存在与所述第一主交通标志相匹配的第一辅助交通标志的局部图像区域。

在又一种可能的实现方式中，若第一主交通标志靠近交通实景图像的边缘位置，该局部图像区域确定单元232还可以包括：

第一检测单元，用于在以获得的所述第一主交通标志为中心向周围扩散预设距离的过程中，检测到所述第一主交通标志与第一图像边界的第一边界距离小于所述预设距离；所述第一图像边界是指所述第一扩散方向上所述交通实景图像的边界；

第一填充单元，用于在所述第一扩散方向上从所述第一主交通标志扩散至所述第一图像边界，按照第一图像填充方式继续进行图像填充扩散，直至所述第一扩散方向上的扩散距离达到所述预设距离。在又一些实施例中，上述局部图像区域确定单元232也可以包括：

第一位置部署关系获取单元，用于依据所述交通实景图像包含的第一主交通标志的标志类型，获取所述标志类型的主交通标志对应的第一位置部署关系；其中，所述第一位置部署关系是指交通道路设施中，所述标志类型的主交通标志，与该主交通标志相匹配的辅助交通标志之间的相对位置关系；

第二扩散处理单元，用于依据所述第一位置部署关系，从所述交通实景图像中，确定存在与所述第一主交通标志相匹配的第一辅助交通标志的局部图像区域。

潜在图像区域构成单元233，用于由确定的所述局部图像区域构成潜在图像区域。

如上述分析，潜在图像区域构成单元233可以包括：

第一构成单元，用于直接由确定的所述局部图像区域构成潜在图像区域；

第二构成单元，用于由得到的所述交通实景图像中的所述局部图像区域以及图像填充区域，构成存在所述第一辅助交通标志的潜在图像区域。

在一种可能的实现方式中，在由局部图像区域构成潜在图像区域的情况下，潜在图像区域构成单元233可以包括：

比较单元，用于将确定的所述局部图像区域的面积与预设辅助交通标志检测面积进行比较；

第一得到单元，用于在局部图像区域的面积小于所述预设辅助交通标志检测面积的情况下，对所述局部图像区域进行放大处理，得到具有所述预设辅助交通标志检测面积的潜在图像区域；

第二得到单元，用于在局部图像区域的面积大于所述预设辅助交通标志检测面积的情况下，对所述局部图像区域进行压缩处理，得到具有所述预设辅助交通标志检测面积的潜在图像区域；

其中，所述潜在图像区域的分辨率小于所述交通实景图像的分辨率。

同理，在由得到的所述交通实景图像中的所述局部图像区域以及图像填充区域，构成存在所述第一辅助交通标志的潜在图像区域的情况下，可以按照上述方式对局部图像区域与图像填充区域求和得到的待处理图像区域的面积，与预设辅助交通标志检测面积进行比较，从而依据比较结果，对该待处理图像区域进行放大或压缩处理，得到潜在图像区域。

基于上文各实施例的描述，在又一些实施例中，如图10所示，上述目标位置信息获取模块24可以包括：

辅助交通标志检测单元241，用于将所述潜在图像区域输入辅助交通标志检测网络，得到所述潜在图像区域包含的第一辅助交通标志，以及所述第一辅助交通标志在所述潜在图像区域中的区域位置信息；

可以理解，在上述检测到的第一主交通标志的数量为多个的情况下，上述潜在图像区域获得模块23具体可以用于依据检测到的多个第一主交通标志，获得所述多个第一主交通标志各自相匹配的第一辅助交通标志分别存在的潜在图像区域；其中，所述潜在图像区域包含相应的所述第一辅助交通标志，以及至少部分与该第一辅助交通标志相匹配的所述第一主交通标志；

相应地，上述辅助交通标志检测单元241可以对获得的每一个所述潜在图像区域进行辅助交通标志检测。

潜在区域位置信息获取单元242，用于获取所述潜在图像区域在所述交通实景图像中的潜在区域位置信息；

坐标转换处理单元243，用于依据所述潜在图像区域的获得方式以及所述潜在区域位置信息，对所述区域位置信息进行坐标转换处理，得到所述第一辅助交通标志在所述交通实景图像中的目标位置信息。

基于上文实施例对潜在图像区域的获得过程的描述，在一种可能的实现方式中，上述坐标转换处理单元243可以包括：

第一数据确定单元，用于确定获得所述潜在图像区域过程中，对所述交通实景图像的图像填充数据，以及对从所述交通实景图像得到的存在所述第一辅助交通标志的局部图像区域的缩放比例；

其中，所述图像填充数据包括不同扩散方向上的填充距离；所述潜在图像区域是对所述局部图像区域是压缩或放大处理得到的；

第一位置还原处理单元，还用于利用所述不同扩散方向上的填充距离、所述缩放比例以及所述潜在区域位置数据，对得到的所述区域位置信息进行还原处理，得到所述第一辅助交通标志在所述交通实景图像的目标位置信息。

可以理解的是，若在潜在图像区域获取过程中，不需要进行图像填充处理，那么，上述第一数据确定单元可以不用获取对所述交通实景图像的图像填充数据，这样，第一位置还原处理单元具体可以利用缩放比例以及潜在区域位置数据，对得到的区域位置信息进行还原处理，得到第一辅助交通标志在所述交通实景图像的目标位置信息，实现过程本申请不做详述。

基于上文各实施例描述的技术方案，在导航场景下，上述装置还可以包括：

图像渲染模块，用于依据所述目标位置信息，对所述交通实景图像进行渲染；

图像输出模块，用于输出渲染得到的导航图像，在所述导航图像中展示检测到的所述第一主交通标志，以及与所述第一主交通标志相匹配的第一辅助交通标志。

在又一些实施例中，如上述导航场景下，上述装置也可以包括：

距离获得模块，用于依据所述目标位置信息，获得所述车辆与相应的所述第一附属交通标志之间的相对距离；

交通指示信息获取模块，用于获取所述交通实景图像包含的第一主交通标志的主交通指示信息，以及与该第一主交通标志相匹配的第一辅助交通标志的辅助交通指示信息；

道路引导消息生成模块，用于利用所述相对距离、所述主交通指示信息以及所述辅助交通指示信息，生成所述车辆行驶方向上的道路引导消息；

道路引导消息播报模块，用于对所述道路引导消息进行语音播报。

可选的，在地图热更新场景下，上述装置也可以包括：

辅助交通指示信息获得模块，用于依据所述目标位置信息，获得相应第一辅助交通标志的辅助交通指示信息；

结构化感知结果获得模块，用于利用所述目标位置信息和所述辅助交通指示信息，获得相应第一辅助交通标志在所述交通实景图像中的结构化感知结果；

结构化感知结果上报模块，用于将所述结构化感知结果上报至地图服务设备，由所述地图服务设备利用所述结构化感知结果更新相应地图数据。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行，实现上述交通标志检测方法的各步骤，该交通标志检测方法的实现过程可以参照上述方法实施例的描述。

本申请还提出了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述交通标志检测方法方面和交通标志检测装置方面的各种可选实现方式中所提供方法，具体实现过程可以参照上述相应实施例的描述，不做赘述。

参照图11所示，为适用于本申请提出的交通标志检测方法和装置的一可选应用环境的系统架构示意图，该应用环境(如车联网等)下，其系统架构可以包括多个终端设备31、多个图像采集设备32以及地图服务设备33；其中：

关于终端设备31的组成结构及其功能，可以参照上文终端设备实施例的描述，本申请在此不做赘述。需要说明，该终端设备可以包括设置与车辆中的计算能力较低的设备，执行本申请上文方法实施例描述的交通标志检测方法，满足不同应用场景下对辅助交通标志的定位检测需求，实现过程不做赘述。

图像采集设备32可以用于采集交通实景图像，具体可以包括位于车辆中的行车记录、安装在前挡风玻璃上的独立摄像头，或终端设备配置有的摄像头等，本申请对该图像采集设备32的产品类型不做限制。

地图服务设备33可以是提供地图导航服务的服务设备，可以是独立的物理服务器，也可以是多个物理服务器集成的服务集群，也可以是具有一定云计算能力的云服务器，可以通过有线网络或无线网络实现与车辆本地的终端设备之间的通信连接，以接收终端设备得到并发送的道路引导数据；当然，在一些实施例中，该地图服务设备33也可以响应终端设备发起的导航请求，为终端设备提供最新的地图导航数据等，具体实现过程本申请不详述。

基于此，上述终端设备中可以安装有地图应用程序，以便启动该地图应用程度，访问上述地图服务器，查看地图数据。如各种打车应用程序、专用的地图应用程序等，可依据实际应用需求确定。

应该理解的是，图11所示的系统结构并不构成对本申请实施例中系统的限定，在实际应用中，系统架构可以包括比图11所示的更多或更少的部件，或者组合某些部件，如数据存储设备等，可以依据应用场景的具体需求确定，本申请在此不做一一列举。

最后，需要说明，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、终端设备、系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的核心思想或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。