一种服务于高精度地图生产的交通标志牌信息采集方法与流程

本发明涉及高精度地图信息采集领域，特别涉及一种服务于高精度地图生产的交通标志牌信息采集方法。

背景技术：

高精度地图包含大量的辅助驾驶信息，其中交通标志信息尤为重要，交通标志信息的采集作为高精度地图生产的一个重要模块，其现有的技术手段多为交通标志检测结合gps定位测量。

目前在交通标志牌检测方面，主要采用视觉检测的方法得到交通标志牌的位置信息，如专利号为cn108960198a的一种基于残差ssd模型的交通标志检测与识别方法，通过对图像进行多尺度分块；用残差网络resnet101作为ssd的基础网络，构建残差ssd模型，进行网络训练，完成具有泛化能力的检测与识别，实现对中国真实交通场景中多类不同尺寸标志牌的有效检测与识别。如专利号为cn108256467a的一种基于视觉注意机制和几何特征的交通标志检测方法，根据交通标志的特点，将视觉注意机制与交通标志的几何特征有机结合，对传统视觉注意机制进行了改进，引入了交通标志的几何特征约束，排除干扰，实现交通标志牌的测距。

在现有的方案中，只涉及交通标志牌在图像中的检测与识别，或者对交通标志牌的测距定位的研究，而高精度地图信息中需要有更加详细的交通标志信息的需求，例如转向信息、限速信息等用于指引用户行驶的信息。

技术实现要素：

针对背景技术所面临的问题，本发明的目的在于提供一种简单的具有详细交通标志信息的服务于高精度地图生产的交通标志牌信息采集方法及系统。

为了达到上述目的，本发明采用如下技术方案：一种服务于高精度地图生产的交通标志牌信息采集方法包括：获取待识别交通场景图像信息；获取交通标志牌在图像中的位置信息；获取交通标志在图像中的的位置信息；利用交通标志在图像中的的位置信息和交通标志牌在图像中的位置信息进行归属判断，将交通标志信息关联到相应的交通标志牌信息中；获取交通标志牌在高精度地图中的位置信息，将交通标志信息及相应的交通标志牌信息加到高精度地图信息中。

优选的，采用anchor-free的深度学习目标检测方法同时检测图像中的交通标志牌和交通标志，分别获取交通标志牌在图像中的平行最小外接矩形框的位置信息和交通标志在图像中的平行最小外接矩形的位置信息。

优选的，利用交通标志牌在图像中的平行最小外接矩形框的位置信息，获取定位终端与交通标志牌的距离；结合实时动态载波相位差分定位技术和惯性测量单元获取定位终端的位置信息；结合定位终端的位置信息和所述定位终端与交通标志牌的距离信息，获取交通标志牌在高精度地图中的位置信息。

优选的，获取交通标志牌的四个角点位置信息，通过双目测距的方法计算定位终端与四个角点连线形成的矩形内像素的实际距离，并将实际距离的平均距离作为所述定位终端与交通标志牌的距离。

优选的，将平行最小外接矩形框围绕其中心点向外扩大为矩形增大框，在矩形增大框内通过关键点检测，得到交通标志牌的四个角点位置信息。

优选的，通过交通标志牌的四个角点位置信息矫正图像；将矫正后的图像进行ocr识别，检测到辅助文字信息；将辅助文字信息关联到相应的交通标志牌信息中，并将辅助文字信息加入高精度地图信息中。

优选的，交通标志牌在图像中的平行最小外接矩形框的位置信息包括交通标志牌的中心坐标数据、宽度数据及高度数据；交通标志在图像中的平行最小外接矩形的位置信息包括交通标志的中心坐标数据；比较交通标志的中心坐标数据与交通标志牌的中心坐标数据、宽度数据及高度数据，将交通标志信息归属到相应的交通标志牌信息中。

优选的，获取交通标志的大类的类别信息，所述大类包括提示标志，警告标志和禁止标志，再将大类的类别信息作为同一个类的目标检测，并将检测的结果作为交通标志分类器的输入，获取交通标志的小类的类别信息，所述小类包括限速，限高，禁停。

优选的，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。

优选的，一种服务于高精度地图生产的交通标志牌信息采集系统包括：图像获取模块，用于获取待识别交通场景图像信息；交通标志牌获取模块，用于获取交通标志牌在图像中的位置信息；交通标志获取模块，用于获取交通标志在图像中的的位置信息；归属模块，用于利用交通标志在图像中的的位置信息和交通标志牌在图像中的位置信息进行归属判断，将交通标志信息关联到相应的交通标志牌信息中；定位模块，用于获取交通标志牌在高精度地图中的位置信息，将交通标志信息及相应的交通标志牌信息加到高精度地图信息中。

与现有技术相比，本发明提供了一种服务于高精度地图生产的交通标志牌信息采集方法，其特征在于，包括：获取待识别交通场景图像信息；获取交通标志牌在图像中的位置信息；获取交通标志在图像中的的位置信息；利用交通标志在图像中的的位置信息和交通标志牌在图像中的位置信息进行归属判断，将交通标志信息关联到相应的交通标志牌信息中；获取交通标志牌在高精度地图中的位置信息，将交通标志信息及相应的交通标志牌信息加到高精度地图信息中。将交通标志信息关联到相应的交通标志牌信息中后，再将交通标志信息及相应的交通标志牌信息加入到高精度地图信息中，便于数据的存储，而且交通标志牌的定位较精确，便于利用高精度地图信息导航等应用时，给出的正确的引导，使得归属同一交通标志牌的交通标志出现在高精度地图上同一位置，与实际交通标志出现在实际道路上的位置一致，便于给出正确的提示，而且也提高了高精度地图的美观性。

附图说明

图1为本发明实施例提供的一种服务于高精度地图生产的交通标志牌信息采集方法的流程示意图；

图2为本发明一种服务于高精度地图生产的交通标志牌信息采集系统的组成图；

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

下文将详细的对示例性实施例进行说明，所提供的实施例中所描述的实施方式代表本发明的部分较佳实施方式，而并非全部实施方式。基于本发明中的实施例以及图文，本领域技术人员在没有作出创造性劳动的前提下所能获得的所有其他实施例，都将在本发明保护的范围之内。

本发明实施例的应用场景说明如下，各个智能导航终端实现高精度导航及自动驾驶汽车等对电子的高精度地图的需求越来越大，高精度地图包含大量的辅助驾驶信息，如当前车道信息、交通标志牌信息及交通灯信息等，其中，交通标志牌信息尤为重要，因此，为了获取具有各类详细的交通标志信息的高精度地图信息，本发明实施例提供了一种服务于高精度地图生产的交通标志牌信息采集方法，该方法可以应用到各个采集终端系统中，该采集终端系统包括ccd相机系统及数据处理系统，数据处理系统主要是为了存储和处理拍摄回的相关道路数据、交通标志信息、交通标志牌信息。该方法也可以应用到其他包括该数据处理模块的处理终端系统中，本发明的实施例对此不做具体限制。该采集终端系统可以以汽车为载体进行相关操作。

本实施例中ccd相机为双目，其他实施例中ccd相机可以为三目或更多，再次并不限制。该ccd相机可以对包含交通标志牌的区域进行拍摄，以获取包含交通标志牌的图像信息，该数据处理系统可以对该图像信息存储和处理。

该采集终端系统不仅可以包括双目的ccd相机系统及数据处理系统，还可以包括其他硬件及系统。比如处理器，本发明实施例对此不做具体限定。该处理器可以与该ccd相机连接，该处理器可以对包含交通标志牌的图像信息进行相关的处理。

该采集终端系统不仅可以包括ccd相机系统及数据处理系统，还可以包括其他系统，例如数据传输系统，该数据传输系统可以将获取的包含有交通标志信息和交通标志牌信息的高精度地图信息传输给云端或服务器。从而实现智能终端的高精度导航或汽车等的自动驾驶，本发明实施例对此也不做具体限定。

还需要说明的是，本发明实施例中采集终端系统可以通过上述ccd相机获取包含交通标志和交通标志牌的图像，其他实施例中，采集终端也可以通过其他方式获取包含交通标志及交通标志牌的图像。

本发明实施例中，采集终端系统可以利用ccd相机双目视觉测距方法测距，也可以用三目测距法等，以提高测距的准确性。

如图1是本发明实施例提供的一种服务于高精度地图生产的交通标志牌信息采集方法的流程示意图。该方法包括：

s1，获取待识别交通场景图像信息。

交通标志牌是用图形符号和文字传递特定信息，用以管理交通、指示行车方向以保证道路畅通与行车安全的设施。适用于公路、城市道路以及一切专用公路，具有法令的性质，车辆、行人都必须遵守。由于交通标志牌的表面颜色都较为艳丽，有效提高了其辨别能力，便于ccd相机拍摄到包含交通标志牌的清晰图像。

具体的，采集终端上各个方向安装有ccd相机，ccd相机对各个方向的场景进行拍摄，获取交通场景图像信息，该交通场景图像中有些包含有交通标志牌图像和交通标志图像，交通场景图像有些不包含交通标志牌图像及交通标志图像，需要说明的是，采集终端除记录道路的各种属性信息外，也会获取道路周边的餐饮、酒店、商场、加油站、停车场等兴趣点信息等。获取交通场景图像的监测范围较大，能够全面的收集道路信息，并且设备成本较低。

s2，获取交通标志牌在图像中的位置信息。

具体的，采用anchor-free的深度学习目标检测方法，其过程主要包括对所述图像的图像编码和解码两部分，其中图像编码采用vgg16作为骨干部分，反复堆叠3x3的小型卷积核和2x2的最大池化层，有利于获取感知野内语义信息。而图像解码采用上采样的方法将编码部分进行放大，其实现为连续进行2倍的反卷积操作，并在解码特征的基础采用1x1的卷积核进行回归预测，直接得到交通标志牌在图像中的位置信息，得到的结果为每个交通标志牌在图像中最小外接矩形。

具体的，步骤一：网络输入尺寸固定，获取检测图像后将图像缩放为固定尺寸640x352x3；

步骤二：将图像输入到vgg16网络，前向推理计算，进行大量的卷积和池化运算；

步骤三：前向推理计算完成后，得到编码的图像特征，为原图的1/32，尺寸为20x11x512；

步骤四：对编码特征进行8倍上采样解码操作，具体为连续的2x2反卷积运算；

步骤五：上采样后，得到解码图像特征，尺寸为160x88x128；

步骤六：利用1x1的卷积核对解码特征进行回归预测，得到类别预测和box预测信息；

步骤七：结合类别预测和box预测信息，提取其中预测为交通标志牌的box信息。

s3，获取交通标志在图像中的的位置信息。

具体的，交通标志，是用文字或符号传递引导、限制、警告或指示信息的道路设施。又称道路标志、道路交通标志。在交通标志中一般是以安全、设置醒目、清晰、明亮的交通标志实施交通管理，保证道路交通安全、顺畅的重要措施。交通标志主要包括提示标志、警告标志及禁止标志等大类类别。其中，提示标志起到指示作用，共有29小类，颜色为蓝底、白图案，例如直行、向左转弯、环岛行驶等。警告标志主要起警告作用，共有49小类，颜色为黄底，黑边、黑图案，例如十字交叉、连续转弯、上陡坡等。禁止标志起到禁止某种行为的作用，共有43小类，大部分颜色为白底、红圈、红杠、黑图案，设置在需要禁止或现在车辆等附近。例如，禁止通行、禁止驶入等。

具体的，采用anchor-free的深度学习目标检测方法，其过程主要包括对所述图像的图像编码和解码两部分，和所述获取交通标志牌在图像中的的位置信息的方法一致，获取交通标志在图像中的的位置信息，得到的结果为每个交通标志在图像中最小外接矩形。

s4，利用交通标志在图像中的的位置信息和交通标志牌在图像中的位置信息进行归属判断，将交通标志信息关联到相应的交通标志牌信息中。

比较交通标志的中心坐标数据与交通标志牌的中心坐标数据、宽度数据及高度数据，将交通标志信息归属到相应的交通标志牌信息中。

一个交通标志牌上包括多个交通标志，具体的，通过判断检测交通标志的中心坐标是否在交通标志牌的外接矩形范围内，若是，则判断该交通标志归属为该交通标志牌上，并将相应的交通标志信息关联到到相应的交通标志牌信息中,其过程主要包括以下步骤：

步骤一：采用anchor-free目标检测方法获取交通标志牌在图像中的位置信息，假设得到交通标志牌的中心坐标为a[x1,y1],宽高分别为w，h；

步骤二：采用anchor-free目标检测方法获取交通标志在图像中的位置信息，假设得到为提示交通标志，且提示交通标志的中心坐标为b[x2,y2],宽高分别为w2,h2；

步骤三：将提示交通标志范围内的图像输入到分类网络，如alexnet，进行进一步的分类，如得到的分类为右转标志；

步骤四：通过判断x2是否在[x1-w/2,x1+w/2]范围内，y2是否在[y1-h/2,xy1+h/2]范围内,若是，则判断右转交通标志归属中心坐标为为a的交通标志牌，若否，则进行一个的交通标志牌的判断，直到匹配到相应的交通标志牌或遍历完毕；

步骤五：若判断交通标志属于相应的交通标志牌，则将该交通标志信息关联到相应的的交通标志牌信息中。

s5，获取交通标志牌在高精度地图中的位置信息，将交通标志信息及相应的交通标志牌信息加到高精度地图信息中。

具体的，通过双目测距的方法获取采集终端距离交通标志牌中心点附近的像素之间的距离，通过rtk技术获取采集终端的位置信息，两者相加后得到交通标志牌在高精度地图中的位置信息。最后，将将交通标志信息及相应的交通标志牌信息加到高精度地图信息中，得到具有详细交通标志信息的高精度地图信息，便于导航时应用或者自动驾驶应用，将交通标志信息关联到相应的交通标志牌信息中后，再将交通标志信息及相应的交通标志牌信息加入到高精度地图信息中，便于数据的存储，而且交通标志牌的定位较精确，便于利用高精度地图信息导航等应用时，给出的正确的引导，使得归属同一交通标志牌的交通标志出现在高精度地图上同一位置，与实际交通标志出现在实际道路上的位置一致，便于给出正确的提示，而且也提高了高精度地图的美观性。

交通标志牌在图像中的平行最小外接矩形框的位置信息包括交通标志牌的中心坐标数据、宽度数据及高度数据；交通标志在图像中的平行最小外接矩形的位置信息包括交通标志的中心坐标数据；

具体的，步骤一：采用anchor-free目标检测方法获取交通标志牌的位置信息，如得到交通标志牌的中心坐标为a[x1,y1],宽高分别为w，h；

步骤二：由于得到的检测box为交通标志牌的最小外接矩形，在外接矩形的内部会包含部分其他的背景信息，若将该部分也认为是交通标志牌的一部分，将造成一定的测距误差。所以本发明实施例将所需测距的范围缩小，其测距范围的中心为交通标志牌的中心坐标为a[x1,y1]，但宽高分别为w/10，h/10，进行一定的缩小；

步骤三：采用双目测距的方法对范围内的像素进行测量，并取平均作为当前交通标志牌的相对位置；

步骤四：结合rtk信息得到交通标志牌在高精度地图中的位置信息。

如图2是本发明实施例提供的一种服务于高精度地图生产的交通标志牌信息采集系统的组成图。该系统包括：

s10，图像获取模块，用于获取待识别交通场景图像信息；

s20，交通标志牌获取模块，用于获取交通标志牌在图像中的位置信息；

s30，交通标志获取模块，用于获取交通标志在图像中的的位置信息；

s40，归属模块，用于利用交通标志在图像中的的位置信息和交通标志牌在图像中的位置信息进行归属判断，将交通标志信息关联到相应的交通标志牌信息中；

s50，定位模块，用于获取交通标志牌在高精度地图中的位置信息，将交通标志信息及相应的交通标志牌信息加到高精度地图信息中。

需要说明的是，采用anchor-free的深度学习目标检测方法同时检测图像中的交通标志牌和交通标志，分别获取交通标志牌在图像中的平行最小外接矩形框的位置信息和交通标志在图像中的平行最小外接矩形的位置信息。具体的，采用anchor-free的深度学习目标检测方法对图像进行检测，可以同时直接获取交通标志牌在图像中的位置和大类的类别及交通标志在图像中的位置，也就是获取了交通标志牌在图像中的平行最小外接矩形框的位置信息和交通标志在图像中的平行最小外接矩形的位置信息。目前常用的交通标志检测数据集有t100和cctsdb等，这些数据集可以在检测的同时对交通标志进行分类，这时的分为为大类的分类，也就是一般可分为提示标志，警告标志和禁止标志。而具体的转向、直行等的小类的分类还需要进行二次分类。

需要说明的是，由于数据样本数量不平衡的问题，一般无法直接进行更具体的分类，如具体为限速限高标志等。本发明实施例通过两次进行分类，第一次分为三大类，第二次再进行详细的小类分类。具体的，获取交通标志的大类的类别信息，所述大类包括提示标志，警告标志和禁止标志，再将大类的类别信息作为同一个类的目标检测，并将检测的结果作为交通标志分类器的输入，获取交通标志的小类的类别信息，所述小类包括限速，限高，禁停等。因为在目标检测中的进行分类容易受目标背景的影响，而进行单目标检测后的图像基本只包括目标对象和少量的背景信息，可以有效减少背景的影响。而且对于分类器的训练样本，可以更加方便的获取和进行相应的数据增强，减少数据不平衡的问题。

需要说明的是，交通标志牌上包括有多个交通标志，即多个交通标志位于同一个交通标志牌上，在高精度地图中，需要将交通标志信息记录到相对应的的交通标志牌信息中。这样便于高精度地图数据的存储以及高精度地图的美观性。而且，如果分别将一个交通标志牌上的交通标志分别定位时，很可能由于偏差，使得位于同一个交通牌上的交通标志位于高精度地图上位置不同的几个地方，造成用户对路段指引的错误判断。这样分散的数据也不便于存储。

需要说明的是，利用交通标志牌在图像中的平行最小外接矩形框的位置信息，获取定位终端与交通标志牌的距离；定位终端就是采集终端。采集终端设于采集设备上，定位终端包括采集数据需要的相关定位装置，例如rtk模块和imu模块，结合实时动态载波相位差分定位技术和惯性测量单元获取定位终端的位置信息；在弱信号的情况下依然能够准确得到定位终端的位置信息。

结合定位终端的位置信息和所述定位终端与交通标志牌的距离信息，获取交通标志牌在高精度地图中的位置信息。获取交通标志牌的四个角点位置信息，通过双目测距的方法计算定位终端与四个角点连线形成的矩形内像素的实际距离，并将实际距离的平均距离作为所述定位终端与交通标志牌的距离。需要说明的是，由于平行最小外接矩形框里通常包括交通标志牌和其他的背景信息，容易对最后的测距结果造成较大的影响。本发明实施例在目标检测的基础上，通过关键点检测，如mtcnn等，得到平行最小外接矩形框内交通标志牌的四个角点，并计算角点连线内像素的实际距离，并将平均距离作为当前交通标志牌与定位终端的距离。最后结合定位终端的位置信息和当前交通标志牌距离定位终端的距离，得到当前交通标志牌的世界坐标数据，加入高精度地图信息。

具体的，将平行最小外接矩形框围绕其中心点向外扩大为矩形增大框，在矩形增大框内通过关键点检测，得到交通标志牌的四个角点位置信息。因为平行最小外接矩形框可能紧紧贴在图像中交通标志牌的周边，由于拍照角度等的影响，交通标志牌不是正对的，最小外接矩形框可能不能够将图像中交通标志牌的四个角点包围在框内，所以先将最小外接矩形框围绕其中心点向外扩大为矩形增大框后，再检测交通标志牌的四个角点位置信息，但由于矩形增大框里通常包括交通标志牌和其他的背景信息，容易对最后的测距结果造成较大的影响。所以再将四个角点连线得到的矩形范围内的像素与定位终端的实际距离，并将该实际距离的平均距离作为当前交通标志牌的距离。

具体的，通过交通标志牌的四个角点位置信息矫正图像；将矫正后的图像进行ocr识别，检测到辅助文字信息；将辅助文字信息关联到相应的交通标志牌信息中，并将辅助文字信息加入高精度地图信息中。一个交通标志牌上不仅有交通标志信息，还有辅助文字信息，这些也占据了整个标志牌的很大部分，在交通标志牌检测的基础上进行关键点检测，并通过检测的关键点进行图像矫正，并矫正的图像作为rcnn的输入进行ocr识别。将相应的文字信息关联到对应的交通标志牌信息中，并加入高精度地图信息中。先对图像矫正再检测，便于检测的准确率，因为拍摄角度问题等，文字可能是倾斜的，矫正后，文字正对放置，便于提高检测的准确率，也就提高的高精度地图的准确率，便于给与用户正确的指引，安全出行，提升用户体验。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。

在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本发明揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。

最后再次强调，上文所列举的实施例，为本发明较为典型的、较佳实施例，仅用于详细说明、解释本发明的技术方案，以便于读者理解，并不用以限制本发明的保护范围或者应用。

因此，在本发明的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本发明的保护范围之内。