一种道路标志物的识别方法、装置及存储介质与流程

本发明涉及信息处理技术领域，特别涉及一种道路标志物的识别方法、装置及存储介质。

背景技术：

路标、路牌等道路标志物是高精度地图中重要的道路要素，其为车辆精确定位和道路状况识别提供了参考依据，使得自动驾驶车辆可以对周围的环境做出准确的判断并制定合适的行驶策略。

随着传统提取算法的不断完善以及激光点云深度学习算法的不断发展，路标、路牌等道路标志物在点云和图像上的识别和分类可以具有较高准确率和召回率，能够很好的提升高精度地图制作的自动化水平。一般在高精度地图数据中，道路标志物可以采用“坐标+形状+内容”的形式来表示，由于点云数据可以较好的还原出真实场景的三维信息，因此道路标志物的坐标和形状信息可以通过点云数据来获取；而道路标志物的实际内容还是需要通过图像来获得。

现有的一种道路标志物的识别方法，主要是先在线下使用点云分类识别算法，完成点云数据的预标定，然后在线上通过人工识别的方式完成道路标志物的识别，其中，点云数据的预标定主要是对点云数据进行分类。这种方法需要对点云数据进行预处理，由于点云数据的数据量庞大，且空间关系较为复杂，因此对点云数据的分类过程需要不断的找寻各邻近点对的关系，并进行法向估算等，整个过程较为耗时；且由于道路标志物中的路牌有着较高的反射率，结构相对独立，因此分类结果较好，但是路标由于其形状特征不明显，往往无法得到很好的分类结果。

另一种道路标志物的识别方法主要包括：先通过相机标定结果，构建点云数据到图像数据的映射关系；然后在图像中完成道路标志物的识别，再基于射线求交的方法，在点云数据中确定相关要素的对应位置。这种基于射线求交的方法可以免去对点云数据的预处理的这一步骤，但是射线求交的方法仅能够较为准确的定位道路标志物的中心点位置，整体大小，朝向无法确定。为了获得精确结果，还是需要依赖大量的人工，进行结果修正，从而影响到整体识别效率。

技术实现要素：

本发明实施例提供一种道路标志物的识别方法、装置及存储介质，实现了根据第一坐标转换矩阵及待识别场景中道路标志物的平面坐标信息和深度信息，确定待识别场景中道路标志物的空间分布信息。

本发明实施例第一方面提供一种道路标志物的识别方法，包括：

获取待识别场景的二维图像和三维点云数据；

基于所述二维图像和三维点云数据，构建第一坐标转换矩阵；

采用所述第一坐标转换矩阵对所述三维点云数据进行计算，得到所述待识别场景的深度图像；

从所述待识别场景的二维图像中获取道路标志物的平面坐标信息；

确定所述深度图像中与所述道路标志物的平面坐标信息对应位置的深度信息；

根据所述第一坐标转换矩阵、道路标志物的平面坐标信息及深度信息，确定所述道路标志物的空间分布信息。

本发明实施例第二方面提供一种道路标志物的识别装置，包括：

信息获取单元，用于获取待识别场景的二维图像和三维点云数据；

构建单元，用于基于所述二维图像和三维点云数据，构建第一坐标转换矩阵；

深度图像单元，用于采用所述第一坐标转换矩阵对所述三维点云数据进行计算，得到所述待识别场景的深度图像；

标志物平面确定单元，用于从所述待识别场景的二维图像中获取道路标志物的平面坐标信息；

深度确定单元，用于确定所述深度图像中与所述道路标志物的平面坐标信息对应位置的深度信息；

空间分布确定单元，用于根据所述第一坐标转换矩阵、道路标志物的平面坐标信息及深度信息，确定所述道路标志物的空间分布信息。

本发明实施例第三方面提供一种存储介质，所述存储介质储存多条指令，所述指令适于由处理器加载并执行如本发明实施第一方面所述的道路标志物的识别方法。

本发明实施例第四方面提供一种终端设备，包括处理器和存储介质，所述处理器，用于实现各个指令；

所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行如本发明实施例第一方面所述的道路标志物的识别方法。

可见，在本实施例的方法中，道路标志物的识别装置在识别待识别场景中的道路标志物时，可以先基于待识别场景的二维图像和三维点云数据，构建第一坐标转换矩阵，并采用第一坐标转换矩阵对三维点云数据进行计算，得到待识别场景的深度图像；这样，只要从待识别场景的二维图像中获取道路标志物的平面坐标信息，就可以根据道路标志物的平面坐标信息，确定深度图像中对应位置的深度信息；然后根据第一坐标转换矩阵、道路标志物的平面坐标信息及深度信息，确定所述道路标志物的空间分布信息，进而实现了道路标志物的识别。这样，可以不需要对采集的三维点云数据进行预处理，而是可以直接根据在平面坐标系下确定的道路标志物的平面坐标信息，确定道路标志物的空间分布信息，在这个过程中，不需要人工进行其它操作，只需借助待识别场景的深度图像即可实现自动映射过程，可以高效地完成道路标志物的定位，且极大地简化了人工的作业过程，减少人为因素的影响，有效的提升路标、路牌等道路标志物识别的效率和准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种道路标志物的识别方法所应用于的系统的示意图；

图2是本发明一个实施例提供的一种道路标志物的识别方法的流程图；

图3a是本发明一个实施例中在平面图像中标定道路标志物所在框的示意图；

图3b是本发明一个实施例中在深度图像确定道路标志物所在框的示意图；

图4是本发明一个实施例中识别装置确定空间坐标信息与平面坐标信息之间的映射关系的方法流程图；

图5是本发明一个实施例中确定道路标志物的识别数据的方法流程图；

图6为本发明应用实施例中构建平面坐标系与空间坐标系之间的映射关系的示意图；

图7为本发明应用实施例中获取道路标志物的标记数据的示意图；

图8是本发明实施例提供的一种道路标志物的识别装置的结构示意图；

图9是本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种道路标志物的识别方法，主要可以应用于如图1所示的系统中，该系统中包括：数据采集装置和道路标志物的识别装置，数据采集装置包括图像采集装置1和点云数据采集装置2，图像采集装置1与点云数据采集装置2会按照相同的频率，分别采集各个场景下的二维图像和三维点云数据；在数据采集装置中还可以包括数据采集装置的航向信息的采集装置3，主要以与图像采集装置1相同的频率记录(在点云数据采集装置2采集三维点云数据时进行记录)数据采集装置的航向信息，其中包括姿态角，该航向信息主要在如下获取第一坐标转换矩阵的过程中使用。

在具体的应用中，上述数据采集装置可以是采集车辆，图像采集装置1可以是相机，点云数据采集装置2可以是激光扫描仪等。道路标志物的识别装置可以是部署在任意位置，且用于道路标志物识别的装置，比如，道路标志物的识别装置可以部署在采集车辆中，也可以部署在云端服务器中等。

然后道路标志物的识别装置根据上述数据采集装置采集的数据，通过如下的步骤对各个场景下的道路标志物进行识别：

获取待识别场景的二维图像和三维点云数据；基于所述二维图像和三维点云数据，构建第一坐标转换矩阵；采用所述第一坐标转换矩阵对所述三维点云数据进行计算，得到所述待识别场景的深度图像；从所述待识别场景的二维图像中获取道路标志物的平面坐标信息；确定所述深度图像中与所述道路标志物的平面坐标信息对应位置的深度信息；根据所述第一坐标转换矩阵、道路标志物的平面坐标信息及深度信息，确定所述道路标志物的空间分布信息。

这样，可以不需要对三维点云数据进行预处理，而是直接根据在平面坐标系下确定的道路标志物的平面坐标信息，确定道路标志物的空间分布信息，在这个过程中，不需要人工进行其它操作，只需借助待识别场景的深度图像即可实现自动映射过程，可以高效地完成道路标志物的定位，且极大地简化了人工的作业过程，减少人为因素的影响，有效的提升路标、路牌等道路标志物识别的效率和准确率。

本发明实施例提供一种道路标志物的识别方法，主要是由上述的道路标志物的识别装置所执行的方法，流程图如图2所示，包括：

步骤101，获取待识别场景的二维图像和三维点云数据，在三维点云数据中包括待识别场景的空间坐标信息，而从二维图像中可以获取待识别场景的平面坐标信息。

可以理解，待识别场景的二维图像可以由上述图像采集装置1(比如相机)在某一时刻采集得到，二维图像可以体现如下信息：待识别场景的图像中各个像素点的像素值和平面坐标信息(包括x轴和y轴坐标)，还可以体现图像的尺寸大小等信息。

而三维点云数据是由上述的点云数据采集装置2(比如激光扫描仪)在该时刻采集得到，具体包括：待识别场景中各个点的空间坐标信息(可以包括x轴，y轴和z轴坐标)和反射率的值等，其中，空间坐标信息具体包括经纬度和海拔信息，而反射率是指激光打到物体上后反射回的强度，路牌的材质特殊，反射率比较高。

步骤102，基于二维图像和三维点云数据，构建第一坐标转换矩阵，这里第一坐标转换矩阵是空间坐标信息与平面坐标信息之间的转换信息。

这里，第一坐标转换矩阵可以包括投影矩阵和模型视图矩阵，这两个矩阵主要用于将顶点从局部坐标系转化到平面坐标系中，即模型视图投影矩阵＝投影矩阵×视图矩阵×模型矩阵，其中，模型矩阵将顶点从局部坐标系转化到世界坐标系中，视图矩阵将顶点从世界坐标系转化到视图坐标系下，这两个矩阵的转换主要通过平移和旋转的变换得到，统称为模型视图矩阵，其中，局部坐标系、世界坐标系和视图坐标系都是属于一种空间坐标系；而投影矩阵将顶点从视图坐标系转化到平面上(即平面坐标系)，从而实现了空间坐标信息与平面坐标信息之间的转换。

本实施例中，第一坐标转换矩阵的构建需要根据上述步骤101获取的二维图像和三维点云数据来构建，随着步骤101中获取的二维图像和三维点云数据的不同，而构建不同的第一坐标转换矩阵。

步骤103，采用第一坐标转换矩阵对三维点云数据进行计算，得到待识别场景的深度图像。

这里的深度图像可以体现上述三维点云数据中各个点到图像采集装置1之间的距离，一个点到图像采集装置1之间的距离称为该点的深度信息；深度图像还可以体现三维点云数据中各个点的平面坐标信息等。这样，得到了待识别场景的深度图像，就可以得到待识别场景中各个点的深度信息和平面坐标信息。

具体地，道路标志物的识别装置可以采用上述的第一坐标转换矩阵，及在道路标志物的识别装置中预设的空间坐标信息与平面坐标信息之间基于深度信息的映射关系，对上述三维点云数据中待识别场景中各个点的空间坐标信息进行计算，即可得到待识别场景的深度图像。

步骤104，从待识别场景的二维图像中获取道路标志物的平面坐标信息。

具体地，用户可以通过操作道路标志物的识别装置，使得道路标志物的识别装置显示某一场景(比如待识别场景)的二维图像的图像编辑界面，这样用户可以在该图像编辑界面框定二维图像中的道路标志物所在框；从而道路标志物的识别装置可以从图像编辑界面接收到用户对道路标志物的框定信息(比如用户框定了哪些像素点等)，并根据框定信息及上述步骤101获取的二维图像，得到道路标志物所在框上各个像素点的平面坐标信息，一般为平面坐标系下的坐标，x轴坐标和y轴坐标，及道路标志物所在框内各个像素点的平面坐标信息，组合成道路标志物的平面坐标信息。

需要说明的是，当图像采集装置1采集到二维图像，及点云数据采集装置2采集到三维点云数据后，可以直接传送给道路标志物的识别装置，由道路标志物的识别装置发起本实施例中步骤101到106的流程，这样，道路标志物的识别装置在执行了上述步骤101后，可以直接主动显示二维图像的图像编辑界面，以便用户对道路标志物所在框进行框定。

另一种情况下，当图像采集装置1采集到二维图像，及点云数据采集装置2采集到三维点云数据后，先储存二维图像和三维点云数据；然后用户可以通过道路标志物的识别装置提供的用户接口，将储存的二维图像和三维点云数据输入到道路标志物的识别装置中，以发起本实施例的流程；且同时用户可以操作道路标志物的识别装置，使得道路标志物的识别装置显示二维图像的图像编辑界面，以便用户对道路标志物所在框进行框定。

步骤105，确定深度图像中与道路标志物的平面坐标信息对应位置的深度信息，包括道路标志物所在框上各个点的第一深度信息，和道路标志物所在框内各个点的第二深度信息。

这里，与道路标志物的平面坐标信息对应位置是指，该深度图像中具有相同平面坐标信息的点。

例如，道路标志物中某一点的平面坐标信息为(x1，y1)，则在深度图像中平面坐标信息(x1，y1)对应点的深度信息，即为与该平面坐标信息(x1，y1)对应位置的深度信息。

步骤106，根据第一坐标转换矩阵、道路标志物的平面坐标信息及深度信息，确定道路标志物的空间分布信息。

道路标志物的识别装置确定道路标志物的空间分布信息的过程，是上述步骤103的逆运算，上述步骤103中主要是对三维点云数据进行计算，得到平面坐标信息和深度信息，而在本步骤106中主要是对道路标志物的平面坐标信息及深度信息进行计算得到道路标志物的空间分布信息的过程。

具体地，如果上述第一坐标转换矩阵包括投影矩阵和模型视图矩阵，则道路标志物的识别装置在执行本步骤106时，会先获取投影矩阵的逆矩阵和模型视图矩阵的逆矩阵，然后采用投影矩阵的逆矩阵和模型视图矩阵的逆矩阵对道路标志物的平面坐标信息和深度信息进行计算，得到道路标志物的空间分布信息。

例如图3a所示为采集得到的某一场景下的二维图像，用户通过识别装置在二维图像中标定了两个路牌所在框和一个路标所在框；例如图3b所示为根据上述步骤103得到的该场景下的深度图像，通过本步骤105可以先得到在深度图像中两个路牌和一个路标所覆盖的所有点的深度信息，进而可以得到两个路牌和一个路标的空间分布信息。

进一步地，道路标志物的识别装置还可以根据上述步骤106确定的空间分布信息确定道路标志物的标记数据，这里标记数据是指道路标志物的信息，可以应用于多种场景下，比如，该标记数据可以应用于地图的制作中。该标记数据具体可以包括道路标志物的轮廓信息、朝向信息等，比如，道路标志物的有向包围盒(orientedboundingbox，obb)等。

需要说明的是，上述步骤102和103，与步骤104之间，并没有绝对的顺序关系，可以同时执行，也可以顺序执行，即可以在计算得到待识别场景的深度图像的同时，获取道路标志物的平面坐标信息，图2中所示的只是其中一种具体的实现方式。

可见，在本实施例的方法中，道路标志物的识别装置在识别待识别场景中的道路标志物时，可以先基于待识别场景的二维图像和三维点云数据，构建第一坐标转换矩阵，并采用第一坐标转换矩阵对三维点云数据进行计算，得到待识别场景的深度图像；这样，只要从待识别场景的二维图像中获取道路标志物的平面坐标信息，就可以根据道路标志物的平面坐标信息，确定深度图像中对应位置的深度信息；然后根据第一坐标转换矩阵、道路标志物的平面坐标信息及深度信息，确定所述道路标志物的空间分布信息，进而实现了道路标志物的识别。这样，可以不需要对采集的三维点云数据进行预处理，而是可以直接根据在平面坐标系下确定的道路标志物的平面坐标信息，确定道路标志物的空间分布信息，在这个过程中，不需要人工进行其它操作，只需借助待识别场景的深度图像即可实现自动映射过程，可以高效地完成道路标志物的定位，且极大地简化了人工的作业过程，减少人为因素的影响，有效的提升路标、路牌等道路标志物识别的效率和准确率。

参考图4所示，在一个具体的实施例中，如果上述第一坐标转换矩阵包括投影矩阵和模型视图矩阵，而待识别场景的二维图像是由相机采集的，则道路标志物的识别装置在执行上述步骤102时，具体可以通过如下的步骤201到203来实现：

步骤201，道路标志物的识别装置根据待识别场景的二维图像和三维点云数据获取相机的相机参数；道路标志物的识别装置获取相机的航向信息，上述二维图像的图像大小和相机对待识别场景的远近裁剪面信息。

具体地，相机参数可以包括相机的内参和外参，相机的内参用于表示相机的内部结构的参数，比如焦距f和像主点坐标(x0，y0)等；而相机的外参用于表示由相机的外部运动而形成的参数，比如，相机在三个方向的平移(xs,ys,zs)和在三个方向的旋转(a，b，c)等参数的值。

相机的内参和外参可以通过对参数的标定后，计算得到，具体地，用户可以通过道路标志物的识别装置，在上述步骤101获取的三维点云数据中选择待识别场景中多个(一般为4个或6个等)特征点的空间坐标信息(x，y，z)，并从二维图像中获取这多个特征点的平面坐标信息(x’，y’)，这里二维图像中的多个特征点与三维点云数据中的多个特征点要一一对应，比如在三维点云数据中某一特征点表示某个物体的某一块，同时在二维图像中的相应特征点也需要表示该物体的这一块。然后再根据每个特征点的空间坐标信息与平面坐标信息之间的共线关系，确定相机的相机参数，即内参和外参。具体地，共线关系(即一条射线上的点最终都会投影到图像上的同一位置)可以通过如下公式1来表示：

航向信息是在点云数据采集装置采集三维点云数据的同时，由航向信息的采集装置记录的当前的数据采集装置(包括相机等)运动的角度，可以包括绕x轴旋转的姿态角，称滚动(roll)；绕y轴旋转的姿态角，称俯仰(pitch)；绕z轴旋转的姿态角，称航偏(yaw)。

二维图像的图像大小具体可以包括图像的宽高像素值(iw，ih)；由于相机的可见范围是个四凌锥(即削平了尖顶的金子塔)，远近裁剪面信息可以包括相机能看见的最近距离和最远距离，即(cn，cf)，在这个范围之外的物体对相机来说都不可见。

步骤202，道路标志物的识别装置根据航向信息和相机参数确定模型视图矩阵。

具体地，道路标志物的识别装置根据航向信息确定三个方向的旋转矩阵mr，mp，my，根据相机参数中的外参确定相机的平移矩阵tc和相机的旋转矩阵rc，并基于三个方向的旋转矩阵、相机的平移矩阵和旋转矩阵构建模型视图矩阵mmodelview，具体地，模型视图矩阵可以通过如下公式2来表示：

mmodelview＝rc×tc×mr×mp×my(2)

步骤203，道路标志物的识别装置根据相机参数、二维图像的图像大小和相机对待识别场景的远近裁剪面信息，确定投影矩阵。

具体地，道路标志物的识别装置可以根据相机参数中的内参确定投影变换矩阵mp，根据图像大小和远近裁剪面信息确定正交投影矩阵mo，并基于投影变换矩阵和正交投影矩阵构建投影矩阵mprojection，具体地，投影矩阵可以通过如下公式3来表示：

mprojection＝mo×mp(3)

这样通过上述步骤201到203即可得到第一坐标转换矩阵，包括模型视图矩阵和投影矩阵，且上述步骤202和203之间并没有绝对的顺序关系，可以同时执行也可以顺序执行，图4中所示的只是一种具体的实现。

进一步地，道路标志物的识别装置在执行上述步骤103中计算得到待识别场景的深度图像时，可以通过执行如下步骤204到205来实现：

步骤204，道路标志物的识别装置可以根据上述模型视图矩阵和投影矩阵，将上述三维点云数据中各个点的空间坐标信息(xspace,yspace,zspace,1.0)转换为裁剪坐标系下坐标点的信息(xclip,yclip,zclip,wclip)。其中，裁剪坐标系也是属于一种空间坐标系，裁剪坐标系下坐标点的信息中包括坐标点的深度信息和坐标信息。

具体可以通过如下公式4将三维点云数据中各个点的空间坐标信息转换为裁剪坐标下坐标点的信息，且可以通过如下公式5中将裁剪坐标下坐标点的信息转换到空间坐标信息：

(xclip,yclip,zclip,wclip)＝mprojection×mmodelview×(xspace,yspace,zspace,1.0)(4)

mmodelview^-1×mprojection^-1×(xclip,yclip,zclip,wclip)＝×(xspace,yspace,zspace)(5)

其中，wclip＝-depth，是深度信息，表示空间坐标点到相机之间的距离；上述裁剪坐标系下坐标点是在相机视野范围内的待识别场景中的点。

步骤205，道路标志物的识别装置将上述步骤204得到的裁剪坐标系下坐标点的信息(xclip,yclip,zclip,wclip)转换为平面坐标系中的平面坐标信息(xpixel,ypixel)，具体可以通过如下公式6来表示：

这样，通过步骤205得到各个点的平面坐标信息(xpixel,ypixel)，并结合上述步骤204得到的裁剪坐标系下坐标点的信息中的深度信息wclip，即可渲染成待识别场景的深度图像。

参考图5所示，在另一个具体的实施例中，由于道路标志物的识别装置在上述步骤106中确定的道路标志物的空间分布信息可以包括道路标志物中多个点的空间坐标信息，则道路标志物的识别装置可以进一步地根据道路标志物的空间分布信息，确定道路标志物的标记数据，且具体可以如下步骤来实现：

步骤301，如果多个点中任意三个点所构建的平面的信息符合预置的目标平面的条件，则道路标志物的识别装置确定三个点所构建的平面为目标平面。

其中，在确定目标平面的过程中，可以采用随机抽样一致性算法(randomsampleconsensus，ransac)，采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数，即从随机选取的三个点构建平面，并对构建的平面进行判断是否为目标平面。

具体地，当三个点构建平面后，如果上述多个点中除了这三个点之外的其它点中，到该目标平面的距离小于预置值(比如5cm)的点数量，与其它点的总数量的比值大于另一预置值(比如90％)，则认为这三个点构建的平面为目标平面。如果多组三点分别构建的平面都符合或都不符合预置的目标平面的条件，则选择包括点最多的平面为目标平面。

步骤302，道路标志物的识别装置获取目标平面的第二坐标转换矩阵，记为mtrans，该第二坐标转换矩阵是用于根据空间坐标信息，得到从空间坐标系中空间坐标点投影到该目标平面的投影点的平面坐标信息。

具体地，道路标志物的识别装置可以在确定目标平面后，先确定目标平面的中心点centerpanel的平面坐标信息，及确定该目标平面的法向量normalpanel和两个方向向量uppanel和rightpanel的信息；然后再根据法向量和两个方向向量的信息，中心点的平面坐标信息，及预置的对应关系确定目标平面的坐标转换矩阵mtrans。其中，预置的对应关系是法向量和两个方向向量的信息、中心点的平面坐标信息及坐标转换矩阵之间的函数计算关系。具体地，可以通过如下公式7来表示：

其中，目标平面的法向量normalpanel是指垂直于该目标平面的向量。

方向向量uppanel是指平行于目标平面一个方向(向上方向)的向量，该方向向量的信息可以进行预估计，对于路牌来说，方向向量uppanel是垂直地面，竖直向上的；对于路标来说，方向向量uppanel是与行车方向同向的。

方向向量rightpanel是指平行于目标平面另一个方向(右向)的向量，在预估计方向向量uppanel的信息后，可以通过如下公式8计算得到方向向量rightpanel的信息：

步骤303，道路标志物的识别装置根据第二坐标转换矩阵，将多个点的空间坐标信息投影到目标平面上，得到多个投影点的平面坐标信息。

步骤304，道路标志物的识别装置选择多个投影点中的平面坐标信息最大和最小的投影点，根据第二坐标转换矩阵确定选择的投影点的空间坐标信息，即将选择的平面坐标信息最大和最小的投影点从目标平面反投影到空间坐标系中，即可得到道路标志物的轮廓信息，即obb包围盒。

这样，在通过上述步骤301到304中确定道路标志物的标记数据过程中，确定了道路标志物所在平面，即目标平面的朝向信息，可以包括法向量和方向向量等，能高效的完成道路标志物的识别，从而能极大的简化人工的作业过程，减少人为因素的影响，有效的提升道路标志物识别的效率和准确率。

以下以一个具体的应用实例来说明本发明的道路标志物的识别方法，具体可以应用于如图1所示的系统中，在本实施例中，数据采集装置具体为采集车辆，图像采集装置1具体为相机，点云数据采集装置2具体为激光扫描仪，本发明实施例的方法可以包括如下几个部分：

(1)如图6所示，道路标志物的识别装置可以通过如下步骤来构建第一坐标转换矩阵，具体包括投影矩阵和模型视图矩阵：

步骤401，采集车辆中安装的相机在某一时刻采集某一道路场景的二维图像，同时激光扫描仪采集该道路场景的三维点云数据，且通过航向信息的采集装置3会记录采集车辆的航向信息。则该道路场景即为上述的待识别场景。

步骤402，采集车辆将采集到的二维图像，三维点云数据和航向信息传输到道路标志物的识别装置中，道路标志物的识别装置先在二维图像和三维点云数据中，选择道路场景中多个特征点的空间坐标信息和平面坐标信息，并结合上述公式1，确定相机的相机参数，包括内参和外参。

步骤403，道路标志物的识别装置再根据相机的内参和外参，采集车辆输入的航向信息，二维图像的图像大小及相机对该道路场景的远近裁剪面信息，并结合上述公式2和3，确定模型视图矩阵和投影矩阵。

进一步地，道路标志物的识别装置还通过如下步骤404得到空间坐标信息与平面坐标信息之间基于深度信息的映射关系。

步骤404，道路标志物的识别装置基于模型视图矩阵和投影矩阵，并结合上述公式4和5，确定从空间坐标信息转换为裁剪坐标系下坐标点的信息的函数计算关系，在裁剪坐标系下坐标点的信息中包括坐标点的深度信息和坐标信息；且根据上述公式6确定从裁剪坐标系下坐标点的信息到平面坐标信息的转换关系。

空间坐标信息与平面坐标信息之间基于深度信息的映射关系包括本步骤404中确定的函数计算关系和转换关系。

(2)如图7所示，道路标志物的识别装置可以通过如下步骤来进行道路标志物的识别：

步骤501，道路标志物的识别装置根据上述的模型视图矩阵和投影矩阵，对三维点云数据中道路场景的空间坐标信息进行计算，得到该道路的深度图像。

具体地，道路标志物的识别装置会先采用模型视图矩阵和投影矩阵及上述步骤404确定的函数计算关系，对三维点云数据中该道路场景中各个点的空间坐标信息进行计算，获取到该道路场景中各个点在裁剪坐标系下的信息，具体包括各个点的坐标信息和深度信息；且可以根据上述步骤404确定的转换关系，可以获取该道路场景中各个点的平面坐标信息。

进而就可以根据该道路场景中各个点的平面坐标信息和深度信息，渲染得到该道路场景的深度图像。

步骤502，用户通过道路标志物的识别装置标定二维图像中道路标志物所在框，这样可以得到道路标志物所覆盖的各个点的平面坐标信息。

步骤503，道路标志物的识别装置根据道路标志物的平面坐标信息，得到深度图像中对应位置的深度信息，即可得到道路标志物中各个点的深度信息。

步骤504，道路标志物的识别装置根据道路标志物中各个点的深度信息，及道路标志物的平面坐标信息，及上述步骤404中得到的上述转换关系，即可得到这些点在裁剪坐标系下的信息；然后再根据模型视图矩阵的逆矩阵和投影矩阵的逆矩阵，及上述步骤404获取的函数计算关系，将这些点在裁剪坐标系下的信息转化为空间坐标信息，从而得到道路标志物的空间分布信息。

步骤505，道路标志物的识别装置可以采用ransac的方法，不断地随机从空间分布信息中选取三个点，来构建平面，并判断构建的平面是否为目标平面，通过这种方法确定了道路标志物的目标平面。

步骤506，道路标志物的识别装置确定目标平面的中心点的平面坐标信息，法向量和两个方向向量；并根据中心点的平面坐标信息，法向量和两个方向向量，结合上述公式7确定目标平面的坐标转换矩阵。

步骤507，道路标志物的识别装置根据坐标转换矩阵，将道路标志物的空间分布信息中，多个点的空间坐标信息投影到目标平面上，得到多个投影点的平面坐标信息。

步骤508，道路标志物的识别装置选择多个投影点中的平面坐标信息最大和最小的投影点，再将选择的最大和最小的投影点从目标平面反投影到空间坐标系中，即可得到道路标志物的obb包围盒。

本发明实施例还提供一种道路标志物的识别装置，其结构示意图如图8所示，具体可以包括：

信息获取单元10，用于获取待识别场景的二维图像和三维点云数据。

构建单元11，用于基于所述信息获取单元10获取的二维图像和三维点云数据，构建第一坐标转换矩阵。

如果所述第一坐标转换矩阵包括投影矩阵和模型视图矩阵，所述待识别场景的二维图像是由相机采集的；则所述构建单元11，具体用于根据所述二维图像和三维点云数据获取所述相机的相机参数；获取所述相机的航向信息、所述二维图像的图像大小和所述相机对待识别场景的远近裁剪面信息；根据所述航向信息和相机参数确定所述模型视图矩阵；根据所述相机参数、二维图像的图像大小和所述相机对待识别场景的远近裁剪面信息，确定所述投影矩阵。

其中，构建单元11在根据所述二维图像和三维点云数据获取所述相机的相机参数时，具体用于在所述三维点云数据中选择所述待识别场景中多个特征点的空间坐标信息，并从所述二维图像中获取相应特征点的平面坐标信息；根据每个特征点的空间坐标信息与平面坐标信息之间的共线关系，确定所述相机的相机参数。

构建单元11在根据所述航向信息和相机参数确定所述模型视图矩阵时，具体用于根据所述航向信息确定三个方向的旋转矩阵；根据所述相机参数确定相机的平移矩阵和相机的旋转矩阵；基于所述三个方向的旋转矩阵、相机的平移矩阵和旋转矩阵构建所述模型视图矩阵。

构建单元11在根据所述相机参数、二维图像的图像大小和所述相机对待识别场景的远近裁剪面信息，确定所述投影矩阵时，具体用于根据所述相机参数确定投影变换矩阵；根据所述图像大小和远近裁剪面信息确定正交投影矩阵；基于所述投影变换矩阵和正交投影矩阵构建所述投影矩阵。

深度图像单元12，用于采用所述构建单元11构建的第一坐标转换矩阵对所述三维点云数据进行计算，得到所述待识别场景的深度图像。

标志物平面确定单元13，用于从所述待识别场景的二维图像中获取道路标志物的平面坐标信息。

具体地，标志物平面确定单元13，具体用于显示所述二维图像的图像编辑界面；从所述图像编辑界面接收用户对道路标志物的框定信息，根据所述框定信息，确定所述道路标志物的平面坐标信息。

深度确定单元14，用于根据所述标志物平面确定单元13获取的道路标志物的平面坐标信息，确定所述深度图像中与所述道路标志物的平面坐标信息对应位置的深度信息；

空间分布确定单元15，用于根据所述第一坐标转换矩阵、道路标志物的平面坐标信息及深度确定单元14确定的深度信息，确定所述道路标志物的空间分布信息。

空间分布确定单元15，具体用于获取所述投影矩阵的逆矩阵和模型视图矩阵的逆矩阵；采用所述投影矩阵的逆矩阵和模型视图矩阵的逆矩阵对所述道路标志物的平面坐标信息和深度信息进行计算，得到所述道路标志物的空间分布信息。

进一步地，道路标志物的识别装置还可以包括：标记数据单元16，用于根据所述空间分布确定单元15确定的空间分布信息确定所述道路标志物的标记数据。

如果所述道路标志物的空间分布信息包括所述道路标志物中多个点的空间坐标信息；所述标记数据单元16，具体用于若所述多个点中任意三个点所构建的平面的信息符合预置的目标平面的条件，确定所述三个点所构建的平面为目标平面；获取所述目标平面的第二坐标转换矩阵；根据所述第二坐标转换矩阵，将所述多个点的空间坐标信息投影到所述目标平面上，得到多个投影点的平面坐标信息；选择所述多个投影点中的平面坐标信息最大和最小的投影点，根据所述第二坐标转换矩阵确定所述选择的投影点的空间坐标信息。

标记数据单元16在获取所述目标平面的第二坐标转换矩阵时，具体用于确定所述目标平面的中心点的平面坐标信息，及确定所述目标平面的法向量和方向向量的信息；根据所述法向量和方向向量的信息，中心点的平面坐标信息，及预置的对应关系，确定所述目标平面的第二坐标转换矩阵，其中，所述预置的对应关系是法向量和方向向量的信息、中心点的平面坐标信息及坐标转换矩阵之间的函数计算关系。

可见，在本实施例的道路标志物的识别装置在识别待识别场景中的道路标志物时，构建单元11可以先基于待识别场景的二维图像和三维点云数据，构建第一坐标转换矩阵，并由深度图像单元12采用第一坐标转换矩阵对三维点云数据进行计算，得到待识别场景的深度图像；这样，只要标志物平面确定单元13从待识别场景的二维图像中获取道路标志物的平面坐标信息，深度确定单元14就可以根据道路标志物的平面坐标信息，确定深度图像中对应位置的深度信息；然后空间分布确定单元15根据第一坐标转换矩阵、道路标志物的平面坐标信息及深度信息，确定所述道路标志物的空间分布信息，进而实现了道路标志物的识别。这样，可以不需要对采集的三维点云数据进行预处理，而是可以直接根据在平面坐标系下确定的道路标志物的平面坐标信息，确定道路标志物的空间分布信息，在这个过程中，不需要人工进行其它操作，只需借助待识别场景的深度图像即可实现自动映射过程，可以高效地完成道路标志物的定位，且极大地简化了人工的作业过程，减少人为因素的影响，有效的提升路标、路牌等道路标志物识别的效率和准确率。

本发明实施例还提供一种终端设备，其结构示意图如图9所示，该终端设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，cpu)20(例如，一个或一个以上处理器)和存储器21，一个或一个以上存储应用程序221或数据222的存储介质22(例如一个或一个以上海量存储设备)。其中，存储器21和存储介质22可以是短暂存储或持久存储。存储在存储介质22的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对终端设备中的一系列指令操作。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中的一系列指令操作。

具体地，在存储介质22中储存的应用程序221包括道路标志物识别的应用程序，且该程序可以包括上述道路标志物的识别装置中的信息获取单元10，构建单元11，深度图像单元12，标志物平面确定单元13、深度确定单元14、空间分布确定单元15和标记数据单元16，在此不进行赘述。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中储存的道路标志物识别的应用程序对应的一系列操作。

终端设备还可以包括一个或一个以上电源23，一个或一个以上有线或无线网络接口24，一个或一个以上输入输出接口25，和/或，一个或一个以上操作系统223，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm等等。

上述方法实施例中所述的由识别装置所执行的步骤可以基于该图9所示的终端设备的结构。

本发明实施例还提供一种存储介质，所述存储介质储存多条指令，所述指令适于由处理器加载并执行如上述数据编辑识别装置所执行的道路标志物的数据编辑识别方法。

本发明实施例还提供一种终端设备，包括处理器和存储介质，所述处理器，用于实现各个指令；

所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行如上述识别装置所执行的道路标志物的识别方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom)、随机存取存储器ram)、磁盘或光盘等。

以上对本发明实施例所提供的道路标志物的识别方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。