用于自动驾驶的交通标识的生成方法及相关装置与流程

文档序号:25949273发布日期:2021-07-20 17:04阅读:130来源:国知局
用于自动驾驶的交通标识的生成方法及相关装置与流程

本申请涉及导航技术领域,尤其涉及一种用于自动驾驶的交通标识的生成方法及相关装置。



背景技术:

随着人工智能、自动驾驶等技术的发展,构建智慧交通也成为了研究热点,而高精地图是智慧交通数据构建中必不可少的部分。高精地图中可以包含多种交通标识,例如能够通过详细的车道地图来表达现实世界中诸如车道线、行车停止线、人行横道线等地面特征要素以及路牌、红绿灯等高空特征要素,以便为自动驾驶等应用场景时的导航提供数据支撑。

交通标识中路牌作为城市地理实体的信息承载载体,具备地名、路线、距离和方向等信息导航功能,同时作为分布于城市道路交叉口的基础设施,在空间上具有其特殊性,是城市基础物联网的良好载体。

相关技术中,通过分别计算路牌中各个特征点的空间坐标,以生成路牌的地理坐标,从而完成路牌的制作。如果其中一个特征点的空间坐标计算误差较大,将会直接影响路牌制作的精度。



技术实现要素:

为解决或部分解决相关技术中存在的问题,本申请提供一种用于自动驾驶的交通标识的生成方法及相关装置,能够获得高精准程度的路牌地理坐标。

本申请第一方面提供一种用于自动驾驶的交通标识的生成方法,包括:

获取包含同一路牌的两张图像,以及获取分别拍摄所述两张图像时相机的地理位置信息;

计算所述两张图像之间的旋转矩阵和平移矩阵;

对所述两张图像进行路牌识别,获取第一路牌特征点集分别在所述两张图像中的像素坐标,所述第一路牌特征点集包括所述路牌中的至少三个特征点;

根据所述两张图像之间的旋转矩阵和平移矩阵,以及所述第一路牌特征点集分别在所述两张图像中的像素坐标,计算所述第一路牌特征点集相对于所述相机的空间坐标;

利用所述第一路牌特征点集相对于所述相机的空间坐标以及水平基准面,确定所述第一路牌特征点集所在的路牌空间平面;其中,所述路牌空间平面与所述水平基准面垂直;

根据所述路牌空间平面,以及第二路牌特征点集在其中一张所述图像中的像素坐标,计算所述第二路牌特征点集相对于所述相机的空间坐标,所述第二路牌特征点集包括所述路牌上预设位置的至少两个特征点;

利用所述第二路牌特征点集相对于所述相机的空间坐标以及拍摄所述两张图像时所述相机的地理位置信息,生成所述路牌的地理坐标。

在一种实施方式中,所述计算所述两张图像之间的旋转矩阵和平移矩阵,包括:

获取所述两张图像中每一张图像的特征点;

将所述两张图像的特征点进行匹配,得到所述两张图像中匹配成功的目标特征点集;

利用所述目标特征点集,计算所述两张图像之间的旋转矩阵和平移矩阵。

在一种实施方式中,所述获取第一路牌特征点集分别在所述两张图像中的像素坐标,包括:

获取所述两张图像中每一张图像中识别到的路牌区域内的特征点;

将所述两张图像中的路牌区域内的特征点进行匹配,得到所述两张图像中匹配成功的第一路牌特征点集;

获取所述第一路牌特征点集分别在所述两张图像中的像素坐标。

在一种实施方式中,所述利用所述第一路牌特征点集相对于所述相机的空间坐标以及水平基准面,确定所述第一路牌特征点集所在的路牌空间平面,包括:

根据所述第一路牌特征点集相对于所述相机的空间坐标以及水平基准面,利用最小二乘优化算法构建垂直平面误差方程;

根据所述垂直平面误差方程,得到所述第一路牌特征点集所在的路牌空间平面。

在一种实施方式中,所述根据所述路牌空间平面,以及第二路牌特征点集在其中一张所述图像中的像素坐标,计算所述第二路牌特征点集相对于所述相机的空间坐标,包括:

利用所述路牌空间平面,以及预设计算公式,构建特征点空间坐标求解方程组;

将第二路牌特征点集在其中一张所述图像中的像素坐标,依次代入所述方程组中,得到所述第二路牌特征点集相对于所述相机的空间坐标。

在一种实施方式中,所述预设位置包括:

所述路牌的角点、中心点、线段交点、边缘线上的点、以及字体的顶点中的一种或几种的组合。

本申请第二方面提供一种用于自动驾驶的交通标识的生成装置,包括:

获取单元,用于获取包含同一路牌的两张图像,以及获取分别拍摄所述两张图像时相机的地理位置信息;

第一计算单元,用于计算所述两张图像之间的旋转矩阵和平移矩阵;

识别单元,用于对所述两张图像进行路牌识别,获取第一路牌特征点集分别在所述两张图像中的像素坐标,所述第一路牌特征点集包括所述路牌中的至少三个特征点;

第二计算单元,用于根据所述两张图像之间的旋转矩阵和平移矩阵,以及所述第一路牌特征点集分别在所述两张图像中的像素坐标,计算所述第一路牌特征点集相对于所述相机的空间坐标;

确定单元,用于利用所述第一路牌特征点集相对于所述相机的空间坐标以及水平基准面,确定所述第一路牌特征点集所在的路牌空间平面;其中,所述路牌空间平面与所述水平基准面垂直;

第三计算单元,用于根据所述路牌空间平面,以及第二路牌特征点集在其中一张所述图像中的像素坐标,计算所述第二路牌特征点集相对于所述相机的空间坐标,所述第二路牌特征点集包括所述路牌上预设位置的至少两个特征点;

生成单元,用于利用所述第二路牌特征点集相对于所述相机的空间坐标以及拍摄所述两张图像时所述相机的地理位置信息,生成所述路牌的地理坐标。

在一种实施方式中,所述预设位置包括:

所述路牌的角点、中心点、线段交点、边缘线上的点、以及字体的顶点中的一种或几种的组合。

本申请第三方面提供一种电子设备,包括:

处理器;以及

存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如上所述的方法。

本申请第四方面提供一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果:

本申请实施例提供的方法,通过利用第一路牌特征点集相对于相机的空间坐标,确定第一路牌特征点集所在的路牌空间平面。由于路牌空间平面根据第一路牌特征点集中所有的第一路牌特征点共同确定,极大程度上避免了某些第一路牌特征点的计算误差,对路牌空间平面的计算正确性的影响。通过设定路牌空间平面与水平基准面垂直,体现现实世界中路牌与水平基准面相垂直的事实情况,从而修正了路牌空间平面,剔除了某些第一路牌特征点计算误差的影响,保障了路牌空间平面的计算正确性。根据路牌空间平面,以及第二路牌特征点集在其中一张图像中的像素坐标,计算第二路牌特征点集相对于相机的空间坐标,第二路牌特征点集包括路牌上预设位置的至少两个特征点。第二路牌特征点可以是路牌上预设位置的特征点,从而更具代表性,并且利于保证对第二路牌特征点识别获取的准确度。利用正确可靠的路牌空间平面,以及更具代表性且高准确度的第二路牌特征点集进行计算,从而保障了第二路牌特征点集相对于相机的空间坐标的精准性、可靠性以及稳定性,进而利于获得高精准程度的路牌地理坐标,实现高精度路牌的制作。

进一步的,本申请实施例提供的方法,可以获取两张图像中每一张图像的特征点,将两张图像的特征点进行匹配,得到两张图像中匹配成功的目标特征点集,利用目标特征点集,计算两张图像之间的旋转矩阵和平移矩阵,从而保证第一路牌特征点集相对于相机的空间坐标计算的准确性,进而利于获得高精准程度的路牌地理坐标。

进一步的,本申请实施例提供的方法,可以获取两张图像中每一张图像中识别到的路牌区域内的特征点,将两张图像中的路牌区域内的特征点进行匹配,得到两张图像中匹配成功的第一路牌特征点集,从而获取第一路牌特征点集分别在两张图像中的像素坐标,进而利于获得高精准程度的路牌地理坐标。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述,本申请的上述以及其它目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。

图1是本申请实施例示出的用于自动驾驶的交通标识的生成方法的流程示意图;

图2是本申请实施例示出的用于自动驾驶的交通标识的生成装置的结构示意图;

图3是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

相关技术中,通过分别计算路牌中各个特征点的空间坐标,以生成路牌的地理坐标,从而完成路牌的制作。如果其中一个特征点的空间坐标计算误差较大,将会直接影响路牌制作的精度。

针对上述问题,本申请实施例提供一种用于自动驾驶的交通标识的生成方法及相关装置,能够获得高精准程度的路牌地理坐标。

以下结合附图详细描述本申请实施例的技术方案。

图1是本申请实施例示出的用于自动驾驶的交通标识的生成方法的流程示意图。

参见图1,该方法包括:

步骤s101、获取包含同一路牌的两张图像,以及获取分别拍摄两张图像时相机的地理位置信息。

本申请实施例中,可以通过摄像装置来采集行车过程中的视频数据,其中,该摄像装置可以包括但不限于安装于车辆上的行车记录仪、摄像头或司机的手机等具有摄像功能的装置。其中,摄像装置可以为单目摄像装置。摄像装置可以设置于车辆的首部以对车辆前方的路牌进行视频录像从而获得包含路牌的连续的视频图像。为了后续对图像进行处理,需要对车辆行驶中获取包含路牌的视频数据进行抽帧。通常,视频的帧率为每秒30帧,可以按照预置的规则对视频进行抽帧,例如,每秒抽10帧、15帧、20帧或其他值,从而获得拍摄的多帧图像,相邻两帧图像的时间间隔为抽帧时间间隔。此外,摄像装置在拍摄图像的同时,还会记录下图像的拍摄时间。本申请实施例将采集图像的摄像装置看作为相机。

其中,相机的朝向(即相机的光轴)可以被设置为与水平基准面(即水平面)平行。

另外,可通过车载或者手机等配置的定位设备来采集车辆或相机的地理位置信息,其中,定位设备可以采用gps(globalpositioningsystem,全球定位系统)、北斗、rtk(realtimekinematic,实时动态)等现有设备实现,本申请不作限定。车辆(或相机)的地理位置信息可以包括但不限于车辆(或相机)的地理坐标(如gps坐标、经纬度坐标等)、方位、航向角、朝向等信息。

本申请实施例提供的方法可以应用于车机,也可以应用于其他具备计算和处理功能的设备,如计算机、电脑、手机等。这里以车机为例,相机和定位设备可以内置于车机,也可以设置于车机外,且与车机之间建立通信连接。

相机在拍摄图像的同时,定位设备采集车辆或相机的地理位置信息,并一起传输给车机。根据图像的拍摄时间可以查找到同一时间定位设备获取的地理位置信息。可以理解的是,可以事先对相机和定位设备的时间进行同步处理,其目的是使拍摄的图像能够准确对应车辆或相机当时的位置。

步骤s102、计算两张图像之间的旋转矩阵和平移矩阵。

在一可选的实施方式中,步骤s102、计算两张图像之间的旋转矩阵和平移矩阵的具体实施方式可以包括以下步骤:

11)获取两张图像中每一张图像的特征点。

其中,这些特征点可以包含路牌上的点,也可以包含图像上其他一些固定物(如建筑、广告牌等)上的特征点,这里不作限定。具体的,可以利用brisk算子提取上述两张图像中每一张图像的特征点,并对每一张图像的特征点进行描述,将描述后的特征点作为该张图像的特征点。

12)将两张图像的特征点进行匹配,得到两张图像中匹配成功的目标特征点集。

本申请实施例中,上述两张图像中可以包含有不同视角下的同一物体(如建筑物、广告牌、路牌等等)。通过对图像上的特征点进行匹配,可以将两张图像上的同一物体的某些特征点匹配成功。其中,目标特征点集为上述两张图像中每一张图片上均匹配成功的特征点的集合。

13)利用目标特征点集,计算两张图像之间的旋转矩阵和平移矩阵。

举例来说,车辆在行驶过程中,在位置a采集了包含路牌的图像a,在位置b采集了包含同一路牌的图像b。假设两张图像中匹配成功的特征点有八对,则可以采用八点法来计算两张图像之间的旋转矩阵和平移矩阵。可以理解的是,上述过程是以八点法为例进行说明的,但并不局限于此。当两张图像上匹配的特征点不止八对时,可以利用对极约束构建最小二乘法来求得两张图像之间的平移矩阵和旋转矩阵。

可以理解,在步骤s102中,在两张图像中所获取的特征点可以是路牌区域内的特征点,也可以是路牌区域外的特征点;也就是说,步骤s102中在两张图像中所获取的特征点选取于两张图像的全部区域。将两张图像全部区域内的特征点进行匹配,得到两张图像中匹配成功的目标特征点集。由于目标特征点可以在每张图像的路牌区域内,也可以在路牌区域外。因此,利用目标特征点集,计算得到的两张图像之间的旋转矩阵和平移矩阵的结果更为精准、可靠。

步骤s103、对两张图像进行路牌识别,获取第一路牌特征点集分别在两张图像中的像素坐标。

其中,第一路牌特征点集可以包括路牌中的至少三个特征点。

在一可选的实施方式中,步骤s103、对两张图像进行路牌识别,获取第一路牌特征点集分别在两张图像中的像素坐标,第一路牌特征点集包括路牌中的至少三个特征点的具体实施方式可以包括以下步骤:

14)获取两张图像中每一张图像中识别到的路牌区域内的特征点。

其中,可以分别对两张图像进行识别,以识别出图像中包含的路牌。图像识别的具体实现过程可以包括:基于深度学习算法进行样本训练,构建模型,对构建的模型进行精度验证,利用通过精度验证的模型识别出图像中的路牌,再利用预设算法提取路牌上的特征点。在本实施例中,可以通过yolov5算法识别两张图像中各个图像的路牌,以保证对图像中路牌获取的可靠性。进一步的,可以利用brisk算子提取上述两张图像中每一张图像中识别到的路牌区域内的特征点,并对每一张图像中识别到的路牌区域内的特征点进行描述,将描述后的特征点作为该张图像的特征点。

可以理解的是,也可以采用其他算法识别图像中的路牌区域,如deeplab算法,这里不作限定。也可以采用其他算法提取图像中的特征点,如orb、surf或sift算法等等,这里亦不作限定。

15)将两张图像中的路牌区域内的特征点进行匹配,得到两张图像中匹配成功的第一路牌特征点集。

第一路牌特征点集为上述两张图像中每一张图片上路牌区域内均匹配成功的特征点的集合。此处需要说明的是,在步骤s103中,在两张图像中所获取的特征点是路牌区域内的特征点,进行匹配的特征点也是路牌区域内的特征点。而在步骤s102中,在两张图像中所获取的特征点可以是路牌区域内的特征点,也可以是路牌区域外的特征点。

16)获取第一路牌特征点集分别在两张图像中的像素坐标。

本申请实施例中,提取的特征点可以用像素来表示,一个特征点可以看作为一个像素点,而每一个像素点又可以用像素坐标来表示。所谓像素坐标,用于描述物体成像后的像素点在数字图像上的位置。要确定像素的坐标,首先需要确定像素坐标系。像素坐标系以图像平面的左上角顶点为坐标原点的直角坐标系u-v,像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数,可将某点的像素坐标记为puv(u,v)。由于路牌在不同图像上成像的位置不同,使得路牌上的同一特征点在不同图像上的像素坐标不同,因此,需要获取每一特征点在两张图像上的像素坐标。

步骤s104、根据两张图像之间的旋转矩阵和平移矩阵,以及第一路牌特征点集分别在两张图像中的像素坐标,计算第一路牌特征点集相对于相机的空间坐标。

其中,第一路牌特征点集相对于相机的空间坐标可以是利用第一路牌特征点集分别在两张图像中的像素坐标,以及这两张图像之间的旋转矩阵和平移矩阵,通过三角化算法计算得到的。

在一可选的实施方式中,步骤s104、根据两张图像之间的旋转矩阵和平移矩阵,以及第一路牌特征点集分别在两张图像中的像素坐标,计算第一路牌特征点集相对于相机的空间坐标的具体实施方式可以包括以下步骤:

17)利用拍摄上述两张图像时相机的地理位置信息,计算得到上述相机的移动距离;

18)根据相机的移动距离对上述两张图像之间的平移矩阵进行优化,得到新的平移矩阵;

19)根据上述第一路牌特征点集分别在上述两张图像中的像素坐标以及上述两张图像之间的旋转矩阵和新的平移矩阵,得到上述第一路牌特征点集相对于相机的空间坐标。

步骤s105、利用第一路牌特征点集相对于相机的空间坐标以及水平基准面,确定第一路牌特征点集所在的路牌空间平面;其中,路牌空间平面与水平基准面垂直。

实际应用中,在采集图像时通常会将相机的朝向设置为与水平基准面(即水平面)平行,即保证相机的光轴与水平面平行,这样采集到的图像能够尽可能的还原物体与地平面之间的位置关系。然而,即使相机朝向与水平面平行,因为后期取点误差或计算误差等因素导致计算出的路牌空间平面有可能与水平面不垂直,因此需要对路牌空间平面进行修正,以使其与水平面垂直。

在一可选的实施方式中,步骤s105、利用第一路牌特征点集相对于相机的空间坐标以及水平基准面,确定第一路牌特征点集所在的路牌空间平面的具体实施方式可以包括以下步骤:

20)根据第一路牌特征点集相对于相机的空间坐标以及水平基准面,利用最小二乘优化算法构建垂直平面误差方程;

21)根据垂直平面误差方程,得到第一路牌特征点集所在的路牌空间平面。

具体的,利用最小二乘优化算法构建平面误差方程:

由于现实世界中的路牌与水平基准面相垂直,为了确保路牌空间平面与水平基准面垂直,可以对平面方程:ax+by+cz+d=0进行设定,设定b=0,从而保证路牌空间平面与水平基准面垂直。这样,第一路牌特征点集所在的路牌空间平面用垂直平面方程:ax+cz+d=0来表征,从而修正了路牌空间平面,剔除了某些第一路牌特征点计算误差的影响,保障了路牌空间平面的计算正确性。

即上述平面误差方程修正为垂直平面误差方程,具体如下:

将第一路牌特征点集相对于相机的空间坐标依次代入上述误差方程中,以求得最小误差及对应的a、c、d的值,从而确定第一路牌特征点集所在的路牌空间平面。也就是说,第一路牌特征点集所在的路牌空间平面可以用垂直平面方程:ax+cz+d=0来表征。

可以理解,路牌空间平面根据第一路牌特征点集中所有的第一路牌特征点共同确定,极大程度上避免了某些第一路牌特征点的计算误差,对路牌空间平面的计算正确性的影响。

步骤s106、根据路牌空间平面,以及第二路牌特征点集在其中一张图像中的像素坐标,计算第二路牌特征点集相对于相机的空间坐标。

其中,第二路牌特征点集可以包括路牌上预设位置的至少两个特征点。

在一可选的实施方式中,步骤s106、根据路牌空间平面,以及第二路牌特征点集在其中一张图像中的像素坐标,计算第二路牌特征点集相对于相机的空间坐标,第二路牌特征点集包括路牌上预设位置的至少两个特征点的具体实施方式可以包括以下步骤:

22)利用路牌空间平面,以及预设计算公式,构建特征点空间坐标求解方程组;

23)将第二路牌特征点集在其中一张图像中的像素坐标,依次代入方程组中,得到第二路牌特征点集相对于相机的空间坐标。

具体的,通过将路牌空间平面的垂直平面方程:ax+cz+d=0,以及预设计算公式:,构建特征点空间坐标求解方程组:

其中,zc为未知量,u与v分别表示特征点的像素坐标的横坐标值与纵坐标值,k为相机内参数,p表示特征点的空间坐标。

将第二路牌特征点集在其中一张图像中的像素坐标,依次代入上述方程组中,即可得到第二路牌特征点集相对于相机的空间坐标。例如,第二路牌特征点p(xp,yp,zp)在a图像中的像素坐标为p(ua,va),在b图像中的像素坐标为p(ub,vb),那么,将p(ua,va)或者p(ub,vb)代入上述方程组中,即可得到第二路牌特征点p(xp,yp,zp)的空间坐标的具体数值。优选的,取第二路牌特征点p在距离当前时间最近采集到的图像中的像素坐标。

本申请实施例中,预设位置包括:路牌的角点、中心点、线段交点、边缘线上的点、以及字体的顶点中的一种或几种的组合。也就是说,第二路牌特征点选取于路牌的角点、中心点、线段交点、边缘线上的点、以及字体的顶点。这样,第二特征点将更具代表性,第二特征点更易被识别获取,能够确保第二路牌特征点集相对于相机的空间坐标的计算结果的精准度,利于获得高精准程度的路牌地理坐标。例如,当路牌为三角形路牌时,第二路牌特征点集可以包含路牌的三个角点;当路牌为方形路牌时,第二路牌特征点集可以包含路牌的四个角点;当路牌为圆形路牌时,第二路牌特征点集可以包含路牌的两条直径(如垂直直径与水平直径)与圆周的交点、圆心等。

步骤s107、利用第二路牌特征点集相对于相机的空间坐标以及拍摄两张图像时相机的地理位置信息,生成路牌的地理坐标。

本申请实施例中,当确定了路牌的地理坐标,且车辆的地理位置也已知,则可以得出车辆与路牌之间的距离,从而为车辆导航提供数据支撑,有助于为车辆提供精确的行车指导。

从该实施例可以看出,本申请实施例提供的方法,通过利用第一路牌特征点集相对于相机的空间坐标,确定第一路牌特征点集所在的路牌空间平面。由于路牌空间平面根据第一路牌特征点集中所有的第一路牌特征点共同确定,极大程度上避免了某些第一路牌特征点的计算误差,对路牌空间平面的计算正确性的影响。通过设定路牌空间平面与水平基准面垂直,体现现实世界中路牌与水平基准面相垂直的事实情况,从而修正了路牌空间平面,剔除了某些第一路牌特征点计算误差的影响,保障了路牌空间平面的计算正确性。根据路牌空间平面,以及第二路牌特征点集在其中一张图像中的像素坐标,计算第二路牌特征点集相对于相机的空间坐标,第二路牌特征点集包括路牌上预设位置的至少两个特征点。第二路牌特征点可以是路牌上预设位置的特征点,从而更具代表性,并且利于保证对第二路牌特征点识别获取的准确度。利用正确可靠的路牌空间平面,以及更具代表性且高准确度的第二路牌特征点集进行计算,从而保障了第二路牌特征点集相对于相机的空间坐标的精准性、可靠性以及稳定性,进而利于获得高精准程度的路牌地理坐标,实现高精度路牌的制作。

与前述应用功能实现方法实施例相对应,本申请还提供了一种用于自动驾驶的交通标识的生成装置、电子设备及相应的实施例。

图2是本申请实施例示出的用于自动驾驶的交通标识的生成装置的结构示意图。

参见图2,本申请实施例提供一种用于自动驾驶的交通标识的生成装置,包括:

获取单元201,用于获取包含同一路牌的两张图像,以及获取分别拍摄两张图像时相机的地理位置信息;

第一计算单元202,用于计算两张图像之间的旋转矩阵和平移矩阵;

识别单元203,用于对两张图像进行路牌识别,获取第一路牌特征点集分别在两张图像中的像素坐标,第一路牌特征点集包括路牌中的至少三个特征点;

第二计算单元204,用于根据两张图像之间的旋转矩阵和平移矩阵,以及第一路牌特征点集分别在两张图像中的像素坐标,计算第一路牌特征点集相对于相机的空间坐标;

确定单元205,用于利用第一路牌特征点集相对于相机的空间坐标以及水平基准面,确定第一路牌特征点集所在的路牌空间平面;其中,所述路牌空间平面与所述水平基准面垂直;

第三计算单元206,用于根据路牌空间平面,以及第二路牌特征点集在其中一张图像中的像素坐标,计算第二路牌特征点集相对于相机的空间坐标,第二路牌特征点集包括路牌上预设位置的至少两个特征点;

生成单元207,用于利用第二路牌特征点集相对于相机的空间坐标以及拍摄两张图像时相机的地理位置信息,生成路牌的地理坐标。

可选的,第一计算单元202计算两张图像之间的旋转矩阵和平移矩阵的方式可以包括:

获取两张图像中每一张图像的特征点;将两张图像的特征点进行匹配,得到两张图像中匹配成功的目标特征点集;利用目标特征点集,计算两张图像之间的旋转矩阵和平移矩阵。

可选的,识别单元203获取第一路牌特征点集分别在两张图像中的像素坐标的方式可以包括:

获取两张图像中每一张图像中识别到的路牌区域内的特征点;将两张图像中的路牌区域内的特征点进行匹配,得到两张图像中匹配成功的第一路牌特征点集;获取第一路牌特征点集分别在两张图像中的像素坐标。

可选的,确定单元205利用第一路牌特征点集相对于相机的空间坐标以及水平基准面,确定第一路牌特征点集所在的路牌空间平面的方式可以包括:

根据第一路牌特征点集相对于相机的空间坐标以及水平基准面,利用最小二乘优化算法构建垂直平面误差方程;根据垂直平面误差方程,得到第一路牌特征点集所在的路牌空间平面。

可选的,第三计算单元206根据路牌空间平面,以及第二路牌特征点集在其中一张图像中的像素坐标,计算第二路牌特征点集相对于相机的空间坐标的方式可以包括:

利用路牌空间平面,以及预设计算公式,构建特征点空间坐标求解方程组;将第二路牌特征点集在其中一张图像中的像素坐标,依次代入方程组中,得到第二路牌特征点集相对于相机的空间坐标。

可选的,路牌上预设位置可以包括:路牌的角点、中心点、线段交点、边缘线上的点、以及字体的顶点中的一种或几种的组合。

实施图2所示的装置,能够获得高精准程度的路牌地理坐标。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不再做详细阐述说明。

图3是本申请实施例示出的电子设备的结构示意图。

请参阅图3,本申请实施例还提供了一种电子设备300。该电子设备300可以用于执行上述实施例提供的用于自动驾驶的交通标识的生成方法。该电子设备300可以是任意具有计算单元的设备,如计算机、服务器、手持设备(如智能手机、平板电脑等)、或行车记录仪等等,本申请实施例不作限定。

参见图3,电子设备300包括存储器310和处理器320。

处理器320可以是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器310可以包括各种类型的存储单元,例如系统内存、只读存储器(rom),和永久存储装置。其中,rom可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器310可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(dram,sram,sdram,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器310可以包括可读和/或写的可移除的存储设备,例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom,双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、minsd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器310上存储有可执行代码,当可执行代码被处理器320处理时,可以使处理器320执行上文述及的方法中的部分或全部步骤。

此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者,本申请还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时,使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1