语义地图的生成方法、装置、系统、存储介质及电子设备与流程
本发明实施例涉及车辆导航技术领域，具体而言，涉及一种语义地图的生成方法、语义地图的生成装置、语义地图的生成系统、计算机可读存储介质以及电子设备。
背景技术：
高精地图，作为自动驾驶或者无人驾驶系统的重要组成部分，在车辆周边环境感知辅助、高精度定位、车道级别路径规划与决策等方面起到至关重要的作用。
目前，高精地图生产的主要技术流程包含数据采集、数据预处理、自动识别、人工检核修正、编译发布等五个基本环节。具体的，在当前阶段，高精地图的生产大都需要结合激雷达获取的三维激光点云数据与摄像头获取的图像数据，通过多源数据融合的方式进行生产。
但是，上述方法存在如下缺陷：由于在自动识别过程中需要对激光点云数据及影像数据分别采用不同的算法进行处理，最终还需对两者的结果进行融合，因此会使得地图的生成效率较低。
因此，需要提供一种新的语义地图的生成方法。
需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现要素：
本发明的目的在于提供一种语义地图的生成方法、语义地图的生成装置、语义地图的生成系统、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的地图的生成效率较低的问题。
根据本公开的一个方面，提供一种语义地图的生成方法，包括：
对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各所述立体像对进行语义分割得到与各所述立体像对对应的语义类别；
对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图，并根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云；
根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云，并根据所述全局语义化稠密点云生成所述语义地图。
在本公开的一种示例性实施例中，所述语义地图的生成方法还包括：
获取通过双目摄像机摄取的原始影像；
其中，对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对包括：
对所述原始影像中包括的多个左右图像进行畸变矫正和/或立体矫正；
根据矫正后的各所述左右图像得到多个立体像对。
在本公开的一种示例性实施例中，对所述原始影像中包括的多个左右图像进行畸变矫正包括：
利用参数畸变模型对所述原始影像中包括的多个左右图像进行畸变矫正；
其中，所述参数畸变模型中包括多个径向畸变参数以及多个切向畸变参数。
在本公开的一种示例性实施例中，对所述原始影像中包括的多个左右图像进行立体矫正包括：
利用所述双目摄像机的左右两相机内的第一参数矩阵、第二参数矩阵以及所述左右两相机间的外参数标定矩阵对对所述原始影像中包括的多个左右图像进行立体矫正。
在本公开的一种示例性实施例中，对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图包括：
根据各所述语义类别对应的权重系数、各所述立体像对中左影像与右影像的匹配代价函数以及所述左影像中某一像素点以及与该像素点对应的邻域像素点之间的视差构建能量函数；
根据所述能量函数，对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图。
在本公开的一种示例性实施例中，根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云包括：
将各所述立体像对的视差图转换为三维点云，并将各所述立体像对对应的语义类别分别赋值给与各所述语义类别对应的三维点；
利用预设的过滤规则对所述三维点进行过滤，并根据过滤后的三维点生成各所述左右图像的单帧语义化稠密点云。
在本公开的一种示例性实施例中，根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云包括：
根据通过组合惯导坐标系采集到的车辆的轨迹信息生成车辆的全局位姿矩阵；其中，所述组合惯导坐标系为惯性传感器/全球定位系统组合坐标系；
根据双目摄像机中左相机与组合惯导坐标系之间的外参数标定矩阵、所述全局位姿矩阵以及各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云。
根据本公开的一个方面，提供一种语义地图的生成装置，包括：
图像矫正模块，用于对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各所述立体像对进行语义分割得到与各所述立体像对对应的语义类别；
立体匹配模块，用于对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图，并根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云；
语义地图生成模块，用于根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云，并根据所述全局语义化稠密点云生成所述语义地图。
根据本公开的一个方面，提供一种语义地图的生成系统，包括：
双目立体摄像头，用于获取原始影像；
组合导航系统，用于采集车辆的轨迹信息；
处理系统，与所述双目立体摄像头以及所述组合惯导系统网络连接，用于对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各所述立体像对进行语义分割得到与各所述立体像对对应的语义类别；以及
对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图，并根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云；以及
根据各所述单帧语义化稠密点云以及所述车辆的轨迹信息生成所述原始影像的全局语义化稠密点云，并根据所述全局语义化稠密点云生成所述语义地图。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的语义地图的生成方法。
根据本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的语义地图的生成方法。
本发明实施例提供的一种语义地图的生成方法，一方面，通过对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各立体像对进行语义分割得到与各立体像对对应的语义类别；然后对各立体像对以及与各立体像对对应的语义类别进行立体匹配，得到各立体像对的视差图，并根据各立体像对的视差图生成各左右图像的单帧语义化稠密点云；最后根据各单帧语义化稠密点云生成原始影像的全局语义化稠密点云，并根据全局语义化稠密点云生成语义地图，解决了现有技术中由于在自动识别过程中需要对激光点云数据及影像数据分别采用不同的算法进行处理，最终还需对两者的结果进行融合，因此会使得地图的生成效率较低的问题，提高了语义地图的生成效率；另一方面，通过根据各立体像对的视差图生成各左右图像的单帧语义化稠密点云；最后根据各单帧语义化稠密点云生成原始影像的全局语义化稠密点云，并根据全局语义化稠密点云生成语义地图，提高了语义地图的准确率；再一方面，通过对各立体像对进行语义分割得到与各立体像对对应的语义类别；然后对各立体像对以及与各立体像对对应的语义类别进行立体匹配，得到各立体像对的视差图，提高了视差图的准确率，进而进一步的提高了语义地图的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出根据本发明示例实施例的一种地图生成系统的框图；
图2示意性示出根据本发明示例实施例的一种语义地图的生成方法的流程图；
图3示意性示出根据本发明示例实施例的一种对各立体像对以及与各立体像对对应的语义类别进行立体匹配，得到各立体像对的视差图的方法流程图；
图4示意性示出根据本发明示例实施例的一种根据各立体像对的视差图生成各左右图像的单帧语义化稠密点云的方法流程图；
图5示意性示出根据本发明示例实施例的一种根据各单帧语义化稠密点云生成原始影像的全局语义化稠密点云的方法流程图；
图6示意性示出根据本发明示例实施例的另一种语义地图的生成方法的流程图；
图7示意性示出根据本发明示例实施例的一种语义地图的生成系统的框图；
图8示意性示出根据本发明示例实施例的一种语义地图的生成装置的框图；
图9示意性示出根据本发明示例实施例的一种用于实现上述语义地图的生成方法的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
参考图1所示，目前的高精地图生成的主要技术流程包含数据采集、数据预处理、自动识别、人工检核修正以及编译发布等五个基本环节。具体的，首先，可以通过激光雷达101、摄像头102以及gps组合导航系统103进行数据采集得到点云图像104、实时图像数据105以及车辆轨迹信息106，然后通过点云自动识别模块107对点云图像进行点云自动识别生成点云数据，并通过图像自动识别模块108对实时图像数据进行图像自动识别得到图像识别结果；进一步的，通过图像融合模块109对点云数据、图像识别结果以及gps组合导航系统采集到的车辆轨迹信息进行融合，再通过检核修正模块110对融合结果进行检核修正，最后再对检核修正后的融合结果进行现场验证，并将验证通过的融合结果作为地图进行编译发布。
但是，对于当前主流的激光雷达与摄像头相结合的高精地图生产方案来说，主要存在以下缺点：
一方面，数据采集系统较为复杂，不易维护：目前地图采集系统大都由激光雷达、摄像头等数目众多的传感器组成，任何一个传感器出现问题都会导致整个系统无法正常工作，对系统维护提出更高挑战；
另一方面，采集设备价格不菲，不易量产：目前一套可靠的采集设备往往需要几十甚至上百万元，其中激光雷达传感器及高精度gps组合惯导系统的价格一直较高，不利于采集装置的大规模量产；
再一方面，采集数据量大，对数据存储、传输提出较高要求：由于要同时记录道路场景的稠密三维点云数据及影像数据，采集装备每分钟都会获取大量数据，这对数据的存储和传输提出了更高要求；
进一步的，各传感器坐标系不一致，需要额外进行标定配准：不同传感器具有不同的坐标基准，需要对传感器间的相对位姿进行精确标定才能得到可靠的地图成果。由于标定精度会影响最终的成图精度，因此会使得地图的精确度较低；
更进一步的，需要对多源数据分别处理并进行融合，处理流程较为复杂：由于在自动识别过程中需要对激光点云数据及影像数据分别采用不同的算法进行处理，最终还需对两者的结果进行融合，这种较为复杂的处理流程不利于地图生成效率的提升。
本示例实施方式中首先提供了一种语义地图的生成方法，该方法可以运行于服务器、服务器集群或云服务器等，也可以运行于终端设备；当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图2所示，该语义地图的生成方法可以包括以下步骤：
步骤s210.对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各所述立体像对进行语义分割得到与各所述立体像对对应的语义类别。
步骤s220.对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图，并根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云。
步骤s230.根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云，并根据所述全局语义化稠密点云生成所述语义地图。
上述语义地图生成方法中，一方面，通过对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各立体像对进行语义分割得到与各立体像对对应的语义类别；然后对各立体像对以及与各立体像对对应的语义类别进行立体匹配，得到各立体像对的视差图，并根据各立体像对的视差图生成各左右图像的单帧语义化稠密点云；最后根据各单帧语义化稠密点云生成原始影像的全局语义化稠密点云，并根据全局语义化稠密点云生成语义地图，解决了现有技术中由于在自动识别过程中需要对激光点云数据及影像数据分别采用不同的算法进行处理，最终还需对两者的结果进行融合，因此会使得地图的生成效率较低的问题，提高了语义地图的生成效率；另一方面，通过根据各立体像对的视差图生成各左右图像的单帧语义化稠密点云；最后根据各单帧语义化稠密点云生成原始影像的全局语义化稠密点云，并根据全局语义化稠密点云生成语义地图，提高了语义地图的准确率；再一方面，通过对各立体像对进行语义分割得到与各立体像对对应的语义类别；然后对各立体像对以及与各立体像对对应的语义类别进行立体匹配，得到各立体像对的视差图，提高了视差图的准确率，进而进一步的提高了语义地图的准确率。
以下，将结合附图对本发明示例实施例语义地图的生成方法中涉及的各步骤进行详细的解释以及说明。
首先，对本发明实施例的发明目的进行解释以及说明。如何建立一种系统可靠、成本可控、流程简洁、生产高效的高精地图生产体系是本发明的出发点，为此针对当前主流的基于激光雷达与摄像头相结合的高精地图生产方案中存在的诸多不足，本发明提出了一种基于双目立体视觉的高精地图生产方案。在本发明中，价格昂贵的激光雷达传感器被双目立体摄像头所取代：一方面降低了地图采集装置的复杂度与价格成本；另一方面简化了后期的数据处理复杂度，规避了激光雷达与摄像头间的位姿标定与多源数据融合问题。
具体说来，本发明针对高精地图生产过程中的主要环节，给出了一种基于双目立体视觉的高精地图生产方案，详细介绍了基于双目立体相机及gps组合导航系统生成道路场景语义化稠密点云的方法。基于本发明所生成的语义化稠密点云，地图生产作业人员可以方便地对感兴趣的地图要素进行矢量化提取，提高地图生成效率。
发明以双目立体摄像头获取的左、右影像对，及gps/imu组合导航系统获取的采集车轨迹信息作为输入，先后经过“图像矫正”、“像素级语义分割”、“立体匹配”、“点云生成”、“全局投影变换”五个步骤，最终得到全局坐标系下的道路场景语义化稠密点云。在本发明中，假定各传感器的内参数及传感器间的相对外参数已知。其中，k1，k2分别为左、右两个摄像头的内参数矩阵，d1，d2分别为左、右两个摄像头的畸变系数所组成的向量，
在步骤s210中，对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各所述立体像对进行语义分割得到与各所述立体像对对应的语义类别。
在本示例实施例中，首先，获取通过双目摄像机摄取的原始影像，然后，对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，具体的可以包括：对所述原始影像中包括的多个左右图像进行畸变矫正和/或立体矫正；根据矫正后的各所述左右图像得到多个立体像对。
其中，对所述原始影像中包括的多个左右图像进行畸变矫正可以包括：利用参数畸变模型对所述原始影像中包括的多个左右图像进行畸变矫正；其中，所述参数畸变模型中包括多个径向畸变参数以及多个切向畸变参数。进一步的，对所述原始影像中包括的多个左右图像进行立体矫正可以包括：利用所述双目摄像机的左右两相机内的第一参数矩阵、第二参数矩阵以及所述左右两相机间的外参数标定矩阵对对所述原始影像中包括的多个左右图像进行立体矫正。
具体的，由于摄像机获取的原始影像不可避免的存在畸变，因此首先需要根据标定的畸变参数分别对左、右相机获取的影像进行畸变改正。在本发明中，采用了d＝[k1,k2,k3,p1,p2]的五参数畸变模型，其中，k1,k2,k3为径向畸变参数，p1,p2为切向畸变参数。矫正公式如下：
其中，(xcorr,ycorr)为畸变矫正后的像素坐标，(x,y)为畸变改正前的像素坐标，且
并且，为了生成无上下视差的立体像对，便于后续的立体匹配，除畸变改正之外，还需要根据双目相机标定阶段获取的左、右两相机内参数矩阵k1，k2及两相机间的外参数标定矩阵
进一步的，当得到上述矫正后的立体像对后，可以对各立体像对进行语义分割得到与各立体像对对应的语义类别。譬如，可以根据高精地图的语义化需求，将街道场景图像分为道路、汽车、摩托车、自行车、人、骑行者、建筑、栏杆、杆、交通灯、交通标识牌、植被、天空、背景共14个语义类别，可以利用用于语义图像分割的神经网络结果搜索算法进行深度卷积神经网络模型训练。最终，将畸变矫正后的左右影像分别输入至该网络模型中，得到各立体像对对应的像素级语义类别图。
在步骤s220中，对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图，并根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云。
在本示例实施例中，首先，对各立体像对以及与各立体像对对应的语义类别进行立体匹配，得到各立体像对的视差图。具体的，参考图3所示，对各立体像对以及与各立体像对对应的语义类别进行立体匹配，得到各立体像对的视差图可以包括步骤s310以及步骤s320，以下进行详细说明。
在步骤s310中，根据各所述语义类别对应的权重系数、各所述立体像对中左影像与右影像的匹配代价函数以及所述左影像中某一像素点以及与该像素点对应的邻域像素点之间的视差构建能量函数。
在步骤s320中，根据所述能量函数，对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图。
以下，对步骤s310以及步骤s320进行解释以及说明。具体的，本步骤主要对立体校正好的左、右图像进行逐像素匹配。即，为左图像中的每一像素点在右图像中寻找对应的匹配像素点，并记录对应匹配点的像素坐标在x方向上的差值，生成视差图。为了提升匹配精度与鲁棒性，与现有的立体匹配算法不同，本发明将上一步得到的语义类别融入到了立体匹配过程，构建的能量函数如下式(1)所示。其中，d为待优化的视差，edata(d)为数据项，esmooth(d)为平滑项，c(dp)为匹配代价函数，s(dq,dp)为惩罚项，w1(p)与w2(p,q)为根据语义类别图得到的权重系数，o(p)为像素点p对应的语义类别。
其中，像素点q为像素点p的邻域像素，即q∈n(p)；il(q)为左影像上q像素点的灰度值，ir(q,d)为视差为d时，与q像素点对应的右影像的像素点的灰度值
s(dq,dp)＝min(k,|dq-dp|)，k＞0；(3)
其中，像素点q以及像素点p是两个相邻的、地位平等的像素点，它们的视差分别为dq以及dp。一般情况下，可以默认为该两个像素具有一致的视差，如果视差不一致，则需要受到惩罚；本公式用于计算两者视差的绝对值，k的取值是一个大于0的经验值。
当得到上述能量函数后，可以通过该能量函数对各立体像对以及与各立体像对对应的语义类别进行立体匹配，得到各立体像对的视差图e(d)。
其次，根据各立体像对的视差图生成各左右图像的单帧语义化稠密点云。具体的，参考图4所示，根据各立体像对的视差图生成各左右图像的单帧语义化稠密点云可以包括步骤s410以及步骤s420，以下进行详细说明。
在步骤s410中，将各所述立体像对的视差图转换为三维点云，并将各所述立体像对对应的语义类别分别赋值给与各所述语义类别对应的三维点。
在步骤s420中，利用预设的过滤规则对所述三维点进行过滤，并根据过滤后的三维点生成各所述左右图像的单帧语义化稠密点云。
以下，将对步骤s410以及步骤s420进行解释以及说明。具体的，此步骤首先利用opencv视觉库中实现的点云生成算法，将上一步匹配得到的视差图转化为三维点云；然后，将每个像素的语义类别赋值给对应的三维点；最后，将属于“天空、人、骑行者、汽车、摩托车、自行车”六种类别的不可靠或动态目标点云滤除，得到单帧语义化稠密点云。
在步骤s130中，根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云，并根据所述全局语义化稠密点云生成所述语义地图。
在本示例实施例中，首先，根据各单帧语义化稠密点云生成原始影像的全局语义化稠密点云。具体的，参考图5所示，根据各单帧语义化稠密点云生成原始影像的全局语义化稠密点云可以包括步骤s510以及步骤s520，以下进行详细说明。
在步骤s510中，根据通过组合惯导坐标系采集到的车辆的轨迹信息生成车辆的全局位姿矩阵；其中，所述组合惯导坐标系为惯性传感器/全球定位系统组合坐标系。
在步骤s520中，根据双目摄像机中左相机与组合惯导坐标系之间的外参数标定矩阵、所述全局位姿矩阵以及各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云。
以下，将对步骤s510以及步骤s520进行解释说明。具体的，为了得到具有全局统一坐标基准的点云地图，本步骤利用下式将上一步得到的单帧语义化稠密点云变换到gps/imu组合惯导坐标系(惯性传感器/全球定位系统组合坐标系)。其中，
然后，依次对不同时刻获取的，具有全局统一坐标基准的，单帧稠密点云进行累积，最终可生成覆盖整个道路场景的大范围语义化稠密点云，服务于高精地图的高效生成。最后，再根据全局语义化稠密点云生成语义地图。
以下，结合图6对本发明示例实施例的语义地图的生成方法进行进一步的解释以及说明。参考图6所示，该语义地图的生成方法可以包括以下步骤：
步骤s601，获取通过双目摄像机摄取的原始影像；
步骤s602，对原始影像中的左右图像进行矫正，得到立体像对；
步骤s603，对立体像对进行像素级语义分割得到语义类别；
步骤s604，对立体像对以及语义类别进行立体匹配得到视差图(深度图)；
步骤s605，根据语义类别以及视差图生成单帧语义化稠密点云；
步骤s606，采集车辆轨迹信息；
步骤s607，根据车辆轨迹信息以及单帧语义化稠密点云进行全局投影变换，生成全局语义化稠密点云；
步骤s608，根据全局语义化稠密点云生成语义地图。
本发明示例实施例提供的语义地图的生成方法中，一方面，可以通过双目摄像头以及组合管道坐标系进行数据采集，不用通过激光雷达进行数据采集，解决了现有技术中由于需要通过多个传感器进行数据采集导致的任何一个传感器出现问题都会导致整个系统无法正常工作，对系统维护较为困难的问题；
另一方面，解决了现有技术中由于一套可靠的采集设备往往需要几十甚至上百万元，其中激光雷达传感器的价格一直较高，不利于采集装置的大规模量产的问题；
再一方面，解决了现有技术中由于需要同时记录道路场景的稠密三维点云数据及影像数据，采集装备每分钟都会获取大量数据，对数据的存储和传输要求较高的问题；
进一步的，由于只是需要在将单帧语义化稠密点云进行全局变换得到全局语义化稠密点云时，才需要进行坐标转换，解决了现有技术中由于不同传感器具有不同的坐标基准，需要对传感器间的相对位姿进行精确标定才能得到可靠的地图成果。由于标定精度会影响最终的成图精度，因此会使得地图的精确度较低的问题，提高了语义地图的准确率；
更进一步的，解决了现有技术中由于在自动识别过程中需要对激光点云数据及影像数据分别采用不同的算法进行处理，最终还需对两者的结果进行融合，这种较为复杂的处理流程不利于地图生成效率的提升的问题；提高了语义地图的生成效率。
本发明示例实施例还提供了一种语义地图的生成系统。参考图7所示，该语义地图的生成系统可以包括双目立体摄像701、组合导航系统702以及处理系统703。其中：
双目立体摄像头701可以用于获取原始影像；
组合导航系统702可以用于采集车辆的轨迹信息；
处理系统(例如可以是图像处理系统)703，与所述双目立体摄像头以及所述组合惯导系统网络连接，用于对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各所述立体像对进行语义分割得到与各所述立体像对对应的语义类别；以及对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图，并根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云；以及根据各所述单帧语义化稠密点云以及所述车辆的轨迹信息生成所述原始影像的全局语义化稠密点云，并根据所述全局语义化稠密点云生成所述语义地图。
本发明示例实施例还提供了一种语义地图的生成装置。参考图8所示，该语义地图的生成装置可以包括图像矫正模块810、立体匹配模块820以及语义地图生成模块830。其中：
图像矫正模块810可以用于对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各所述立体像对进行语义分割得到与各所述立体像对对应的语义类别。
立体匹配模块820可以用于对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图，并根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云。
语义地图生成模块830可以用于根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云，并根据所述全局语义化稠密点云生成所述语义地图。
在本公开的一种示例性实施例中，所述语义地图的生成装置还包括：
原始影像获取模块，可以用于获取通过双目摄像机摄取的原始影像；
其中，对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对包括：
对所述原始影像中包括的多个左右图像进行畸变矫正和/或立体矫正；根据矫正后的各所述左右图像得到多个立体像对。
在本公开的一种示例性实施例中，对所述原始影像中包括的多个左右图像进行畸变矫正包括：
利用参数畸变模型对所述原始影像中包括的多个左右图像进行畸变矫正；其中，所述参数畸变模型中包括多个径向畸变参数以及多个切向畸变参数。
在本公开的一种示例性实施例中，对所述原始影像中包括的多个左右图像进行立体矫正包括：
利用所述双目摄像机的左右两相机内的第一参数矩阵、第二参数矩阵以及所述左右两相机间的外参数标定矩阵对对所述原始影像中包括的多个左右图像进行立体矫正。
在本公开的一种示例性实施例中，对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图包括：
根据各所述语义类别对应的权重系数、各所述立体像对中左影像与右影像的匹配代价函数以及所述左影像中某一像素点以及与该像素点对应的邻域像素点之间的视差构建能量函数；根据所述能量函数，对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图。
在本公开的一种示例性实施例中，根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云包括：
将各所述立体像对的视差图转换为三维点云，并将各所述立体像对对应的语义类别分别赋值给与各所述语义类别对应的三维点；利用预设的过滤规则对所述三维点进行过滤，并根据过滤后的三维点生成各所述左右图像的单帧语义化稠密点云。
在本公开的一种示例性实施例中，根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云包括：
根据通过组合惯导坐标系采集到的车辆的轨迹信息生成车辆的全局位姿矩阵；其中，所述组合惯导坐标系为惯性传感器/全球定位系统组合坐标系；根据双目摄像机中左相机与组合惯导坐标系之间的外参数标定矩阵、所述全局位姿矩阵以及各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云。
上述语义地图的生成装置中各模块的具体细节已经在对应的语义地图的生成方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本发明的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图2中所示的步骤s210：对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各所述立体像对进行语义分割得到与各所述立体像对对应的语义类别；步骤s220：对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图，并根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云；步骤s230：根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云，并根据所述全局语义化稠密点云生成所述语义地图。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(rom)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。
在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
- 还没有人留言评论。精彩留言会获得点赞！