本发明涉及智能语义地图的技术领域，更具体地，涉及一种基于深度学习与激光雷达的点云语义地图构建方法。
背景技术：
激光雷达点云地图在对于自主机器人（包括但不仅限于：自动驾驶车辆、机器人、无人飞行器等）感知与运动规划的过程中具有十分重要的作用。现已有多种基于激光雷达进行生成激光点云地图的方法。激光雷达点云地图通常由大规模，离散的点组成。因此，缺少语义信息的激光雷达点云地图对于人眼辨识，较为困难，不利于人工后期处理。同时，受限于地图缺少语义信息，工程师难以为机器人制定较为复杂的运动规划。目前已有研究针对大规模的点云地图中物体进行语义分割，从而生成语义地图，但是，现有方法耗时较长，不利于机器人实时应用。
近年来，深度学习在目标识别、检测、语义分割等计算机视觉领域取得了巨大成功，同时也应用到了点云处理方向，深度学习方法能够自动提取适用于分类的点云特征，进行端到端训练，在准确率、效率方面具有极大的优势。
现有技术的缺点是，基于相机传感器构建地图，鲁棒性较差。现有技术依赖于多种传感器分别构建二维、三维地图，融合过程繁琐。现有技术依赖于人体行为特征进行语义标记，数据来源过于特殊。现有技术依赖于多种传感器同时构建静态路网与动态障碍地图，过程繁琐。现有技术进行语义标记难度较大。
导致上述缺点的原因是，相机传感器易受光照强度影响，尤其在室外场景鲁棒性较差。现有技术分别使用激光雷达与rgb-d深度传感器构建二维栅格地图与三维室内地图，不同维数的地图融合过程需要投影与坐标系标定等操作，过程繁琐。依赖于穿戴式传感器收集人体行为特征进行语义标注，需要人佩戴相应传感器，同时由传感器在人活动过程中收集行为特征，进一步进行语义标注。这不仅需要人配合佩戴特定传感器，数据来源特殊，同时语义标注范围也与人的活动范围相关，不适用于大型场景，操作性较低。在使用多传感器进行静态路网、动态障碍图的构建的过程中，需要预先经过一系列传感器标定操作对各传感器进行融合，该标定过程较为复杂且存在误差。同时，gps传感器在室内无法使用；高清卫星图像的难以获取，故多传感器同时构建静态路网与障碍地图方案过程繁琐，不适用于室内场景与推广。现有技术中地图的语义标记都与人相关，每张地图都需要人工单独标记，对于大型语义地图构建而言工作量较大。
技术实现要素：
本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于深度学习与激光雷达的点云语义地图构建方法，本发明基于深度卷积神经网络的激光雷达点云实时语义分割，实现实时、准确的全帧点云语义标注，并基于上述点云进行点云地图的构建。本发明仅依赖于激光雷达点云实现地图构建，由于激光雷达不受光照影响的传感器特性，激光雷达点云地图鲁棒性较高，且适用于室内、室外场景。同时，本发明仅使用单一激光雷达传感器即可生成三维点云地图，不涉及多种传感器间的标定与融合，过程简便。此外，本发明中地图构建与点云地图语义标注均可由机器人自主完成，无需人工参与。本发明使用深度卷积神经网络自动提取适合点云形态、材质特征，使用端到端模型进行特征提取及语义标注。整体流程一步到位简便、同时能够保证较高的准确率。本发明在训练深度卷积神经网络的过程中只要提供部分含语义标注信息的点云帧，而无需大规模地图的语义标注，节省了对大规模地图进行标注的人力、物力。
本发明的技术方案是：一种基于深度学习与激光雷达的点云语义地图构建方法，其中，包括以下步骤：
步骤1：构造适用于激光点云实时处理的深度卷积神经网络；即，包括2个分离卷积层、2个最大池化层、3个腐蚀卷积层及两个反卷积层的深度卷积神经网络，输入为预处理后的多通道二维点云矩阵，输出为该点云矩阵每个元素对应的语义标注；
步骤2：收集激光雷达点云帧，并对点云帧预处理；对于每张激光雷达点云帧，首先使用固定大小扇形对其随机切片，获得切片点云；之后将切片点云沿欧几里得直角坐标系z轴进行随机旋转，进行数据扩增，增加数据量与深度卷积网络泛化能力；
步骤3：训练神经网络模型；将预处理、数据扩增后的切片点云，作为训练样本，使用反向传播及随机梯度下降，训练深度卷积神经网络，最小化损失函数，最终得到优化之后的网络连接权重；
步骤4：运行模型，获得语义标注点云；使用卷积神经网络实时对激光雷达点云进行语义标注；
步骤5：点云地图构建；使用含语义标注的点云进行点云地图构建，从而得到点云语义地图；
步骤6：点云语义地图全局优化；使用滑动窗口与投票机制，利用点云语义地图激光点密度较大的特点中对由于单一激光雷达点云帧数据量较少、激光点稀疏而造成的错误标注进行纠正。
进一步的，所述的步骤1中构建的深度卷积神经网络模型以预处理后的切片点云作为输入，以包括2个分离卷积层、2个最大池化层、3个腐蚀卷积层及两个反卷积层的深度卷积神经网络的作为激光雷达点云语义标注的网络模型架构。
进一步的，所述的步骤2中对激光点云帧进行随机切片及旋转扩增，提升数据丰富度；旋转扩增操作中，主要使用下列旋转角度ω；
其中，ω为旋转角度，δ为[-π/4,π/4]范围内的随机数，上述旋转可将任意切片点云尽可能分布到360°空间的各个范围内，增强泛化能力。
进一步的，所述的步骤3中深度卷积神经网络训练过程中，使用扩增后的数据集训练深度卷积神经网络模型。
进一步的，所述的步骤4中运行模型，首先将激光雷达实时点云帧切分成四块作为四批数据，同时输入卷积神经网络中，从而得到带语义标注的点云；并将切片点云结果重新组合成完整点云。
进一步的，所述的步骤5中对于点云地图构建方法，没有特定依赖；所有使用激光雷达点云进行三维地图构建的方法均可适用，只需使用步骤4产生的语义标注点云作为输入即可。
进一步的，所述的步骤6中对于点云语义地图进行全局优化，主要利用三维滑动窗口，及区域投票机制，结合点云语义地图中点稠密的分布，纠正由于激光雷达点云帧点量稀疏造成的误分类状态。
本发明针对机器人激光雷达点云建图领域，提出一种基于激光雷达点云形态学与材料学特征，实现激光雷达点云的实时语义标注，并基于语义标注点云进行点云地图的构建，进而获得激光雷达点云语义地图方法。
与现有技术相比，有益效果是：本发明使用深度卷积神经网络对激光雷达点云语义标注，并结合语义标注点云与地图构建算法，实现激光雷达点云语义地图的构建。相对其他方法，本发明能够实现仅依赖于激光雷达传感器，进行大规模点云语义地图的构建。与现有技术相比，本发明具有如下优点：
本发明仅依赖激光雷达传感器进行地图构建，无需其他传感器协助，室内、室外场景均可适用。同时，相较于相机传感器构建的地图有更强的鲁棒性，不受光照变化影响。
本发明使用深度卷积神经网络自动提取激光雷达点云的形态、材料学特征，并直接对激光雷达点云帧进行实时语义标注，流程简便、效果准确。
本发明所提出方法中点云语义标注与构建地图过程均可由机器人自主完成，无需人工参与，可适用大范围场景。
本发明所提出方法主要针对点云构建地图之前的点云数据进行语义标注，并对初步点云语义地图构建之后进行全局优化修正，故该点云语义地图的构建方法对所有基于激光雷达点云构建三维地图的方式都使用。
本发明所提出的方法中使用单一传感器、轻量模型、流程简单，能够非常容易部署到自主机器人上。
附图说明
图1是本发明整体算法整体框架示意图。
图2是本发明预处理过程基本流程图。
图3是本发明训练过程基本流程图。
图4是本发明深度卷积神经网络模型结构图。
图5是本发明点云语义地图全局优化流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
本发明的目的是提供一种基于深度学习与激光雷达的点云语义地图构建方法。本发明使用专为激光雷达点云语义分割设计的轻量级深度卷积网络，对预处理后激光雷达点云进行实时语义标注，得到点云中每个点的语义信息。并使用标注后激光雷达点云帧进行点云地图构建，获得初步点云语义地图。之后结合全局初步点云地图与局部滑动窗口，使用投票机制进行后处理，纠正因激光雷达点云单帧点数量较稀疏造成的漏标注、错标注的情况，获得最终点云语义地图，保证点云地图语义标注的准确度。研究人员只需在最终点云语义地图上进行简单的任务点部署工作，自主机器人即可利用点云地图语义信息完成复杂规划。本发明兼具适用场合种类广范围大、传感器依赖少、流程简单与无需人工大规模地图标记等优点。
本发明基于深度卷积神经网络进行激光雷达点云标注，并将标注后点云应用于点云地图构建中，从而生成激光雷达点云语义地图，能够广泛的应用于各类自主机器人上。
图1为本发明提出的基于深度卷积神经网络的激光雷达点云语义地图构建算法整体框架示意图。如图1所示，该方法包括：
步骤1：构建用于激光雷达点云的深度卷积神经网络。
步骤2：激光雷达点云帧预处理，将激光雷达点云从欧几里得坐标投影至球坐标，从而获得二维多通道点云矩阵。
步骤3：训练用于激光雷达点云的深度卷积神经网络。
步骤4：使用所构建深度学习模型进行激光雷达点云帧的语义标注。
步骤5：基于激光雷达语义点云帧与任意基于激光雷达点云构建三维地图的方法，构建点云地图，即激光雷达点云语义地图。
步骤6：应用投票机制，纠正局部错误语义标注，对激光雷达点云语义地图进行全局优化。
如图2所示，图2是本发明激光雷达点云预处理过程基本流程图。具体操作步骤为：1、解析激光雷达数据，获得激光雷达点云帧；2、将激光雷达点云从三维欧几里得直角坐标系（x,y,z）投影至球坐标系(θ，φ)，且球坐标系的离散化参数与激光雷达的硬件特点相关，其中θ为该激光点所属激光雷达发射器编号，即线束号；φ为激光点x-y平面上的夹角，如下图公式2所示，在得到φ后，再基于激光雷达水平角分辨率进行离散化。
如图3所示，图3是本发明深度卷积神经网络的训练过程的基本流程图。具体操作步骤如下：1、预处理获得激光雷达点云矩阵；2、将其按照网络输入大小随机切片；3、将切片数据按照一定比例划分为训练集、校验集，与测试集。其中训练集与校验集经过随机旋转进行扩增；4、将数据输入到深度卷积神经网络中，使用梯度下降法训练模型。
如图4所示，图4是本发明所构建的深度卷积神经网络的模型结构图。具体操作步骤如下：1、输入层为经过预处理的大小为h*w*c的多通道点云矩阵，其中h为激光雷达纵向激光束的数目，w为其水平角分辨率的倍数，此处w=512，c为使用通道数，此处c=5；2、输入【1】经过分离卷积层1，卷积核大小为3x3，个数为20，步长为1x1，输出结果【2】；3、【2】经过最大池化层1，卷积核大小为1x2，步长为1x2，输出结果【3】；4、【3】经过分离卷积层1，卷积核大小为3x3，个数为32，步长为1x1，输出结果【4】；5、【4】经过最大池化层2，卷积核大小为1x2，步长为1x2，输出结果【5】；6、【5】同时经过腐蚀卷积层1、2、3，卷积核大小分别为3x3、3x3、5x5，个数为32，步长为1x1，腐蚀率分别为1\2、1\4、1\2，汇聚后输出结果【6】；7、【6】经过反卷积层1，卷积核大小为3x3，个数为64，步长为1x2，输出结果【7】；8、【7】与【4】汇聚后，经过反卷积层2，卷积核大小为3x3，个数为20，步长为1x2，输出结果【8】；9、【8】与【2】汇聚后，经过卷积层1，卷积核大小为1x1，个数为需分类类的数量，步长为1x1，输出最终语义结果，用于构建语义地图。
如图5所示，图5是本发明在构建点云语义地图后进行全局优化的基本流程图。具体操作步骤如下：1、通过任意激光雷达构建三维点云地图的方法结合带语义标注的激光雷达点云帧，获得激光雷达点云语义地图；2、使用三维滑动窗口在所构建三维点云语义地图中滑动；3、对窗口内点云中每一点，寻找其窗口内的k近邻，并获得k近邻各点语义标注与置信度的加权关系，通过上述关系更改该点的语义标签；4、迭代全图，从而完成点云语义地图的全局优化。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。