一种基于激光雷达感知方法与流程

1.本发明涉及自动驾驶技术领域，特别涉及一种基于激光雷达感知方法。


背景技术：

2.环境感知是智能驾驶系统中的重要组成部分，环境感知是指感知到周围环境中道路的参与者，包括行人、车辆、骑行者等。激光雷达是智能驾驶系统中的主要传感器，利用激光雷达，智能驾驶车辆可以准确测量周围环境。本发明涉及一种应用于智能驾驶系统中的基于激光雷达的感知方法。
3.现有技术中的环境感知方案，依据传感器类型，主要分为两类，一类是基于摄像头的感知方案，另一种是基于激光雷达的感知方案。传统基于摄像头的检测，存在一定局限性。由于摄像头只有2维信息，因此视觉检测无法准确估计障碍物的位置和尺寸信息。激光雷达传感器能够准确测量障碍物的位置信息，基于多线激光雷达获取的障碍物的大量点云数据，可以提取障碍物的类型、位置、轮廓和形状信息。基于摄像头的感知方案，无法做到单一传感器实现完整的感知能力，但是激光雷达可以实现单一传感器下的智能驾驶感知方案。基于激光雷达的感知方案可以实现指定目标的识别、检测、分类，以及环境的理解。
4.目前已经有大量基于激光雷达的感知方法，随着深度学习技术的发展，出现了大量基于深度学习的激光雷达感知方法。依据对原始激光雷达预处理方法的不同，可以将算法分为三类。
5.基于空间三维栅格的方法，将三维点云投影到空间栅格中，利用深度学习网络提取栅格特征并检测障碍物，提取障碍物信息。这类方法由于数据量大，网络结构复杂，处理速度较慢，因此无法达到实时性要求。
6.基于投影的方法，依据多线激光雷达的结构特性，将激光雷达数据投影到圆柱面上，生成2d的网络输入，这类网络的输入与图像相似。这一类方法由于利用了多线旋转式激光雷达的结构特性，因此通用性较差，且对远处障碍物，以及点云稀疏类似骑行者之类的目标检测效果较差。
7.另一种方法将三维点云投影到x-y 2d平面上，构建平面栅格，计算平面栅格的各种属性，构建深度学习网络的输入，由于输入数据类型与基于图像的深度学习相似，因此这类深度学习的网络借鉴了大量图像深度学习的网络结构。这类方法是目前主流的处理方法，通用性强，而且适用于结构化道路。本专利采用这种数据处理方式。
8.现有激光雷达检测算法只针对特定的某种任务，例如目标检测，语义分割等。此类方法无法有效融入外部先验信息，例如地图信息以及其它传感器提供的先验信息。因此基于上述问题，本专利提出一种基于激光雷达的感知方法，该方法是一种基于深度学习的感知方案，能够实现多种任务，包括目标检测、目标分类、二元语义分割，同时该方法能够有效利用其它传感器，或者外部先验信息，提高方案的准确性。


技术实现要素：

9.针对上述现有技术中存在的，现有激光雷达检测算法只针对特定的某种任务，例如目标检测，语义分割等。此类方法无法有效融入外部先验信息，例如地图信息以及其它传感器提供的先验信息，而且在点云压缩过程中，存在信息损失，无法有效利用已有的信息的问题，本技术的目的在于提供一种基于激光雷达感知方法。
10.为实现本发明的目的，本发明提供的一种基于激光雷达感知方法，
11.包括如下步骤：
12.步骤1：利用激光雷达采集数据，生成柱面投影和鸟瞰投影；
13.步骤2：将柱面投影和鸟瞰投影分别利用柱面投影深度学习网络和鸟瞰图投影深度学习网络，得到两种投影下的感知结果；
14.步骤3：利用外部先验信息，融合两个网络的检测结果，输出最终检测结果。
15.其中，
16.在步骤1中，激光探头采用tof技术测量距离信息，获取的数据为一系列三维坐标点，三维坐标点包含了周围环境的空间信息，反映周围空间信息的三维坐标点，组成点云；
17.旋转式激光雷达在垂直方向上分布了若干个激光头，随着激光雷达旋转，每个激光头都会采集若干个点，将这些点在纵向按照垂直角度，在横向按照采集时间排列起来，可以组成一张2d柱面投影图，为激光雷达的柱面投影，图中每个点的值点表示该点的距离传感器的深度值；
18.将采集的3d点云投影到水平地面上，可以生成水平地面的2d投影，投影中的每个栅格包含若干个3d点，计算栅格内所有点的属性，可以生成2d投影。
19.其中，
20.在步骤2中，柱面投影网络采用一种全卷积的深度学习网络，该网络能够实现前后背景分割的功能，经过该网络后，每个点被分为两类，前景点或者背景点；
21.柱面投影网络的输入数据采用激光雷达的柱面投影，经过柱面投影后的点云与传统的图像类似，图像中每个像素点存在3个通道，分别代表红黄蓝颜色的强度，柱面投影中每个点包含2个值，径向距离r和垂直高度h，假设三维点坐标为(x，y，z)，则径向距离r＝(x^2+y^2)^0.5，高度h＝z；
22.柱面网络采用全卷积语义分割网络，输入输出尺寸相同，输出结果中的每个点，与输入网络中的每个点一一对应，输出结果表示该点属于前景点还是背景点。
23.其中，
24.利用柱面投影网络主要用来识别出前景点和背景点。
25.其中，
26.在步骤2中，鸟瞰投影网络采用一种全卷积的深度学习网络，该网络能够实现3d目标检测，目标分类，经过该网络后，可以提取2d栅格中的指定目标，包括行人、汽车、骑行者，同时还能输出目标的尺寸，长宽高；
27.鸟瞰投影网络的输入数据使用2d栅格，每个栅格中包含若干个点，计算栅格中点的属性，需要的属性包括栅格中最高点的高度、反射率，点云密度，所有点的平均反射率，利用上述信息生成4个属性，每个栅格包含4个属性，因此鸟瞰图网络的输入为4层。
28.其中，利用鸟瞰投影网络主要用来检测目标，计算目标的属性，包括长宽高和类别
属性。
29.其中，
30.在步骤3中，所述外部先验信息包括地图信息，
31.高精地图包含多种环境中的先验信息，根据这些先验信息，可以提高检测精度，在网络中主要利用了高精地图中地面高度信息，以及路面信息，点云采集的数据为车辆坐标系下的三维坐标，利用车辆姿态数据，可以将点云数据投影到高精地图中，在高精地图中可以计算每个点距离地面的真实高度，同时可以判断该点是否在可形式区域，利用上述两个信息可以过滤检测结果中的误检。
32.与现有技术相比，本发明的有益效果为，
33.1.一种只利用激光雷达就能实现完整智能驾驶感知的方案；
34.2.同时将激光雷达投影到柱面以及鸟瞰方向，利用两种不同投影方式的有点，融合投影检测的结果，提高检测精度；
35.3.利用地图等先验信息，提高检测精度和感知能力。
附图说明
36.图1为本技术的方法流程示意图。
具体实施方式
37.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
38.以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
39.如图1所示，本技术提供了一种基于激光雷达感知方法，
40.该方法包括：
41.1、生成网络输入
42.激光探头采用tof(timeof fly)技术测量距离信息，获取的数据为一系列三维坐标点，三维坐标点包含了周围环境的空间信息。反映周围空间信息的三维坐标点，组成点云。
43.旋转式激光雷达在垂直方向上分布了若干个激光头，随着激光雷达旋转，每个激光头都会采集若干个点，将这些点在纵向按照垂直角度，在横向按照采集时间排列起来，可以组成一张2d柱面投影图，图中每个点的值点表示该点的距离传感器的深度值，这种排列方法称为激光雷达的柱面投影方法。
44.将采集的3d点云投影到水平地面上，可以生成水平地面的2d投影，投影中的每个栅格包含若干个3d点，计算栅格内所有点的属性，可以生成2d投影。这种方法称为2d鸟瞰图投影法。
45.2、柱面投影网络
46.柱面投影网络采用一种全卷积的深度学习网络，该网络能够实现前后背景分割的功能，经过该网络后，每个点被分为两类，前景点或者背景点。
47.柱面投影网络的输入数据采用激光雷达的柱面投影，经过柱面投影后的点云与传
统的图像类似。图像中每个像素点存在3个通道，分别代表红黄蓝颜色的强度。柱面投影中每个点包含2个值，径向距离r和垂直高度h，假设三维点坐标为(x，y，z)，则径向距离r＝(x^2+y^2)^0.5，高度h＝z。
48.柱面网络采用全卷积语义分割网络，输入输出尺寸相同。输出结果中的每个点，与输入网络中的每个点一一对应，输出结果表示该点属于前景点还是背景点。
49.3、鸟瞰投影网络
50.鸟瞰投影网络也采用一种全卷积的深度学习网络，该网络能够实现3d目标检测，目标分类。经过该网络后，可以提取2d栅格中的指定目标，包括行人、汽车、骑行者。同时还能输出目标的尺寸，长宽高。
51.鸟瞰投影网络的输入数据使用2d栅格，每个栅格中包含若干个点，计算栅格中点的属性，需要的属性包括栅格中最高点的高度、反射率，点云密度，所有点的平均反射率。利用上述信息生成4个属性，每个栅格包含4个属性，因此鸟瞰图网络的输入为4层。
52.4、地图信息
53.高精地图包含多种环境中的先验信息，根据这些先验信息，可以提高检测精度。在网络中主要利用了高精地图中地面高度信息，以及路面信息。点云采集的数据为车辆坐标系下的三维坐标，利用车辆姿态数据，可以将点云数据投影到高精地图中，在高精地图中可以计算每个点距离地面的真实高度，同时可以判断该点是否在可形式区域，利用上述两个信息可以过滤检测结果中的误检，提高检测精度。
54.5、融合结果
55.经过地图信息过滤后的检测结果，比原始网络输出的检测精度高，两种网络的主要功能不同，检测的目标也不同，可以利用前后背景分割功能，提高目标检测的精度。
56.鸟瞰图投影主要用来检测目标，计算目标的属性，包括长宽高和类别属性，但是鸟瞰图的方式存在天然的缺点，容易造成误检，将远处的地面点识别为障碍物；或者对于小型的杂乱环境下的目标存在漏检，例如树下的行人等。
57.柱面投影网络能够比较准确的识别出前景点和背景点，但是对于目标属性的判别能力较弱。
58.结合上述网络两类网络的特点和优势，可以提高检测结果的精度。利用前后背景分割的结果过滤误检目标，同时利用该结果重新提取漏检的目标，进行二次识别，提高召回率。
59.需要说明的是，本技术中未详述的技术方案，采用公知技术。
60.以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。