一种激光雷达检测方法、设备、车辆及存储介质与流程

1.本发明属于汽车智能驾驶技术领域，具体涉及一种激光雷达检测方法、设备、车辆及存储介质。


背景技术：

2.激光雷达作为车载高精度传感器，为自动驾驶系统提供了更高精度的环境感知信息，是实现高等级自动驾驶不可或缺的传感器之一。当前业界大部分采用传统的激光雷达目标聚类方法来实现对道路障碍物的感知，存在一定的局限性：由于雷达扫描特性，目标尺寸会根据扫描轮廓进行变化，以及传统的激光雷达目标聚类方法中采用的人工提取特征无法覆盖自动驾驶中海量的场景，都会导致检测生成的目标精度差。


技术实现要素：

3.本发明的目的是：旨在提供一种激光雷达检测方法、设备、车辆及存储介质，用来提高激光雷达检测生成的目标的精度。
4.为实现上述技术目的，本发明采用的技术方案如下：
5.第一方面，本技术实施例提供了一种激光雷达检测方法，应用于激光雷达检测设备，所述设备包括有点云转换模块、鸟瞰图特征表示生成模块、模型预测模块和目标后处理模块，所述方法包括有：
6.所述点云转换模块对输入的原始数据进行点云转换，将输入的原始点云转换为鸟瞰图模块输入的数据结构，并将所述鸟瞰图模块输入的数据结构传输至所述鸟瞰图特征表示生成模块；
7.所述鸟瞰图特征表示生成模块对所述鸟瞰图模块输入的数据结构进行解析，生成鸟瞰图特征；
8.所述模型预测模块根据预设的训练模型对所述鸟瞰图特征进行特征提取，再根据不同的检测头对目标的尺寸和朝向角进行回归，获取鸟瞰图下预测结果；
9.所述目标后处理模块将所述预测结果从鸟瞰图空间解码到原始的3d空间下，通过预设的目标后处理算法，获取筛选后的障碍物。
10.结合第一方面，在一些可选的实施方式中，所述点云转换模块对输入的原始数据进行点云转换，将输入的原始点云转换为鸟瞰图模块输入的数据结构，并将所述鸟瞰图模块输入的数据结构传输至所述鸟瞰图特征表示生成模块，包括：
11.循环处理单个点云，对点云的高度进行坐标轴对齐，对点云的反射强度进行归一化，然后将点云从结构体储存转换为张量储存。
12.结合第一方面，在一些可选的实施方式中，所述模型预测模块根据预设的训练模型对所述鸟瞰图特征进行特征提取，再根据不同的检测头对目标的尺寸和朝向角进行回归，获取鸟瞰图下预测结果，包括：
13.初始化多种体素生成类对象，将多种变量初始化；将点云转换为体素，遍历计算每
个点云在体素空间的坐标；遍历点云特征d
feature
，将所述点云特征d
feature
通过索引映射到每一个体素中。
14.结合第一方面，在一些可选的实施方式中，所述模型预测模块根据预设的训练模型对所述鸟瞰图特征进行特征提取，再根据不同的检测头对目标的尺寸和朝向角进行回归，获取鸟瞰图下预测结果，包括：
15.进一步遍历每一个体素，获取点云的特征、体素的坐标以及所述点云特征d
feature
，获得三个维度的输入特征。
16.结合第一方面，在一些可选的实施方式中，所述模型预测模块根据预设的训练模型对所述鸟瞰图特征进行特征提取，再根据不同的检测头对目标的尺寸和朝向角进行回归，获取鸟瞰图下预测结果，包括：
17.根据所述预设的训练模型将所述三个维度的输入特征对点云的体素特征通过卷积神经网络进行特征提取，再根据对应的检测头对目标的大小，类别，位置，朝向角属性进行预测，得到预测结果。
18.结合第一方面，在一些可选的实施方式中，所述目标后处理模块将所述预测结果从鸟瞰图空间解码到原始的3d空间下，通过预设的目标后处理算法，获取筛选后的障碍物，包括：
19.对模型推理的结果进行输出解码，输入筛选，非极大值抑制与输出框筛选，得到模型输出结果。
20.结合第一方面，在一些可选的实施方式中，所述方法还包括：
21.根据所述目标后处理算法，对所述模型输出结果进一步判断，若所述模型输出结果满足条件，则将所述模型输出结果作为最终的输入，提供给下游模块；
22.若所述模型输出结果不满足条件，则将所述模型输出结果排除。
23.第二方面，本技术实施例还提供一种激光雷达检测设备，包括有点云转换模块、鸟瞰图特征表示生成模块、模型预测模块、目标后处理模块和存储模块，所述存储模块内存储计算机程序，当所述计算机程序被对应的激光雷达检测设备执行时，使得所述激光雷达检测设备执行上述的方法。
24.第三方面，本技术实施例还提供一种车辆，所述车辆包括车辆本体及上述的激光雷达检测设备，所述激光雷达检测设备设置于所述车辆上。
25.第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
26.采用上述技术方案的发明，具有如下优点：
27.检测到的原始数据经过点云转换模块转换为鸟瞰图模块输入的数据结构，在鸟瞰图特征表示生成模块生成鸟瞰图特征，通过模型预测模块根据预设的训练模型对所述鸟瞰图特征进行特征提取，进一步进行回归处理，获取鸟瞰图下预测结果，目标后处理模块将所述预测结果从鸟瞰图空间解码到原始的3d空间下通过预设的目标后处理算法，通过海量的数据对模型进行更新与迭代，获取筛选后高精度的障碍物图像。
附图说明
28.本发明可以通过附图给出的非限定性实施例进一步说明；
29.图1为本发明一种激光雷达检测设备实施例的框图；
30.图2为本技术实施例提供的制动控制方法的流程示意图。
31.图标：10、激光雷达检测设备；11、点云转换模块；12、鸟瞰图特征表示生成模块；13、模型预测模块；14、目标后处理模块。
具体实施方式
32.以下将结合附图和具体实施例对本发明进行详细说明，需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，实施例中提到的方向用语，例如“上”、“下”、“顶”、“底”、“左”、“右”、“前”、“后”等，仅是参考附图的方向，并非用来限制本发明的保护范围。
33.如图1所示，本发明的一种激光雷达检测设备10，包括包括有点云转换模块11、鸟瞰图特征表示生成模块12、模型预测模块13、目标后处理模块14和存储模块。
34.在本实施例中，检测到的原始数据经过点云转换模块11转换为鸟瞰图模块输入的数据结构，在鸟瞰图特征表示生成模块12生成鸟瞰图特征，通过模型预测模块13根据预设的训练模型对所述鸟瞰图特征进行特征提取，进一步进行回归处理，获取鸟瞰图下预测结果，目标后处理模块14将所述预测结果从鸟瞰图空间解码到原始的3d空间下通过预设的目标后处理算法，通过海量的数据对模型进行更新与迭代，获取筛选后高精度的障碍物。
35.存储模块内存储计算机程序，当计算机程序被点云转换模块11、鸟瞰图特征表示生成模块12、模型预测模块13或者目标后处理模块14执行时，使得一种激光雷达检测设备10能够执行下述一种激光雷达检测方法中的相应步骤。
36.如图2所示，本技术还提供一种激光雷达检测方法。其中，一种激光雷达检测方法可以包括如下步骤：
37.所述点云转换模块11对输入的原始数据进行点云转换，将输入的原始点云转换为鸟瞰图模块输入的数据结构，并将所述鸟瞰图模块输入的数据结构传输至所述鸟瞰图特征表示生成模块12；
38.所述鸟瞰图特征表示生成模块12对所述鸟瞰图模块输入的数据结构进行解析，生成鸟瞰图特征；
39.所述模型预测模块13根据预设的训练模型对所述鸟瞰图特征进行特征提取，再根据不同的检测头对目标的尺寸和朝向角进行回归，获取鸟瞰图下预测结果；
40.所述目标后处理模块14将所述预测结果从鸟瞰图空间解码到原始的3d空间下，通过预设的目标后处理算法，获取筛选后的障碍物。
41.在本实施例中，原始数据经过点云转换模块11转换为鸟瞰图模块输入的数据结构，在鸟瞰图特征表示生成模块12生成鸟瞰图特征，通过模型预测模块13根据预设的训练模型对所述鸟瞰图特征进行特征提取，进一步进行回归处理，获取鸟瞰图下预测结果，目标后处理模块14将所述预测结果从鸟瞰图空间解码到原始的3d空间下通过预设的目标后处理算法，通过海量的数据对模型进行更新与迭代，获取筛选后高精度的障碍物。
42.作为一种可选的实施方式，所述点云转换模块11对输入的原始数据进行点云转换，将输入的原始点云转换为鸟瞰图模块输入的数据结构，并将所述鸟瞰图模块输入的数据结构传输至所述鸟瞰图特征表示生成模块12，包括：
43.循环处理单个点云，对点云的高度进行坐标轴对齐，对点云的反射强度进行归一化，然后将点云从结构体储存转换为张量储存。
44.在本实施例中，将采集到的原始数据进行归一化处理，使得点云从结构体储存转换为张量储存，方便进行后续点云体素特征生成。
45.作为一种可选的实施方式，所述模型预测模块13根据预设的训练模型对所述鸟瞰图特征进行特征提取，再根据不同的检测头对目标的尺寸和朝向角进行回归，获取鸟瞰图下预测结果，包括：
46.初始化多种体素生成类对象，将多种变量初始化；将点云转换为体素，遍历计算每个点云在体素空间的坐标；遍历点云特征d
feature
，将所述点云特征d
feature
通过索引映射到每一个体素中。
47.可以理解地，需要进行初始化的变量有：体素的最大数量p
max
＝60000，用以限制生成的体素数量；每个体素包含点云的最大数量n
max
＝100，用以限制体素中的点云数量；点云的特征数量d
feature
＝4，点云x方向的范围x
range
＝[0，200]，点云y方向的范围y
range
＝[-24，24]，点云z方向的范围z
range
＝[-2.5，1.5]，单个体素在x方向的维度x
size
＝0.2，单个体素在y方向的维度，y
size
＝0.2单个体素在z方向的维度z
size
＝4，体素空间在x方向的大小grid
x_size
，体素空间在y方向的大小grid
y_size
，体素空间在z方向的大小grid
z_size
。
[0048]
作为一种可选的实施方式，所述模型预测模块根据预设的训练模型对所述鸟瞰图特征进行特征提取，再根据不同的检测头对目标的尺寸和朝向角进行回归，获取鸟瞰图下预测结果，包括：
[0049]
进一步遍历每一个体素，获取点云的特征、体素的坐标以及所述点云特征d
feature
，获得三个维度的输入特征。
[0050]
在本实施例中，将点云转换为体素，遍历计算每个点云在体素空间的坐标，
[0051]
x
coor
＝point.x-x
range-min
/x
size
[0052]ycoor
＝point.y-y
range-min
/y
size
[0053]zcoor
＝point.z-z
range-min/z
size
[0054]
对每个点云的空间坐标进行判断，确定点云的坐标是否在初始化的体素空间内，
[0055]
0≤x
coor
＜＜grid
x_size
[0056]
0≤y
coor
＜＜grid
y_size
[0057]
0≤z
coor
＜＜grid
z_size
[0058]
当点云的坐标位于体素空间内时，有
[0059]
p
num
＝p
num
+1
[0060]
可以理解地p
num
的初始值为0，且p
num
≤p
max
，
[0061]
进一步计算该点云特征的索引index，
[0062][0063]
然后遍历点云特征d
feature
，将点云特征通过索引映射到每一个体素中：
[0064]
pillar_point_feature_in_coors[index+i]＝point[point
index
*d
feature
+i]
[0065]
而后遍历每一个体素，获取点云的特征与体素的坐标
[0066]
pillar
index
＝ith
pillar
*n
max
*d
feature
+ith
point
*d
feature
[0067][0068]
再一次遍历点云特征d
feature
，
[0069]
pillars_point_feature[pillar
index
+i]＝pillar_point_feature_in_coors[coors
index
+i]
[0070]
最终计算可得到模型推理的三个维度的输入特征：
[0071]
pillars_point_feature维度为(d，p，n)，用于表示点云在体素空间的特征；
[0072]
pillars_coors维度为(0，0，y，x)，用于表示每个体素的在体素空间的坐标；
[0073]
num_points_per_pillar维度为(p
num
)，用于表示每个体素包含的点云数量。
[0074]
作为一种可选的实施方式，所述模型预测模块根据预设的训练模型对所述鸟瞰图特征进行特征提取，再根据不同的检测头对目标的尺寸和朝向角进行回归，获取鸟瞰图下预测结果，包括：
[0075]
根据所述预设的训练模型将所述三个维度的输入特征对点云的体素特征通过卷积神经网络进行特征提取，再根据对应的检测头对目标的大小，类别，位置，朝向角属性进行预测，得到预测结果。
[0076]
在本实施例中，将得到的结果以张量的形式进行保存，预测结果包括有：
[0077]
box_preds维度为{1，18，120，500，7}，目标检测框的预测结果，总计7个属性，中心点坐标(x，y，z)，检测框尺寸(l，w，h)，航向角(r)。
[0078]
cls_preds维度为{1，18，120，500，9}，目标类型预测结果，总计9个类。
[0079]
dir_preds维度为{1，18，120，500，2}，目标航向角预测结果，总计2个朝向。
[0080]
作为一种可选的实施方式，所述目标后处理模块将所述预测结果从鸟瞰图空间解码到原始的3d空间下，通过预设的目标后处理算法，获取筛选后的障碍物，包括：
[0081]
对模型推理的结果进行输出解码，输入筛选，非极大值抑制与输出框筛选，得到模型输出结果。
[0082]
在本实施例中，将上述的结果box_preds进行解码操作，通过预先计算生成的anchor与预测的结果进行计算：
[0083]
diagonal＝at：：sqrt(l
anchor2
+w
anchor2
)
[0084]
x
decode
＝x
encode
*diagonal+x
anchor
[0085]ydecode
＝y
encode
*diagonal+y
anchor
[0086]zdecode
＝z
encode
*h
anchor
+x
anchor
[0087][0088][0089][0090]rdecode
＝r
encode
+r
anchor
[0091]
通过以上计算得到解码后的框预测结果。
[0092]
total_scores＝sigmoid(cls_preds
[0093]
通过sigmoid函数对类别预测的结果进行转换，得到每个框每个类别预测的概率；
[0094]
判断预测概率是否大于预设的第一阈值，
[0095]
total_scores≥nms_score_thresholds
[0096]
将满足该条件的框保存下来，不满足的框进行排除。
[0097]
将筛选后的输入框，通过非极大值抑制函数，实现对多余框的滤除，保留与目标匹配最大概率的框作为后续待筛选的输出框。
[0098]
首先对输入的框根据概率大小降序进行排列，从最大概率的矩形框开始，分别遍历其余的框，如果和当前最大概率的矩形框的重叠面积(iou)大于预设的第二阈值，就将该框进行删除，然后依次从未处理的框中继续选择一个概率最大的框，重复以上过程，最终得到检测到的目标的唯一与之匹配的最大概率框。
[0099]
将最终得到的与检测到的目标的唯一匹配的最大概率框作为模型输出结果。
[0100]
作为一种可选的实施方式，所述方法还包括：
[0101]
根据所述目标后处理算法，对所述模型输出结果进一步判断，若所述模型输出结果满足条件，则将所述模型输出结果作为最终的输入，提供给下游模块；
[0102]
若所述模型输出结果不满足条件，则将所述模型输出结果排除。
[0103]
在本实施例中，将上述的模型输出结构进行判断，分别判断通过上述步骤生成的目标框的坐标、置信度以及类别是否均在预设的目标后处理算法设定的输出范围内：
[0104]
0≤x≤roi
x
，0≤y≤roiy，0≤z≤roiz，判断目标框的坐标是否在预设的目标后处理算法设定的输出范围内；
[0105]
if bbox
score
≥score
threshold
，判断目标框的置信度是否在预设的目标后处理算法设定的输出范围内；
[0106]
iflable＝＝label
output
，判断目标框的类别是否在预设的目标后处理算法设定的输出范围内；
[0107]
只有当同时满足上述条件时，将模型输出结果作为最终的输入，提供给下游模块。
[0108]
在本实施例中，存储模块可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块可以用于存储点云的体素信息、输出的预测结果信息，以及最终的输出结果等。当然，存储模块还可以用于存储程序，点云转换模块11、鸟瞰图特征表示生成模块12、模型预测模块13和目标后处理模块14在接收到执行指令后，执行该程序。
[0109]
可以理解的是，图1中所示的激光雷达检测设备10结构仅为一种结构示意图，激光雷达检测设备10还可以包括比图1所示更多的组件。图1中所示的各组件可以采用硬件、软件或其组合实现。
[0110]
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的激光雷达检测设备10的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
[0111]
本技术实施例还提供一种车辆。车辆包括车辆本体及上述实施例所述的激光雷达检测设备10。激光雷达检测设备10部署在车辆本体上。激光雷达检测设备10可以用于实现上述的激光雷达检测方法，可以提高车辆雷达的检测精度，从而有利于提高行车安全。
[0112]
本技术实施例还提供一种计算机可读存储介质。计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的激光雷达检测方法。
[0113]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本技术可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机或者网络设备等)执行本技术各个实施场景所述的方法。
[0114]
综上所述，本技术实施例提供一种激光雷达检测方法、设备、车辆及存储介质。在本方案中，检测到的原始数据经过点云转换模块11转换为鸟瞰图模块输入的数据结构，在鸟瞰图特征表示生成模块12生成鸟瞰图特征，通过模型预测模块13根据预设的训练模型对所述鸟瞰图特征进行特征提取，进一步进行回归处理，获取鸟瞰图下预测结果，目标后处理模块14将所述预测结果从鸟瞰图空间解码到原始的3d空间下通过预设的目标后处理算法，通过海量的数据对模型进行更新与迭代，获取筛选后高精度的障碍物的图像。
[0115]
在本技术所提供的实施例中，应该理解到，所揭露的设备、系统和方法，也可以通过其它的方式实现。以上所描述的设备、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0116]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。