一种高通用性的点云3D目标检测方法、系统与流程

本发明涉及点云目标检测领域，尤其涉及一种高通用性的点云3d目标检测方法、系统。

背景技术：

1、目前，自动驾驶和辅助驾驶受到了越来越多的关注，在各行各业的应用也越来越广泛。而得益于激光雷达在3d空间内的高效、高精度的空间感知技术，自动驾驶实现了进一步的发展。

2、由于激光雷达在空间的感知是三维的，得到的点云数据也是三维的，因此传统的点云目标检测的方法是在空间三维上构建的；然而基于自动驾驶场景的目标检测模型是部署在汽车上，因此点云目标检测的效果很大程度上受限于车端芯片的计算能力和功耗。而现有技术中基于点云数据的目标检测方法对算力要求较高，对车端芯片的要求较高。现有的3d 点云检测技术中，由于不同传感器之间的差异，3d 目标检测模型对不同的传感器很敏感，泛化性较低，检测过程的复杂度高。

3、此外，现有3d目标检测模型作用时（具体可参照附图2），需3d点云体素化后得到体素特征，并将体素特征放入3d 卷积网络中提取点云体素特征，最后得到 3d 目标检测结果，操作过程中，需要对3d 点云进行3d 体素化的过程和3d 卷积网络检测，导致操作繁杂，检测效率低，且依赖雷达本身的特性（扫描模式、反射率等），导致通用性较差，因此，采用3d目标检测模型的泛化性较低。

4、另一方面，目前2d 目标检测领域上有许多优秀的方法，但无法应用于3d 目标检测领域，限制了点云的目标检测技术的发展，同时相较于2d检测，3d 点云数据的标注成本较高远大于2d 标注的成本。

5、因此，现有技术还有待提高。

技术实现思路

1、鉴于上述现有技术的不足，本发明的目的在于提供一种高通用性的点云3d目标检测方法、系统，旨在解决现有技术中，点云的3d目标检测过程中需要对3d 点云进行3d 体素化的过程和3d 卷积网络检测，导致操作繁杂，检测效率低的问题；同时解决现有点云的3d目标检测的检测成本高的问题。

2、本发明的技术方案如下：一种高通用性的点云3d目标检测方法，所述方法包括：

3、将所获得的原始3d点云数据投影至鸟瞰图视角，以得到2d点云图像。在本发明中，该鸟瞰图视角为bev鸟瞰图视角，因此，所获得的2d点云图像为bev图像。

4、将所述2d点云图像输入至2d图像分割模型内，以得到2d实例分割结果。

5、计算所述2d实例分割结果的最小矩形包围框，以得到2d目标检测结果。

6、将所述2d目标检测结果和原始3d点云数据进行映射，以计算得到3d目标检测结果。

7、因此，本发明中方法可通过2d图像分割模型、最小矩形包围框等计算后，得到2d目标检测结果，并结合原始3d点云数据，计算出3d目标检测结果，显然可将3d目标检测结果的检测过程转换为2d目标检测结果的检测过程，取代了传统3d目标检测结果中繁琐的3d卷积过程，简化检测过程，实现3d目标检测结果的快速检测；同时在2d目标检测结果时将点云转换为2d点云图像后进行检测，可利用2d图像分割模型泛化性强的优势，大大降低了检测过程中的反射率敏感的影响。

8、优选地，在将所述2d目标检测结果和3d点云数据进行映射前，还包括以下步骤：

9、将2d目标检测结果进行后处理筛选，以得到优化后的2d目标检测结果。此过程的目的是为了筛选得到精确度更高的2d目标检测结果，滤除掉精确度低的2d目标检测结果，保证检测结果的准确性更高。

10、优选地，将所获得的原始3d点云数据投影至鸟瞰图视角的具体过程为：

11、计算出原始3d点云数据中属于所设置的点云检测范围和体素化格子尺寸内的3d点云的每个像素对应的点云数据。所述点云检测范围以（xmin~xmax，ymin~ymax）来表示，所述体素化格子尺寸以（xgrid，ygrid）来表示，具体地，xmin、xmax、ymin、ymax、xgrid、ygrid分别表示点云的x轴的最大和最小范围、y轴的最大和最小范围、x维度上网格下采样尺寸、y维度上网格下采样尺寸。

12、对计算所得到的每个像素点对应的点云数据进行特征值计算，以得到每个像素点对应的点云的像素特征值，以得到2d点云图像。

13、优选地，对计算所得到的每个像素点对应的点云数据进行特征值计算的具体过程为：

14、使用随机采样法从像素点对应的点云中随机选择一个点云作为该像素点的点云或使用加权平均计算法计算出对像素点对应的点云的均值作为该像素点的点云；

15、并使用预设的点云特征到图像颜色的映射关系进行所得到的像素点的点云的映射，得到像素特征值。具体地，预设的点云特征到图像颜色的映射关系可以为线性对应的关系、图像中灰度图的关系、图像中的彩虹条的关系，具体可根据实际需求进行选择。

16、优选地，所述2d实例分割结果的最小矩形包围框的计算过程为：

17、使用凸包算法计算出每个2d实例分割结果的凸包；所述凸包算法可以为graham扫描算法、jarvis步进算法。

18、将2d实例分割结果输入至其对应的凸包内，计算凸包的最小矩形包围框；该过程中，可直接使用旋转卡壳算法计算出凸包内的最小矩形包围框。

19、所述最小矩形包围框为所述2d实例分割结果的2d目标检测结果。

20、优选地，计算得到所述3d目标检测结果的过程为：

21、将所述2d目标检测结果映射到原始3d点云数据上，得到2d检测结果对应的3d点云，并计算出该对应3d点云的高度差、均值，以得到3d目标检测结果的高度值、高度位置。所得到的3d目标检测结果的高度值、高度位置即为所需计算出的3d目标检测结果。

22、优选地，所述2d目标检测结果后处理筛选过程为：

23、计算所述2d目标检测结果的长宽比和面积，筛选出属于预设阈值范围内的2d目标检测结果。所述2d目标检测结果后处理筛选过程有两种方式，一种是直接计算其长宽比和面积，另一种是计算其iou值，然后根据计算结果进行筛选。

24、优选地，所述2d目标检测结果后处理筛选过程为：

25、计算所述2d目标检测结果的iou，筛选出2d目标检测结果中不重复的2d目标检测结果。

26、本发明还提供一种高通用性的点云3d目标检测系统，包括上述的一种高通用性的点云3d目标检测方法。

27、综上所述：本文提出的一种高通用性的点云3d目标检测方法、系统，具有以下有益效果：

28、1、取代了传统点云的3d目标检测结果中繁琐的3d卷积过程，大幅度提高检测效率；

29、2、在2d目标检测结果时将点云转换为2d点云图像后进行检测，大大降低了检测过程中的反射率敏感的影响，降低检测难度，提高检测结果的准确性；

30、3、通过将3d目标检测结果的检测过程转换至2d目标检测结果的检测过程，可充分利用2d 目标检测领域上的检测方法，可实现现有点云的目标检测技术的充分使用，保证其使用更加广泛，同时可极大降低3d 点云数据的标注成本；

31、4、本发明不依赖雷达本身的特性，可适用于不同类型雷达所采集的3d点云的3d目标检测结果的计算，泛化性及通用性强。