点云全景分割方法、控制装置、可读存储介质及车辆与流程

本发明涉及自动驾驶，具体提供一种点云全景分割方法、控制装置、可读存储介质及车辆。

背景技术：

1、激光雷达获取的点云数据具备测距精度高、三维结构刻画精确的特点，因而在自动驾驶环境感知系统中起到了非常重要的作用。利用高精度的激光雷达点云数据实现点级别的全景分割是近年来自动驾驶研究领域中的重要课题。

2、然而，现有点级别全景分割方法大多计算量庞大且运行速度缓慢。究其原因主要在于两个方面：1）点云的无序性带来的表达形式上的复杂性；2）将全景分割任务中的语义和实例分开进行处理带来了额外的计算开销。

3、相应地，本领域需要一种新的点云全景分割方案来解决上述问题。

技术实现思路

1、为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何实现高性能且高效的点级别全景分割的问题。

2、在第一方面，本发明提供一种点云全景分割方法，所述方法包括；

3、根据原始点云数据，获取所述原始点云数据的环视图像；

4、对所述环视图像进行特征编码，获取所述环视图像的像素级全局特征；

5、根据所述像素级全局特征和预设的多个目标查询向量，获取所述环视图像的全景分割结果；

6、根据所述环视图像的全景分割结果和所述原始点云数据，获取所述原始点云数据的点级别全景分割结果。

7、在上述点云全景分割方法的一个技术方案中，所述对所述环视图像进行特征编码，获取所述环视图像的像素级全局特征，包括：

8、对所述环视图像进行局部特征编码，获取所述环视图像的局部特征；

9、根据所述局部特征，获取像素级局部特征；

10、对所述像素级局部特征进行全局特征编码，获取所述像素级全局特征。

11、在上述点云全景分割方法的一个技术方案中，所述对所述环视图像进行局部特征编码，获取所述环视图像的局部特征，包括：

12、将所述环视图像进行至少一次二维卷积操作，获取所述环视图像的局部特征；和/或，

13、所述根据所述局部特征，获取像素级局部特征，包括：

14、根据所述环视图像中像素的索引，对所述局部特征进行像素级特征转换，以获取所述像素级局部特征；和/或，

15、所述对所述像素级局部特征进行全局特征编码，获取所述像素级全局特征，包括：

16、根据所述像素级局部特征，应用注意力机制，获取所述像素级局部特征中不同像素之间的注意力大小；

17、根据所述注意力大小，为不同像素之间分配不同的交互权重，以根据所述交互权重实现不同像素之间的特征交互，从而获得所述像素级全局特征。

18、在上述点云全景分割方法的一个技术方案中，所述根据所述像素级全局特征和预设的多个目标查询向量，获取所述环视图像的全景分割结果，包括：

19、根据所述像素级全局特征，和预设的多个目标查询向量，获取所述环视图像中目标的分类结果和掩膜结果；

20、根据所述目标的分类结果和所述掩膜结果，获取所述环视图像的全景分割结果。

21、在上述点云全景分割方法的一个技术方案中，所述根据所述像素级全局特征，和预设的多个目标查询向量，获取所述环视图像中目标的分类结果和掩膜结果，包括：

22、根据所述目标查询向量与所述像素级全局特征之间交互关系，获取每个目标查询向量对所述像素级全局特征中每个像素特征的注意力大小；

23、根据所述注意力大小，获取所述环视图像中目标的分类结果和掩膜结果。

24、在上述点云全景分割方法的一个技术方案中，所述根据所述注意力大小，获取所述环视图像中目标的分类结果和掩膜结果，包括：

25、针对每个目标查询向量，根据所述注意力大小，将所述目标查询向量与所有像素特征进行注意力加权计算，获得加权计算结果；

26、基于所述加权计算结果，获取所述目标的分类结果和所述掩膜结果。

27、在上述点云全景分割方法的一个技术方案中，所述根据所述环视图像的全景分割结果和所述原始点云数据，获取所述原始点云数据的点级别全景分割结果，包括：

28、获取所述环视图像的像素的索引与所述原始点云数据中的点云的三维坐标之间的映射关系；

29、根据所述映射关系和所述环视图像的全景分割结果，获得所述点级别全景分割结果。

30、在上述点云全景分割方法的一个技术方案中，所述根据所述映射关系和所述环视图像的全景分割结果，获得所述点级别全景分割结果，包括：

31、根据所述映射关系，将所述环视图像的全景分割结果投影至所述原始点云数据，以获取初步的点级别全景分割结果；

32、根据所述初步的点级别全景分割结果，应用k-近邻聚类优化方法进行优化，获得最终的点级别全景分割结果。

33、在第二方面，提供一种控制装置，该控制装置包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述点云全景分割方法的技术方案中任一项技术方案所述的点云全景分割方法。

34、在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述点云全景分割方法的技术方案中任一项技术方案所述的点云全景分割方法。

35、在第四方面，提供一种车辆，所述车辆包括点云采集设备和上述控制装置技术方案中所述的控制装置；

36、所述点云采集设备用于获取原始点云数据。

37、本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

38、在实施本发明的技术方案中，本发明根据原始点云数据，获取环视图像，并对环视图像进行特征编码，获取到像素级全局特征，根据像素级全局特征和多个目标查询向量，获得环视图像的全景分割结果，并根据全景分割结果和原始点云数据，获得原始点云数据的点级别全景分割结果。通过上述配置方式，本发明将原始点云数据转换为排列规则、简单的环视图像，能够有效避免基于原始点云数据进行计算带来的无序性和复杂性。进一步，基于环视图像进行特征编码，并基于目标查询向量进行解码，能够一次性输出环视图像的全景分割结果（包含语义分割结果和实例分割结果），能够有效简化点云全景分割过程，提升处理速度，基于全景分割结果获取原始点云数据的点级别全景分割结果，能够使得获取的点级别全景分割结果质量更高。

技术特征：

1.一种点云全景分割方法，其特征在于，所述方法包括；

2.根据权利要求1所述的点云全景分割方法，其特征在于，

3.根据权利要求2所述的点云全景分割方法，其特征在于，

4.根据权利要求1所述的点云全景分割方法，其特征在于，

5.根据权利要求4所述的点云全景分割方法，其特征在于，

6.根据权利要求5所述的点云全景分割方法，其特征在于，

7.根据权利要求1所述的点云全景分割方法，其特征在于，

8.根据权利要求7所述的点云全景分割方法，其特征在于，

9.一种控制装置，包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的点云全景分割方法。

10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的点云全景分割方法。

11.一种车辆，其特征在于，所述车辆包括点云采集设备和权利要求9所述的控制装置；

技术总结
本发明涉及自动驾驶技术领域，具体提供一种点云全景分割方法、控制装置、可读存储介质及车辆，旨在解决如何实现高性能且高效的点级别全景分割的问题。为此目的，本发明将原始点云数据转换为排列规则、简单的环视图像，能够有效避免基于原始点云数据进行计算带来的无序性和复杂性。进一步，基于环视图像进行特征编码，并基于目标查询向量进行解码，能够一次性输出环视图像的全景分割结果（包含语义分割结果和实例分割结果），能够有效简化点云全景分割过程，提升处理速度，基于全景分割结果获取原始点云数据的点级别全景分割结果，能够使得获取的点级别全景分割结果质量更高。

技术研发人员：王云龙,唐鑫,李虹杰,郑正扬,李传康,姚卯青
受保护的技术使用者：安徽蔚来智驾科技有限公司
技术研发日：
技术公布日：2024/1/15