基于体素关键点的点云语义分割方法及装置

本发明涉及图像处理，尤其涉及一种基于体素关键点的点云语义分割方法及装置。

背景技术：

1、点云语义分割是机器人和自动驾驶的一个基础的、重点的感知任务和研究方向，主要指在点云中识别并划分不同的具有具体语义(如车子、路灯等)的物体，并区分所有点的类别。

2、现有的方法主要是基于深度卷积神经网络的方法实现点云语义分割。但由于点云数据无序、稀疏、非结构化的特点，导致现有的直接作用于点云进行语义分割方法，处理速度慢、实时性差、准确率较低。

技术实现思路

1、本发明提供一种基于体素关键点的点云语义分割方法及装置，用以解决现有技术针对点云语义分割的过程中，由于点云数据无序、稀疏、非结构化的特点，导致处理速度慢、实时性差、准确率较低的技术问题。

2、本发明提供一种基于体素关键点的点云语义分割方法，包括：

3、获取目标场景序列中各序列帧的二维图像特征以及所述各序列帧的三维点云图像；

4、将所述各序列帧的二维图像特征与对应的三维点云图像的三维点进行关联，得到所述各序列帧的初始三维特征；

5、在所述目标场景序列的三维空间中，构建所述三维空间的点云体素空间，并基于所述点云体素空间，对三维点云图像中的三维点进行合并，得到所述各序列帧的三维体素关键点；

6、基于所述初始三维特征以及所述三维体素关键点，确定所述目标场景序列的全局特征；

7、基于所述全局特征进行点云语义分割，得到所述目标场景序列的语义分割结果

8、根据本发明提供的一种基于体素关键点的点云语义分割方法，基于所述初始三维特征以及所述三维体素关键点，确定所述目标场景序列的全局特征，包括：

9、基于所述初始三维特征以及所述三维体素关键点，确定所述目标场景序列中各序列帧的三维点特征；

10、将所述各序列帧的三维点特征进行融合，得到所述目标场景序列的全局特征。

11、根据本发明提供的一种基于体素关键点的点云语义分割方法，基于所述初始三维特征以及所述三维体素关键点，确定所述目标场景序列中各序列帧的三维点特征，包括：

12、基于所述初始三维特征以及所述三维体素关键点，确定所述三维体素关键点的体素关键点特征；

13、基于所述各序列帧中的三维点坐标以及所述三维体素关键点的坐标，确定所述三维体素关键点的空间特征；

14、基于所述体素关键点特征以及所述空间特征，确定所述目标场景序列中各序列帧的三维点特征。

15、根据本发明提供的一种基于体素关键点的点云语义分割方法，基于所述全局特征进行点云语义分割，得到所述目标场景序列的语义分割结果，包括：

16、基于多层感知机，对所述全局特征进行全连接运算，得到所述全局特征的多个语义类别概率，所述多层感知机是基于语义类别样本及其对应的类别标签训练得到的；

17、基于所述多个语义类别概率，确定所述目标场景序列的语义分割结果。

18、根据本发明提供的一种基于体素关键点的点云语义分割方法，将所述各序列帧的二维图像特征与对应的三维点云图像的三维点进行关联，得到所述各序列帧的初始三维特征，包括：

19、基于所述各序列帧对应的二维图像的内参以及所述各序列帧对应的二维图像的外参，将所述各序列帧的二维图像特征投影至对应的三维点云图像的三维点，以使所述各序列帧的二维图像特征与对应的三维点云图像的三维点关联，得到所述各序列帧的初始三维特征。

20、根据本发明提供的一种基于体素关键点的点云语义分割方法，获取目标场景序列中各序列帧的二维图像特征，包括：

21、获取目标场景序列中各序列帧的二维场景图像，基于二维特征提取器，获取所述各序列帧的二维场景图像的二维图像特征。

22、本发明还提供一种基于体素关键点的点云语义分割装置，包括：

23、特征提取模块，用于获取目标场景序列中各序列帧的二维图像特征以及所述各序列帧的三维点云图像；

24、关联模块，用于将所述各序列帧的二维图像特征与对应的三维点云图像的三维点进行关联，得到所述各序列帧的初始三维特征；

25、点云体素空间构建模块，用于在所述目标场景序列的三维空间中，构建所述三维空间的点云体素空间，并基于所述点云体素空间，对三维点云图像中的三维点进行合并，得到所述各序列帧的三维体素关键点；

26、全局特征确定模块，用于基于所述初始三维特征以及所述三维体素关键点，确定所述目标场景序列的全局特征；

27、点云语义分割模块，用于基于所述全局特征进行点云语义分割，得到所述目标场景序列的语义分割结果。

28、本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于体素关键点的点云语义分割方法。

29、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于体素关键点的点云语义分割方法。

30、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于体素关键点的点云语义分割方法。

31、本发明提供的基于体素关键点的点云语义分割方法及装置，通过将获取的各序列帧的二维图像特征与对应的三维点云图像的三维点进行关联，将二维图像特征投影至三维空间，提升了后续点云语义分割的处理速度，实时性。在目标场景序列的三维空间中，构建三维空间的点云体素空间，并基于构建的点云体素空间，对三维点云图像中的三维点进行合并，利用了点云的空间信息，并扩大了点云的感受野，提升了后续点云语义分割的语义分割准确率。

技术特征：

1.一种基于体素关键点的点云语义分割方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于体素关键点的点云语义分割方法，其特征在于，所述基于所述初始三维特征以及所述三维体素关键点，确定所述目标场景序列的全局特征，包括：

3.根据权利要求2所述的基于体素关键点的点云语义分割方法，其特征在于，所述基于所述初始三维特征以及所述三维体素关键点，确定所述目标场景序列中各序列帧的三维点特征，包括：

4.根据权利要求1所述的基于体素关键点的点云语义分割方法，其特征在于，所述基于所述全局特征进行点云语义分割，得到所述目标场景序列的语义分割结果，包括：

5.根据权利要求1所述的基于体素关键点的点云语义分割方法，其特征在于，所述将所述各序列帧的二维图像特征与对应的三维点云图像的三维点进行关联，得到所述各序列帧的初始三维特征，包括：

6.根据权利要求1所述的基于体素关键点的点云语义分割方法，其特征在于，所述获取目标场景序列中各序列帧的二维图像特征，包括：

7.一种基于体素关键点的点云语义分割装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于体素关键点的点云语义分割方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于体素关键点的点云语义分割方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于体素关键点的点云语义分割方法。

技术总结
本发明提供一种基于体素关键点的点云语义分割方法及装置，其中方法包括：将目标场景序列中各序列帧的二维图像特征与对应的三维点云图像的三维点进行关联，得到初始三维特征；构建三维空间的点云体素空间，并基于点云体素空间，对三维点云图像中的三维点进行合并，得到各序列帧的三维体素关键点；基于初始三维特征以及三维体素关键点确定的全局特征进行点云语义分割，得到语义分割结果。本发明提供的基于体素关键点的点云语义分割方法及装置，通过二维特征与三维点进行关联，将二维图像特征投影至三维空间，提升点云语义分割的处理速度。通过构建点云体素空间，对三维点云图像中的三维点进行合并，扩大了点云的感受野，提升了语义分割准确率。

技术研发人员：陈龙,谢俊琨,田滨
受保护的技术使用者：中国科学院自动化研究所
技术研发日：
技术公布日：2024/1/13