基于垂直表征的双流3D目标检测学习方法及系统

本发明属于智能交通，具体涉及基于垂直方向表征的双流3d目标检测学习方法及系统。

背景技术：

1、3d目标检测根据图像或点云等输入信息，输出场景中目标的三维位置、尺寸、偏航角以及类别。相机和激光雷达是该任务常用的两种传感器。相机所获取的图像反映了场景的纹理信息，在进行检测时，需要对目标所处的深度进行预测。相比之下，激光雷达作为一种光电测距传感器，通过激光发射的角度和飞行时间(tof)，直接将测量数据转换为反映空间几何信息的点云数据。随着激光雷达的推广，以及点云对空间信息的精准度量和对光线变化不敏感的特性，基于纯点云数据的3d目标检测成为当前的研究主流方向。

2、3d目标检测算法根据点云特征提取的方式可分为两种，即网格化方法和基于点的方法。在网格化方法中，又分为3d体素化(voxel)方法和2d体素化(pillar)方法，对于3d体素化方法，点云转换为相对稠密的3d体素，有效提高了计算效率，但是通常使用的3d稀疏卷积限制了非空3d体素到空3d体素的真实扩散。导致在垂直方向上的感受野有限。

3、作为对比，2d体素化方法将将点云离散为2d柱形体素，其中每个2d体素对特定x-y坐标中的所有相邻点进行编码，虽然这种范式获得了垂直方向的全感受野，并且计算量减小，可以增加效率，然而，它在捕获细粒度特征方面性能较弱。

技术实现思路

1、为了解决现有技术中存在的垂直方向细粒度语义信息的损失问题，本发明提供一种基于垂直表征的双流3d目标检测学习方法，丰富2d体素内的细粒度语义信息，减少稀疏卷积期间的损失，提升目标检测问题中细小目标的准确度，采用稠密特征融合方法，将学习到的不同尺寸的3d体素和2d体素特征进行融合，进一步提高检测性能。

2、为了实现上述目的，本发明采用的技术方案是：一种基于垂直表征的双流3d目标检测学习方法，包括以下步骤：

3、对原始点云分别进行3d体素化和2d体素化处理，得到3d体素和2d体素的初始特征；

4、将3d体素和2d体素的初始特征输入到双流的稀疏卷积网络中提取稀疏3d体素和稀疏2d体素特征；

5、对稀疏3d体素特征和稀疏2d体素特征采用稀疏池化和稀疏扩张操作建立双向关系，得到稀疏融合特征；

6、将稀疏融合特征转换为俯视视角稠密特征，并输入到2d卷积网络进行多层级的特征融合，得到最终的融合特征；

7、对所述最终的融合特征使用基于中心点的回归检测器并得到最终3d目标检测结果。

8、将点云3d体素化并提取初始体素特征的过程为：将测量空间划分为大小相等的三维体素，并将点云投影到对应的体素中，构建体素索引，将非空体素中的点云进行动态编码，并均值池化操作后得到非空体素初始特征。

9、将点云2d体素化并提取初始2d体素特征的过程为：将测量空间的x-y平面划分为大小相等的2d栅格，并将点云投影到2d栅格对应的2d体素中，采用pointnet网络并使用最大池化操作获得2d体素输入特征。

10、对3d体素和2d体素初始特征分别做特征提取的过程为：使用具有4个稀疏卷积模块的3d和2d稀疏卷积网络，对3d体素特征做一倍、二倍、四倍和八倍的下采样，其中包括常规3d稀疏卷积和子流3d稀疏卷积，常规3d稀疏卷积完成空间下采样操作，子流3d稀疏卷积约束输出位置与输入位置相同，同时对2d体素特征做一倍、二倍、四倍和八倍的下采样，其中包括常规2d稀疏卷积和子流2d稀疏卷积，常规2d稀疏卷积完成空间下采样操作，子流2d稀疏卷积约束输出位置与输入位置相同。

11、对稀疏3d体素和2d体素特征建立双向关系的过程为：对于3d体素到2d体素的转换关系，非空的3d体素特征使用稀疏池化操作映射到相同垂直方向的2d体素特征，所述2d体素特征在空间上与原始的稀疏2d体素特征一致，再使用2d子流卷积转换特征维度；对于2d体素到3d体素的转换关系，非空的2d体素特征首先经过2d子流卷积，再经过稀疏扩张操作形成对应空间位置的3d体素特征，3d体素和2d体素特征应用逐元素求和，得到稀疏融合特征。

12、将稀疏融合特征转换为俯视视角稠密特征，并输入到2d卷积网络进行多层级的特征融合，得到最终的融合特征具体为：将稀疏融合特征转换为俯视视角稠密3d体素2d体素特征，使用2d卷积处理稠密3d体素特征和稠密2d体素特征，首先分别对3d体素分支和2d体素分支使用八倍和十六倍的下采样卷积块提取稠密特征，对同等尺寸下的3d和2d体素特征进行融合操作，通过上采样和拼接操作结合不同尺度的特征，之后通过卷积操作聚合最终的融合特征。

13、使用基于中心点的回归检测器并得到最终3d目标检测结果时，采用基于中心点的回归检测器，基于目标做回归和分类得分预测，使用iou对分类得分进行修正，得到最终的预测分数。

14、基于方法的技术构思，本发明还提供一种基于垂直表征的双流3d目标检测学习系统，初始3d体素-2d体素特征提取模块、稀疏特征提取模块、稀疏融合模块、稠密特征融合模块以及目标预测与回归模块；

15、初始特征提取模块用于以原始点云作为输入，按照设定尺寸将点云进行3d体素化和2d体素化处理，得到3d体素-2d体素初始特征；

16、稀疏特征提取模块用于将3d体素和2d体素的初始特征输入到双流的稀疏卷积网络中提取稀疏3d体素和稀疏2d体素特征；

17、稀疏融合模块用于对稀疏3d体素特征和稀疏2d体素特征建立双向关系，得到稀疏融合特征；

18、稠密特征融合模块用于将稀疏融合特征转换为俯视视角稠密特征，并输入到2d卷积网络进行多层级的特征融合，得到最终的融合特征；

19、目标预测与回归模块用于对最终的融合特征使用基于中心点的回归检测器并得到最终3d目标检测结果。

20、另外，提供一种计算机设备，包括处理器和存储器，存储器中存储可执行程序，处理器执行所述可执行程序时，能执行本发明所述的基于垂直表征的双流3d目标检测学习方法。

21、以及一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于垂直表征的双流3d目标检测学习方法。

22、与现有技术相比，本发明至少具有以下有益效果：本发明针对当前3d目标检测网格化方法导致的垂直方向细粒度语义信息损失问题，提出一个一阶段的基于垂直表征的双流3d目标检测框架；针对3d体素特征的稀疏卷积限制非空3d体素到空3d体素之间的扩散问题，提出稀疏融合操作，稀疏融合操作放大了3d体素在垂直方向的感受野，丰富了2d体素内的细粒度语义信息，减少了稀疏卷积期间的损失，可以提升目标检测问题中细小目标的准确度；利用稀疏池化操作和稀疏扩张操作获得3d体素特征和2d体素特征间的双向关系，来自3d体素分支的局部特征内容完善了2d体素表示；针对特征融合问题，采用稠密特征融合方法，将学习到的不同尺寸的3d体素和2d体素特征进行融合，进一步提高检测性能。

技术特征：

1.一种基于垂直表征的双流3d目标检测学习方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于垂直表征的双流3d目标检测学习方法，其特征在于，将点云3d体素化并提取初始体素特征的过程为：将测量空间划分为大小相等的三维体素，并将点云投影到对应的体素中，构建体素索引，将非空体素中的点云进行动态编码，并均值池化操作后得到非空体素初始特征。

3.根据权利要求1所述的基于垂直表征的双流3d目标检测学习方法，其特征在于，将点云2d体素化并提取初始2d体素特征的过程为：将测量空间的x-y平面划分为大小相等的2d栅格，并将点云投影到2d栅格对应的2d体素中，采用pointnet网络并使用最大池化操作获得2d体素输入特征。

4.根据权利要求1所述的基于垂直表征的双流3d目标检测学习方法，其特征在于，对3d体素和2d体素初始特征分别做特征提取的过程为：使用具有4个稀疏卷积模块的3d和2d稀疏卷积网络，对3d体素特征做一倍、二倍、四倍和八倍的下采样，其中包括常规3d稀疏卷积和子流3d稀疏卷积，常规3d稀疏卷积完成空间下采样操作，子流3d稀疏卷积约束输出位置与输入位置相同，同时对2d体素特征做一倍、二倍、四倍和八倍的下采样，其中包括常规2d稀疏卷积和子流2d稀疏卷积，常规2d稀疏卷积完成空间下采样操作，子流2d稀疏卷积约束输出位置与输入位置相同。

5.根据权利要求1所述的基于垂直表征的双流3d目标检测学习方法，其特征在于，对稀疏3d体素和2d体素特征建立双向关系的过程为：对于3d体素到2d体素的转换关系，非空的3d体素特征使用稀疏池化操作映射到相同垂直方向的2d体素特征，所述2d体素特征在空间上与原始的稀疏2d体素特征一致，再使用2d子流卷积转换特征维度；对于2d体素到3d体素的转换关系，非空的2d体素特征首先经过2d子流卷积，再经过稀疏扩张操作形成对应空间位置的3d体素特征，3d体素和2d体素特征应用逐元素求和，得到稀疏融合特征。

6.根据权利要求1所述的基于垂直表征的双流3d目标检测学习方法，其特征在于，将稀疏融合特征转换为俯视视角稠密特征，并输入到2d卷积网络进行多层级的特征融合，得到最终的融合特征具体为：将稀疏融合特征转换为俯视视角稠密3d体素2d体素特征，使用2d卷积处理稠密3d体素特征和稠密2d体素特征，首先分别对3d体素分支和2d体素分支使用八倍和十六倍的下采样卷积块提取稠密特征，对同等尺寸下的3d和2d体素特征进行融合操作，通过上采样和拼接操作结合不同尺度的特征，之后通过卷积操作聚合最终的融合特征。

7.根据权利要求1所述的基于垂直表征的双流3d目标检测学习方法，其特征在于，使用基于中心点的回归检测器并得到最终3d目标检测结果时，采用基于中心点的回归检测器，基于目标做回归和分类得分预测，使用iou对分类得分进行修正，得到最终的预测分数。

8.基于垂直表征的双流3d目标检测学习系统，其特征在于，初始3d体素-2d体素特征提取模块、稀疏特征提取模块、稀疏融合模块、稠密特征融合模块以及目标预测与回归模块；

9.一种计算机设备，其特征在于，包括处理器和存储器，存储器中存储可执行程序，处理器执行所述可执行程序时，能执行权利要求1至7中任一项所述的基于垂直表征的双流3d目标检测学习方法。

10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现权利要求1至7中任一项所述的基于垂直表征的双流3d目标检测学习方法。

技术总结
本发明公开了基于垂直表征的双流3D目标检测学习方法及系统，方法为：对原始点云分别进行3D体素化和2D体素化处理后输入到稀疏卷积网络中，得到3D体素特征和2D体素特征；采用稀疏池化和扩张方法建立3D体素‑2D体素间双向关系；分别以3D体素特征和2D体素特征作为输入，使用密集融合模块进行不同层次的特征融合，得到基于元素的聚合特征；使用基于中心点回归的检测器并使用IoU进行得分修正，得到目标检测结果；稀疏融合操作放大3D体素在垂直方向的感受野，丰富2D体素内的细粒度语义信息，减少稀疏卷积期间的损失，提升目标检测问题中细小目标的准确度，采用稠密特征融合方法，将学习到的不同尺寸的3D体素和2D体素特征进行融合，进一步提高检测性能。

技术研发人员：郑南宁,黄宇豪,张钧杰,董金鹏,周三平
受保护的技术使用者：西安交通大学
技术研发日：
技术公布日：2024/1/13