图像、激光雷达和4D毫米波多模态融合的3D目标检测方法

本发明涉及图像处理，具体为图像、激光雷达和4d毫米波多模态融合的3d目标检测方法。

背景技术：

1、目前，3d目标检测方法输入的数据形式主要有两种，一种是图像数据，另一种是激光雷达点云数据，相比较于图像数据，激光雷达点云具有深度真值信息，因而这种方式可以更有效的提升算法的检测精度和鲁棒性。

2、然而，单一传感器仍有其自身不可避免地缺陷，例如激光雷达数据较稀疏、易受雨雪雾等恶劣天气的影响；虽然激光雷达传感器可以获得较精确的三维空间信息，但是其缺乏像图像那样的像素和纹理信息，因此，在城市复杂多变的道路场景中，对于较远距离的小目标和遮挡目标的识别效果并不是很好。rgb图像数据缺乏深度信息、易受光照影响等。

3、基于此，提出了一种图像、激光雷达和4d毫米波多模态融合的3d目标检测方法，为上述问题提供了一种解决方案。

技术实现思路

1、本发明的目的在于提供图像、激光雷达和4d毫米波多模态融合的3d目标检测方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：图像、激光雷达和4d毫米波多模态融合的3d目标检测方法，包括以下步骤：

3、s1：采用图像特征提取模块提取图像的高层语义信息；

4、s2：经过语义分割模块将图像特征映射到点云空间中去；

5、s3：使用多模态融合模块、2d骨干网和rpn检测头完成最终的检测任务。

6、进一步的，所述s1中的图像特征提取模块采用的是在cityscapes数据集上预训练好的deeplabv3+网络。

7、进一步的，所述s2中语义分割模块的输出为类别得分，包括以下步骤：

8、将点云根据转换矩阵投影至图像坐标系后，将相对应的索引位置上的图像语义特征叠加到激光雷达点的特征维度上，以获取语义信息增强后的点云数据。

9、进一步的，所述s3中的多模态融合模块包括16线激光雷达和4d毫米波，16线激光雷达和4d毫米波的点云数据p＝{p1,...,pn},其中pi＝(xi,yi,zi,ri)表示原始点云的空间坐标和反射率强度。

10、进一步的，所述deeplabv3+网络包括编码器和解码器，编码器通过多层的空洞卷积来提取不同尺度的特征；

11、每层空洞卷积的采样率为一个常数r，从而可以得到一个尺度为r的特征图；

12、通过多层空洞卷积的叠加，可以得到不同尺度的特征图，然后通过了级联的方式进行特征的融合，提高了图像特征的表达能力。

13、进一步的，所述deeplabv3+网络还包括aspp(模块，aspp模块中采用了多个不同空洞率的空洞卷积，并将它们的特征进行融合，从而捕捉不同尺度下的上下文信息。

14、与现有技术相比，本发明的有益效果是：

15、本发明通过多模态融合更好的利用各自传感器的优势，将点云信息和图像信息进行互补融合进一步提升3d目标检测方法的性能，以获得更准确、更全面和鲁棒的行驶环境信息；首先提取图像的高层语义信息，设计了图像特征和点云的融合模块，将包含丰富语义信息的图像特征映射到点云空间，增强了点云的语义特征，有效去除了点云空间中的噪声对检测任务的影响；

16、通过利用4d毫米波穿透性强，可以适应恶劣天气的特点，在自注意机制的启发下，设计了一种基于交互式的多模态融合模块融合16线激光雷达和4d毫米波，聚合两种模态特征，并识别它们之间的跨模态关系。

技术特征：

1.图像、激光雷达和4d毫米波多模态融合的3d目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的图像、激光雷达和4d毫米波多模态融合的3d目标检测方法，其特征在于，所述s1中的图像特征提取模块采用的是在cityscapes数据集上预训练好的deeplabv3+网络。

3.根据权利要求1所述的图像、激光雷达和4d毫米波多模态融合的3d目标检测方法，其特征在于，所述s2中语义分割模块的输出为类别得分，包括以下步骤：

4.根据权利要求1所述的图像、激光雷达和4d毫米波多模态融合的3d目标检测方法，其特征在于，所述s3中的多模态融合模块包括16线激光雷达和4d毫米波，16线激光雷达和4d毫米波的点云数据p＝{p1,...,pn},其中pi＝(xi,yi,zi,ri)表示原始点云的空间坐标和反射率强度。

5.根据权利要求2所述的图像、激光雷达和4d毫米波多模态融合的3d目标检测方法，其特征在于，所述deeplabv3+网络包括编码器和解码器，编码器通过多层的空洞卷积来提取不同尺度的特征；

6.根据权利要求5所述的图像、激光雷达和4d毫米波多模态融合的3d目标检测方法，其特征在于，所述deeplabv3+网络还包括aspp模块，aspp模块中采用了多个不同空洞率的空洞卷积，并将它们的特征进行融合，从而捕捉不同尺度下的上下文信息。

技术总结
本发明涉及图像处理技术领域，尤其涉及图像、激光雷达和4D毫米波多模态融合的3D目标检测方法。本发明包括以下步骤：S1：采用图像特征提取模块提取图像的高层语义信息；S2：经过语义分割模块将图像特征映射到点云空间中去；S3：使用多模态融合模块、2D骨干网和RPN检测头完成最终的检测任务。本发明通过多模态融合更好的利用各自传感器的优势，将点云信息和图像信息进行互补融合进一步提升3D目标检测方法的性能，以获得更准确、更全面和鲁棒的行驶环境信息；将包含丰富语义信息的图像特征映射到点云空间，增强了点云的语义特征，有效去除了点云空间中的噪声对检测任务的影响。

技术研发人员：冯欣,黄孝军,单玉梅,何桢苇
受保护的技术使用者：重庆理工大学
技术研发日：
技术公布日：2024/1/15