一种基于雨天自动驾驶的雷达相机融合方法

本发明涉及自动驾驶，尤其涉及一种基于雨天自动驾驶的雷达相机融合方法。

背景技术：

1、随着人们生活质量的提高，在日常出行中，人们的需求也越来高，因此自动驾驶技术的发展也日新月异。自动驾驶感知作为自动驾驶的安全保障，是正确进行自动驾驶决策的阀门。然而，单模态数据对于环境感知的程度有限，进行目标检测时，需要多个传感器进行信息融合。相机的图像数据给道路带来了丰富的语义，然而却无法提供深度信息，无法处理面对遮挡问题。毫米波雷达数据能通过雷达点云的高穿透性数据提供场景深度，与相机的2d环境感知能力形成互补，如何融合毫米波雷达与相机进行高鲁棒性的目标检测，是目前的一大研究热点。

2、现有毫米波雷达点云数据与相机融合检测方法当中，由于点云数据冗杂，过滤冗杂点云再与相机图像数据融合之后，不能充分利用毫米波雷达点云信息，主要检测标准还是依据相机的语义信息。同时，真实街道场景错综复杂，现有相关融合研究主要针对正常天气环境下进行街道的检测任务。然而，对于恶劣天气，如雨天天气下，相机的语义信息无法信任时，相关研究还比较匮乏，无法很好地进行街道目标检测任务。

3、因此，亟需一种能够在雨天天气条件下进行街道目标检测时，充分利用毫米波雷达在恶劣环境中高空间分辨率的信息，并尽量减少环境对相机语义带来的影响的雷达相机融合方法。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于雨天自动驾驶的雷达相机融合方法。

2、一种基于雨天自动驾驶的雷达相机融合方法，包括以下步骤：获取街道样本相机数据，对所述样本相机数据进行雨滴模拟，形成训练数据集，结合深度展开网络与近端梯度下降算法搭建多阶段迭代的去雨网络架构，并采用所述训练数据集对所述去雨网络架构进行训练得到去雨网络模型；获取待测街道雨天相机数据，输入至所述去雨网络模型，得到去雨图像数据；获取所述待测街道雨天相机数据对应的雷达点云数据并进行预处理，得到有效点云数据；基于centernet网络和瓶颈注意力机制，搭建雷达相机融合网络架构，训练得到雷达相机融合网络模型；将所述去雨图像数据和对应的有效点云数据，输入至所述雷达相机融合模型，进行两次回归检测，融合两次回归检测的回归信息，得到目标检测结果。

3、在其中一个实施例中，所述获取街道样本相机数据，对所述样本相机数据进行雨滴模拟，形成训练数据集，包括：获取街道样本相机数据，采用高斯分布对所述样本相机数据生成随机噪音，并利用仿射变化模拟雨天条件，得到街道模拟雨天的含噪声数据集；将所述样本相机数据与含噪声数据集中的图像进行一一对应，形成含噪声和不含噪声的图像对，得到训练数据集，用于进行所述去雨网络架构的训练。

4、在其中一个实施例中，所述结合深度展开网络与近端梯度下降算法搭建多阶段迭代的去雨网络架构，包括：将去雨过程以优化函数minwg(w)+h(w)表示，其中，g(w)、h(w)分别对应可微函数和不可微函数；对可微函数g(w)计算梯度下降过程，即对于变量w以t为步长的梯度下降结果对不可微函数h(w)，通过梯度下降结果z计算变量z以t为步长的近端算子proxth(·)(z)；将输出的近端算子proxth(·)(z)作为变量输入，重复迭代计算不可微函数，直至得到优化函数的最小值。

5、在其中一个实施例中，所述去雨网络模型包括七个阶段的迭代网络，每个阶段的迭代网络均包括连接的梯度下降模块、内部融合模块和段间融合模块，构成编码器-解码器网络；其中，所述梯度下降模块用于模拟去雨阶段的梯度下降过程；所述内部融合模块用于融合阶段内的特征信息；所述段间融合模块用于融合当前阶段和上一阶段的特征信息。

6、在其中一个实施例中，所述编码器-解码器网络内部为三个尺度特征的金字塔特征，输入特征传输至通道注意力机制模块，获取当前阶段的全局特征；将三个尺度特征分别传输至所述段间融合模块，将当前阶段和上一阶段的特征信息进行融合；并将后两个尺度特征与第一个尺度特征的全局特征传入所述内部融合模块进行阶段内特征融合。

7、在其中一个实施例中，所述内部融合模块包括：将当前尺度的编码特征传入至残差模块，所述残差模块用于通过空洞卷积提取当前编码特征；将输出特征与获取的全局特征融合，得到当前阶段各尺度特征的融合特征。

8、在其中一个实施例中，所述获取所述待测街道雨天相机数据对应的雷达点云数据并进行预处理，得到有效点云数据，包括：获取所述待测街道雨天相机数据对应的雷达点云数据，采用点云膨胀算法对所述雷达点云数据进行膨胀；遍历膨胀后的雷达点云数据进行坐标变换，并根据坐标变换结果进行点云过滤；遍历过滤后的点云数据，根据预设尺寸生成每个点云的柱体，并将柱体坐标移动至点云中心位置，得到扩张后的点云数据；采用centernet网络对所述扩张后的点云数据进行目标检测，并根据检测框对检测出的目标生成截锥体，匹配并过滤空间点云信息，输出得到有效点云数据。

9、在其中一个实施例中，所述遍历膨胀后的雷达点云数据进行坐标变换，并根据坐标变换结果进行点云过滤，包括：通过毫米波雷达外参、相机外参以及传感器和车身的姿态信息组成的旋转平移参数进行刚体变换转移到相机坐标系；根据相机内参将所述雷达点云数据投影至图像平面，通过坐标转换转移到像素坐标系中；根据预设最大点云距离进行点云过滤，并将过滤后的点云图像与对应的所述去雨图像数据进行对齐，过滤投影到相机图像像素平面外的点云，得到过滤后的点云数据。

10、在其中一个实施例中，所述采用centernet网络对点云数据进行目标检测，并根据检测框对检测出的目标生成截锥体，匹配并过滤空间点云信息，输出得到有效点云数据，包括：通过centernet网络对点云数据进行目标检测，得到检测出的目标，所述centernet网络的分层深度聚合的层次分别设置为1、1、1、2、2和1；在训练阶段和测试阶段，采用检测框对检测出的目标生成截锥体，其中，在测试阶段，设置有深度补偿参数；遍历点云数据，过滤所述截锥体外的点云信息，输出得到有效点云数据。

11、在其中一个实施例中，所述将所述去雨图像数据和对应的有效点云数据，输入至所述雷达相机融合模型，进行两次回归检测，融合两次回归检测的回归信息，得到目标检测结果，包括：基于centernet网络对所述去雨图像数据进行目标检测，得到首次回归信息，所述首次回归信息包括深度、热力图、宽高、偏移量、角度和维度信息；根据所述有效点云数据生成热图信息，所述热图信息包括雷达通道目标rcs信息、深度、速度和速度分量；拼接所述热图信息与去雨图像数据的热图，通过瓶颈注意力机制，进行空间注意力和通道注意力的匹配，得到输出特征；通过centernet网络对所述输出特征进行二次回归，得到二次回归信息，所述二次回归信息包括属性、角度、深度和速度；结合首次回归信息和二次回归信息调整检测框，通过调整后的检测框得到目标检测结果。

12、相比于现有技术，本发明的优点及有益效果在于：通过获取街道样本相机数据并对其进行雨滴模拟，形成训练数据集，结合深度展开网络和近端梯度下降算法搭建多阶段迭代的去雨网络架构，采用训练数据集训练得到去雨网络模型，通过多阶段迭代去雨，得到相机的高分辨率语义信息；获取待测街道雨天相机数据，通过去雨网络模型得到去雨图像数据，得到待测街道的丰富相机语义信息；获取与待测街道雨天相机数据对应的雷达点云数据并进行预处理，得到有效点云数据，实现对雷达点云信息更加有效和充分的利用；基于centernet网络和瓶颈注意力机制，搭建雷达相机融合网络架构，训练得到雷达相机融合模型，对其输入匹配的去雨图像数据和有效点云数据，进行两次回归检测，并融合两次检测的回归信息，得到目标检测结果，有效结合了充分利用的雷达点云信息和相机高分辨率语义信息，提高了雨天环境下的目标检测精度，使得自动驾驶感知能力的准确性和鲁棒性得以提高。