一种基于RGB图像与激光点云融合的3D目标检测方法

一种基于rgb图像与激光点云融合的3d目标检测方法
技术领域
1.本发明属于目标检测技术领域，具体地说，尤其涉及一种基于rgb图像与激光点云融合的3d目标检测方法。


背景技术：

2.目标检测一直是机器视觉领域中的研究热点。在2d目标检测已经非常成熟的今天，3d目标检测获得了研究者的广泛关注。3d目标检测对自动驾驶等相关领域起着至关重要的作用。在3d目标检测的算法研究中，rgb图像包含丰富的语义信息，在对象的分类任务中具有优势，但是缺少深度信息。rgb-d图像虽然包含深度信息，但仍以2d形式表现，相比点云数据，其损失了很多有用的空间信息，在对空间位置的判断上有所欠缺。另外，对于远处的目标，点云信息过于稀疏，无法有效的检测，而对rgb图像的检测算法非常成熟，能有效的检测，因此提出了利用rgb图像进行2d目标检测，利用检测结果形成虚拟点去增强点云，提升对3d目标检测的效果。


技术实现要素：

3.本发明要解决的技术问题是克服现有技术的不足，提供了一种基于rgb图像与激光点云融合的3d目标检测方法，其利用rgb图像进行2d目标检测，利用检测结果形成虚拟点去增强点云，提升对3d目标检测的效果。
4.为了实现上述目的，本发明是采用以下技术方案实现的：
5.一种基于rgb图像与激光点云融合的3d目标检测方法，包括以下步骤：
6.步骤(1)将待检测rgb图像输入2d检测模块进行特征提取；
7.步骤(2)按照提取的特征结果对图像进行实例分割，获得待检测目标的分割掩膜；
8.步骤(3)将激光点云从三维的雷达坐标投影到二维的图像坐标，其中包括从激光雷达坐标到相机框架的坐标变换和从相机框架到图像投影的坐标变换；
9.步骤(4)根据点云投影到目标分割掩膜的点，在掩膜范围内随机生成一定数量的虚拟点；
10.步骤(5)将生成的虚拟点重新投影到原始点云；
11.步骤(6)将融合后的点云进入3d目标检测模块进行目标检测。
12.优选地，步骤(1)具体为：对于给定的待检测图像输入到2d检测框架detectron2，通过rpn(区域生成网络)模块生成建议区域，在建议区域内通过13个卷积层、13个relu层、4个池化层进行特征提取，采用pfn(特征金字塔)对每一种尺度的图像进行特征提取，能够产生多尺度的特征表示，从而进行特征增强，基于roi尺寸选择特征映射的具体公式为：
[0013][0014]
优选地，步骤(2)具体为：通过fpn(特征金字塔)获得的增强特征，对建议区域进行特征匹配，通过全连接层进行像素到像素的影射，对图像中的目标实现像素级的实例分割。
[0015]
优选地，步骤(3)具体为：
[0016]
1)将点云从雷达坐标到相机框架的坐标变换
[0017][0018]
r＝rz·ry
·rx
ꢀꢀ
(1.4)
[0019][0020]
其中rx、ry和rz分别表示绕x、y、z轴的旋转变换矩阵，θ
x
、θy和θz与x、y、z轴的夹角，r为雷达坐标到相机框架的坐标旋转变换矩阵，为图像坐标系中的点，s为齐次坐标系中的缩放因子。
[0021]
2)从相机框架到图像投影的坐标变换，针孔摄像头模型的投影方程，
[0022][0023]
其中为图像坐标系中的点
[0024]
激光点云从三维的雷达坐标投影到二维的图像坐标公式为
[0025][0026]
其中t为点云坐标系中平移向量。
[0027]
优选地，步骤(4)具体为：在点云投影到图像坐标后，与实例分割后的图像融合，得到含点云l＝{(x,y,z,r)i}和分割掩膜的图像，在目标掩膜范围内随机生成一定数量的虚拟点vi＝(x,y,z,e)，(x,y,z)为点的空间位置，e为生成虚拟点的深度，由掩膜内投影点云的深度信息估计获得。
[0028]
优选地，步骤(5)具体为：依据虚拟点的深度信息，参考步骤(3)空间点云投影到图像的方法，将图像中的点反向映射回到点云空间。
[0029]
优选地，步骤(6)具体为：将融合后点云输入到基于点云的3d目标检测框架voxel r-cnn，对点云体素化，根据输入的点云数据，分别计算出xyz三个方向点云数据坐标的最大值与最小值的差，然后根据三个差值来确定初始体素的长宽高，计算完成后，自动建立出初
始体素，所建立的初始体素中已包含所有的点云数据将点云划分为规则的体素；
[0030]
将初始体素建立好之后，即可对初始体素进行划分(划分的越细，体格越小，分辨率越高)并建立三维模型，具体执行方法为将初始体素分解为n个体积较小的体素(通常像256*256*256这样的方式去划分)，用bresenham算法剔除初始体素中的无效体素，剩余的体素即可构成点云数据的三维模型；
[0031]
将体素化的点云送到3d骨干网络中进行特征提取，将3d特征转换为bev表示，获得2d表示的点云图像，在此基础上应用2d主干和rpn生成区域方案。将rpn获得的roi映射到体素化的点云空间，获得体素roi的区域，体素roi池化直接从体素roi的区域提取特征，进行后续的分割和分类。
[0032]
与现有技术相比，本发明的有益效果是：
[0033]
将待检测rgb图像输入2d检测模块进行特征提取，按照提取的特征结果对图像进行实例分割，获得待检测目标的分割掩膜；将激光点云从三维的雷达坐标投影到二维的图像坐标，其中包括从激光雷达测量到相机框架的se(3)变换和从相机框架到图像坐标的投影，根据点云投影到目标分割掩膜的点，在掩膜范围内随机生成固定数量的虚拟点；将生成的虚拟点重新投影到原始点云；将融合后的点云进入3d目标检测模块进行目标检测，能极大提高检测的准确率。
附图说明
[0034]
图1为本发明的流程框图。
具体实施方式
[0035]
下面通过具体实施例并结合附图对本发明作进一步说明。
[0036]
实施例1：
[0037]
如图1所示，一种基于rgb图像与激光点云融合的3d目标检测方法，包括以下步骤：
[0038]
步骤(1)将待检测rgb图像输入2d检测模块进行特征提取；
[0039]
步骤(2)按照提取的特征结果对图像进行实例分割，获得待检测目标的分割掩膜；
[0040]
步骤(3)将激光点云从三维的雷达坐标投影到二维的图像坐标，其中包括从激光雷达坐标到相机框架的坐标变换和从相机框架到图像投影的坐标变换；
[0041]
步骤(4)根据点云投影到目标分割掩膜的点，在掩膜范围内随机生成一定数量的虚拟点；
[0042]
步骤(5)将生成的虚拟点重新投影到原始点云；
[0043]
步骤(6)将融合后的点云进入3d目标检测模块进行目标检测。
[0044]
步骤(1)具体为：对于给定的待检测图像输入到2d检测框架detectron2，通过rpn(区域生成网络)模块生成建议区域，在建议区域内通过13个卷积层、13个relu层、4个池化层进行特征提取，采用pfn(特征金字塔)对每一种尺度的图像进行特征提取，能够产生多尺度的特征表示，从而进行特征增强，基于roi尺寸选择特征映射的具体公式为：
[0045][0046]
步骤(2)具体为：通过fpn(特征金字塔)获得的增强特征，对建议区域进行特征匹配，通过全连接层进行像素到像素的影射，对图像中的目标实现像素级的实例分割。
[0047]
步骤(3)具体为：
[0048]
1)将点云从雷达坐标到相机框架的坐标变换
[0049][0050][0051]
r＝rz·ry
·rx
ꢀꢀ
(1.4)
[0052][0053]
其中rx、ry和rz分别表示绕x、y、z轴的旋转变换矩阵，θ
x
、θy和θz与x、y、z轴的夹角，r为雷达坐标到相机框架的坐标旋转变换矩阵，为图像坐标系中的点，s为齐次坐标系中的缩放因子。
[0054]
2)从相机框架到图像投影的坐标变换，针孔摄像头模型的投影方程，
[0055][0056]
其中为图像坐标系中的点
[0057]
激光点云从三维的雷达坐标投影到二维的图像坐标公式为
[0058][0059]
其中t为点云坐标系中平移向量。
[0060]
步骤(4)具体为：在点云投影到图像坐标后，与实例分割后的图像融合，得到含点云l＝{(x,y,z,r)i}和分割掩膜的图像，在目标掩膜范围内随机生成一定数量的虚拟点vi＝(x,y,z,e)，(x,y,z)为点的空间位置，e为生成虚拟点的深度，由掩膜内投影点云的深度信息估计获得。
[0061]
步骤(5)具体为：依据虚拟点的深度信息，参考步骤(3)空间点云投影到图像的方法，将图像中的点反向映射回到点云空间。
[0062]
步骤(6)具体为：将融合后点云输入到基于点云的3d目标检测框架voxel r-cnn，
对点云体素化，根据输入的点云数据，分别计算出xyz三个方向点云数据坐标的最大值与最小值的差，然后根据三个差值来确定初始体素的长宽高，计算完成后，自动建立出初始体素，所建立的初始体素中已包含所有的点云数据将点云划分为规则的体素；
[0063]
将初始体素建立好之后，即可对初始体素进行划分(划分的越细，体格越小，分辨率越高)并建立三维模型，具体执行方法为将初始体素分解为n个体积较小的体素(通常像256*256*256这样的方式去划分)，用bresenham算法剔除初始体素中的无效体素，剩余的体素即可构成点云数据的三维模型；
[0064]
将体素化的点云送到3d骨干网络中进行特征提取，将3d特征转换为bev表示，获得2d表示的点云图像，在此基础上应用2d主干和rpn生成区域方案。将rpn获得的roi映射到体素化的点云空间，获得体素roi的区域，体素roi池化直接从体素roi的区域提取特征，进行后续的分割和分类。