一种基于遮罩投影的远距离目标检测方法与流程

1.本发明涉及自动驾驶感知技术领域，具体涉及一种基于遮罩投影的远距离目标检测方法。


背景技术：

2.目标检测是自动驾驶感知领域的重要组成部分。主流的目标检测方案通常基于前视视觉、环视视觉、视觉与雷达融合、激光雷达点云聚类等实现。基于视觉的目标检测对目标类型的识别较为准确，但其深度、位置估计效果较差。基于激光雷达点云的目标检测对位置估计准确，但其对目标类型的识别较差。因此，基于视觉和激光雷达融合的目标检测方法可以各取所长，获得较好的效果。例如，专利cn107167811b实现了一种基于单目视觉与激光雷达融合的道路可行驶区域检测方法，展现了融合方法的优势。但对于远距离目标检测而言，由于激光点云的数量随着距离的增加而稀疏，导致其检测效果会随着目标距离的增加而减弱，甚至无法检测。针对此问题，专利cn110221603b提出了一种基于激光雷达多帧点云融合的远距离障碍物检测方法，但其主要利用激光点云的信息，并没有有效利用视觉的优点。


技术实现要素：

3.针对现有技术存在的上述不足，本发明的目的在于提供一种基于遮罩投影的远距离目标检测方法，以解决现有技术中对远距离目标识别效果较差的问题。
4.为了解决上述技术问题，本发明采用如下技术方案：一种基于遮罩投影的远距离目标检测方法，包括如下步骤：步骤1：通过车载摄像设备获取视觉图像，利用激光雷达获取激光点云数据，并对视觉图像数据和激光点云数据进行处理；步骤2：对步骤1获取的视觉图像进行目标实例分割，得到该目标的分割结果，且分割结果中包含语义分割的遮罩；步骤3：根据步骤2中语义分割的遮罩，对遮罩进行2d到3d空间的投影，得到该目标所对应的3d点云；步骤4：基于步骤3获得的3d点云，对其位置进行判定，判定该目标是否属于远距离目标；如果属于远距离目标，进行步骤5；如果属于非远距离目标，进行步骤6；步骤5；通过检测网络对远距离目标进行检测，并输出远距离目标的位置参数；步骤6：利用目标检测模型对非远距离目标进行检测。
5.为了同时利用视觉和激光点云的优势，并且在保障近距离目标检测结果性能的基础上，提高远距离目标检测的精度，本发明使用遮罩投影的方法，首先判定目标的远近属性，再针对性的提升远距离目标检测的性能。
6.与现有技术相比，本发明具有如下有益效果：1、本发明所述方法将视觉图像识别和激光点云技术相结合，通过基于目标实例分
割进行由2d视觉到3d激光点云空间的投影，有效结合视觉对目标类型识别和激光点云对目标位置检测的优势，实现对远距离目标的判断与特殊处理，并最终获得准确的检测。
7.2、本发明所述方法中利用获取的遮罩进行投影，能够有效去除目标投影到3d空间后的背景点云，减少噪声干扰，确保对远距离目标识别的准确性。
8.3、本发明所述方法可解耦性强，拓展性强，兼容性强，实例分割网络、目标位置初步估计算法、远距离（或非远距离）目标检测网络均可替换，实现灵活配置。
附图说明
9.图1为本发明所述方法具体实施步骤示意图。
10.图2为基于本方法的远距离行人检测结果示意图。
11.图3为基于本方法的远距离车辆检结果测示意图。
具体实施方式
12.为了使本发明的实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
13.本发明提供一种基于遮罩投影的远距离目标检测方法，如图1所示，包括如下步骤：步骤1：通过车载摄像设备获取视觉图像，利用激光雷达获取激光点云数据，将视觉图像和激光点云数据进行时间同步处理，同时对车载摄像设备和激光雷达的坐标进行转换。其中，车载摄像设备和激光雷达之间的转换矩阵通过标定获取，用于确定2d视觉空间到3d点云空间的几何投影关系。在实际使用时，如图1所示，原始输入数据来自两个通道s1和s2，其中s1为rgb视觉图像，由装载在自动驾驶车辆上的前视摄像头获取，s2为激光点云数据，由装载在自动驾驶车辆上的激光雷达获取。s1和s2的数据需要进行时间同步，且获取s1和s2的传感器之间的转换矩阵t需要通过标定获取，用于确定2d视觉空间到3d点云空间的几何投影关系。
14.步骤2：对步骤1获取的视觉图像进行目标实例分割，获取该目标的分割结果，且分割结果中包含语义分割的遮罩。其中，实例分割可采用任一网络模型对视觉图像进行目标实例分割。例如，图1中步骤m1是对rgb图像i进行目标实例分割，采用网络模型mask r-cnn，即：{r_i}=f_segmentation(i)，其中，r_i=(c_i, b_i, m_i, s_i)是一个目标实例分割的结果，c_i是目标类型，b_i是2d检测框，m_i是语义分割的遮罩，s_i是置信度，i是目标的索引。
15.步骤3：根据步骤2中语义分割的遮罩，基于车载摄像设备和激光雷达坐标的转换结果，对遮罩进行2d到3d空间的投影，得到该目标所对应的3d点云，即将语义分割的遮罩向点云空间进行投影，在原始点云中获取该目标对应的点云。如图1中，步骤m2中利用语义分割的遮罩m_i，基于视觉空间到激光雷达点云空间标定好的转换关系t，可以通过视觉中获得的遮罩m_i向点云空间进行投影，在原始点云p中获取目标i对应的部分点云p’_i，即：p’_i=f_projection(m_i, t, p)。
16.步骤4：基于所述目标的3d点云，对其位置进行判定，判定该目标是否属于远距离目标；如果属于远距离目标，进行步骤5；如果属于非远距离目标，进行步骤6。其中，根据步骤3中获取的3d点云，对所述目标的质心进行计算，可通过聚类方法对目标的质心进行计算，获取该目标的深度。基于目标的深度，将其与远距离目标深度的阈值进行比较，判断其是否属于远距离目标。如图1中，步骤m3基于前一步获取的p’_i，对其质心进行估计。质心估计的方法可采用直方图法，或其他的类似的聚类方法。这个过程可以表示为：(x_i, y_i, z_i)=f_clustering(p’_i)，其中x_i，y_i是目标i的横向、纵向位置，z_i是其深度。
17.步骤m4基于目标i的深度z_i判断该目标是否为远距离目标。设置一个可调整的的远距离目标深度阈值z_th，其具体的标定值可根据传感器性能和系统运行工况设定，或在实车试验中根据试验结果标定获取。然后进行远距离目标判断，如果z_i》z_th，则判定为远距离目标，否则为进入步骤m5，反之则进入步骤m6。
18.步骤5；通过检测网络对远距离目标进行检测，并输出远距离目标的位置参数。基于步骤4中远距离目标判定逻辑，提取远距离目标的训练样本，利用训练样本训练网络模型，用于远距离目标检测。如图1中，步骤m5对远距离目标进行精确的位置估计。首先，基于上一步的远距离目标判断逻辑，提取出远距离目标专用的训练样本。用这些样本训练一个专用的网络模型，用于远距离目标检测，其过程可以表示为：b_i=f_faraway(p’_i)，其中，f_faraway(.)表示远距离目标检测专用模型，b_i=(x_i, y_i, z_i, a_i, w_i, l_i, h_i)为3d空间的检测结果。x_i, y_i, z_i为横向、纵向、深度位置，即目标质心位置，a_i为旋转角度，w_i, l_i, h_i为目标长、宽、高。
19.步骤6：利用目标检测模型对非远距离目标进行检测。如图1中，步骤m6将对非远距离目标进行精确的位置估计，此步可以采用通用目标检测模型，实现准确的目标检测：b_i=f_sota(p’_i)。
20.本发明适用于自动驾驶场景中不同类型的目标检测。附图2与附图3分别提供了远距离行人检测和远距离车辆检测的效果图。其中，附图2c和2d中为远距离行人检测在视觉中的效果，附图2a为点云空间中的远距离行人目标，由于距离较远，属于此行人目标的点云数量少；使用本发明方法后，提高了目标位置检测的精度，如附图2b。同样的，在附图3中，附图3c为对应的车辆目标在视觉中的效果，附图3a为点云空间中的远距离车辆目标，同样由于距离较远，属于此车辆目标的点云数量少；使用本发明方法后，提高了目标位置检测的精度，如附图3b。
21.如上所述，本发明的提醒系统不限于所述配置，其他可以实现本发明的实施例的系统均可落入本发明所保护的范围内。
22.最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。