基于雷视语义分割自适应融合的车辆目标检测方法及系统与流程

1.本发明涉及一般的图像数据处理或产生领域；尤其涉及交通和计算机视觉技术领域，具体涉及基于雷视语义分割自适应融合的车辆目标检测方法及系统。


背景技术：

2.高分辨率的视频图像为当前车辆目标检测提供了至关重要的数据信息。广泛应用于智能检测、自动驾驶、行车安全等领域。
3.然而，视频图像所包含的信息有限，且随着机器学习和硬件设备的深入研究，很多基于图像的目标检测不能满足人们对于目标检测算法鲁棒性的要求。其中视频图像信息容易受到光照和天气等环境因素的影响，导致其检测的准确性受到影响。而毫米波雷达除了响应时间短、不易受环境影响外，还有传输的数据质量高等优点。
4.近年来，基于多源数据融合的检测方法可以实现雷达和视频检测的优势互补，大大提高了目标检测的效率。然而，由于雷达点云数据的特征，将二维视频图像转化为伪点云与原始点云数据融合的检测方法虽保存了大量数据，但无论是点云数据的处理还是三维目标检测都将产生庞大的计算量，复杂度较高。还有一些研究人员考虑提取雷达点云的鸟瞰图、前视图等各个方向的视图，在将雷达点云量化为二维图像的基础上实现目标检测，但是，由于点云数据的稀疏特性和量化过程会造成点云信息的丢失，会对检测的准确率造成影响，失去了多源数据融合的意义。这些难点是以前的目标检测方法难以解决的，所以如何提高雷视融合目标检测算法的准确率和简化复杂度是一项新颖具有挑战性的工作。


技术实现要素：

5.发明目的：提出一种基于雷视语义分割自适应融合的车辆目标检测方法，并进一步提出一种用于实现上述方法的系统，以解决现有技术存在的上述问题。
6.第一方面，提出一种基于雷视语义分割自适应融合的车辆目标检测方法及系统，该方法步骤如下：s1：使用rgb-d相机获取场景深度图，使用毫米波雷达扫描场景原始点云数据；s2：执行相机深度图语义分割步骤，利用mobile-pspnet网络实现深度图语义分割，将深度图转化为深度分割图，获取标签矩阵，矩阵包括各图像点的分类集合与置信度；s3：执行雷达原始点云语义分割步骤，利用pointnet网络实现原始点云语义分割，获取点云分割图，获取标签矩阵，矩阵包括各反射点的分类集合与置信度；s4：获取相机深度分割图与雷达点云分割结果的坐标匹配关系，通过坐标系变换将深度分割图转化为点云，统一深度分割图和点云分割的三维坐标，并对坐标进行修正，得到深度分割图坐标和点云分割坐标的一一匹配关系，作为融合基础；s5：执行雷视信息融合步骤，基于坐标匹配结果，提出基于反射点和置信度的自适应雷视信息融合方法pc-arvf，结合深度分割图与点云分割结果各匹配点的坐标、语义信息、深度信息，计算自适应融合权重，重建融合点云，生成“融合点云分割图”；
s6：执行融合点云分割图的去噪与特征提取步骤，根据各融合点的标签置信度与深度阈值，剔除融合点云中标签置信度较小且不满足深度阈值的非目标点云数据，提取车辆点云数据，利用学习向量量化lvq聚类方法聚合车辆点云，获取车辆中心点的三维坐标，得到检测点云；s7：执行融合点云分割图的车辆目标检测步骤，基于检测点云，提出一种基于中心点、距离、角度的单阶段目标检测模型cda-ssd，构造圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，对检测点云进行车辆检测。
7.在第一方面的一些可实现方式中，步骤s2的深度图分割方法利用mobile-pspnet网络实现深度图的实时分割，将像素点位置(u,v)为低层信息，保留深度信息，获取深度分割图，获取标签矩阵。利用mobilev2网络替换传统pspnet的残差网络对输入的深度图进行特征提取，先通过卷积层进行下采样，然后利用bottleneck通过金字塔池化获取语义特征并实现不同尺度语义信息的融合，融合得到全局特征，最后将全局特征和原始特征融合通过一层卷积网络生成最终深度分割图。深度分割图中每个像素点被赋予了一个类别标签，并用不同的颜色进行标注，用平均交并比衡量预测标签和真实标签之间的重合程度，即置信度，从而可以提取出点云分割图的标签矩阵，标签矩阵包括每个像素点的分类集合与置信度。
8.在第一方面的一些可实现方式中，步骤s3的深度图分割方法利用pointnet网络实现点云的分割，获得可视化点云分割图像，获取标签矩阵。将原始特征输入独立特征学习模块提取独立特征，利用邻域特征学习模块通过采样、分组、池化等提取邻域特征信息，利用特征融合模块将邻域特征信息映射到每个反射点上并与每个反射点的独立特征融合得到融合特征。融合后的特征送入频道注意模块进行语义增强，最后利用mlp对每个点进行分类，输出点云分割图的标签矩阵包括各反射点的分类集合与置信度。
9.在第一方面的一些可实现方式中，步骤s4的坐标转化和修正通过坐标系的变换，将图像坐标系转化为世界坐标系，即将深度图坐标转为点云坐标，实现坐标的统一，对统一后的坐标进行修正。
10.在第一方面的一些可实现方式中，坐标修正方法如下：表示深度图分割结果经过坐标变换的点集，表示点云分割结果坐标的点集，坐标修正方法如下：其中，其中，其中，其中表示之间的欧式距离。，，表示深度分割结果经坐标变换后各点的三维坐标，，，表示点云分割结果各点的三维坐标，表示点云分割结果
坐标点集中包括的各个反射点，表示深度分割结果经坐标变换后点集中包括的各点。
11.在第一方面的一些可实现方式中，步骤s5提出的基于反射点和置信度的自适应雷视信息融合方法pc-arvf，根据修正后的点坐标，结合逐点语义信息、深度信息计算自适应权重，重建融合点云。
12.在第一方面的一些可实现方式中，步骤s5具体包括：s501：获取分类得分矩阵，d为n
×
k的深度图分割图的标签矩阵，p为n
×
k的点云分割的标签矩阵，矩阵形式如下：其中n表示点的数目，k表示分类数目。
13.s502：比较雷达点云与深度图的特征，根据雷达点云数据能够更好地反映深度信息的特点，深度越深，雷达点云数据的权重越大，同时图像的熵能够反应图像包含的信息量，包含信息量大的图像赋予更大的权重，权重计算如下：权重计算如下：权重计算如下：其中表示点云分割图权重，为点在z轴方向的坐标值，表示深度分割图权重，表示图像的熵，表示深度分割图和点云分割结果的平均值，为每一灰度值出现的概率。表示深度分割图的熵，表示点云分割图的熵，表示对点在z轴方向的坐标值取负并求指数。
14.s503：得分矩阵融合：。
15.在第一方面的一些可实现方式中，步骤s6根据深度阈值提取车辆点云的方法依据各点的分类集合与置信度可以判断各点的类别，计算同一类别欧式距离最远的两点的深度差值，车辆宽度1.8m设定为最小检测深度，车辆长度6m作为最大检测深度，以、为阈值去除非目标的点云。
16.在第一方面的一些可实现方式中，步骤s6利用学习向量量化lvq聚合车辆点云方法首先获取检测点云样本集，原型向量个数q，各原型向量预设的类别标记，学习率。初始化一组原型向量，从样本集中随机选取样本；计算样本与原型向量中某一预定元素的距离：；
找出与距离最近的原型向量，，如果，则，否则，将原型向量更新为，输出原型向量。
17.在第一方面的一些可实现方式中，步骤s7中基于中心点、距离、角度的单阶段目标检测模型cda-ssd，利用聚类的中心点坐标(、车辆中心点与车辆表面点最大距离、车辆中心点与车辆表面点最小距离、车辆中心点与距离车辆中心点距离最大的表面点相连直线与三维坐标下z轴所成角度，绘制圆柱目标区域，基于目标区域内接长方体即为车辆的包围框；所预测的目标区域包含六个参数() ，真实目标区域包含如下六个参数；位置损失函数如下： ；其中：其中：其中，其中，式中，为位置损失函数，为中心点损失函数，为半径损失函数，为角度损失函数，n表示预测中心点的个数，分别表示的权重。
18.步骤s701中基于圆柱目标区域内接长方体获取车辆的包围框方法如下：步骤s701中基于圆柱目标区域内接长方体获取车辆的包围框方法如下：步骤s701中基于圆柱目标区域内接长方体获取车辆的包围框方法如下：其中，分别表示包围框的高、宽、长，表示车辆中心点与车辆表面点最大距离，表示车辆中心点与车辆表面点最小距离。
19.第二方面，提出一种车辆目标检测系统，该系统驱动并执行第一方面所述的车辆目标检测方法，车辆目标检测系统包括rgb-d相机、毫米波雷达、相机深度图语义分割模块、
雷达原始点云语义分割模块、坐标系变换修正模块、雷视信息融合模块、去噪及特征提取模块、以及车辆目标检测模块。
20.其中，rgb-d相机用于获取场景深度图；毫米波雷达用于扫描场景原始点云数据；相机深度图语义分割模块用于将深度图转化为深度分割图，获取标签矩阵，矩阵包括各图像点的分类集合与置信度；雷达原始点云语义分割模块用于获取点云分割图和标签矩阵，矩阵包括各反射点的分类集合与置信度；坐标系变换修正模块用于获取相机深度分割图与雷达点云分割结果的坐标匹配关系，通过坐标系变换将深度分割图转化为点云，统一深度分割图和点云分割的三维坐标，并对坐标进行修正，得到深度分割图坐标和点云分割坐标的一一匹配关系，作为融合基础；雷视信息融合模块基于所述坐标系变换修正模块的坐标匹配结果，结合深度分割图与点云分割结果各匹配点的坐标、语义信息、深度信息，计算自适应融合权重，重建融合点云，生成融合点云分割图；去噪及特征提取模块用于根据各融合点的标签置信度与深度阈值，剔除融合点云中标签置信度较小且不满足深度阈值的非目标点云数据，提取车辆点云数据，利用学习向量量化聚类方法聚合车辆点云，获取车辆中心点的三维坐标，得到检测点云；车辆目标检测模块基于所述去噪及特征提取模块生成的检测点云，构建基于中心点、距离、角度的单阶段目标检测模型，构造圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，对检测点云进行车辆检测。
21.有益效果：
①
、本发明采用语义分割方法对摄像机深度图和雷达点云数据进行分割，提出基于反射点和置信度的自适应雷视信息融合方法pc-arvf基于每点的分类集合和置信度，将深度分割图与点云分割结果融合，重建融合点云，保证多源数据的补充和融合。
22.②
、本发明提出一种基于中心点、距离、角度的单阶段目标检测模型cda-ssd，借助圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，降低了车辆检测模型的复杂度。
23.③
、相比于之前的车辆目标检测方法，本发明的准确率更高、复杂度更低，对雷达和视频图像的融合和车辆目标检测具有重要意义。
附图说明
24.图1为本发明的流程图。
25.图2为摄像机获取的检测场景图。
26.图3为rgb-d获取的深度图。
27.图4为毫米雷达扫描获取的场景原始点云图。
28.图5为深度分割图。
29.图6为点云分割结果。
具体实施方式
30.在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
31.实施例：
申请人研究发现，随着机器学习和硬件设备的深入研究，很多基于图像的目标检测不能满足人们对于目标检测算法鲁棒性的要求。其中视频图像信息容易受到光照和天气等环境因素的影响，导致其检测的准确性受到影响。图2所示即为传统摄像机获取的检测场景图。而毫米波雷达除了响应时间短、不易受环境影响外，还有传输的数据质量高等优点。本实施例的基于雷视语义分割自适应融合的车辆目标检测方法，流程见图1，具体包括雷视融合模块和车辆检测模块。
32.步骤1：深度图和雷达点云的分割，具体包括以下三个步骤：使用rgb-d相机获取深度图，获取毫米波雷达点云数据。见图3所示，为rgb-d获取的深度图，每个坐标不仅包含三种颜色属性还包含深度信息，能够反映车辆与地面等前后距离的关系并通过颜色差异直观显示出来。
33.我们使用的rgb-d相机的具体信息如下表1：表1：rgb-d相机规格深度分辨率1280
×
720深度帧率30fpsrgb传感器分辨率2mprgb帧率和分辨率30fps下为1920
×
1080我们使用的毫米波雷达的具体信息如下表2：表2：毫米波雷达规格测距测量分辨率0.39m水平角度分辨率1.6
°
测距范围0.25-250m雷达发射频率77ghz见图4所示，为毫米雷达扫描获取的场景原始点云图，包括三维坐标、颜色信息以及强度信息。
34.利用mobile-pspnet网络获取深度分割图：mobile-pspnet网络基于pspnet的基本结果，用轻量化mobilev2代替resnet，减少卷积层数，以满足实时语义分割的要求。mobile-pspnet网络模型包括特征提取模块、金字塔池化模块、反卷积模块，金字塔池化模块分为多个层级，对不同尺度的信息进行融合。本实验将深度图的像素点位置(u,v)作为低层信息，保留深度信息，进行图像的分割，获取深度图的分割图和标签矩阵。见图5所示，为深度分割图，基于各图像点的分类集合和置信度，将属于同一类别的物体分割成一个整体，可以反映车辆和背景信息的分割结果。
35.采用pointnet网络实现点云的分割，获得可视化点云分割图像：考虑到直接把点云数据的点作为输入的计算量很大，故采用pointnet网络实现点云的分割。pointnet网络包括 classification network、segmentation network、t-net三部分，本例将雷达点云数据作为输入，获取雷达点云的分割结果和标签矩阵。见图6所示，为点云分割结果，基于每反射点的分类集合和置信度将车辆与背景分割开来。
36.步骤2：深度分割图和雷达点云分割结果的融合，具体包括以下两个步骤：坐标的转化和修正：由于深度图的坐标和雷达点云坐标的坐标系不同，故采用将
像素坐标系转化为世界坐标系的方法完成坐标转化，由于转化后的坐标存在一定误差，故需进行坐标的修正。表示深度图分割结果经过坐标变换的点集，表示点云分割结果坐标的点集，修正思想是以为基准，考察的欧式距离，距离较近的点视为同一坐标点，修正中坐标信息，坐标修正方法如下：坐标修正方法如下：坐标修正方法如下：其中表示之间的欧式距离。
37.重建融合点云：考虑到不同分类集合置信度的量纲不一致，将各点置信度进行标准化。d为n
×
k的深度图分割图的标签矩阵，p为n
×
k的点云分割的标签矩阵，矩阵形式如下：其中n表示点的数目，k表示分类数目。
38.标准化公式如下：考虑到已知深度图分割图的得分矩阵和点云分割结果的标签矩阵，基于点的坐标采用自适应融合的方式重建检测图像。对比毫米波雷达点云和rgd-d相机深度图的特征，点云数据可以获取更为准确的距离信息，故考虑在较高的深度下赋予雷达数据较大的权重。另外图像的熵可以反映图像包含的信息量，结合深度图分割图和点云分割结果的熵，调节各自的权重。权重计算方法如下：各自的权重。权重计算方法如下：各自的权重。权重计算方法如下：其中表示点云分割融合权重，为点在z轴方向的坐标值，表示深度图分割融合权重，表示图像的熵，表示深度分割图和点云分割结果熵的平均值，为每一灰度值出现的概率。
39.标签矩阵融合方法如下：
步骤3：车辆目标检测，具体包括以下三个步骤：目标点的提取：根据融合点云的语义信息中的分类得分，将分类得分较大的点视为该类目标的点，计算同一类别欧式距离最远的两点的深度差值，车辆宽度1.8m设定为最小检测深度，车辆长度6m作为最大检测深度，以、为阈值提取深度差值大于且小于的点视为目标点。
40.聚类获取中心点：利用学习向量量化lvq聚合车辆点云方法聚合车辆表面点得到车辆中心点。
41.首先获取检测点云样本集，原型向量个数q，各原型向量预设的类别标记，学习率。初始化一组原型向量，从样本集中随机选取样本；计算样本与的距离：；找出与距离最近的原型向量，，如果，则，否则，将原型向量更新为，输出原型向量。
42.车辆检测：于中心点、距离、角度的单阶段目标检测模型cda-ssd，利用聚类的中心点坐标(、车辆中心点与车辆表面点最大距离、车辆中心点与车辆表面点最小距离、车辆中心点与距离车辆中心点距离最大的表面点相连直线与三维坐标下z轴所成角度，绘制圆柱目标区域，基于目标区域内接长方体即为车辆的包围框；所预测的目标区域包含六个参数() ，真实目标区域包含如下六个参数；位置损失函数如下： ；其中：其中：其中，
式中，为位置损失函数，为中心点损失函数，为半径损失函数，为角度损失函数，n表示预测中心点的个数，分别表示的权重。
43.步骤s701中基于圆柱目标区域内接长方体获取车辆的包围框方法如下：步骤s701中基于圆柱目标区域内接长方体获取车辆的包围框方法如下：步骤s701中基于圆柱目标区域内接长方体获取车辆的包围框方法如下：其中，分别表示包围框的高、宽、长。
44.最终得到车辆目标检测的结果。
45.对比不同算法在kitti训练集上的检测效果，如下表3：表3：不同算法在kitti训练集上的检测效果算法ap(%)时间(ms)mv3d74.32360avod76.581803dssd78.2180dc-ssd80.0170综上可得，本发明采用语义分割方法对摄像机深度图和雷达点云数据进行分割，提出基于反射点和置信度的自适应雷视信息融合方法pc-arvf基于每点的分类集合和置信度，将深度分割图与点云分割结果融合，重建融合点云，保证多源数据的补充和融合。提出一种基于中心点、距离、角度的单阶段目标检测模型cda-ssd，借助圆柱区域绘制车辆包围框，设计目标位置回归的损失函数，降低了车辆检测模型的复杂度。相比于之前的车辆目标检测方法，本发明的准确率更高、复杂度更低，对雷达和视频图像的融合和车辆目标检测具有重要意义。
46.如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。