一种面向无人驾驶车辆的目标检测定位方法及系统

1.本发明涉及目标检测领域，特别是涉及一种面向无人驾驶车辆的目标检测定位方法及系统。


背景技术：

2.无人驾驶车辆在执行巡逻和侦察任务中，经常需要检测特定目标并获取目标在wgs1984坐标系下的经纬度坐标。获取的经纬度坐标，除了可以为远程精准制导打击提供位置信息，还可以用以制作战场态势地图，对于无人作战意义重大。
3.而目前对于目标检测和定位的方法多数集中于检测目标，计算目标与车辆自身的相对距离，无法提供待检测目标在wgs1984坐标系下的经纬度坐标，且多数方法使用的目标检测方法实时性和检测准确率相对落后，因此本发明为了实现无人驾驶车辆在执行战场巡逻任务和侦察任务过程中，实时检测目标并获得目标在wgs1984坐标系下的经纬度坐标，提出了一种面向无人驾驶车辆的目标检测和定位的方法。


技术实现要素：

4.本发明的目的是提供一种面向无人驾驶车辆的目标检测定位方法及系统，实时检测目标并获得目标在wgs1984坐标系下的经纬度坐标。
5.为实现上述目的，本发明提供了如下方案：一种面向无人驾驶车辆的目标检测定位方法，所述方法包括：s1：采集车辆前方图像数据和雷达点云数据；s2：采用相机激光雷达联合标定方法获得激光雷达坐标系和像素坐标系之间的投影矩阵p；s3：获取训练集；s4：构建目标检测网络；s5：基于所述训练集对所述目标检测网络进行训练；s6：采用训练后的目标检测网络确定检测目标在图像中的2d包围盒的像素坐标和种类信息；s7：实时采集激光雷达数据；s8：将所述激光雷达数据和所述检测目标在图像中的2d包围盒的像素坐标和种类信息进行时间同步；s9：将时间同步后的激光雷达数据进行滤波处理；s10：将滤波后的激光雷达数据通过投影矩阵p投影到所述s6产生的检测图像中，获得对应图像中检测目标的2d包围盒内的激光雷达数据；s11：对获得的2d包围盒内的激光雷达数据进行dbscan聚类；s12：将聚类后得到的激光雷达数据作为检测目标对应的激光雷达数据，对该激光雷达数据在x和y方向求均值，得到检测目标相对于激光雷达坐标系的坐标(x1,y1)；
s13：通过测量获得激光雷达坐标系相对于gps安装点相对位置关系，并计算出检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)；s14：实时获取gps安装点在wgs 1984地理坐标系下的经纬度坐标和航向角theta，将车辆经纬度坐标转换到utm投影坐标系下得到车辆的utm坐标(x0,y0)，基于检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)，计算得到检测目标在utm投影坐标系下的坐标(x3,y3)；s15：将检测目标在utm投影坐标系下的坐标(x3,y3)转换到wgs 1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
6.可选的，所述获取训练集具体包括：通过工业相机采集包含待检测目标的图像数据；根据待检测目标的类别信息对采集的图像数据进行人工标注，利用开源标注工具，将图像中的待检测目标用2d包围盒框选起来，并赋予类别信息。
7.可选的，所述将时间同步后的激光雷达数据进行滤波处理具体采用ransac平面拟合算法去除地面反射激光雷达数据。
8.可选的，所述基于检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)，计算得到检测目标在utm投影坐标系下的坐标(x3,y3)具体采用以下公式：x3=x0+x2*cos(theta)-y2*sin(theta)y3=y0+x2*sin(theta)+y2*cos(theta)其中，（x0,y0）为车辆的utm坐标，（x2,y2）为检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)，theta为gps安装点在wgs 1984地理坐标系下的经纬度坐标和航向角。
9.基于本发明中的上述方法，本发明另外提供一种面向无人驾驶车辆的目标检测定位系统，所述系统包括：数据采集模块，用于采集车辆前方图像数据和雷达点云数据；投影矩阵确定模块，用于采用相机激光雷达联合标定方法获得激光雷达坐标系和像素坐标系之间的投影矩阵p；训练集获取模块，用于获取训练集；目标检测网络构建模块，用于构建目标检测网络；训练模块，用于基于所述训练集对所述目标检测网络进行训练；目标检测结果获取模块，用于采用训练后的目标检测网络确定检测目标在图像中的2d包围盒的像素坐标和种类信息；激光雷达数据采集模块，用于实时采集激光雷达数据；时间同步模块，用于将所述激光雷达数据和所述检测目标在图像中的2d包围盒的像素坐标和种类信息进行时间同步；滤波模块，用于将时间同步后的激光雷达数据进行滤波处理；投影模块，用于将滤波后的激光雷达数据通过投影矩阵p投影到目标检测结果获取模块产生的检测图像中，获得对应图像中检测目标的2d包围盒内的激光雷达数据；聚类模块，用于对获得的2d包围盒内的激光雷达数据进行dbscan聚类；第一坐标计算模块，用于将聚类后得到的激光雷达数据作为检测目标对应的激光
雷达数据，对该激光雷达数据在x和y方向求均值，得到检测目标相对于激光雷达坐标系的坐标(x1,y1)；第二坐标计算模块，用于通过测量获得激光雷达坐标系相对于gps安装点相对位置关系，并计算出检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)；第三坐标计算模块，用于实时获取gps安装点在wgs 1984地理坐标系下的经纬度坐标和航向角theta，将车辆经纬度坐标转换到utm投影坐标系下得到车辆的utm坐标(x0,y0)，基于检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)，计算得到检测目标在utm投影坐标系下的坐标(x3,y3)；坐标转换模块，用于将检测目标在utm投影坐标系下的坐标(x3,y3)转换到wgs 1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
10.可选的，所述训练集获取模块具体包括：通过工业相机采集包含待检测目标的图像数据；根据待检测目标的类别信息对采集的图像数据进行人工标注，利用开源标注工具，将图像中的待检测目标用2d包围盒框选起来，并赋予类别信息。
11.可选的，所述滤波模块具体采用ransac平面拟合算法去除地面反射激光雷达数据。
12.可选的，所述基于检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)，计算得到检测目标在utm投影坐标系下的坐标(x3,y3)具体采用以下公式：x3=x0+x2*cos(theta)-y2*sin(theta)y3=y0+x2*sin(theta)+y2*cos(theta)其中，（x0,y0）为车辆的utm坐标，（x2,y2）为检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)，theta为gps安装点在wgs 1984地理坐标系下的经纬度坐标和航向角根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明中的上述方法及系统目标检测模块对图像的检测实时性高且准确率较高，yolov5的目标检测网络，针对不同数据集，训练收敛速度快，模型可定制性强，模型推理速度快；激光雷达数据处理模块利用ransac平面拟合方法和dbscan聚类方法可以快速提取与待检测目标对应的激光雷达数据，提供检测目标相对于车辆中心的位置坐标；除了提供检测目标相对于车辆中心的相对位置外，本发明加入车辆定位模块，还可以提供车辆在wgs1984坐标系的经纬度坐标。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明实施例一种面向无人驾驶车辆的目标检测定位方法流程图；图2为本发明实施例一种面向无人驾驶车辆的目标检测定位方法流程框图；图3为本发明实施例投影矩阵p获取示意图；
图4为本发明实施例激光雷达数据处理模块处理方法流程图；图5为本发明实施例坐标转换示意图；图6为本发明实施例一种面向无人驾驶车辆的目标检测定位系统结构示意图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.本发明的目的是提供一种面向无人驾驶车辆的目标检测定位方法及系统，实时检测目标并获得目标在wgs1984坐标系下的经纬度坐标。
17.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
18.该方法利用工控机、车身四周布置的工业相机、车顶架起的激光雷达、全球定位系统（gps）和惯性导航系统，实现目标的检测和定位。所述工业相机，激光雷达，gps和imu之间通过ros系统建立起节点间通信。
19.图1为本发明实施例一种面向无人驾驶车辆的目标检测定位方法流程图；图2为本发明实施例一种面向无人驾驶车辆的目标检测定位方法流程框图，结合图1和图2，本发明中的上述方法包括：s1：采集车辆前方图像数据和雷达点云数据。
20.s2：如图3，采用相机激光雷达联合标定方法获得激光雷达坐标系和像素坐标系之间的投影矩阵p。
21.s3：获取训练集。
22.s4：构建目标检测网络。
23.s5：基于所述训练集对所述目标检测网络进行训练。
24.s6：采用训练后的目标检测网络确定检测目标在图像中的2d包围盒的像素坐标和种类信息。
25.具体的，工业相机实时采集图像数据，传输到目标检测模块，即目标检测网络，进行目标检测，获取目标类别信息和图像2d包围盒信息；所述目标检测模块采用yolov5目标检测网络实现，先利用工业相机采集大量包含待检测目标的图像，人为标记待检测目标的再图像中的像素坐标和种类，制作图像目标检测数据集，然后利用该数据集对yolov5目标检测网络进行训练，利用训练获得的目标检测模型实现多目标的实时检测，获取检测目标在图像中的2d包围盒的像素坐标和种类信息。
26.具体训练过程如下：（1）通过工业相机采集大量包含待检测目标的图像数据，默认存储格式为jpg（此处默认待检测目标是已知的）；（2）然后根据待检测目标的类别信息对采集的图像数据进行人工标注，利用开源标注工具，将图像中的待检测目标用2d包围盒框选起来，并赋予类别信息，此过程可以得到待检测目标在像素坐标系中的位置信息和类别信息，存储在与图像数据对应的txt文件中；（3）将标注好的图像数据和标注文件，分为训练集和测试集，比例为7：
3，本发明中总采集了2000张包含待检测目标的图像数据，经过标注后，产生了2000个对应的标注文件，每一个标注文件中，对应存储着待检测目标在图像中2d包围盒所在的位置信息和待检测目标的类别信息；（4）在分好的训练集和测试集放到指定的文件夹下，利用yolov5目标检测网络进行训练，本发明中使用的电脑cpu为intel 10代i7,gpu为nvidia 2080ti,设置的训练轮数为300，在训练完成后，可以得到用于待检测目标的权重文件，这个权重文件将被用于实时检测过程中，当设置的训练轮数跑完，即认为训练完成，例如本发明中使用的训练轮数为300，训练轮数可以根据自己的需要设置。
27.s7：实时采集激光雷达数据。
28.s8：将所述激光雷达数据和所述检测目标在图像中的2d包围盒的像素坐标和种类信息进行时间同步。
29.s9：将时间同步后的激光雷达数据进行滤波处理。
30.s10：将滤波后的激光雷达数据通过投影矩阵p投影到步骤s6产生的检测图像中，获得对应图像中检测目标的2d包围盒内的激光雷达数据。
31.s11：对获得的2d包围盒内的激光雷达数据进行dbscan聚类。
32.s12：将聚类后得到的激光雷达数据作为检测目标对应的激光雷达数据，对该激光雷达数据在x和y方向求均值，得到检测目标相对于激光雷达坐标系的坐标(x1,y1)。
33.s13：通过测量获得激光雷达坐标系相对于gps安装点相对位置关系，并计算出检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)。
34.如图4，激光雷达实时采集激光雷达数据和目标检测模块输出目标检测结果到激光雷达数据处理模块，该模块首先实现激光雷达数据和目标检测结果的时间同步，将时间同步的激光雷达数据进行滤波处理，该模块采用ransac平面拟合算法去除地面反射激光雷达数据，将滤波后的激光雷达数据通过投影矩阵p投影到步骤s6产生的检测图像中（通过步骤s2获得的投影矩阵p, 将滤波后的激光雷达点云数据，投影到与之时间同步的图像数据上，即将激光雷达坐标系的3d空间点投影到像素坐标系所在的2d平面上。将滤波后激光雷达点云数据投影到与之时间同步的检测图像上，是为了获取前述步骤产生的2d包围盒内所对应的激光雷达点云数据，而激光雷达点云数据是空间中的三维点，所以需要通过投影将三维空间点投影到二维平面上，这个过程只是为了确定哪些激光雷达点云数据经过投影之后落在2d包围盒内，将这部分点云数据提取出来之后，可用于测量待检测目标相对于车体坐标系的位置。此处提到的检测图像是经过步骤s6的目标实时检测处理之后，已经得到该图像中所包含的待检测目标的2d包围盒在像素坐标系上的位置和待检测目标的类别信息），获得对应图像中检测目标的2d包围盒内的激光雷达数据，该模块接着对获得的2d包围盒内的激光雷达数据进行dbscan聚类（经过投影之后，已经将激光雷达点云数据投影到图像所在的像素坐标系下，接下来需要将2d包围盒内的激光雷达点云数据提取出来进行聚类。由于投影之后，并不是所有的激光雷达点云数据都在2d包围盒内，我们只关心2d包围盒内的激光雷达点云数据，因为这部分数据对于测量待检测目标相对于车体坐标系的位置十分重要。提取出2d包围盒内的激光雷达点云数据之后，需要进行dbscan聚类，目标是为了将2d包围盒内所对应的激光雷达点云数据进一步进行滤波，将部分不属于待检测目标的激光雷达点云进行滤除，使得最后得到的激光雷达点云数据可以更加精准的计算出待检测目标相对于车体坐标系的位置），将聚类后得到的激光雷达数据作为检测目标对应的激光雷达
数据，对该激光雷达数据在x和y方向求均值，得到检测目标相对于激光雷达坐标系的坐标(x1,y1)，默认gps安装点为车辆中心坐标系原点ov，可以通过测量获得激光雷达坐标系相对于gps安装点相对位置关系，可以计算出检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)。
35.s14：实时获取gps安装点在wgs 1984地理坐标系下的经纬度坐标和航向角theta，将车辆经纬度坐标转换到utm投影坐标系下得到车辆的utm坐标(x0,y0)，基于检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)，计算得到检测目标在utm投影坐标系下的坐标(x3,y3)。
36.s15：将检测目标在utm投影坐标系下的坐标(x3,y3)转换到wgs 1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
37.车辆定位模块通过gps和imu，实时获取gps安装点在wgs 1984地理坐标系下的经纬度坐标和航向角theta，将车辆经纬度坐标转换到utm (universal transverse mercator)投影坐标系下得到车辆的utm坐标(x0,y0)，结合步骤3获得的目标相对于车辆中心坐标系原点ov的坐标(x2,y2)，通过以下公式，得到检测目标在utm投影坐标系下的坐标(x3,y3)，如图5所示；再转换到wgs 1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
38.x3=x0+x2*cos(theta)-y2*sin(theta)y3=y0+x2*sin(theta)+y2*cos(theta)图6为本发明实施例一种面向无人驾驶车辆的目标检测定位系统结构示意图，如图6所示，所述系统包括：数据采集模块201，用于采集车辆前方图像数据和雷达点云数据。
39.投影矩阵确定模块202，用于采用相机激光雷达联合标定方法获得激光雷达坐标系和像素坐标系之间的投影矩阵p。
40.训练集获取模块203，用于获取训练集。
41.目标检测网络构建模块204，用于构建目标检测网络。
42.训练模块205，用于基于所述训练集对所述目标检测网络进行训练。
43.目标检测结果获取模块206，用于采用训练后的目标检测网络确定检测目标在图像中的2d包围盒的像素坐标和种类信息。
44.激光雷达数据采集模块207，用于实时采集激光雷达数据。
45.时间同步模块208，用于将所述激光雷达数据和所述检测目标在图像中的2d包围盒的像素坐标和种类信息进行时间同步。
46.滤波模块209，用于将时间同步后的激光雷达数据进行滤波处理。
47.投影模块210，用于将滤波后的激光雷达数据通过投影矩阵p投影到目标检测结果获取模块产生的检测图像中，获得对应图像中检测目标的2d包围盒内的激光雷达数据。
48.聚类模块211，用于对获得的2d包围盒内的激光雷达数据进行dbscan聚类。
49.第一坐标计算模块212，用于将聚类后得到的激光雷达数据作为检测目标对应的激光雷达数据，对该激光雷达数据在x和y方向求均值，得到检测目标相对于激光雷达坐标系的坐标(x1,y1)。
50.第二坐标计算模块213，用于通过测量获得激光雷达坐标系相对于gps安装点相对
位置关系，并计算出检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)。
51.第三坐标计算模块214，用于实时获取gps安装点在wgs 1984地理坐标系下的经纬度坐标和航向角theta，将车辆经纬度坐标转换到utm投影坐标系下得到车辆的utm坐标(x0,y0)，基于检测目标相对于车辆中心坐标系原点ov处的相对坐标(x2,y2)，计算得到检测目标在utm投影坐标系下的坐标(x3,y3)。
52.坐标转换模块215，用于将检测目标在utm投影坐标系下的坐标(x3,y3)转换到wgs 1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
53.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
54.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。