一种基于长短焦相机与毫米波雷达融合的目标检测方法

1.本发明属于深度学习、计算机视觉、自动驾驶、图像处理等领域，具体涉及一种基于长短焦相机与毫米波雷达融合的目标检测方法。


背景技术：

2.随着人工智能、机器视觉技术的快速发展，智能驾驶成为了学业界、工业界研究的重要领域，感知模块作为智能驾驶系统的重要一环，其获取的环境信息是智能驾驶技术成功应用的基础。现阶段量产的智能驾驶系统的主流传感器为毫米波雷达和相机，毫米波雷达对目标距离和速度的检测精度较高，并且可以全天候工作，但是其不能准确识别目标类型，容易受噪声干扰；相机能够获取丰富的环境信息，并且其价格和技术难度相对较低，但是对光照和天气的变化较为敏感，且单一焦距相机的视野和极限检测距离有限，因此基于单一传感器的环境感知方案往往可能会存在一些局限性。通过对不同焦距相机和毫米波雷达进行信息融合，可以充分发挥各传感器的目标检测优势，以实现信息冗余和互补。因此，为了提升系统的目标检测能力，对多传感器信息融合的研究尤为重要。
3.经过检索，对比文件1，申请号为202011288888.5，一种基于长短焦多相机车辆环境下的目标检测和融合方法。该方法包括以下几个步骤：1.采用卷积神经网络对长短焦双目相机采集的图像进行目标检测，得到同一时刻下不同焦距相机所得图像中的目标框位置。2.根据相机成像原理和相机标定所得的内外参数k、r、t，可得到空间目标点p在长、短焦相机像素坐标系下的映射关系f。3.将长焦相机图像中的目标框位置，通过映射关系f,得到短焦相机图像中相应目标框的位置，再与原短焦相机图像中的目标进行融合，实现了不同距离条件下的目标检测任务。该发明虽然克服了单一焦距相机不能适应不同距离下目标检测的局限性，但是仅由视觉技术来获取目标的深度信息仍然不够准确，而雷达传感器刚好能提供精确的深度信息。除此之外，长短焦相机与雷达融合，能获取更大的环境感知范围。
4.对比文件2，申请号202011520256.7一种基于毫米波雷达先验定位和视觉特征融合的目标检测方法，所述方法包括：基于标定后的毫米波雷达和车载相机，同时获取毫米波雷达点云数据和相机图像；将毫米波雷达点云数据进行空间三维坐标变换以投影到相机平面；基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；通过将相机图像的rgb信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的样本的特征；将最终的anchor样本的特征输入检测网络，生成场景下目标的类别和位置信息。该发明虽然提高了全天候场景下的目标检测效果，但是对于场景中远处的目标仍然无法进行有效的检测，而本发明通过融合了长、短焦距相机的信息，有效地提高了场景中远处目标的检测精度，并且通过融合雷达数据，我们的方法也能适应全天候的场景。
5.对比文件3，申请号201910814532.1，一种基于双目相机和毫米波雷达的融合slam方法，其特征在于：包括以下步骤，通过双目相机(100)和毫米波雷达(200)采集图像和雷达数据；分别对图像和雷达数据进行处理，得到图像对应的深度图，并将雷达数据映射到图像
中；对图像和雷达数据的处理结果进行融合，并根据融合后结果建立slam地图。该发明主要用于slam建图，而我们的方法则专注于提升目标检测的性能。除此之外，我们的方法采用了长、短焦距相机的数据信息进行融合，这使得我们的目标检测方法能检测到更远距离的目标。


技术实现要素：

6.本发明旨在解决以上现有技术的问题。提出了一种基于长短焦相机与毫米波雷达融合的目标检测方法。本发明的技术方案如下：
7.一种基于长短焦相机与毫米波雷达融合的目标检测方法，其包括以下步骤：
8.构建具有目标检测功能的长短焦融合网络，结合自适应图像金字塔来获取目标的深度信息，将长焦距图像在短焦距图像的相同图像内容区域定义为感兴趣区域roi，使用逆透视变换方法来获取非共同视野处的目标的深度信息；
9.对长短焦相机与毫米波雷达进行标定：首先确定世界坐标系，并建立世界坐标系与短焦相机像素坐标系的关系，然后建立毫米波雷达坐标系与世界坐标系的关系，从而确定长短焦系统与毫米波雷达系统的坐标关系；
10.对长短焦相机与毫米波雷达数据进行融合：首先计算目标相似程度，根据相似度对毫米波雷达和长短焦系统的目标检测结果进行匹配，最后依据一定的规则对不同传感器的目标参数进行融合处理，以获得准确的目标信息。
11.进一步的，所述构建具有目标检测功能的长短焦融合网络，结合自适应图像金字塔来获取目标的深度信息，具体包括以下子步骤：
12.构建具有目标检测功能的长短焦融合网络，分别对长焦图像和短焦图像进行特征提取，然后送入候选区域提取网络，获取长焦图像和短焦图像各自的候选区域；
13.将长焦相机的候选区域投影到短焦相机上，获得融合后的候选区域；
14.对获取到的融合后的候选区域特征，进行分类判断和边界框回归，来确定目标的类别和位置信息；
15.结合自适应图像金字塔来获取目标的深度信息；
16.当目标位于短焦图像roi边界上或超出roi时，使用逆透视变换方法来获取非共同视野处的目标的深度信息。
17.进一步的，所述将长焦相机的候选区域投影到短焦相机上，获得融合后的候选区域，具体包括以下步骤：
18.采用模板匹配算法，获取短焦图像的中心位置对应的长焦图像中心位置
19.根据长焦相机的焦距f
l
和短焦相机的焦距fs，来确定长短焦相机的焦距比k：
[0020][0021]
根据映射关系，将长焦相机的候选区域p
l
(x
l
，y
l
，w
l
，h
l
)投影到短焦图像上，获得投影后的候选区域p(x，y，w，h)，计算公式如下：
[0022][0023][0024]
w＝k
×wl
[0025]
h＝k
×hl
[0026]
其中，x
l
，y
l
，w
l
，h
l
分表表示候选区域p
l
的中心坐标位置，以及候选区域的长和宽；x，y，w，h分表表示候选区域p的中心坐标位置，以及候选区域的长和宽。
[0027]
进一步的，所述结合自适应图像金字塔来获取目标的深度信息，具体包括以下子步骤：
[0028]
使用单目标定获取短焦距和长焦距相机的焦距f
lx
、f
ly
和f
rx
、f
ry
，改进投影矩阵pr和p
l
中的f
x
和fy，令：
[0029]fx
＝fy＝(f
lx
+f
ly
)/2
[0030]
光心c
x
和cy分别为：
[0031]cx
＝(c
lx
+c
rx
)/2
[0032]cy
＝(c
ly
+c
ry
)/2
[0033]
将长焦距图像在短焦距图像的相同图像内容区域定义为感兴趣区域roi，为了获得roi的边界，使用归一化互相关算法计算roi的角点，取相关系数最大值对应位置作为roi的角点；
[0034]
长焦距和短焦距图像具有不同的尺度，采用基于图像金字塔自适应图层提取特征的方法，在图像金字塔的部分图层中提取特征点，图像金字塔的缩放因子由长短焦距比例决定；
[0035]
在roi区域内的图像，短焦距与长焦距图像组成多焦距立体视觉，从而可以获取目标的深度信息；在roi区域外的图像被视为单目图像，不能获取其中对象的深度信息。
[0036]
进一步的，所述使用归一化互相关算法(ncc)对长、短焦距图像进行匹配，取相关系数最大值所对应的位置作为roi区域；
[0037]
进一步的，所述使用逆透视变换方法来获取非共同视野处的目标的深度信息，具体包括以下子步骤：
[0038]
逆透视矩阵h由短焦相机roi区域中的地面上目标以及对应的深度信息求解，逆透视矩阵用于计算roi外目标的相对距离，假设位于道路上目标的特征点在相机坐标系下的坐标为pi＝[xi，yi，zi]，对应的像素坐标系坐标为pi＝[ui，vi]，则逆透视变换方程为：
[0039][0040]
进一步的，所述对长短焦相机与毫米波雷达进行标定，具体包括以下步骤：
[0041]
建立世界坐标系与短焦相机像素坐标系间的关系，根据相机成像原理，得到像素坐标系到世界坐标系的转换关系：
[0042][0043]
其中，(u，v)表示图像中一点的像素坐标，(xw，yw，zw)表示该像素坐标对应的世界坐标系中的位置，k表示相机的内参矩阵，r和t分别表示世界坐标系与相机坐标系间的旋转矩阵和平移矩阵；zc表示目标像素点的深度信息。
[0044]
建立毫米波雷达坐标系与世界坐标系之间的关系，获取世界坐标系o
w-x
wywzw
与雷达平面坐标系xrorzr的位置关系图，x
wowzw
平面与xrorzr平面平行，并且两平面之间的距离为h，orxr轴到x
wowyw
平面的距离为z0，假设点p在毫米波雷达坐标系下的位置为(r，α)，其中r表示距离雷达坐标系原点的距离，α表示角度，h是x
wowzw
平面到xrorzr平面的距离，在世界坐标系的位置为(xw，yw，zw)，则坐标系之间的转换关系如下：
[0045]
xw＝rsinα
[0046]yw
＝h
[0047]zw
＝z0+rcosα
[0048]
根据世界坐标系与短焦相机像素坐标系间的关系，以及毫米波雷达坐标系与世界坐标系之间的关系，获得长短焦系统与毫米波雷达系统的坐标关系，转换公式如下所示：
[0049][0050]
进一步的，所述对长短焦相机与毫米波雷达数据进行融合具体包括以下子步骤：
[0051]
计算目标相似程度；定义关联矩阵{d}m×n，d
ij
为关联矩阵中的元素，表示第i个相机目标和第j个雷达目标的匹配偏差，计算方法如下：
[0052]dij
＝|cd
i-rdj|
×
df+|cv
i-rvj|
×
vf+classt(cclassi，rclassj)
×
classf
[0053]
其中，cdi表示相机中第i个目标的距离测量值，rdj表示毫米波雷达中第j个目标的距离测量值，df表示距离偏差的影响因数，cvi表示相机中第i个目标的速度测量值，rvj表示毫米波雷达中第j个目标的速度测量值，vf表示速度偏差的影响因数，cclassi表示相机中第i个目标的类型，rclassi表示毫米波雷达中第j个目标的类型，classf表示类型偏差的影响因数，classt是与目标类型有关的矩阵；
[0054]
毫米波雷达和长短焦相机目标匹配；设定目标匹配的偏差门限值d
th
，当d
ij
≥d
th
时，认为相机中第i个目标和毫米波雷达中第j个目标的差别太大，无法进行匹配，分别记为相机未匹配目标和毫米波雷达未匹配目标。当d
ij
＜d
th
时，认为二者具有一定相似性，可以进行匹配；
[0055]
传感器目标与历史目标匹配，目标匹配完成后，所有目标被分为三类，相机未匹配目标、毫米波雷达未匹配目标和匹配成功的目标，对于未匹配成功的雷达和相机目标也需要将其与历史目标进行匹配。
[0056]
进一步的，匹配步骤如下：
[0057]
设定目标的信噪比阈值p
th
，在信噪比阈值外的目标认为可信度低，在信噪比阈值
内的目标认为可信度高；
[0058]
预测目标的状态，将信噪比阈值内的目标进行匹配，匹配之后分为匹配成功的目标和未匹配成功的目标，对于未匹配成功的目标认为是新目标，并覆盖历史目标中信噪比较低的目标；
[0059]
若将信噪比阈值内的目标匹配完成后还有历史目标未匹配，再用信噪比阈值外的目标依次覆盖历史目标。
[0060]
完成目标匹配后，依据规则对不同传感器的目标参数进行融合处理，以获得准确的目标信息。
[0061]
进一步的，所述毫米波雷达和长短焦相机目标匹配，具体包括以下子步骤：
[0062]
首先在矩阵{d}m×n中寻找满足d
ij
＜d
th
的目标对，并在满足条件的目标对中寻找d
ij
最小的目标对，如果相机中第i个目标和毫米波雷达中第j个目标的相似程度最高，认为二者表示的是同一个目标，将二者进行匹配；同时令矩阵{d}m×n中第i行和第j列中所有元素的值赋为d
th
，表示相机中第i个目标和毫米波雷达中第j个目标已经配对完成；按照此步骤依次完成剩下所有目标的匹配。
[0063]
本发明的优点及有益效果如下：
[0064]
本发明提出了一种基于长短焦相机和毫米波雷达融合的目标检测方法。现阶段量产的智能驾驶系统的主流传感器为毫米波雷达和相机，毫米波雷达对目标距离和速度的检测精度较高，并且可以全天候工作，但是其不能准确识别目标类型，容易受噪声干扰；相机能够获取丰富的环境信息，并且其价格和技术难度相对较低，但是对光照和天气的变化较为敏感，且单一的短焦相机远处物体成像较小，难以检测到；长焦相机的成像视野较窄，视觉感知范围受限。因此基于单一传感器的环境感知方案往往可能会存在一些局限性。
[0065]
所以，本发明采用基于长短焦相机和毫米波雷达融合的目标检测方法，成为了解决这些难题的有效方法。具体创新表现在以下几点：
[0066]
(1)本发明采用一种基于图像金字塔自适应图层提取特征的方法，在图像金字塔的部分图层中提取特征点，减少了特征点误匹配数量，同时这样既能支持不同焦距立体相机，也支持标准焦距立体相机。
[0067]
(2)本发明通过构建的目标检测融合网络，将长短焦相机各自生成的候选区域进行了有效融合，再进行分类判断和边界框回归，获得了更加精确的目标检测结果,与基于一般焦距的单目相机的目标检测相比，它的检测距离更远，检测的视野范围更广。
[0068]
(3)本发明采用不同传感器进行信息融合处理，先将长、短焦相机数据进行融合，再与雷达检测数据进行融合，与其他学者提出的基于单一传感器的目标检测方法相比，该方法结合了长短焦相机和激光雷达传感器各自的优点，弥补了单一传感器的缺陷，构成了一种探测距离远，精度高，可靠性强的目标检测系统。
附图说明
[0069]
图1是本发明提供优选实施例方法的流程简图；
[0070]
图2世界坐标系与毫米波雷达探测平面示意图；
[0071]
图3长短焦相机与毫米波雷达目标匹配示意图。
具体实施方式
[0072]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0073]
本发明解决上述技术问题的技术方案是：
[0074]
本发明的目的是提供一种基于长短焦相机和毫米波雷达融合的目标检测方法，通过融合长短焦相机和毫米波雷达采集的数据，充分发挥各传感器的目标检测优势，实现对更远距离、更大的视野范围内目标的检测，同时也可决多雾天气下的目标检测问题，提出此技术方案，如图1所示，包括如下步骤：
[0075]
步骤1.构建具有目标检测功能的长短焦融合网络，分别对长焦图像和短焦图像进行特征提取，然后送入候选区域提取网络，获取各自的候选区域。然后将长焦相机的候选区域投影到短焦相机上，获得融合后的候选区域，再对候选区域特征进行分类判断和边界框回归，来确定目标的类别和位置信息，并结合自适应图像金字塔来获取目标的深度信息。
[0076]
(1)构建具有目标检测功能的长短焦融合网络，分别对长焦图像和短焦图像进行特征提取，然后送入候选区域提取网络，获取各自的候选区域。
[0077]
(2)首先，采用模板匹配算法，获取短焦图像的中心位置对应的长焦图像中心位置
[0078]
(3)然后，根据长焦相机的焦距f
l
和短焦相机的焦距fs，来确定长短焦相机的焦距比k:
[0079][0080]
(4)根据映射关系，可将长焦相机的候选区域p
l
(x
l
,y
l
,w
l
,h
l
)投影到短焦图像上,获得投影后的候选区域p(x,y,w,h)。其中，x
l
,y
l
,w
l
,h
l
分表表示候选区域p
l
的中心坐标位置，以及候选区域的长和宽；x,y,w,h分表表示候选区域p的中心坐标位置，以及候选区域的长和宽。计算公式如下：
[0081][0082][0083]
w＝k
×wl
[0084]
h＝k
×hl
[0085]
(5)根据以上的映射关系，将长焦相机的候选区域投影到短焦相机上，获得融合后的候选区域。
[0086]
(6)对获取到的融合后的候选区域特征，进行进一步的分类判断和边界框回归，来确定目标的类别和位置信息。
[0087]
(7)使用单目标定获取短焦距和长焦距相机的焦距f
lx
、f
ly
和f
rx
、f
ry
，改进投影矩阵pr和p
l
中的f
x
和fy，令：
[0088]fx
＝fy＝(f
lx
+f
ly
)/2
[0089]
光心c
x
和cy分别为：
[0090]cx
＝(c
lx
+c
rx
)/2
[0091]cy
＝(c
ly
+c
ry
)/2
[0092]
(8)然后，将长焦距图像在短焦距图像的相同图像内容区域定义为感兴趣区域(region of interest，roi)。为了获得roi的边界，使用归一化互相关算法(ncc)对长、短焦距图像进行匹配，取相关系数最大值所对应的位置作为roi区域。
[0093]
(9)长焦距和短焦距图像具有不同的尺度，因此我们采用基于图像金字塔自适应图层提取特征的方法，在图像金字塔的部分图层中提取特征点，图像金字塔的缩放因子由长短焦距比例决定，这样能支持不同焦距立体相机，同时也支持标准焦距立体相机。
[0094]
(10)在roi区域内的图像，短焦距与长焦距图像组成多焦距立体视觉，从而可以获取目标的深度信息；在roi区域外的图像被视为单目图像，通过逆透视变换来获取深度信息。
[0095]
(11)逆透视矩阵h由短焦相机roi区域中的地面上目标以及对应的深度信息求解，逆透视矩阵用于计算roi外目标的相对距离。假设位于道路上目标的特征点在相机坐标系下的坐标为pi＝[xi，yi，zi]，对应的像素坐标系坐标为pi＝[ui，vi]，则逆透视变换方程为：
[0096][0097]
步骤2，对长短焦相机与毫米波雷达进行标定。首先确定世界坐标系，并建立世界坐标系与短焦相机像素坐标系的关系，然后建立毫米波雷达坐标系与世界坐标系的关系，从而确定长短焦系统与毫米波雷达系统的坐标关系。
[0098]
(1)建立世界坐标系与短焦相机像素坐标系间的关系。根据相机成像原理，可以得到像素坐标系到世界坐标系的转换关系：
[0099][0100]
其中，(u，v)表示图像中一点的像素坐标，(xw，yw，zw)表示该像素坐标对应的世界坐标系中的位置。k表示相机的内参矩阵，r和t分别表示世界坐标系与相机坐标系间的旋转矩阵和平移矩阵，zc表示目标像素点的深度信息。
[0101]
(2)建立毫米波雷达坐标系与世界坐标系之间的关系。世界坐标系o
w-x
wywzw
与雷达平面坐标系xrorzr的位置关系如图2所示。x
wowzw
平面与xrorzr平面平行，并且两平面之间的距离为h，orxr轴到x
wowyw
平面的距离为z0。假设点p在毫米波雷达坐标系下的位置为(r，α)，其中r表示距离雷达坐标系原点的距离，α表示角度，h是x
wowzw
平面到xrorzr平面的距离，在世界坐标系的位置为(xw，yw，zw)，则坐标系之间的转换关系如下：
[0102]
xw＝rsinα
[0103]yw
＝h
[0104]zw
＝z0+rcosα
[0105]
(3)根据世界坐标系与短焦相机像素坐标系间的关系，以及毫米波雷达坐标系与世界坐标系之间的关系，可以获得长短焦系统与毫米波雷达系统的坐标关系。转换公式如下所示：
[0106][0107]
步骤3，对长短焦相机与毫米波雷达数据进行融合。首先计算目标相似程度，根据相似度对毫米波雷达和长短焦系统的目标检测结果进行匹配，最后依据一定的规则对不同传感器的目标参数进行融合处理，以获得准确的目标信息。
[0108]
(1)计算目标相似程度。定义关联矩阵{d}m×n，d
ij
为关联矩阵中的元素，表示第i个相机目标和第j个雷达目标的匹配偏差，计算方法如下：
[0109]dij
＝|cd
i-rdj|
×
df+|cv
i-rvj|
×
vf+classt(cclassi，rclassj)
×
classf
[0110]
其中，cdi表示相机中第i个目标的距离测量值，rdj表示毫米波雷达中第j个目标的距离测量值，df表示距离偏差的影响因数，cvi表示相机中第i个目标的速度测量值，rvj表示毫米波雷达中第j个目标的速度测量值，vf表示速度偏差的影响因数，cclassi表示相机中第i个目标的类型，rclassi表示毫米波雷达中第j个目标的类型，classf表示类型偏差的影响因数，classt是与目标类型有关的矩阵。
[0111]
(2)毫米波雷达和长短焦相机目标匹配。设定目标匹配的偏差门限值d
th
，当d
ij
≥d
th
时，认为相机中第i个目标和毫米波雷达中第j个目标的差别太大，无法进行匹配，分别记为相机未匹配目标和毫米波雷达未匹配目标。当d
ij
＜d
th
时，认为二者具有一定相似性，可以进行匹配。
[0112]
(3)传感器目标与历史目标匹配。如图3所示，目标匹配完成后，所有目标被分为三类，相机未匹配目标、毫米波雷达未匹配目标和匹配成功的目标，对于未匹配成功的雷达和相机目标也需要将其与历史目标进行匹配。匹配步骤如下：
[0113]
(4)设定目标的信噪比阈值p
th
，在信噪比阈值外的目标认为可信度低，在信噪比阈值内的目标认为可信度高。
[0114]
(5)预测目标的状态，将信噪比阈值内的目标按照与步骤(1)、(2)相似的方法进行匹配，匹配之后分为匹配成功的目标和未匹配成功的目标，对于未匹配成功的目标认为是新目标，并覆盖历史目标中信噪比较低的目标。
[0115]
(6)若将信噪比阈值内的目标匹配完成后还有历史目标未匹配，再用信噪比阈值外的目标依次覆盖历史目标。
[0116]
(7)完成目标匹配后，一个目标的状态参数通常会由毫米波雷达和相机同时提供，并且两套参数之间存在一些偏差，因此需要依据一定的规则对不同传感器的目标参数进行融合处理，以获得准确的目标信息。
[0117]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0118]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包
括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0119]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。