一种基于相机和雷达的目标检测方法及系统与流程

本发明属于目标检测技术领域，特别涉及一种基于相机和雷达的目标检测方法及系统。

背景技术：

目前现有的目标检测方案大致可以分为基于视觉和非视觉两大类，基于视觉的目标检测常局限于目标是否存在以及目标大致位置的判断，但是无法判断目标的具体位置及速度。非视觉类的目标检测，如依靠雷达等，只能得到目标的位置及速度信息，无法获得目标的类型及大小。然而在当代生产生活中，往往需要同步获得目标的类型、尺寸信息和位置速度信息。例如在有轨电车路口入侵物检测中，如果能够同时知道目标类型以及目标的位置及速度，就能根据具体情况作出预判，减小损失。

针对以上问题，如何有效地实现对目标全方位的实时检测越来越成为亟待解决的技术问题。

技术实现要素：

针对上述问题，本发明提供了一种基于相机和雷达的目标检测方法及系统，其中，所述检测方法具有较低的虚警率，且获取的融合目标结果更加精确、全面。

本发明的目的在于提供一种基于相机和雷达的目标检测方法，所述方法包括，

获取雷达探测到的雷达数据与相机同步采集到的图像；

对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标；

通过深度学习方法检测图像中的相机目标以及相机目标的目标信息；

根据交小比公式，融合有效雷达目标与相机目标，并筛选、输出融合目标结果。

进一步地，所述方法还包括，

安装并调整雷达与相机的位置，令二者具有共同的视场；

建立图像平面坐标系、雷达平面坐标系以及靶标平面坐标系；

对图像平面与雷达平面进行结构参数的标定。

进一步地，所述雷达数据包括雷达目标在雷达平面坐标系下的位置坐标、速度、距离、方位信息；

所述相机目标的目标信息包括候选框位置、类型、尺寸；

所述融合目标结果包括相机目标的尺寸、类型以及相应有效雷达目标的距离、速度。

进一步地，所述对图像平面与雷达平面进行结构参数的标定包括，

将平面靶标放置在视场范围内的地面上，相机拍摄平面靶标，提取靶标图像中至少4个靶标图像特征点；

基于目标在图像平面坐标系与靶标平面坐标系下的坐标，得到图像平面坐标系和靶标平面坐标系之间的单应矩阵hti；

基于平面靶标相对雷达平面坐标系的摆放角度与靶标平面坐标系原点相对雷达平面坐标系的平移关系，得到靶标平面坐标系到雷达平面坐标系之间的单应矩阵htr；

基于所述单应矩阵hti与htr，得到雷达平面到图像平面之间的转换关系h矩阵。

进一步地，所述对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标包括，

判断雷达目标是否为首次出现，其中，

若所述雷达目标为首次出现，令雷达目标连续出现的次数等于1，

若所述雷达目标不是首次出现，则判断判断所述雷达目标是否在上一帧中出现，其中，

若所述雷达目标在上一帧出现，则对所述雷达目标连续出现的次数进行累计加1；

若所述雷达目标在上一帧未出现，则剔除所述雷达目标；

判断所述雷达目标连续出现的次数是否大于或等于第一预设值，其中，

若所述雷达目标连续出现的次数大于或等于第一预设值，则所述雷达目标为稳定检测的目标，并作为有效雷达目标输出；

若所述雷达目标连续出现的次数小于第一预设值，则等待下一帧重复上述判断。

进一步地，所述对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标还包括当所述稳定检测的目标在当前帧消失时，包括以下步骤：

判断所述稳定检测的目标消失的次数是否大于或等于第二预设值，其中，

若所述稳定检测的目标消失的次数大于或等于第二预设值，则剔除所述稳定检测的目标；

若所述稳定检测的目标消失的次数小于第二预设值，则对消失次数进行累计加1，并判断所述稳定检测的目标在下一帧中是否重新出现；其中，

若所述稳定检测的目标在下一帧中重新出现，则消失次数的累计值进行清零；

若所述稳定检测的目标在下一帧中未重新出现，则重复执行上述步骤。

进一步地，根据交小比公式，融合有效雷达目标与相机目标，并筛选、输出融合结果包括，

根据交小比计算公式，获取所述有效雷达目标与相机目标的交小比；

判断所述交小比是否大于第三预设值，其中，

若所述交小比大于第三预设值，所述有效雷达目标与相机目标为同一目标，并对判定次数进行累计加1；

判断所述判定次数是否大于或等于第四预设值，其中，

若所述判定次数大于或等于第四预设值，则输出融合目标结果；

若所述判定次数小于第四预设值，对下一帧中的所述有效雷达目标与相机目标重复执行上述步骤。

进一步地，所述有效雷达目标与相机目标的交小比为:

有效雷达目标候选框与相机目标候选框相重叠的面积与有效雷达目标候选框面积和相机目标候选框面积中最小面积的比值。

进一步地，所述方法还包括获取所述有效雷达目标的候选框：

基于所述h矩阵，将所述有效雷达目标从雷达坐标转换到图像平面坐标系下，其中，所述有效雷达目标的候选框为scale[w,h]，其中，

scale为候选框的放缩因子，且满足：

其中，rmin为雷达探测范围的最小值，rmax雷达探测范围的最大值，m、n为常数，且为大于0的整数，y为有效雷达目标的在雷达平面坐标系下的y坐标值；

w、h分别为设定目标处于雷达探测深度范围的中间值(rmin+rmax)/2时，对应的一个候选框的宽度和高度。

本发明的另一目的在于提供一种基于相机和雷达的目标检测系统，所述系统包括雷达与相机，且还包括，

获取单元，用于获取雷达探测到的雷达数据与相机同步采集到的图像；

滤波单元，用于对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标；

图像检测单元，用于通过深度学习方法检测图像中的相机目标以及相机目标的目标信息；

融合单元，用于根据交小比公式，融合有效雷达目标与相机目标，并筛选、输出融合目标结果。

进一步地，所述系统还包括设置单元，用于：

建立图像平面坐标系、雷达平面坐标系以及靶标平面坐标系；

对图像平面与雷达平面进行结构参数的标定，并得出雷达平面到图像平面之间的转换关系h矩阵。

进一步地，所述雷达数据包括雷达目标在雷达平面坐标系下的位置坐标、速度、距离、方位信息；

所述相机目标的目标信息包括候选框位置、类型、尺寸；

所述融合目标结果包括相机目标的尺寸、类型以及相应有效雷达目标的距离、速度。

进一步地，所述滤波单元还用于执行以下步骤：

判断雷达目标是否为首次出现，其中，

若所述雷达目标为首次出现，令雷达目标连续出现的次数等于1，

若所述雷达目标不是首次出现，则判断判断所述雷达目标是否在上一帧中出现，其中，

若所述雷达目标在上一帧出现，则对所述雷达目标连续出现的次数进行累计加1；

若所述雷达目标在上一帧未出现，则剔除所述雷达目标；

判断所述雷达目标连续出现的次数是否大于或等于第一预设值，其中，

若所述雷达目标连续出现的次数大于或等于第一预设值，则所述雷达目标为稳定检测的目标，并作为有效雷达目标输出；

若所述雷达目标连续出现的次数小于第一预设值，则等待下一帧重复上述判断。

进一步地，所述滤波单元还用于当所述稳定检测的目标在当前帧消失时，执行以下步骤：

判断所述稳定检测的目标消失的次数是否大于或等于第二预设值，其中，

若所述稳定检测的目标消失的次数大于或等于第二预设值，则剔除所述稳定检测的目标；

若所述稳定检测的目标消失的次数小于第二预设值，则对消失次数进行累计加1，并判断所述稳定检测的目标在下一帧中是否重新出现；其中，

若所述稳定检测的目标在下一帧中重新出现，则消失次数的累计值进行清零；

若所述稳定检测的目标在下一帧中未重新出现，则重复执行上述步骤。

进一步地，所述融合单元还用于执行以下步骤：

根据交小比计算公式，获取所述有效雷达目标与相机目标的交小比；

判断所述交小比是否大于第三预设值，其中，

若所述交小比大于第三预设值，所述有效雷达目标与相机目标为同一目标，并对判定次数进行累计加1；

判断所述判定次数是否大于或等于第四预设值，其中，

若所述判定次数大于或等于第四预设值，则输出融合目标结果；

若所述判定次数小于第四预设值，对下一帧中的所述有效雷达目标与相机目标重复执行上述步骤。

进一步地，所述有效雷达目标与相机目标的交小比为:

有效雷达目标候选框与相机目标候选框相重叠的面积与有效雷达目标候选框面积和相机目标候选框面积中最小面积的比值。

进一步地，所述系统还包括处理单元，用于获取所述有效雷达目标的候选框：

基于所述h矩阵，将所述有效雷达目标从雷达坐标转换到图像平面坐标系下，其中，所述有效雷达目标的候选框为scale[w,h]，其中，

scale为候选框的放缩因子，且满足：

其中，rmin为雷达探测范围的最小值，rmax雷达探测范围的最大值，m、n为常数，且为大于0的整数，y为有效雷达目标的在雷达平面坐标系下的y坐标值；

w、h分别为设定目标处于雷达探测深度范围的中间值(rmin+rmax)/2时，对应的一个候选框的宽度和高度。

本发明的目标检测方法摆脱了传统的人工检测方法，相比单独的基于相机的检测系统或者基于雷达的检测系统，本检测方法具有更强的鲁棒性，能够做到全天候检测，且具有较低的虚警率，同时，结合相机和雷达的优点融合检测结果，使得获取的目标信息更加精确、全面。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中的一种基于相机和雷达的目标检测方法流程示意图；

图2示出了本发明实施例中雷达与相机的现场设置示意图；

图3示出了本发明实施例中一种雷达目标滤波流程示意图；

图4示出了本发明实施例中另一种雷达目标滤波流程示意图；

图5示出了本发明实施例中融合有效雷达目标与相机目标的流程示意图；

图6示出了本发明实施例中一种有效雷达目标候选框确定及与相机目标候选框示意图；

图7示出了本发明实施例中一种基于相机和雷达的目标检测系统结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例中介绍了一种基于相机和雷达的目标检测方法，所述方法包括，首先，获取雷达探测到的雷达数据与相机同步采集到的图像；其次，对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标；然后，通过深度学习方法检测图像中的相机目标以及相机目标的目标信息；最后，根据交小比公式，融合有效雷达目标与相机目标，并筛选、输出融合目标结果。摆脱了传统的人工检测方法，相比单独的基于相机的检测系统或者基于雷达的检测系统，本检测方法具有更强的鲁棒性，能够做到全天候检测，且具有较低的虚警率，同时，结合相机和雷达的优点融合检测结果，使得获取的目标信息更加精确、全面。

本实施例中，所述方法还包括：首先，安装并调整雷达与相机的位置，令二者具有共同的视场；然后，建立图像平面坐标系、雷达平面坐标系以及靶标平面坐标系；最后，对图像平面与雷达平面进行结构参数的标定。具体的，如图2所示，本系统包括一台相机和一台雷达，雷达探测面垂直于地面安装，相机与雷达之间的角度根据实际拍摄视场需要调整，调整完成之后固定相机与雷达之间的相对位置。图像平面坐标系为o-uv，雷达平面坐标系为or-xryr，靶标平面坐标系为ot-xtyt。由于雷达探测区域仅为一个水平面，故可将雷达平面坐标系设置在地面上，并且本发明实施例中，雷达平面坐标系也可视为世界坐标系。雷达平面坐标系以俯瞰探测平面为视角，向右为x轴正方向，向前为y轴正方向，需要说明的是，本发明实施例中的向右、向前均是与图2为准，但不限于此，与雷达平面有关。优先地，所述系统还包括上位机，雷达与相机中设置有传感器，传感器采集到的数据传输到上位机中，上位机实时处理图像数据和雷达数据，将二者完成数据融合，输出目标的尺寸、类别、位置和速度信息。

系统在上述各坐标系搭建完成后，对图像平面与雷达平面进行结构参数的标定，具体包括以下过程：

首先，将一个平面靶标放置在视场范围内的地面上，相机拍摄靶标，提取靶标图像中至少4个靶标图像特征点，计算图像平面坐标系和固连在靶标上的靶标平面坐标系之间的单应矩阵hti，满足

p＝htipt(1)

其中，p为相机目标在图像中的坐标，pt为相机目标在实际空间中，即靶标平面坐标系下的坐标。

然后，通过米尺测量出靶标相对雷达平面坐标系的摆放角度以及计算出靶标平面坐标系原点相对雷达平面坐标系的平移关系，从而得到靶标平面坐标系到雷达平面坐标系之间的单应矩阵htr，则有

pr＝htrpt(2)

其中，pr为相机目标在雷达平面坐标系下的坐标。

则根据公式(1)、(2)，则有：

根据式(3)即可完成雷达探测到的目标从雷达平面坐标系向图像平面坐标系的转化，将检测结果从雷达平面映射到图像平面。进一步，本发明实施例中，所述结构参数包括雷达平面到图像平面之间的转换关系h矩阵，从而由公式(3)可知：

通过h矩阵可以实现将雷达探测到的目标坐标从雷达平面坐标系转化到图像平面坐标系下，从而将雷达探测结果与相机探测结果在图像平面坐标系下进行数据融合。

本实施例中，雷达以一定的频率向上位机上传探测到的雷达数据，所述雷达数据包括雷达目标在雷达平面坐标系下的位置坐标、速度、距离、方位信息。相机同样以一定的频率采集图像，且通过深度学习获取的相机目标的目标信息包括候选框位置、类型、尺寸；所述融合目标结果包括相机目标的尺寸、类型以及相应有效雷达目标的距离、速度。融合目标结果中的相机目标与相应有效雷达目标均为同一目标。优选地，所述上传频率为8hz。进一步，所述雷达数据与相机图像均存储在系统的全局变量中，针对全局变量，将所述雷达与相机的目标进行融合。需要说明的是目标信息中的类型指的是目标的类别，例如：目标的类型可以包括人、动物以及车等。

本实施例中，受环境干扰，例如周界反射回波等，会造成雷达目标探测的误检和漏检，从而对雷达数据中的雷达目标进行稳定性检测，也为一种雷达探测数据的滤波方法，能够有效的剔除无效目标，保留有效雷达目标，以减少误检、漏检的情况，如图3所示，检查所述雷达检测到的目标是否为误检目标，具体包括以下步骤：

s11、判断雷达检测的目标是否为首次出现，若所述检测的目标为首次出现，则令所述检测的目标的连续出现的次数cnt_app＝1，若所述雷达检测的目标不是首次出现，则执行步骤s12；

s12、判断雷达检测的目标是否在上一帧中出现，其中，若所述检测的目标在上一帧出现，执行步骤s13；若所述检测的目标在上一帧未出现，丢弃所述雷达检测的目标，并对其连续出现累计的次数进行清零，即cnt_app＝0；

s13、则对所述雷达目标连续出现的次数cnt_app进行累计加1(即cnt_app＝cnt_app+1)，并执行步骤s14；

s14、判断连续出现的次数cnt_app是否大于或等于n_app，其中，若cnt_app大于或等于n_app，则所述雷达检测的目标为稳定检测的目标，并执行步骤s15；若cnt_app小于n_app，则暂存，等待下一帧重复上述步骤s11-s14判断；

s15、将所述雷达检测的目标作为有效雷达目标输出，或者将所述有效雷达目标添加至雷达输出列表，检测完当前帧中所有的雷达目标，则返回列表结果。

判断雷达检测到的目标连续出现的次数是否大于或等于n_app帧，也即判断雷达检测的目标是否连续n_app帧出现，若雷达检测的目标连续n_app帧，则认为所述雷达检测的目标处于稳定检测状态，从而减少了误检的情况。

本实施例中，在雷达目标检测的过程中还存在所述稳定检测的目标(所述稳定检测的目标至少已出现n_app帧)在某一帧消失，从而为了减少漏检目标的情况，如图4所述，当前帧所述稳定检测的目标消失后，则具体包括以下步骤：

s21、所述稳定检测的目标消失的次数cnt_rem是否大于或等于n_rem，若cnt_rem大于或等于n_rem，则将所述稳定检测的目标从显示列表中进行移除，或将所述稳定检测的目标从雷达输出列表中删除；若cnt_rem小于n_rem，则执行步骤s22；

s22、稳定检测的目标消失的次数cnt_rem进行累计加1(即cnt_rem＝cnt_rem+1)，且所述稳定检测的目标仍然保存在雷达显示列表(或称为输出列表)中，按最终速度移动(即预设该目标仍然按最终速度在移动)，并执行步骤s23；

s23、判断所述稳定检测的目标是否在下一帧中重新出现，若所述稳定检测的目标重新出现，则cnt_rem清零，即cnt_rem＝0；若所述稳定检测的目标未重新出现，则执行步骤s21。

本实施例中，所述输出列表中输出的雷达目标均为有效雷达目标，雷达目标检测的过程中不仅对雷达目标是否连续出现进行滤波检测，还对稳定出现目标消失时进行漏检检测，从而保证了对雷达目标检测的精确性。

本实施例中，将每一帧中的每个有效雷达目标与所有的相机目标进行融合，从而实现有效雷达目标与相机目标的融合，具体的，如图5所示，根据交小比公式，融合有效雷达目标与相机目标，并筛选出融合的目标结果包括以下步骤：

s31、根据交小比计算公式，获取所述有效雷达目标与相机目标的交小比iom；

s32、判断所述交小比iom是否大于预设值tfusion，若iom>tfusion，说明所述有效雷达目标与相机目标为同一目标，则对判定次数cnt_n进行累计加1(即cnt_n＝cnt_n+1)，并执行步骤s33；若iom≤tfusion，则融合失败；

s33、判断所述判定次数cnt_n是否大于或等于预设次数nfusion，若cnt_n≥nfusion，则输出融合目标结果；若cnt_n＜nfusion，执行步骤s34；

s34、对下一帧中的所述有效雷达目标与相机目标继续重复执行上述步骤s31-s33。对属于同一目标的雷达目标和相机目标多次融合验证，保证了目标融合的精确性。

本实施例中，tfusion的取值可以为0.5，nfusion为大于0的整数。

本实施例中，所述有效雷达目标与相机目标的交小比为:有效雷达目标候选框与相机目标候选框相重叠的面积与有效雷达目标候选框面积sa和相机目标候选框面积sb中最小面积的比值，即所述交小比计算公式为：

如图6所示，所述雷达目标与相机目标的候选框均为矩形框，从而计算两个矩形的重合程度，通过重合程度判别两个矩形所代表的区域是否为同一区域，从而判断所述有效雷达目标与相机目标是否为同一目标，减小融合误差，同时，相比于传统的交并比计算方法，利用交小比进行两个目标的融合可以缓解由于两个候选框面积差别过大导致的计算失效问题。

从而为了融合雷达目标与相机目标，还需要获取所述有效雷达目标的候选框，具体的：

需要基于所述h矩阵，将所述有效雷达目标从雷达坐标转换到图像平面坐标系下，其中，所述有效雷达目标的候选框为scale[w,h]，其中，

scale为候选框的放缩因子，满足：

其中，rmin为雷达探测范围的最小值，rmax雷达探测范围的最大值，m、n为常数，且均为大于0的整数，y为有效雷达目标的在雷达平面坐标系下的y坐标值。具体的，为可计算iom，需将雷达目标从一个点扩展为一个区域。如图6所示，设雷达探测范围为[rmin,rmax](图中未示出),则w、h分别为设定目标处于雷达探测深度范围的中间值(rmin+rmax)/2时，对应的一个候选框的宽度和高度，且在rmin时，雷达目标的候选框大小为中间值的1/m,在rmax时，雷达目标的候选框大小为中间值的n倍。如此，可以根据式(6)确定在任意深度下目标候选框的尺寸。

本发明实施例中还介绍了一种基于相机和雷达的目标检测系统，所述系统包括雷达与相机，如图7所示，所述系统还包括获取单元、滤波单元、图像检测单元、融合单元、设置单元以及处理单元，其中，所述获取单元用于获取雷达探测到的雷达数据与相机同步采集到的图像；所述过滤单元用于对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标；所述图像检测单元用于通过深度学习方法检测图像中的相机目标以及相机目标的目标信息；所述融合单元用于根据交小比公式，融合有效雷达目标与相机目标，并筛选、输出融合目标结果。所述设置单元用于首先建立图像平面坐标系、雷达平面坐标系以及靶标平面坐标系；然后，对图像平面与雷达平面进行结构参数的标定，并得出雷达平面到图像平面之间的转换关系h矩阵。

本实施例中，所述雷达数据包括雷达目标在雷达平面坐标系下的位置坐标、速度、距离、方位信息；所述相机目标的目标信息包括候选框位置、类型、尺寸；所述融合目标结果包括相机目标的尺寸、类型以及相应有效雷达目标的距离、速度。

所述滤波单元还用于执行上述s11-s14步骤以及s21-s23步骤。

所述融合单元还用于执行上述s31-s34步骤。雷达目标检测的过程中不仅对雷达目标是否连续出现进行滤波检测，还对稳定出现目标消失时进行漏检检测，从而保证了对雷达目标检测的精确性。

所述有效雷达目标与相机目标的交小比为:有效雷达目标候选框与相机目标候选框相重叠的面积与有效雷达目标候选框面积sa和相机目标候选框面积sb中最小面积的比值，即所述交小比计算公式为：

如图6所示，所述雷达目标与相机目标的候选框均为矩形框，从而计算两个矩形的重合程度，通过重合程度判别两个矩形所代表的区域是否为同一区域，从而判断所述有效雷达目标与相机目标是否为同一目标，减小融合误差，同时，相比于传统的交并比计算方法，利用交小比进行两个目标的融合可以缓解由于两个候选框面积差别过大导致的计算失效问题。

从而为了融合计算雷达目标与相机目标，还需要获取所述有效雷达目标的候选框，具体的，所述处理单元用于基于所述h矩阵，将所述有效雷达目标从雷达坐标转换到图像平面坐标系下，其中，所述有效雷达目标的候选框为scale[w,h]，其中，

w为候选框宽度，h为候选框高度，scale为候选框的放缩因子，且满足：

其中，rmin为雷达探测范围的最小值，rmax雷达探测范围的最大值，m、n为常数，且为大于0的整数，y为有效雷达目标的在雷达平面坐标系下的y坐标值。具体的，为可计算iom，需将雷达目标从一个点扩展为一个区域。如图6所示，设雷达探测范围为[rmin,rmax](图中未示出)，则w、h分别为设定目标处于雷达探测深度范围的中间值(rmin+rmax)/2时，对应的一个候选框的宽度和高度，且在rmin时，雷达目标的候选框大小为中间值的1/m，在rmax时，雷达目标的候选框大小为中间值的n倍。如此，可以根据式(6)确定在任意深度下目标候选框的尺寸。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。