用于夜间行车场景的三维目标跟踪方法、设备、介质、产品与流程

1.本发明涉及三维空间目标跟踪技术领域，尤其涉及用于夜间行车场景的三维目标跟踪方法、设备、介质、产品。


背景技术：

2.随着汽车adas系统(advanced driving assistance system高级驾驶辅助系统)的广泛应用，其工作时间也逐渐由日间小时段发展为整天全时段，由于纯视觉的adas系统在夜间可能会遇到光线较弱、光线折射复杂、画面运动模糊等问题，其对目标的检测与跟踪带来了挑战。此场景下纯视觉的三维目标检测会比日间出现更多的漏检与误检，进而会丢失目标信息。这些问题都可能导致adas系统在夜间行车时面临严峻挑战。
3.为了充分利用前后帧数据的信息以实现更好检测性能，并对目标进行三维场景的跟踪与速度估计，可以使用三维目标跟踪方法来改进目标的连续性，对夜间行车场景的纯视觉三维目标检测的漏检与误检进行补充，进而进行状态预测。
4.目前，一般采用卡尔曼滤波器对目标状态进行更新与预测，但是卡尔曼滤波器是线性的，对于非线性的运动模型适应性较差，难以跟踪上运动多变的目标和夜间目标检测器频繁的漏检。


技术实现要素：

5.为了克服现有技术的不足，本发明的目的在于提供用于夜间行车场景的三维目标跟踪方法，基于交互式多模型(imm)算法进行概率运动模型选择，使用无损卡尔曼滤波器(unscented kalman filter，简称ukf)进行非线性的状态估计与更新，采用匀速模型(constant velocity，简称cv)和恒定转弯率和速度幅度模型(constant turn rate and velocity，简称ctrv)描述目标运动，实现三维目标跟踪，以加强纯视觉adas系统在夜间场景下的感知能力。
6.本发明提供用于夜间行车场景的三维目标跟踪方法，包括以下步骤：
7.获取检测结果，针对adas感知系统，利用纯摄像头三维目标检测算法获取三维目标的检测结果；
8.扩展目标状态，在当前t时刻，将所述三维目标的检测结果与速度作为目标状态扩展到三维空间，得到匀速模型与恒定转弯率和速度幅度模型；
9.搭建观测模型，利用t+1时刻目标的运动模型搭建各三维目标对应的观测模型；
10.估计运动模型，针对每个三维目标，使用无损卡尔曼滤波器对目标各个运动模型进行估计，得到每种运动模型的状态变量估计结果；
11.模型动态切换，对于两种运动模型对同一目标的状态变量估计结果进行模型动态切换；
12.加权混合估计结果，基于交互式多模型算法对各个滤波器估计结果进行加权混合，得到的目标跟踪结果。
13.进一步地，在所述加权混合估计结果步骤之后还包括滤波器状态更新步骤，无损卡尔曼滤波器再通过基于交互式多模型算法按照概率混合的估计结果进行滤波器状态更新。
14.进一步地，所述获取检测结果步骤中，所述纯摄像头包括单目摄像头、双目摄像头；所述三维目标检测算法包括基于单目图像的三维目标检测、基于多目立体视觉的三维目标检测；所述三维目标的检测结果为(x,y,z,ry,l,w,h,s)，其中(x,y,z)是单个目标自车坐标系下的目标坐标，ry是单个目标的俯视图目标朝向与自车坐标系x轴夹角，(l,w,h)分别是单个目标的长、宽和高，s为单个目标进行分类的置信分数。
15.进一步地，所述扩展目标状态步骤中，运动模型方程式为：
[0016][0017]
其中，是单个目标在t时刻cv模型下的状态，是单个目标在t时刻cv模型下的状态，由该目标的检测结果和状态组成；
[0018]
其中v
x
,v
y
,v
z
表示三维目标在本汽车坐标系下沿xyz方向的速度；其中v,ω表示三维目标在本汽车坐标系下前进速度和横摆角速度；
[0019]
是目标在t+1时刻的各模型状态，f
cv
,f
ctrv
为各模型状态转移矩阵，w
t
为t时刻均值为0，协方差矩阵为q，且服从正态分布的过程噪声。
[0020]
进一步地，所述搭建观测模型步骤中，观测模型方程式为：
[0021]
z
t+1
＝hx
t+1
+v
t+1
[0022]
其中，z
t+1
为t+1时刻各目标的状态测量值，h为测量矩阵，包括cv模型与ctrv模型，v
t+1
为t+1时刻均值为0，协方差矩阵为r，且服从正态分布的测量噪声。
[0023]
进一步地，所述模型动态切换步骤中，采用马尔科夫链进行模型动态切换，马尔科夫矩阵为：
[0024][0025]
其中，π
ij
表示模型i切换到模型j的概率。
[0026]
进一步地，所述加权混合估计结果步骤中，基于交互式多模型算法对各个滤波器估计结果进行加权混合的公式为：
[0027][0028]
其中，是第i个模型在t时刻的概率。
[0029]
一种电子设备，包括：处理器；
[0030]
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行用于夜间行车场景的三维目标跟踪方法。
[0031]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行用于夜间行车场景的三维目标跟踪方法。
[0032]
一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现用于夜间行车场景的三维目标跟踪方法。
[0033]
相比现有技术，本发明的有益效果在于：
[0034]
本发明使用t时刻前的历史数据对t+1时刻进行预测跟踪，并且使用imm融合了多种运动模型，解决了目标高机动性难以跟踪的问题。提升了目标时序上的连续性，对于目标运动方向、速度突变鲁棒性强，并且可以预测得到目标的三维速度。
[0035]
本发明利用无损卡尔曼滤波器有效提升了目标状态预测的非线性性能，有效提升了目标状态估计的准确性，对位置、速度估计准确率更高，可以进一步用于其他汽车高级辅助驾驶功能。
[0036]
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
[0037]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0038]
图1为本发明的用于夜间行车场景的三维目标跟踪方法流程图；
[0039]
图2为本发明的三维目标跟踪方法在kitti数据集上的跟踪结果示意图。
具体实施方式
[0040]
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
[0041]
用于夜间行车场景的三维目标跟踪方法，如图1所示，包括以下步骤：
[0042]
获取检测结果，针对adas感知系统，利用纯摄像头三维目标检测算法获取三维目标的检测结果为(x,y,z,ry,l,w,h,s)，其中(x,y,z)是单个目标自车坐标系下的目标坐标，ry是单个目标的俯视图目标朝向与自车坐标系x轴夹角，(l,w,h)分别是单个目标的长、宽和高，s为单个目标进行分类的置信分数。纯摄像头包括单目摄像头、双目摄像头等；三维目标检测算法包括基于单目图像的三维目标检测、基于多目立体视觉的三维目标检测等。
[0043]
扩展目标状态，在当前t时刻，将三维目标的检测结果与速度作为目标状态扩展到三维空间，得到匀速模型与恒定转弯率和速度幅度模型。运动模型方程式为：
[0044]
[0045]
其中，是单个目标在t时刻cv模型下的状态，是单个目标在t时刻cv模型下的状态，由该目标的检测结果和状态组成。
[0046]
即其中v
x
,v
y
,v
z
表示三维目标在本汽车坐标系下沿xyz方向的速度；其中v,ω表示三维目标在本汽车坐标系下前进速度和横摆角速度；
[0047]
是目标在t+1时刻的各模型状态，f
cv
,f
ctrv
为各模型状态转移矩阵，w
t
为t时刻均值为0，协方差矩阵为q，且服从正态分布的过程噪声。
[0048]
其中，各模型状态转移方程为：
[0049][0050]
过程噪声协方差矩阵q为：
[0051][0052]
先验估计协方差矩阵p为：
[0053]
[0054]
搭建观测模型，利用t+1时刻目标的运动模型搭建各三维目标对应的观测模型；观测模型方程式为：
[0055]
z
t+1
＝hx
t+1
+v
t+1
[0056]
其中，z
t+1
为t+1时刻各目标的状态测量值，h为测量矩阵，包括cv模型与ctrv模型，v
t+1
为t+1时刻均值为0，协方差矩阵为r，且服从正态分布的测量噪声。
[0057]
估计运动模型，针对每个三维目标，使用无损卡尔曼滤波器对目标各个运动模型进行估计，得到每种运动模型的状态变量估计结果；
[0058]
模型动态切换，对于两种运动模型对同一目标的状态变量估计结果，采用马尔科夫链进行模型动态切换，马尔科夫矩阵为：
[0059][0060]
其中，π
ij
表示模型i切换到模型j的概率。本实施例中，使用3diou来形成概率矩阵。
[0061]
加权混合估计结果，基于交互式多模型算法对各个滤波器估计结果按以下公式进行加权混合，得到目标跟踪结果。
[0062][0063]
其中，是第i个模型在t时刻的概率；因为有两个模型，所以r＝2。
[0064]
则滤波器混合估计结果为：
[0065][0066]
其中概率由以下式更新：
[0067][0068]
是模型i遵循正态分布的似然函数：
[0069][0070]
而是在t+1时刻的模型i，是协方差。均值为0。则状态结果为：
[0071][0072]
基于交互式多模型(interacting multiple model，简称imm)算法可以自适应的匹配各种运动模型，能实时对各个模型的概率进行调整，对机动性强的目标可以有效判断运动模型，进而提升夜间行车场景的目标跟踪性能。
[0073]
滤波器状态更新，无损卡尔曼滤波器再通过基于交互式多模型算法按照概率混合的估计结果进行滤波器状态更新。图2为本发明的结果示例，可以看出目标框的跟踪效果较好。
[0074]
最终得到的目标跟踪结果，可以作为其他汽车辅助驾驶功能的基础，包括但不限于行人检测、车辆跟踪、自适应巡航、紧急制动等功能。
[0075]
本发明提供的用于夜间行车场景的三维目标跟踪方法，首先建立多种目标运动模型，然后使用多个ukf对目标状态进行估计，使用imm对多种估计结果进行概率加权，得到统一的预测估计结果。最后使用统一的估计结果对ukf进行更新，并输出结果至其他功能模块，实现高级辅助驾驶功能。
[0076]
本发明通过imm和ukf对夜间纯视觉的三维目标检测的结果进行预测、跟踪，解决夜间纯视觉三维目标检测碎片化问题，并对高机动性目标进行有效运动估计。并且检测跟踪结果可以作为其他汽车高级辅助驾驶功能基础，搭建更高级的功能框架。
[0077]
一种电子设备，包括：处理器；
[0078]
存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行用于夜间行车场景的三维目标跟踪方法。
[0079]
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行用于夜间行车场景的三维目标跟踪方法。
[0080]
一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现用于夜间行车场景的三维目标跟踪方法。
[0081]
以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。