一种融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法

本发明涉及智能驾驶视觉多目标跟踪领域，具体涉及一种融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法。

背景技术：

1、视觉目标跟踪技术的研究在智能驾驶感知领域有非常重要的意义，通过该技术可以对目标的运动状态与趋势进行估计，从而计算目标运动方向与速度，为智能驾驶决策模块提供依据。

2、当前视觉目标跟踪技术已有较多的研究基础，根据算法类型不同可以分为：相关滤波、光流、运动状态估计、深度学习等技术。早期的目标跟踪算法主要包括：median flow、卡尔曼滤波等；基于相关滤波的算法主要有mosse、csk、kcf等；近几年，基于深度学习的目标跟踪算法越来越流行，如：eco，mdnet，sanet、deepsort。

3、但是，在智能驾驶领域的应用中，由于车辆运动快、场景复杂，如何解决目标遮挡、快速运动、光线变化等问题是一大难点，与此同时，目标数量多、实时性要求高、芯片算力受限也对跟踪算法性能提出了更高的要求。

4、目前很多算法在部署过程中，无法满足实际需求，比如：median flow、kcf等算法为单目标跟踪，扩展到多目标跟踪时，算法无法做到实时性；而基于深度学习的算法，需要单独标注视频跟踪数据集，成本很高，性能也没有达到预期。

5、因此，亟需一种能适用于智能驾驶场景的多目标实时跟踪算法。

技术实现思路

1、为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，旨在解决复杂场景追踪问题，提高跟踪精度和算法运行效率，使跟踪结果更加平滑。

2、根据本发明的第一方面，提供一种融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，包括：

3、步骤10：通过图像采集设备实时获取当前第i帧的图像mi，使用yolo目标检测算法检测mi中的目标，得到目标的矩形框位置，将第i帧每个目标加入第i帧的目标检测结果列表objectsi。

4、步骤20：如果第i帧为第一帧，对objectsi中每个目标，配置新的id，将目标第一参数tracked_frames设置为1，将目标第二参数patched_frames设置为0，将objectsi赋值给当前第i帧的目标跟踪结果列表跳转至步骤70；如果第i帧不是第一帧，则继续执行步骤30。

5、步骤30：对第i-1帧的目标跟踪结果列表的每个目标，使用矩形框运动趋势估计算法处理，得到当前帧的目标运动状态预测位置列表使用矩形框区域图像光流特征点追踪算法处理，得到当前帧的目标光流预测位置列表

6、步骤40：对比和中id相同目标j的矩形框位置，计算第一矩形框重叠度iou1，根据第一重叠度预设阈值判断，如果目标跟踪成功，将该目标加入第i-1帧的目标在第i帧的位置跟踪预测结果列表并将该目标的patched_frames加1；如果目标跟踪失败，将该目标的tracked_frames设置为0。

7、步骤50：对objectsi中的每个目标分别与中的每个目标计算匹配度，包括，第二重叠度匹配度iou2，归一化中心点距离dist，差异度diff，所在图像区域相似度simm，如果匹配度满足超参数阈值，则将iou2作为这两个目标匹配度的权重，如果匹配度不满足超参数阈值，则将这两个目标匹配度对应的权重设置为0，基于此权重构建匹配度权重矩阵。

8、步骤60：根据匹配度权重矩阵，使用km最优匹配算法获得第i-1帧和第i帧各个目标之间的匹配关系，对于匹配成功的目标，将第i-1帧中目标的id赋值给第i帧的匹配目标，tracked_frames加1，patched_frames设置为0；对于第i帧中未匹配的目标，分配新的id，tracked_frames设置为1,patched_frames设置为0；对于第i-1帧中未匹配的目标，id不变,patched_frames加1；各目标均加入列表。

9、步骤70：对中的目标进行分析判断，如果patched_frames大于最大目标预测帧数pn，则将该目标从中移除，回收其id；如果patched_frames小于最大目标预测帧数pn，且tracked_frames大于最小目标跟踪帧数tn，则将该目标从中移除并加入列表。

10、步骤80：对的每个目标，使用矩形框平滑滤波算法进行滤波，输出滤波后的结果，当前第i帧目标跟踪完成；并将中的目标加入缓存列表，用于下一帧跟踪；返回步骤10处理下一帧图像。

11、进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，所述目标的矩形框包括物体在图像中的矩形框区域左上角坐标(x,y)以及宽度w和高度h。

12、进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，矩形框运动趋势估计算法包括：对中目标j的矩形框位置使用卡尔曼滤波器进行跟踪预测，根据目标历史矩形框位置，预测当前帧目标的矩形框位置，计算得到目标j的运动状态预测位置并加入列表

13、矩形框区域图像光流特征点追踪算法包括：分别对mi和mi-1构建灰度图像金字塔，在中目标j的矩形框位置内均匀选取mi-1中k个坐标点，使用基于灰度图像金字塔的lk光流点匹配算法计算该k个点在mi中的位置，统计所有对应点在mi和mi-1之间的位置偏移量，取平均值作为目标j的光流追踪偏移量计算目标j的光流跟踪结果为并加入列表

14、进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，对于矩形框ra(xa,ya,wa,ha)和矩形框rb(xb,yb,wb,hb)，矩形框重叠度为：iou＝两个矩形框的交集面积/两个矩形框的并集面积。

15、归一化中心点距离为：其中：分别为矩形框ra和rb的中心点坐标；wm表示图像宽度，hm表示图像高度。

16、差异度为：diff＝abs(log(wa/wb))+abs(log(ha/hb))，wa,ha,wb,hb分别为矩形框ra和rb的宽度和高度。

17、所在图像区域相似度simm的计算包括：对两个矩形框区域图像ma和mb的rgb通道进行分离，统计颜色直方图，并进行归一化处理得到其中，s{a,b}表示矩形框区域图像ma或mb的像素面积，表示图像ma或mb在(i,j)位置上的像素值。对于颜色直方图向量和采用余弦相似性公式计算两个矩形框的所在图像区域相似度simm＝va·vb/(|va|+|vb|)，其中va·vb表示两个向量点乘，|va|和|vb|分别表示两个向量的模。

18、进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，匹配度满足超参数阈值包括：dist<threshdist、diff<threshdiff、simm>threshsim，其中为第二重叠度预设阈值，threshdist为中心点距离预设阈值，threshdiff为差异度预设阈值，threshsim为相似度预设阈值。

19、进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，矩形框平滑滤波算法为：

20、将目标j从第i-2帧到第i帧矩形框位置分别记为ri-2,j(xi-2,j,yi-2,j,wi-2,j,hi-2,j)、ri-1,j(xi-1,j,yi-1,j,wi-1,j,hi-1,j)、ri,j(xi,j,yi,j,wi,j,hi,j)；从第i-3帧到第i-1帧滤波后的矩形框位置分别记为r’i-3,j(x’i-3,j,y’i-3,j,w’i-3,j,h’i-3,j)、r’i-2,j(x’i-2,j,y’i-2,j,w’i-2,j,h’i-2,j)、r’i-1,j(x’i-1,j,y’i-1,j,w’i-1,j,h’i-1,j)。

21、对矩形框的四个参数分别用2阶巴特沃兹低通滤波器进行滤波为：

22、

23、其中，(a1,a2,a3)和(b1,b2,b3)为巴特沃兹低通滤波器参数，通过设置采样频率和截止频率计算得到。获得目标矩形框滤波结果：r’i,j(x’i,j,y’i,j,w’i,j,w’i,j)。

24、进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，所述图像采集设备安装在车辆上，感知区域覆盖车辆前方；所述目标包括：车辆、行人、非机动车。

25、根据本发明的第二方面，提供一种计算机设备，其特征在于，包括：

26、存储器，用于存储指令；以及

27、处理器，用于调用所述存储器存储的指令执行第一方面的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法。

28、根据本发明的第三方面，提供一种计算机可读存储介质，存储有指令，所述指令被处理器执行时，执行第一方面的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法。

29、与现有技术相比，本发明所构思的上述技术方案至少具有以下有益效果：

30、结合卡尔曼状态滤波器与光流跟踪算法实现对上一帧目标在当前帧的位置预测；弥补了单一预测器无法覆盖复杂场景的问题。

31、针对前后帧目标相似度计算的问题，本发明从两个维度进行评估，一是通过对矩形框的重叠度、中心点距离、矩形框大小分别设计评价算法；二是在矩形框区域的图像相似度上提出基于颜色直方图的余弦相似性评价算法；从而更加全面地对目标的相似度进行计算，提高目标跟踪精度。

32、在目标二分图匹配问题上，相比于业内普遍使用的匈牙利匹配算法，该算法只能实现最大匹配，而本发明采用的km匹配算法，在匈牙利算法的基础上进一步考虑匹配权重，实现最优匹配。

33、本发明所实现的目标跟踪算法在目标的矩形框抖动问题上，提出了基于巴特沃兹低通滤波器的矩形框滤波算法，使目标跟踪结果更加平滑。

34、本发明最终在嵌入式系统中达到每秒钟30帧的运行效率，且最多跟踪目标达到64个；跟踪性能具备优势。

35、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。