一种考虑动态目标的智能汽车交通场景建图方法

本发明属于智能汽车，具体涉及一种考虑动态目标的智能汽车交通场景建图方法。

背景技术：

1、智能汽车感知技术是实现自主导航、构建智能汽车信息物理系统必不可少的一环。自主导航作为智能汽车最重要的技术之一，它在一定程度上体现了智能汽车的智能程度，而自主导航的关键在于智能汽车的同步定位与地图构建(simultaneous localizationand mapping，slam)。真实无偏、高精度的环境地图是智能汽车在定位导航、路径规划时必不可少的前提条件。slam技术因其所需设备简单，能够完成对复杂环境一致性地图的构建等特点，广泛应用于对智能汽车建图问题。

2、传统视觉同步定位与建图(v-slam)系统通常假设环境中物体时静态或者低运动的，忽略了实际场景中的动态目标。由于，智能汽车交通场景中往往存在大量移动的车辆、行人等动态物体，这一静态假设会导致在高动态交通场景中算法位姿估计与建图的精度和鲁棒性降低，限制了v-slam的适用性。近年来，深度学习在语义信息获取方面的进展及应用为v-slam开辟了另一个可行的方向。将深度学习算法应用在v-slam技术中可以从几何结构和物体语义两个层次实现对智能汽车交通场景更加准确地理解，获取高层次的感知信息，扩展v-slam技术在智能汽车建图问题中的实用性。

3、现有研究工作大多数采用语义分割网络与视觉slam算法相结合，来剔除每一帧中的动态特征点，从而来处理slam系统在动态环境下失效问题。然而，大多数的语义分割算法模型规模较大，语义分割网络的语义分割速度往往达不到相机帧率，导致位姿输出存在时延，因此无法满足智能汽车建图问题的实时性要求。

4、发明目的

5、本发明的目的即在于应对现有技术所存在的问题，实现交通场景地图构建，提供了一种考虑动态目标的智能汽车建图方法，将轻量级的动态目标检测算法与传统视觉同步定位与建图算法(orb-slam2)算法相结合，减少动态目标对建图精度的影响。

技术实现思路

1、本发明提供了一种考虑动态目标的智能汽车建图方法，包括以下步骤：

2、步骤1、将智能汽车交通场景目标分为高动态物体、低动态物体、静态物体三种类型进行分析，利用目标检测算法进行目标检测；

3、步骤2、采用lk光流算法对交通场景中特征点进行运动一致性检测，筛选出动态特征点，筛选步骤1所得到的目标检测结果中的动态目标；

4、步骤3、将步骤2得到的动态目标信息融入slam系统，剔除特征匹配中动态目标框内特征点，利用静态特征点建立智能汽车交通场景稀疏点云地图。

5、优选地，所述高动态物体指交通场景中实时运动的物体，包括行走的行人、行驶地车辆；所述低动态物体指交通场景中在一段时间内静止的物体，包括路边短暂停留的行人、停车场的车辆或路边临时停放车辆；所述静态物体指交通场景中永远静止的物体，包括建筑物、马路、路沿、交通信号灯杆；其中，高动态物体和低动态物体在交通场景中存在当前帧为静态物体而下一帧为动态物体的情形。

6、优选地，所述利用目标检测算法进行目标检测指选择yolov5目标检测算法对智能汽车交通场景目标进行检测。

7、更优选地，所述利用目标检测算法进行目标检测指选择yolov5s作为目标检测模型，获取图像帧中的车辆、行人的目标检测结果。

8、优选地，步骤2进一步包括：使用金字塔-lk光流法对每一图像帧中目标检测框进行筛选，进一步判断物体是否为动态目标；所述金字塔-lk算法是一种两帧差分的光流估计算法，基于以下三个假设条件：(1)场景中目标图像的像素在帧到帧间移动中不发生改变；(2)图像上相机的移动随时间变化缓慢；(3)场景中相同表面的相邻点具有相似的运动，并且其投影到图像平面上的距离也比较近。

9、更优选地，所述判断物体是否为动态目标的过程包括求解速度矢量和运动一致性估计两个步骤；其中，求解速度矢量的步骤指利用上述三个假设条件得到图像的约束方程，进而求解光流速度矢量；所述运动一致性估计的步骤是判断动态特征点，包括：首先，通过光流法获取匹配的特征点对，并跟据匹配的特征点对计算基础矩阵；然后，通过基础矩阵和特征点计算特征点对应的极线，当特征点到极线的距离大于一定值，即判断为动态特征点；当目标检测框中包含动态特征点时，则该目标检测框将被判断为动态目标。

10、更优选地，对于一组匹配的特征点对m1、m2，其的齐次坐标表示为如(1)所示：

11、

12、其中，u、v是像素的横纵坐标；对于m1，极线l1被表示为如(2)所示：

13、

14、其中，h代表着对应的基础矩阵；

15、m2到极线l1的距离d被表示为如(3)所示：

16、

17、当距离大于一定值时，则m2为动态点。

18、优选地，步骤3中的slam系统基于orb-slam2算法，该orb-slam2算法包括跟踪、建图和回环检测三个并行线程；在orb-slam2算法基础上增加了一个可以并行运行的动态目标检测线程构建了满足智能汽车交通场景的建图框架；其中，跟踪线程依次包括提取orb特征、初始姿态估计、局部地图跟踪，选择新关键帧共4个；所述建图线程依次包括插入关键帧、去除外点、生成新地图点、局部ba优化和局部关键帧去重共5个子线程；所述回环检测线程依次包括选取相似帧、检测闭环、融合三维点、图优化共4个子线程；所述动态目标检测线程依次包括yolov5目标检测、感兴趣目标检测信息、lk光流法和下一帧共4个子线程；在所述回环检测线程后进行ba优化环和更新地图；所述提取orb特征子线程连接至lk光流法子线程，lk光流法子线程连接至初始姿态估计子线程。

19、优选地，所述动态目标检测线程用于剔除建图系统提取到的动态特征点，包括交通场景目标检测和动态目标框筛选两部分；首先，选用yolov5目标检测网络对场景中目标进行检测；接着利用光流算法判断交通场景中的目标状态，通过对目标检测框的状态判断来确定跟踪线程中特征点剔除的范围。

20、优选地，所述跟踪线程是从图像中提取orb特征，根据上一帧进行位姿估计，或者进行通过全局重定位初始化位姿，然后跟踪已经重建的局部地图，优化位姿，再根据一些规则确定新的关键帧；

21、在跟踪线程特征匹配过程中，利用动态目标检测线程中动态目标语义信息，剔除动态特征点，提高位姿估计精度；当前图像帧的特征点处于动态目标框内且不处于静态框内时，才将特征点进行剔除；

22、所述局部建图线程对周围的相机位姿进行局部ba以优化重构；在共视图已连接的关键帧中搜索新关键帧中的orb特征匹配点，然后三角化新的地图点；

23、所述回环检测线程主要分为闭环检测和闭环校正两个过程；其中，闭环检测先使用wob进行探测，然后通过sim3算法计算相似变换；闭环校正是闭环融合和essentialgraph的图优化。

技术特征：

1.一种考虑动态目标的智能汽车交通场景建图方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种考虑动态目标的智能汽车交通场景建图方法，其特征在于，所述高动态物体指交通场景中实时运动的物体，包括行走的行人、行驶地车辆；所述低动态物体指交通场景中在一段时间内静止的物体，包括路边短暂停留的行人、停车场的车辆或路边临时停放车辆；所述静态物体指交通场景中永远静止的物体，包括建筑物、马路、路沿、交通信号灯杆；其中，高动态物体和低动态物体在交通场景中存在当前帧为静态物体而下一帧为动态物体的情形；所述利用目标检测算法进行目标检测指选择yolov5目标检测算法对智能汽车交通场景目标进行检测；利用目标检测算法进行目标检测指选择yolov5s作为目标检测模型，获取图像帧中的车辆、行人的目标检测结果。

3.根据权利要求2所述的一种考虑动态目标的智能汽车交通场景建图方法，其特征在于，步骤2进一步包括：使用金字塔-lk光流法对每一图像帧中目标检测框进行筛选，进一步判断物体是否为动态目标；所述金字塔-lk算法是一种两帧差分的光流估计算法，基于以下三个假设条件：(1)场景中目标图像的像素在帧到帧间移动中不发生改变；(2)图像上相机的移动随时间变化缓慢；(3)场景中相同表面的相邻点具有相似的运动，并且其投影到图像平面上的距离也比较近。

4.根据权利要求3所述的一种考虑动态目标的智能汽车交通场景建图方法，其特征在于，所述判断物体是否为动态目标的过程包括求解速度矢量和运动一致性估计两个步骤；其中，求解速度矢量的步骤指利用上述三个假设条件得到图像的约束方程，进而求解光流速度矢量；所述运动一致性估计的步骤是判断动态特征点，包括：首先，通过光流法获取匹配的特征点对，并跟据匹配的特征点对计算基础矩阵；然后，通过基础矩阵和特征点计算特征点对应的极线，当特征点到极线的距离大于一定值，即判断为动态特征点；当目标检测框中包含动态特征点时，则该目标检测框将被判断为动态目标。

5.根据权利要求1所述的一种考虑动态目标的智能汽车交通场景建图方法，其特征在于，对于一组匹配的特征点对m1、m2，其的齐次坐标表示为如(1)所示：

6.根据权利要求1所述的一种考虑动态目标的智能汽车交通场景建图方法，其特征在于，步骤3中的slam系统基于orb-slam2算法，该orb-slam2算法包括跟踪、建图和回环检测三个并行线程；在orb-slam2算法基础上增加了一个可以并行运行的动态目标检测线程构建了满足智能汽车交通场景的建图框架；其中，跟踪线程依次包括提取orb特征、初始姿态估计、局部地图跟踪，选择新关键帧共4个；所述建图线程依次包括插入关键帧、去除外点、生成新地图点、局部ba优化和局部关键帧去重共5个子线程；所述回环检测线程依次包括选取相似帧、检测闭环、融合三维点、图优化共4个子线程；所述动态目标检测线程依次包括yolov5目标检测、感兴趣目标检测信息、lk光流法和下一帧共4个子线程；在所述回环检测线程后进行ba优化环和更新地图；所述提取orb特征子线程连接至lk光流法子线程，lk光流法子线程连接至初始姿态估计子线程。

7.根据权利要求1所述的一种考虑动态目标的智能汽车交通场景建图方法，其特征在于，所述动态目标检测线程用于剔除建图系统提取到的动态特征点，包括交通场景目标检测和动态目标框筛选两部分；首先，选用yolov5目标检测网络对场景中目标进行检测；接着利用光流算法判断交通场景中的目标状态，通过对目标检测框的状态判断来确定跟踪线程中特征点剔除的范围。

8.根据权利要求7所述的一种考虑动态目标的智能汽车交通场景建图方法，其特征在于，所述跟踪线程是从图像中提取orb特征，根据上一帧进行位姿估计，或者进行通过全局重定位初始化位姿，然后跟踪已经重建的局部地图，优化位姿，再根据一些规则确定新的关键帧：

技术总结
本发明公开了一种考虑动态目标的智能汽车交通场景建图方法，包括：步骤1、将智能汽车交通场景目标分为高动态物体、低动态物体、半静态物体和静态物体几种类型进行分析，利用目标检测算法进行目标检测；步骤2、采用LK光流算法对交通场景中特征点进行运动一致性检测，筛选出动态特征点，筛选步骤1所得到的目标检测结果中的动态目标；步骤3、将步骤2得到的动态目标信息融入SLAM系统，剔除特征匹配中动态目标框内特征点，利用静态特征点建立智能汽车交通场景稀疏点云地图。本发明利用智能汽车车载相机构建出交通场景地图，降低了交通场景中动态目标对建图精度的影响，具有较强的在建图实时性。

技术研发人员：董宏辉,刘同同,周悦
受保护的技术使用者：北京交通大学
技术研发日：
技术公布日：2024/3/5