一种3D运动物体追踪方法及系统、存储介质与流程

本发明涉及计算机视觉技术，尤其涉及结合图像纹理信息及点云技术来追踪3d运动物体的方法及系统、存储介质。

背景技术：

1、现有3d运动物体追踪技术，主要基于视觉传感器，对时间序列的单个或多个运动物体，在三维空间中的位置和姿态，进行实时识别与跟踪。在无人驾驶汽车等自动化领域中，3d运动物体追踪技术，可以检测和跟踪周围车辆和行人的运动状态。该信息在后续无人汽车的路径规划中，为预测运动物体在未来一段时间的运动状态，提供了依据，以供引导无人汽车实现更为智能的运动轨迹及避障方式。

2、目前借助于利用纹理图像的特征表达能力，当前主流的追踪研究方法都是基于彩色图像信息来实现，例如根据技术方向来分，主要有光流法，即通过计算视频序列中相邻帧之间的像素变化来估计物体运动，因此光流法的思路简单有效，但也有一些局限性，如不适用于对快速运动的物体和复杂背景的处理。而特征提取和匹配法，该方法首先从图像中提取出具有代表性的特征，进而根据这些特征追踪物体的运动。其中传统的特征匹配方法包括sift（scale-invariant feature transform）、surf（speeded up robust features）和orb（oriented fast and rotated brief）等特征检测器和描述符。然而特征匹配方法的缺陷在于其，往往只能关注单个特征点的匹配与跟踪，容易出现相邻帧特征匹配失败导致的跟踪丢失问题。

3、此外，在深度学习的感知技术方面，yolo（you only look once），faster r-cnn（region convolutional neural networks）等神经网络模型，为图像识别和目标追踪提供了新的解决方案。基于深度学习的追踪方法建立在物体准确识别基础上，因此对训练样本以外物体的追踪效果不佳。同时基于图像的追踪方法无法得到运动物体的真实位置和运动方法，往往无法为无人汽车的轨迹规划提供依据。

4、另一方面，由于三维点云是当前高效获取空间三维信息的基础，但是受限于点云数据中只有物体的空间位置信息，特征表达能力弱。因此直接从点云信息中实现目标物体的识别与追踪相对比较困难。同时由于点云数据量比较大，想要满足运动物体追踪的时序性要求，会对计算性能有着极大的考验。

5、鉴于上述现有技术存在的种种不足，发明人认为如果能同时利用纹理图像信息的物体特征表达能力和点云的3d位置感知能力，就能整体提升3d运动物体的追踪能力。

技术实现思路

1、为此，本发明的主要目的在于提供一种3d运动物体追踪方法及系统、存储介质，以结合纹理图像信息的物体特征表达能力和点云的3d位置感知能力的优势，来解决背景技术中现有技术的缺陷。

2、为了实现上述目的，根据本发明的第一个方面，提供了一种3d运动物体追踪方法，步骤包括：

3、建立数据帧中场景图像的像素点，与场景点云的三维点的时空映射关系；

4、提取场景图像中的特征点及其特征描述子；将场景图像中的各个特征点与其特征描述子进行编码，获得基于位置信息的新特征描述子；

5、对场景点云做聚类分割，获取聚类集合；根据时空映射关系筛选出聚类集合中对应的目标特征点；

6、匹配相邻数据帧之间，新特征描述子相似的目标特征点，以归于相同目标。

7、在可能的优选实施方式中，所述3d运动物体追踪方法的步骤还包括：通过计算各新特征描述子的相似度，来整合当前场景图像中每个特征点与其他特征点的位置信息，以更新各特征点的新特征描述子。

8、在可能的优选实施方式中，所述3d运动物体追踪方法的步骤还包括：通过计算相邻数据帧场景图像之间新特征描述子的相似度，来整合相邻数据帧场景图像之间各特征点的位置信息，以更新各相邻数据帧场景图像中各特征点的新特征描述子。

9、在可能的优选实施方式中，其中对场景点云做聚类分割，获取聚类集合的步骤包括：

10、将场景点云帧网格化分割，计算各网格内点云的法向方向；

11、将相邻且法向方向基本一致的网格聚类；将聚类网格内的点云记为聚类集合。

12、在可能的优选实施方式中，其中根据时空映射关系筛选出聚类集合中对应的目标特征点的步骤包括：

13、根据时空映射关系，获取聚类集合在场景图像上的映射点，以建立凸包；

14、将处于凸包内的各特征点记为目标特征点。

15、为了实现上述目的，根据本发明的第二个方面，还提供了一种3d运动物体追踪方法，步骤包括：

16、建立数据帧中场景图像的像素点，与场景点云的三维点的时空映射关系；

17、提取场景图像中的特征点及其特征描述子；将场景图像中的各个特征点与其特征描述子进行编码，获得基于位置信息的新特征描述子；

18、对场景点云做聚类分割，获取聚类集合；根据时空映射关系筛选出聚类集合中对应的目标特征点；

19、匹配相邻数据帧之间，新特征描述子相似的目标特征点，以归于相同目标；

20、为聚类集合建立包围盒，取得包围盒参数信息；根据相邻数据帧的时间差及包围盒参数信息，计算相邻数据帧中相同目标包围盒的运动方向和速度。

21、在可能的优选实施方式中，所述3d运动物体追踪方法的步骤还包括：通过计算各新特征描述子的相似度，来整合当前场景图像中每个特征点与其他特征点的位置信息，以更新各特征点的新特征描述子。

22、在可能的优选实施方式中，所述3d运动物体追踪方法的步骤还包括：通过计算相邻数据帧场景图像之间新特征描述子的相似度，来整合相邻数据帧场景图像之间各特征点的位置信息，以更新各相邻数据帧场景图像中各特征点的新特征描述子。

23、在可能的优选实施方式中，其中对场景点云做聚类分割，获取聚类集合的步骤包括：

24、将场景点云帧网格化分割，计算各网格内点云的法向方向；

25、将相邻且法向方向基本一致的网格聚类；将聚类网格内的点云记为聚类集合。

26、在可能的优选实施方式中，其中根据时空映射关系筛选出聚类集合中对应的目标特征点的步骤包括：

27、根据时空映射关系，获取聚类集合在场景图像上的映射点，以建立凸包；

28、将处于凸包内的各特征点记为目标特征点。

29、为了实现上述目的，对应上述方法，根据本发明的第三个方面，还提供了一种3d运动物体追踪系统，其包括：

30、存储单元，用于存储包括如上任一所述3d运动物体追踪方法步骤的程序，以供数据采集单元、处理单元适时调取执行；

31、数据采集单元，用于采集场景图像及场景点云数据；

32、处理单元，用于计算场景图像的像素点与场景点云的三维点的时空映射关系； 提取场景图像中的特征点及其特征描述子；将场景图像中的各个特征点与其特征描述子进行编码，获得基于位置信息的新特征描述子；对场景点云做聚类分割，获取聚类集合；根据时空映射关系筛选出聚类集合中对应的目标特征点；匹配相邻数据帧之间，新特征描述子相似的目标特征点，以归于相同目标。

33、在可能的优选实施方式中，处理单元还用于，计算聚类集合的包围盒，获取包围盒参数信息；根据相邻数据帧的时间差及包围盒参数信息，计算相邻数据帧中相同目标包围盒的运动方向和速度。

34、为了实现上述目的，对应上述方法，根据本发明的第四个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时，实现如上中任一所述3d运动物体追踪方法的步骤。

35、通过本发明提供的该3d运动物体追踪方法及系统、存储介质，巧妙的在传统特征描述子表征特征点周围像素形态的基础上，提出了各特征点与其他相似特征点位置关系判断的设计构思，从而可通过判断周围相似像素的位置差异关系，能够有效避免相似纹理和镜像纹理导致的特征误匹配的问题，并适于处理复杂背景场景，从而有效提升匹配准确率及场景适应性。而在此基础上，通过本发明提出的时空映射关系，弥补了点云对于目标物体识别与追踪能力不足的问题，以在无需识别具体目标物体的基础上，通过匹配新特征描述子的方式，识别出相同目标物体以进行追踪。