基于相机激光雷达融合的点云动态物体滤除方法

本发明涉及基于相机激光雷达融合的点云动态物体滤除方法，属于移动机器人自主导航领域。

背景技术：

1、随着科学技术的发展和社会需求的增加，机器人已经慢慢走进了人们的生活，应用场景也越来越广泛，在人类生活各方面都发挥着越来越大的作用。目前，随着人工智能领域的蓬勃发展，移动机器人产业也迎来了一个快速发展的时期，越来越多的移动机器人产品慢慢从实验走向落地应用，如在室内场景下的餐厅服务机器人、家用扫地机器人等，在室外场景下的园区清洁机器人、仓储物流机器人等，人们也对移动机器人的自主性和智能性提出了更高的要求。特别在一些特殊场景下，如灾后搜救，高空作业，超高/低温、强辐射等极端环境，以及深空行星探测领域，机器人都具备不可替代的优势，可以辅助人类完成任务。机器人的出现有效地提高了生产力，不断提高其智能性与自主性也是未来机器人领域重要的发展方向之一。

2、对于移动机器人实现无人化智能化的需求，拥有可靠的自主导航能力至关重要，移动机器人的自主导航也一直是比较热门的研究领域，而即时定位与建图(slam)技术是解决移动机器人自主导航问题的关键。有了精确且稳定的slam算法，机器人可以获得自身的位姿并感知周围的环境结构信息进行建图，配合运动规划算法可以搜索出一条到目标点的可通行路径，从而完成自主导航。

3、其中，通过激光雷达和相机等传感器，机器人可以在线重建周围环境的空间结构信息，然而，大多数现有的slam方法都假设机器人感知的环境是静态和时不变的，这种假设严重影响了slam系统在实际场景中的适用性。动态物体会使最终生成的地图中带有大量的拖影，这对后期基于地图的定位、或者基于地图的路径规划都将产生不利的影响。动态物体还会使得当前观测与先验地图存在偏差，可能导致定位漂移或失败。

4、而现有一些技术，通过在环境中安装外部反光板来缓解动态场景下机器人定位精度下降的现象，这种方式需要事先在外部环境的固定位置安装好反光板作为路标，没有完全发挥移动机器人自身传感器的性能，受到环境的限制。

5、此外，随着深度学习领域的快速发展，神经网络成为了处理大规模三维点云数据的新手段。最理想的在线滤除动态点的方式为直接输入当前帧点云，通过三维点云目标检测或语义分割算法端到端地输出动态点。然而，由于点云信息具有无序性、稀疏性、尺度不变性和规模大等特点，现有的处理点云的深度学习算法计算成本很高，通常需要搭配性能非常好的专业图形显卡才能满足计算资源的要求，这对移动机器人这种负载有限、计算资源受限的平台来说通常是很难实现的。

技术实现思路

1、本发明提供基于相机激光雷达融合的点云动态物体滤除方法，旨在至少解决现有技术中存在的技术问题之一。

2、本发明的技术方案涉及点云动态物体滤除方法，基于数据采集平台，所述数据采集平台设置有相机和激光雷达，根据本发明的方法包括以下步骤：

3、s100、通过所述激光雷达获取实时的点云，以及通过所述相机同步获取实时的图像；其中，所述相机和所述激光雷达采用外参自动标定方法进行外参的预标定；

4、s200、通过基于深度学习的视觉目标检测网络获得所述图像中动态对象检测框；

5、s300、根据预标定获得的外参将所述点云投影到所述图像中；

6、s400、结合投影到所述图像上的点云，筛选出所述动态对象检测框内的点云后，对所述动态对象检测框内的点云进行聚类分割后滤除。

7、进一步，所述相机和所述激光雷达的外参标定包括以下步骤：

8、s110、对原始的所述点云提取出深度连续的点云边缘特征，对原始的所述图像提取图像边缘特征；

9、s120、对所述点云边缘特征与所述图像边缘特征进行匹配；

10、s130、根据成功找到的匹配特征点，构建非线性优化方程。

11、进一步，所述步骤s110中，对原始的所述图像使用canny边缘检测算法提取所述图像中的边缘特征，其包括以下步骤：

12、s111、将所述激光雷达获取原始点云数据累积一段时间，以形成较为稠密的点云；

13、s112、对所述点云进行体素化；

14、s113、对每个体素拟合平面并保留其中形成一定角度的相邻平面对，通过求解所述相邻平面对的交线，以提取点云边缘特征。

15、进一步所述步骤s120包括以下步骤：

16、s121、根据初始外参将所述点云边缘特征投影到图像上：

17、

18、式中，lpi表示一个点云边缘特征点；pi＝(ui,vi)表示将上述点云边缘特征点投影到图像平面上得到的点；表示从雷达坐标系到相机系的初始外参旋转；表示从雷达坐标系到相机系的初始外参平移；π(p)表示所述相机的针孔模型；f(p)表示所述相机的畸变模型。初始外参通常由手工测量获得。

19、s122、通过k近邻搜索在pi周围寻找k个最近的图像边缘特征点，记为集合以获得上述k个图像边缘特征点的方向向量；其中，通过如下公式计算获得上述k个图像边缘特征点的方向向量：

20、

21、

22、式中，上述图像边缘特征像素点的均值为qi及协方差矩阵为si；

23、将协方差矩阵si的最大特征值对应的特征向量设置为所述图像边缘特征的方向向量，以通过方向向量的近似程度进一步将点云边缘特征和图像边缘特征进行筛选匹配。

24、进一步，其中，所述步骤s130中，构建的用于联合标定的所述非线性优化方程表示如下：

25、

26、式中，n表示点云边缘特征和图像边缘特征的匹配数量。

27、进一步，其中，所述步骤s300中，所述点云投影到图像平面下的像素坐标[u v]t通过如下计算获得：

28、

29、式中，表示所述激光雷达采集的一帧点云数据中的任一点； 表示所述激光雷达和所述相机之间的外参； 表示所述相机的内参。

30、本发明的技术方案还涉及计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施上述的方法。

31、本发明的技术方案还涉及基于相机激光雷达融合的点云动态物体滤除系统，所述系统包括计算机装置，该计算机装置包含上述计算机可读存储介质。

32、进一步，点云动态物体滤除系统还包括数据采集平台，所述数据采集平台包括相机和激光雷达，所述相机和所述激光雷达通过3d打印结构件连接。

33、本发明的有益效果如下：

34、本发明基于相机激光雷达融合的点云动态物体滤除方法，结合相机和激光雷达两种不同的传感器，进行点云动态物体滤除，可改善自主移动机器人在动态场景下的定位精度，并能有效缓解动态物体对于建图的影响。本发明使用激光雷达和相机作为最小的传感器单元，使用的激光雷达型号是livox avia固态激光雷达，其具有和相机近似的的fov，通过对图像实施目标检测，避免了使用深度学习算法直接对点云进行检测，降低了算力需求，采用的视觉目标检测算法可以轻量化部署到机器人端所搭载的计算平台上，整个实时动态点云滤除过程可以达到很高的计算效率，因此可以很方便地作为预处理过程加入到激光slam算法中，可以有效减轻动态物体在建图时产生拖影的现象。