一种基于RGBD视觉分割算法的语义地图构建方法与流程

本发明属于视觉感知领域，具体涉及一种基于rgbd视觉分割算法的语义地图构建方法。

背景技术：

1、机器人能够感知自身所处的位置、周围的障碍物、环境结构等信息，从而实现路径规划、避障、定位和建图等功能。感知建图技术是机器人感知技术一个子集，它是指通过对环境的感知数据进行处理和分析，构建出环境的地图模型，以便智能机器人在其中进行定位和路径规划。高阶的感知建图可以联通机器人和人类的环境感知理解，构建统一的感知地图，同时为机器人和人类的行动提供服务。视觉感知建图利用相机等视觉传感器获取环境信息，进行特征提取和匹配，构建环境地图。这种技术在环境变化较大或需要精细地图表达的环境中具有较大优势。同时具有感知范围大、传感器要求低、建图鲁棒性强等特点，因而广泛的使用在机器人建图和导航中。

2、语义建图是机器人领域的一项关键技术，高阶语义建图的目标是通过建图统一机器人与人类需求兼容、与应用需求匹配、变得易于理解、实现人们期望的交互舒适度。传统的slam地图及特征地图是传统slam算法中常用的地图类型，常被应用于室内导航系统，能够较准确描述环境几何信息，但缺乏语义信息限制了机器人智能化水平，且建图的结果不直观，无法与人类建立统一的理解。几何语义地图具有丰富的语义信息，可提供目标物体类型、空间形态及位置，以及机器人在地图中的位置，但目前仅能使用单一几何体，对目标物体的表述收到制约，同时也受到深度学习的计算需求与硬件计算能力限制。占据栅格地图(occupancy grid)具有精准的语义分割、准确的栅格占据地图和高效的计算能力等优势，可以应用于自动驾驶、机器人导航、虚拟现实、游戏等领域。本发明通过构建高精度的语义栅格地图提供了一种高效、可用的实时构建语义地图的方法，解决多数场景下机器人高阶感知的难点。同时，构建、存储、运用一个可用、普适、简洁的语义地图，解决传统地图存在的冗余性、时效性问题，以提高机器人与不同环境的交互能力，仍是当前研究趋势之一。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种基于rgbd视觉分割算法的语义地图构建方法。

2、实现本发明目的的具体技术方案为：

3、一种基于rgbd视觉分割算法的语义地图构建方法，包括以下步骤：

4、步骤1、初始化各参数，包括相机参数，构建初始全局语义地图，并校正各时间信息，校正机器人定位信息；

5、步骤2、构建视觉分割神经网络模型，并基于此对采集的图像进行视觉语义分割；

6、步骤3、对采集的图像进行计算，将深度图像转化为点云数据，并进行稀疏化处理；

7、步骤4、基于分割后的图像和点云数据进行映射，生成具有语义信息的点云数据；

8、步骤5、将具有语义信息的点云数据与相机外参叠加后投射到实际三维空间，确定每个时刻对应的具有语义信息的空间栅格；

9、步骤6、对获取的不同时刻的空间栅格进行叠加、老化，并基于时序采集的数据构建完整语义地图。

10、相比于现有技术，本发明的有益效果在于：

11、（1）本发明方案相比于常见的激光雷达建图，对设备要求低、可探测范围光、算力要求低、鲁棒性强，实时性高；对周围环境的感知一般基于rgbd相机，相比多模态、occ等方法，具有传感器相对简易，探测范围大，算力要求相对较低的特点，视觉occ可能最多要求6路相机同时进行感知建图工作，算力要求极大，但是这种方法相对来说速度更快；多模态融合的建图是更为传统的方法，具有多种传感器融合的优势；但是对算法来说，训练的数据要求同时采集所有传感器，数据集更高，算法鲁棒性较弱；在使用过程中需要多种传感器数据同步，算力要求也更高，而本方案对设备要求简易，算力要求低，通常在移动设备上可以部署，另外具有实时建图的优点，同时建图精度也可以保证。在提供强算力支撑的情况下可以快速建图；

12、另外，本发明的方案还可以轻易拓展到三维空间建图，用于构建高精度的三维地图或三维重建；

13、（2）本发明方案构建的语义地图的方法是基于像素级的全景语义分割算法，基于像素级的语义分割即使进行稀疏化后配合适当的帧率也可以实现对周围的空间进行稠密感知，可以达到非常高的精细程度。

14、下面结合具体实施方式对本发明做进一步的说明。

技术特征：

1.一种基于rgbd视觉分割算法的语义地图构建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于rgbd视觉分割算法的语义地图构建方法，其特征在于，所述步骤1中的相机参数包括相机的内参、外参初始化以及校正；

3.根据权利要求1所述的基于rgbd视觉分割算法的语义地图构建方法，其特征在于，所述步骤2中的视觉分割神经网络模型指利用神经网络对图像进行处理，获得期望的语义分割结果，其中图像的每个像素最终转换成一种语义表示，代表图片中对应像素所属类别或纹理材质；

4.根据权利要求1所述的基于rgbd视觉分割算法的语义地图构建方法，其特征在于，所述步骤3中的深度图像处理，包括：

5.根据权利要求4所述的基于rgbd视觉分割算法的语义地图构建方法，其特征在于，所述步骤3-2中对深度图先进行降采样，以降低图像的分辨率，并对低分辨率的深度图进行点云转换，从而获得稀疏化的点云数据。

6.根据权利要求1所述的基于rgbd视觉分割算法的语义地图构建方法，其特征在于，所述步骤4中的对分割后的图像和点云数据进行映射，具体为：

7.根据权利要求6所述的基于rgbd视觉分割算法的语义地图构建方法，其特征在于，所述步骤5中的确定每个时刻对应的具有语义信息的空间栅格，具体为：

8.根据权利要求7所述的基于rgbd视觉分割算法的语义地图构建方法，其特征在于，所述步骤6中的对获取的不同时刻的空间栅格进行叠加、老化，并基于时序采集的数据构建完整语义地图，具体为：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述方法的步骤。

10.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法的步骤。

技术总结
本发明公开了一种基于RGBD视觉分割算法的语义地图构建方法，首先初始化各参数，并构建视觉分割神经网络模型，并基于此对采集的图像进行视觉语义分割，对采集的图像进行计算，将深度图像转化为点云数据，并进行稀疏化处理，之后生成具有语义信息的点云数据，与相机外参叠加后投射到实际三维空间，确定每个时刻对应的具有语义信息的空间栅格，对获取的不同时刻的空间栅格进行叠加、老化，并基于时序采集的数据构建完整语义地图。本发明方案对设备要求低、可探测范围光、算力要求低、鲁棒性强，构建的语义地图即使进行稀疏化后配合适当的帧率也可以实现对周围的空间进行稠密感知，可以达到非常高的精细程度。

技术研发人员：詹卿,谢隽然,尚智泉,江闻涛,张曼,崔贤良,尚鹏辉
受保护的技术使用者：杭州智元研究院有限公司
技术研发日：
技术公布日：2025/1/20