一种基于视觉的室内外一体化地图构建系统及其构建方法与流程

本发明属于地图构建技术领域，更具体地，涉及一种基于视觉的室内外一体化地图构建系统及其构建方法。

背景技术：

随着我国经济水平和人们生活水平的提高以及科学技术的发展，机器人也被逐渐应用到了人们的生活之中，如巡检机器人和扫地机器人等。这些机器人都可以极大程度的提高工作效率和生活水平。不论是什么机器人，要想正常工作都需要提前构建好对应场景的地图。

机器人在场景的划分中一般分为两类：室内场景和室外场景。根据场景的划分，机器人可以构建室内地图和室外地图。但是，由于现有的三维重建算法很难兼顾室内和室外场景，所以，目前的机器人基本都是分场景工作的。但是，很多情况下，机器人是需要在同一场景的室内和室外场景下工作，为了提升机器人的工作效率，需要构建出复杂场景下的室内外一体化地图。

技术实现要素：

本发明为克服上述现有技术中的缺陷，提供一种基于视觉的室内外一体化地图构建系统及其构建方法，实现室内外一体化地图构建，提升了地图构建的效率和精度。

为解决上述技术问题，本发明采用的技术方案是：一种基于视觉的室内外一体化地图构建系统，包括：

基准制定模块：用于设定三维地图的三轴单位向量(东北天/北东地等)，制定统一的室内外通用的地图规则，使得构建的室内和室外场景的三维地图处于同一个地图基准中，并将该基准输入数据处理模块；

数据处理模块：用于基于制定的室内外一体化基准，对同一环境下的室内场景和室外场景进行视觉传感器数据采集，构建同一基准下的室内地图和室外地图，并将室内和室外地图输入特征提取模块；

特征提取模块：用于对室内和室外场景三维地图进行诸如门，窗等室内外共有部件的语义信息和图像纹理的提取，得到室内外场景共有的语义信息和图像特征，并将语义信息和图像特征输入特征对齐模块；

特征对齐模块：用于根据提取的语义信息和图像特征，结合共有部件语义和特征一致性的原理，对语义信息进行部件最大化对齐，对图像特征使用图像匹配算法，实现语义信息和图像特征的对齐，得到室内和室外地图的姿态变换关系，并将该姿态变换矩阵输入地图融合模块；

地图融合模块：用于基于室内和室外地图的姿态变换关系，对室内场景和室外场景三维地图进行图像变换，融合为一个完整的三维地图，实现室内外一体化地图构建。

进一步的，所述数据处理模块使用视觉传感器根据制定的地图基准，进行室内和室外数据的采集。

作为优选的，所述基准制定模块制定的基准需符合实际的室内外场景，设定相同的三维地图的单位向量。

作为优选的，所述视觉传感器为多颗单目相机或多目相机组成的组合相机。

本发明还提供一种基于视觉的室内外一体化地图构建方法，包括以下步骤：

s1.使用基准制定模块设定三维场景地图的三轴单位向量，制定统一的室内和室外地图规则；

s2.使用数据处理模块的视觉传感器，对多颗单目相机或多目相机组成的组合相机进行标定，获取摄像头的内外参数，对组合相机采集到的图像进行校正；

s3.数据处理模块根据制定的地图标准，采集室内和室外数据，并使用基于视觉的三维重建方法，构建室内和室外三维地图；

s4.特征提取模块基于室内和室外三维地图，提取室内外共有的语义部件信息和图像特征，以便计算室内和室外三维地图间的姿态变换矩阵；

s5.特征提取模块基于共有部件语义一致性的原理，使用语义匹配算法，匹配室内和室外三维地图的语义信息；

s6.特征提取模块根据室内外共有场景特征一致性的原理，使用基于ransac的图像匹配算法，匹配提取的室内和室外图像特征信息

s7.特征对齐模块根据语义部件信息和图像特征信息匹配的结果，进行语义部件最大化对齐和图像像素点对齐，实现室内和室外特征信息的对齐，得到姿态变换矩阵，并输入到地图融合模块；

s8.地图融合模块根据提取的室内外三维地图的姿态变换矩阵，对基于同一地图基准的室内和室外地图进行三维像素点变换，最终构建出基于视觉的室内外一体化地图。

与现有技术相比，有益效果是：

1.本发明通过制定统一的室内外的地图基准，对室内地图和室外地图进行语义信息和图像特征提取，匹配与对齐，实现室内外一体化地图构建，提升了地图构建的效率和精度；

2.本发明的组合相机相比于单目相机获取深度信息，相比于激光雷达成本节省很多，可以获取图像色彩信息，便于直观的对数据进行可视化操作；

3.本发明操作流程简单，成本低，适用范围广，各种复杂室内外场景均可使用。

附图说明

图1是本发明地图构建系统示意图。

图2是本发明地图构建方法流程示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。

实施例1：

如图1所示，一种基于视觉的室内外一体化地图构建系统，包括：

基准制定模块：用于设定三维地图的三轴单位向量(东北天/北东地等)，制定统一的室内外通用的地图规则，使得构建的室内和室外场景的三维地图处于同一个地图基准中，并将该基准输入数据处理模块；

数据处理模块：用于基于制定的室内外一体化基准，对同一环境下的室内场景和室外场景进行视觉传感器数据采集，构建同一基准下的室内地图和室外地图，并将室内和室外地图输入特征提取模块；

特征提取模块：用于对室内和室外场景三维地图进行诸如门，窗等室内外共有部件的语义信息和图像纹理的提取，得到室内外场景共有的语义信息和图像特征，并将语义信息和图像特征输入特征对齐模块；

特征对齐模块：用于根据提取的语义信息和图像特征，结合共有部件语义和特征一致性的原理，对语义信息进行部件最大化对齐，对图像特征使用图像匹配算法，实现语义信息和图像特征的对齐，得到室内和室外地图的姿态变换关系，并将该姿态变换矩阵输入地图融合模块；

地图融合模块：用于基于室内和室外地图的姿态变换关系，对室内场景和室外场景三维地图进行图像变换，融合为一个完整的三维地图，实现室内外一体化地图构建。

本发明应用场景为在相同环境下室内和室外场景需包含共有的语义部件和特征信息。

实施例2

如图2所示，一种基于视觉的室内外一体化地图构建方法，包括以下步骤：

步骤1.基准制定模块设定三维场景地图的三轴单位向量，制定统一的室内和室外地图规则；

步骤2.数据处理模块包括视觉传感器，对多颗单目相机或多目相机组成的组合相机进行标定，获取摄像头的内外参数，对组合相机采集到的图像进行校正；

步骤3.数据处理模块根据制定的地图标准，采集室内和室外数据，并使用基于视觉的三维重建方法，构建室内和室外三维地图；

步骤4.特征提取模块基于室内和室外三维地图，提取室内外共有的语义部件信息和图像特征，以便计算室内和室外三维地图间的姿态变换矩阵；

步骤5.特征提取模块基于共有部件语义一致性的原理，使用语义匹配算法，匹配室内和室外三维地图的语义信息；

步骤6.特征提取模块根据室内外共有场景特征一致性的原理，使用基于ransac的图像匹配算法，匹配提取的室内和室外图像特征信息；

步骤7.特征对齐模块根据语义部件信息和图像特征信息匹配的结果，进行语义部件最大化对齐和图像像素点对齐，实现室内和室外特征信息的对齐，得到姿态变换矩阵，并输入到地图融合模块；

步骤8.地图融合模块根据提取的室内外三维地图的姿态变换矩阵，对基于同一地图基准的室内和室外地图进行三维像素点变换，最终构建出基于视觉的室内外一体化地图。

其中，基准制定模块制定的基准需符合实际的室内外场景，设定相同的三维地图的单位向量；数据处理模块使用视觉传感器根据制定的地图基准，进行室内和室外数据的采集。

在本实施例中，数据处理模块使用的视觉传感器为多颗单目相机或多目相机组成的组合相机。

在本实施例中，数据处理模块使用的三维重建方案可根据室内和室外场景选取不同的方法，构建同一地图基准下室内和室外地图。特征提取模块对室内和室外三维地图的共有语义部件和图像特征。

另外，特征对齐模块基于共有部件语义和特征一致性进行语义匹配和图像匹配，得到室内地图和室外地图的姿态变换矩阵。

其中，所述地图融合模块根据姿态变换矩阵对室内三维地图和室外三维地图进行图像变换，实现室内外地图融合，构建室内外一体化地图。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。