多设备协同视觉惯性联合建图方法、装置及系统

本发明涉及导航定位，尤其涉及一种多设备协同视觉惯性联合建图方法、装置及系统。

背景技术：

1、在突发事件应急处置、应急救援等工作中，需要快速了解事发场地特别是室内建筑结构，便于工作组织，行动、撤退路线确定和作为室内定位的底图。

2、目前，针对室内场景的三维重建主要采用背负式或推扫式三维数据采集设备进行即时定位与地图构建（simultaneous localization and mapping，以下简称slam），这些设备通过自身安装的惯性导航、多路摄像头、激光雷达等传感器感知周围环境和自身信息，并由专人专门操作，根据感知到的信息进行机器人位姿估计和构建与周围环境一致的地图。虽然，建图精度、精细程度较高，但感知数据往往需要采集后处理，对于突发事件应急处置、应急救援等工作，其建图的时效性较低。

技术实现思路

1、本发明提供一种多设备协同视觉惯性联合建图方法、装置及系统，用以解决现有技术中建图的时效性较低的缺陷。

2、本发明提供一种多设备协同视觉惯性联合建图方法，应用于与服务器通信连接的任一移动平台，所述方法包括：

3、根据所述移动平台对未知环境所采集的当前传感数据，确定所述移动平台的当前位姿信息；

4、根据所述当前传感数据和所述当前传感数据的上一传感数据，确定特征点集合；

5、基于移动平台的当前位姿信息和所述特征点集合，将所解算出的每一特征点的特征点空间坐标和特征描述子发送至服务器，以供所述服务器基于每一特征点的特征点空间坐标和特征描述子建立起所述未知环境的地图；

6、其中，所述当前传感数据包括点云数据、图像数据、姿态数据和导航定位数据中的一种或者多种。

7、根据本发明提供的一种多设备协同视觉惯性联合建图方法，所述根据所述当前传感数据和所述当前传感数据的上一传感数据，确定特征点集合，包括：

8、在确定所述当前传感数据包括点云数据时，利用描述符匹配方法将当前点云数据和上一点云数据进行匹配和筛选，获取所述特征点集合。

9、根据本发明提供的一种多设备协同视觉惯性联合建图方法，所述根据所述当前传感数据和所述当前传感数据的上一传感数据，确定特征点集合，包括：

10、在确定所述当前传感数据包括rgb图像数据和深度图像数据时，利用描述符匹配方法将当前rgb图像数据和上一rgb图像数据进行匹配，获取候选特征点；

11、利用所述深度图像数据对所述候选特征点进行筛选，获取所述特征点集合。

12、本发明还提供一种多设备协同视觉惯性联合建图方法，应用于与多个移动平台通信连接的服务器，所述方法包括：

13、基于各移动平台上传的所有特征点的特征点空间坐标和特征描述子进行匹配跟踪，获取匹配特征点对；

14、利用最小二乘原理对所述匹配特征点对进行合并，将所得到的合并特征点的特征点空间坐标作为地图点，以使得根据所有移动平台的地图点建立起未知环境的地图。

15、根据本发明提供的一种多设备协同视觉惯性联合建图方法，所述利用最小二乘原理对所述匹配特征点对进行合并，包括如下步骤：

16、基于每一组匹配特征点对，获取空间坐标差异信息；

17、通过最小二乘原理将所述空间坐标差异信息最小化，得到所述合并特征点的特征点空间坐标。

18、根据本发明提供的一种多设备协同视觉惯性联合建图方法，所述基于各移动平台上传的所有特征点的特征点空间坐标和特征描述子进行匹配跟踪，获取匹配特征点对，包括：

19、将符合约束条件的特征点作为目标特征点，并基于所述目标特征点的特征点空间坐标和特征描述子进行匹配跟踪，获取所述匹配特征点对；

20、其中，所述约束条件是根据时间窗口阈值和/或空间距离阈值设置的。

21、本发明还提供一种多设备协同视觉惯性联合建图装置，设置于与服务器通信连接的任一移动平台，所述装置包括：

22、初始位姿获取模块，用于根据所述移动平台对未知环境所采集的当前传感数据，确定所述移动平台的当前位姿信息；

23、特征点提取模块，用于根据所述当前传感数据和所述当前传感数据的上一传感数据，确定特征点集合；

24、空间坐标解析模块，用于基于移动平台的当前位姿信息和所述特征点集合，将所解算出的每一特征点的特征点空间坐标和特征描述子发送至服务器，以供所述服务器基于每一特征点的特征点空间坐标和特征描述子建立起所述未知环境的地图；

25、其中，所述当前传感数据包括点云数据、图像数据、姿态数据和导航定位数据中的一种或者多种。

26、本发明还提供一种多设备协同视觉惯性联合建图装置，设置于与多个移动平台通信连接的服务器，所述装置包括：

27、特征点匹配模块，用于基于各移动平台上传的所有特征点的特征点空间坐标和特征描述子进行匹配跟踪，获取匹配特征点对；

28、建图模块，用于利用最小二乘原理对所述匹配特征点对进行合并，将所得到的合并特征点的特征点空间坐标作为地图点，以使得根据所有移动平台的地图点建立起未知环境的地图。

29、本发明还提供一种多设备协同视觉惯性联合建图系统，包括同处于未知环境下的多个移动平台，以及远程的服务器；每一所述移动平台与所述服务器通信连接；

30、所述移动平台，包括在移动平台本体上固定设置且通信连接的第一控制处理器和传感装置；所述传感装置，用于对所述移动平台本体的周围场景采集相应的传感数据；所述第一控制处理器，用于执行程序时实现如上任一项所述多设备协同视觉惯性联合建图方法；

31、所述服务器，包括存储器、第二控制处理器及存储在存储器上并可在第二控制处理器上运行的计算机程序，所述第二控制处理器执行所述程序时实现如上任一项所述多设备协同视觉惯性联合建图方法；

32、其中，所述移动平台本体包括增强现实、混合现实眼镜和智能机器人；所述传感装置包括双目摄像机、rgb相机、深度相机和激光雷达中的一种或者多种。

33、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多设备协同视觉惯性联合建图方法。

34、本发明提供的多设备协同视觉惯性联合建图方法、装置及系统，将移动平台作为前端，采用视觉惯性方法获取移动平台在未知环境中的当前位姿信息，结合从移动平台所感知到的当前传感数据中所提取出的与上一传感数据匹配的特征点集合进行解算，并将解算得到的每一特征点的特征描述子以及其在世界坐标系中的特征点空间坐标上传至后端的服务器，进而估算相邻图像间的相机运动并构建局部地图进行建图。能够通过将slam的执行过程分离开来，由前端的移动平台在感知环境的过程中对传感数据进行即时处理，得到粗粒度的位姿估计结果，再由后端的服务器一并对不同移动平台位姿估计进行优化，拼接成完整的地图，既保证建图的时效性，又提高建图精度，尤其能为突发事件快速提供处理依据。

技术特征：

1.一种多设备协同视觉惯性联合建图方法，其特征在于，应用于与服务器通信连接的任一移动平台，所述方法包括：

2.根据权利要求1所述的多设备协同视觉惯性联合建图方法，其特征在于，所述根据所述当前传感数据和所述当前传感数据的上一传感数据，确定特征点集合，包括：

3.根据权利要求1所述的多设备协同视觉惯性联合建图方法，其特征在于，所述根据所述当前传感数据和所述当前传感数据的上一传感数据，确定特征点集合，包括：

4.一种多设备协同视觉惯性联合建图方法，其特征在于，应用于与多个移动平台通信连接的服务器，所述方法包括：

5.根据权利要求4所述的多设备协同视觉惯性联合建图方法，其特征在于，所述利用最小二乘原理对所述匹配特征点对进行合并，包括如下步骤：

6.根据权利要求4所述的多设备协同视觉惯性联合建图方法，其特征在于，所述基于各移动平台上传的所有特征点的特征点空间坐标和特征描述子进行匹配跟踪，获取匹配特征点对，包括：

7.一种多设备协同视觉惯性联合建图装置，其特征在于，设置于与服务器通信连接的任一移动平台，所述装置包括：

8.一种多设备协同视觉惯性联合建图装置，其特征在于，设置于与多个移动平台通信连接的服务器，所述装置包括：

9.一种多设备协同视觉惯性联合建图系统，其特征在于，包括同处于未知环境下的多个移动平台，以及远程的服务器；每一所述移动平台与所述服务器通信连接；

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多设备协同视觉惯性联合建图方法。

技术总结
本发明提供一种多设备协同视觉惯性联合建图方法、装置及系统，属于导航定位技术领域，该方法包括：根据所述移动平台对未知环境所采集的当前传感数据，确定所述移动平台的当前位姿信息；根据所述当前传感数据和所述当前传感数据的上一传感数据，确定特征点集合；基于移动平台的当前位姿信息和所述特征点集合，将所解算出的每一特征点的特征点空间坐标和特征描述子发送至服务器，以供所述服务器基于每一特征点的特征点空间坐标和特征描述子建立起所述未知环境的地图。本发明提供的多设备协同视觉惯性联合建图方法、装置及系统，能够既保证建图的时效性，又提高建图精度，尤其能为突发事件快速提供处理依据。

技术研发人员：夏昊
受保护的技术使用者：中国科学院空天信息创新研究院
技术研发日：
技术公布日：2024/9/19