一种基于多智能体协同的融合建图方法、设备及介质与流程

本说明书涉及融合建图，尤其涉及一种基于多智能体协同的融合建图方法、设备及介质。

背景技术：

1、目前，包括移动机器人在内的智能体实现室内自主导航大多依赖已知地图。通过同步建图定位技术(simultaneous localization and mapping，slam)，智能体利用传感器(激光雷达、视觉传感器等)获取周围环境信息，构建临时局部环境地图，同时求取智能体在该环境地图中的位姿，并最终获得导航用全局地图。单一设备的建图定位技术已具备完善成熟的算法体系和关键技术思路。然而，在机器人产品复杂多样的实际应用场景中，建图定位技术无法满足大型场景建图的需求。

2、随着各类智能体的普及，越来越大的场景使用到移动机器人等智能体，例如数据中心、大型商超以及其他一个走廊连接多个房间的大型场景，在数据中心内有一排一排分布的服务器，同样地，大型商超内有一排一排的货柜。针对大型场景的场景特点，使用单一设备进行定位时，需要在大型场景内遍历全部区域。因此，针对大型场景，现有建图定位技术多应用于单一设备，在大场景下建图定位存在效率低、耗时长的问题。

技术实现思路

1、本说明书一个或多个实施例提供了一种基于多智能体协同的融合建图方法、设备及介质，用于解决如下技术问题：针对大型场景，现有建图定位技术多应用于单一设备，在大场景下建图定位存在效率低、耗时长的问题。

2、本说明书一个或多个实施例采用下述技术方案：

3、本说明书一个或多个实施例提供一种基于多智能体协同的融合建图方法，其特征在于，所述方法包括：获取预先设置的多智能体设备的设备类型，以基于每个所述智能体设备的设备类型和预先确定的建图区域，得到每个所述智能体设备对应的建图子区域，其中，所述设备类型包括主智能体设备和辅智能体设备，所述建图子区域包括主干区域和多个支干区域；通过每个所述智能体设备，分别采集对应建图子区域的子区域视觉特征数据，以根据所述区域视觉特征数据，对所述建图子区域进行同步建图，得到主干区域地图和多个支干区域地图；基于多个所述子区域视觉特征数据，判断所述主干区域地图和所述支干区域地图是否具备地图融合条件；当所述主干区域地图和所述支干区域地图具备地图融合条件时，通过多视角几何方法，根据所述主干区域地图和所述支干区域地图进行特征融合，构建全场景三维定位地图；获取所述子区域视觉特征数据对应的子区域点云片段，以通过所述子区域点云片段和所述全场景三维定位地图进行点云拼接，得到全场景三维点云地图。

4、进一步地，基于每个所述智能体设备的设备类型，进行建图区域划分，得到每个所述智能体设备对应的建图子区域，具体包括：确定所述多个智能体设备中的主智能体设备和多个辅智能体设备；获取所述建图区域的区域分布图，将所述区域分布图，分为多个建图子区域；在所述多个建图子区域中确定出主干区域，其中，所述主干区域为贯穿所述建图区域的建图子区域；将除所述主干区域之外的多个其他建图子区域作为支干区域；将所述主智能体设备与所述主干区域进行关联，以通过所述主智能体设备对所述主干区域进行建图；将所述多个辅智能体设备与所述多个其他建图子区域进行随机关联，以通过每个所述辅智能体设备对每个所述支干区域进行建图。

5、进一步地，基于多个所述子区域视觉特征数据，判断所述主干区域地图和所述支干区域地图是否具备地图融合条件，具体包括：确定所述多个子区域视觉特征数据中的主干区域视觉特征数据和多个支干区域视觉特征数据，其中，所述主干区域视觉特征数据通过主智能体设备获取，每个所述支干区域视觉特征数据通过对应的辅智能体设备获取；根据每个所述支干区域视觉特征数据与所述主干区域视觉特征数据，确定当前主干区域与每个当前支干区域之间的当前重叠区域，其中，所述当前重叠区域包括至少一个相同视觉特征；当多个所述当前重叠区域中存在指定重叠区域时，判定所述主干区域地图和所述指定重叠区域对应的指定支干区域地图具备地图融合条件，其中，所述指定重叠区域的相同视觉特征数量超过预设数量阈值。

6、进一步地，通过多视角几何方法，根据所述主干区域地图和所述支干区域地图进行特征融合，构建全场景三维定位地图，具体包括：获取所述当前重叠区域中的任意一个所述相同视觉特征在所述主干区域地图中的主干位置坐标，以及所述相同视觉特征在所述支干区域地图中的支干位置坐标；通过所述多视角几何方法，根据所述主干位置坐标和所述支干位置坐标，确定初始三维定位地图和每个智能体设备的初始设备位姿数据；根据每个所述智能体设备的初始设备位姿数据和所述初始三维定位地图，通过重投影误差最小化进行优化，得到优化后的设备位姿数据和全场景三维定位地图。

7、进一步地，通过多视角几何方法，根据所述主干区域地图和所述支干区域地图进行特征融合，构建全场景三维定位地图之后，所述方法还包括：确定所述主干区域与每个支干区域之间的重叠区域，其中，所述重叠区域内包括多个视觉特征；在所述支干区域视觉特征数据中，确定每个所述视觉特征对应的支干视觉关键帧；在所述主干区域视觉特征数据中，确定每个所述视觉特征对应的主干视觉关键帧；通过预设的词袋模型，分别提取所述支干视觉关键帧和所述主干视觉关键帧中的支干视觉特征单词和主干视觉特征单词，以基于所述支干视觉特征单词和所述主干视觉特征单词，生成所述支干视觉关键帧和所述主干视觉关键帧的相似度；当所述支干视觉关键帧和所述主干视觉关键帧的相似度超过预设相似度阈值时，则在所述全场景三维定位地图中删除所述支干视觉关键帧。

8、进一步地，通过所述子区域点云片段和所述全场景三维定位地图进行点云拼接，得到全场景三维点云地图，具体包括：获取所述子区域点云片段对应的智能体设备在所述全场景三维定位地图中的设备位姿数据；根据每个所述子区域点云片段对应的所述设备位姿数据，进行点云拼接整合，得到全场景三维点云地图。

9、进一步地，通过所述多视角几何方法，根据所述主干位置坐标和所述支干位置坐标，确定初始三维定位地图和每个智能体设备的初始设备位姿数据，具体包括：获取所述当前重叠区域中的任意一个所述相同视觉特征在所述主干区域地图中的主干位置坐标，以及所述相同视觉特征在所述支干区域地图中的支干位置坐标；通过所述多视角几何方法，基于所述主干位置坐标和所述支干位置坐标，确定所述支干区域地图与所述主干区域地图之间的位姿转换关系；根据所述位姿转换关系，对所述支干区域地图中的每个支干地图点进行坐标转换，生成每个所述支干地图点在所述主干区域地图中的当前位置坐标和每个智能体设备的初始设备位姿数据；通过每个所述支干地图点在所述主干区域地图中的当前位置坐标，生成初始三维定位地图。

10、进一步地，确定所述多个智能体设备中的主智能体设备和多个辅智能体设备，具体包括：获取每个所述智能体设备的设备算力数据；通过每个所述智能体设备的设备算力数据，选择所述设备算力数据最大的智能体设备作为主智能体设备；将除所述主智能体设备之外的智能体设备作为辅智能体设备。

11、本说明书一个或多个实施例提供一种基于多智能体协同的融合建图设备，包括：

12、至少一个处理器；以及，

13、与所述至少一个处理器通信连接的存储器；其中，

14、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

15、获取预先设置的多智能体设备的设备类型，以基于每个所述智能体设备的设备类型和预先确定的建图区域，得到每个所述智能体设备对应的建图子区域，其中，所述设备类型包括主智能体设备和辅智能体设备，所述建图子区域包括主干区域和多个支干区域；通过每个所述智能体设备，分别采集对应建图子区域的子区域视觉特征数据，以根据所述区域视觉特征数据，对所述建图子区域进行同步建图，得到主干区域地图和多个支干区域地图；基于多个所述子区域视觉特征数据，判断所述主干区域地图和所述支干区域地图是否具备地图融合条件；当所述主干区域地图和所述支干区域地图具备地图融合条件时，通过多视角几何方法，根据所述主干区域地图和所述支干区域地图进行特征融合，构建全场景三维定位地图；获取所述子区域视觉特征数据对应的子区域点云片段，以通过所述子区域点云片段和所述全场景三维定位地图进行点云拼接，得到全场景三维点云地图。

16、本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

17、获取预先设置的多智能体设备的设备类型，以基于每个所述智能体设备的设备类型和预先确定的建图区域，得到每个所述智能体设备对应的建图子区域，其中，所述设备类型包括主智能体设备和辅智能体设备，所述建图子区域包括主干区域和多个支干区域；通过每个所述智能体设备，分别采集对应建图子区域的子区域视觉特征数据，以根据所述区域视觉特征数据，对所述建图子区域进行同步建图，得到主干区域地图和多个支干区域地图；基于多个所述子区域视觉特征数据，判断所述主干区域地图和所述支干区域地图是否具备地图融合条件；当所述主干区域地图和所述支干区域地图具备地图融合条件时，通过多视角几何方法，根据所述主干区域地图和所述支干区域地图进行特征融合，构建全场景三维定位地图；获取所述子区域视觉特征数据对应的子区域点云片段，以通过所述子区域点云片段和所述全场景三维定位地图进行点云拼接，得到全场景三维点云地图。

18、本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：通过上述技术方案，通过确定每个智能体设备对应的建图子区域，由多个智能体设备进行同步建图，可以解决大场景下建图定位效率低、耗时长的问题；在进行地图融合之前，对融合条件进行判定，提示各智能体设备建图区域是否重叠、重叠是否足够充分来进行地图融合，保证地图融合的顺利进行，避免“试错”过程或人工判断不准确的情况；在全场景的定位导航地图之上，同时实现了三维点云地图的构建，从而为智能体感知提供更为丰富的场景信息，通过多个智能体设备的协同，可以高效的实现对大场景的全面覆盖。