基于多相机模组的地图构建方法和装置与流程

本发明涉及穿戴设备技术应用领域，尤其涉及一种基于多相机模组的地图构建方法和装置。

背景技术：

1、ar技术和vr技术可被用于ar/vr眼镜、机器人、无人车等领域中，在使用ar/vr设备的场景中所使用的视觉地图通常是通过使用多个相机模组拍摄构成的。

2、在相关技术中，当构建应用于arvr技术的地图时，常用的多个相机模组包括：双目灰度相机和至少一个rgb相机，或，四目灰度相机模组和至少一个rgb相机；在通过多个相机模组执行纯视觉的三维重建时，由于各相机的时钟芯片不同，使得即使在同一时间采集画面，也不能实现画面同步。

3、针对上述由于现有多个相机模组在进行纯视觉的三维重建时，时钟不同步导致的画面不同步的问题，目前尚未提出有效的解决方案。

技术实现思路

1、为解决上述技术问题，本发明实施例期望提供一种基于多相机模组的地图构建方法和装置，以至少解决由于现有多个相机模组在进行纯视觉的三维重建时，时钟不同步导致的画面不同步的问题。

2、本发明的技术方案是这样实现的：

3、第一方面，本发明实施例提供一种基于多相机模组的地图构建方法，包括：获取时空同步相机的第一图像信息和时空异步相机的第二图像信息；获取第一图像信息中主相机的关键帧和辅相机的关键帧，以及，第二图像信息中时空异步相机的关键帧队列；依据主相机的关键帧和辅相机的关键帧生成第一关键帧集合，以及，依据第二图像信息中的关键帧队列生成第二关键帧集合；依据第一关键帧集合和第二关键帧集合进行稀疏建图，得到初始地图；依据初始地图进行稠密建图，得到目标地图。

4、可选的，获取时空同步相机的第一图像信息和时空异步相机的第二图像信息包括：通过标定模块获取时空同步相机的位姿；通过定位跟踪模块获取时空同步相机的时间戳、图像和位姿之间的同步信息；并通过时间标定模块获取时空同步相机与时空异步相机之间的时钟同步信息；依据位姿，时间戳、图像与位姿之间的同步信息，以及时钟同步信息生成第一图像信息；通过标定模块获取时空异步相机的位姿；通过定位跟踪模块获取时空异步相机的时间戳和图像之间的同步信息；依据时空异步相机的位姿、时间戳和图像之间的同步信息，以及时钟同步信息生成第二图像信息；其中，时钟同步信息用于将时空同步相机与时空异步相机的时间戳校对至同一时钟。

5、可选的，获取第二图像信息中时空异步相机的关键帧队列包括：依据第三预设关键帧筛选策略从第二图像信息中获取时空异步相机的关键帧；其中，第三预设关键帧筛选策略包括：依据目标用途通过预设应用策略获取关键帧；依据预设关联性策略获取与获取时空同步相机的关键帧的时间相同的关键帧；依据预设连续性策略获取指定连续时间内的关键帧；依据筛选到的关键帧生成关键帧队列。

6、进一步地，可选的，该方法还包括：当时空异步相机根据预设应用策略或预设连续性策略选择新的关键帧时，若连续时间或连续帧不符合所述预设关联性策略，且无法插入关键帧，则确定所述连续时间或所述连续帧大于指定判断策略的阈值。进一步地，可选的，依据第二图像信息中的关键帧队列生成第二关键帧集合包括：将第二图像信息中的关键帧队列中的关键帧与主相机的关键帧和辅相机的关键帧的捕获时刻进行对比，筛选出和每个主相机的关键帧和辅相机的关键帧捕获时间小于预设时间间隔阈值的预备关键帧；若对同一主相机的关键帧和辅相机的关键帧存在多个时空异步相机的预备关键帧满足条件，则保留与主相机的关键帧和辅相机的关键帧捕获时刻最接近的关键帧，生成第二关键帧集合。

7、可选的，依据第一关键帧集合和第二关键帧集合进行稀疏建图，得到初始地图包括：依据第二关键帧集合中的时空同步相机通过轨迹先验，并依据主相机的位姿和辅相机与主相机的相对位姿，计算关键帧的位姿；依据关键帧的位姿对时空同步相机和时空异步相机之间的特征点匹配，并对时空异步相机的先验轨迹注册，通过时空同步相机和时空异步相机的相对位姿作为约束剔除异常点，并进行全局优化，得到初始地图。

8、进一步地，可选的，该方法还包括：依据时空异步相机的位姿、时空异步相机和主相机之间的相对位姿进行计算，得到当前主相机的位姿；若当前主相机的位姿与最初插值得到的位姿差异大于预设值，则标记为可疑，丢弃对应的时空异步相机的图像及关联的3d点地图信息；监测时空异步相机的图像中相邻帧的移动速度，若大于预设运行速度，则丢弃对应的时空异步相机的图像及关联的3d点地图信息；优化所有3d点地图信息和相机的位姿，确定时空异步相机和主相机之间的相对位姿。

9、进一步地，可选的，对时空异步相机的先验轨迹注册包括：获取时空异步相机在图像拍摄时间前后相邻的主相机的图像，根据主相机两图像的位姿，插值出时空异步相机图像拍摄时刻的主相机的位姿；依据时空异步相机和时空同步相机之间的相对位姿，计算得到近似的时空异步相机当前的位姿，作为时空异步相机的先验位姿，参与建图。

10、可选的，依据初始地图进行稠密建图，得到目标地图包括：查询时空同步相机和时空异步相机之间的位姿，进行立体匹配；基于立体匹配对点云模型进行着色，得到目标地图。

11、可选的，该方法还包括：使用目标地图，对非时空相机组的功能进行数据增强。

12、第二方面，本发明实施例提供一种基于多相机模组的地图构建装置，包括：第一获取模块，用于获取时空同步相机的第一图像信息和时空异步相机的第二图像信息；第二获取模块，用于获取第一图像信息中主相机的关键帧和辅相机的关键帧，以及，第二图像信息中时空异步相机的关键帧队列；队列生成模块，用于依据主相机的关键帧和辅相机的关键帧生成第一关键帧集合，以及，依据第二图像信息中的关键帧队列生成第二关键帧集合；第一建图模块，用于依据第一关键帧集合和第二关键帧集合进行稀疏建图，得到初始地图；第二建图模块，用于依据初始地图进行稠密建图，得到目标地图。

13、本发明实施例提供了一种基于多相机模组的地图构建方法和装置。通过获取时空同步相机的第一图像信息和时空异步相机的第二图像信息；获取第一图像信息中主相机的关键帧和辅相机的关键帧，以及，第二图像信息中时空异步相机的关键帧队列；依据主相机的关键帧和辅相机的关键帧生成第一关键帧集合，以及，依据第二图像信息中的关键帧队列生成第二关键帧集合；依据第一关键帧集合和第二关键帧集合进行稀疏建图，得到初始地图；依据初始地图进行稠密建图，得到目标地图，从而能够使用多相机模组进行纯视觉三维重建的技术效果。

技术特征：

1.一种基于多相机模组的地图构建方法，其特征在于，包括：

2.根据权利要求1所述的基于多相机模组的地图构建方法，其特征在于，所述获取时空同步相机的第一图像信息和时空异步相机的第二图像信息包括：

3.根据权利要求1或2所述的基于多相机模组的地图构建方法，其特征在于，所述获取所述第二图像信息中所述时空异步相机的关键帧队列包括：

4.根据权利要求3所述的基于多相机模组的地图构建方法，其特征在于，所述方法还包括：

5.根据权利要求3所述的基于多相机模组的地图构建方法，其特征在于，所述依据所述第二图像信息中的关键帧队列生成第二关键帧集合包括：

6.根据权利要求1所述的基于多相机模组的地图构建方法，其特征在于，所述依据所述第一关键帧集合和所述第二关键帧集合进行稀疏建图，得到初始地图包括：

7.根据权利要求6所述的基于多相机模组的地图构建方法，其特征在于，所述方法还包括：

8.根据权利要求6所述的基于多相机模组的地图构建方法，其特征在于，所述对所述时空异步相机的先验轨迹注册包括：

9.根据权利要求6所述的基于多相机模组的地图构建方法，其特征在于，所述依据所述初始地图进行稠密建图，得到目标地图包括：

10.根据权利要求1所述的基于多相机模组的地图构建方法，其特征在于，所述方法还包括：

11.一种基于多相机模组的地图构建装置，其特征在于，包括：

技术总结
本发明实施例公开了一种基于多相机模组的地图构建方法和装置。该基于多相机模组的地图构建方法包括：获取时空同步相机的第一图像信息和时空异步相机的第二图像信息；获取第一图像信息中主相机的关键帧和辅相机的关键帧，以及，第二图像信息中时空异步相机的关键帧队列；依据主相机的关键帧和辅相机的关键帧生成第一关键帧集合，以及，依据第二图像信息中的关键帧队列生成第二关键帧集合；依据第一关键帧集合和第二关键帧集合进行稀疏建图，得到初始地图；依据初始地图进行稠密建图，得到目标地图。本发明提供的方案能够使用多相机模组进行纯视觉三维重建的技术效果。

技术研发人员：张双力,张高明,丛林
受保护的技术使用者：杭州易现先进科技有限公司
技术研发日：
技术公布日：2024/1/13