大规模固定视觉传感器全局位姿的确定方法和装置与流程

本技术涉及计算机视觉，尤其涉及一种大规模固定视觉传感器全局位姿的确定方法和装置。

背景技术：

1、目前，煤矿井下采掘运等场景中部署了大量固定视觉传感器（摄像机），固定视觉传感器部署范围往往非常大，同时，固定视觉传感器之间的视场重叠范围非常小，甚至没有重叠，固定视觉传感器相对孤立，缺少公共可视区域，无法直接级联标定。

2、相关技术中，固定视觉传感器的位置可以通过超宽带技术（ultra wide band，简称uwb）来提供，但是存在误差较大的问题，固定视觉传感器的位置还可以通过全站仪精确测量固定视觉传感器的位置，但测量过程往往需要人工全程参与，非常耗时，并且上述方法均不能有效获取固定视觉传感器的朝向，很大程度上限制了固定视觉传感器的应用范围，因此，如何准确且高效地确定固定视觉传感在矿井下三维空间中的位姿（三维位置和朝向），以提供有效的井下场景可视化、监测、定位等空间服务，已成为亟待解决的问题。

技术实现思路

1、本技术的目的旨在至少在一定程度上解决上述技术中的技术问题之一。

2、本技术第一方面提供了一种大规模固定视觉传感器全局位姿的确定方法，包括：在固定视觉传感器的可视范围区域内设置二维标记码；根据固定视觉传感器采集的二维标记码图像，确定所述固定视觉传感器与所述二维标记码之间的相对姿态；获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带uwb数据序列，根据所述全景图像序列和所述超宽带uwb数据序列，获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿；根据所述固定视觉传感器与所述二维标记码之间的相对姿态和所述二维标记码的全局初始位姿，确定所述固定视觉传感器的全局初始位姿；根据所述多个图像序列和所述固定视觉传感器采集的二维标记码图像，对所述固定视觉传感器的全局初始位姿进行优化，确定所述固定视觉传感器的全局目标位姿。

3、本技术第一方面提供的大规模固定视觉传感器全局位姿的确定方法，还具备如下技术特征，包括：

4、根据本技术一个实施例，所述根据所述全景图像序列和所述超宽带uwb数据序列，获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿，包括：从每帧全景图像序列中提取orb特征和二维标记码特征，并从所述uwb数据序列中获取对应时刻uwb的距离信息；对相邻两帧之间的所述orb特征和所述二维标记码特征进行匹配，从匹配结果中获取当前帧的位姿；确定所述当前帧为关键帧，将所述关键帧插入地图中，对插入的关键帧进行闭环检测，根据闭环检测结果和第一代价函数进行局部优化所述关键帧位姿和所述地图；获取所有关键帧位姿，根据所述第一代价函数进行全局优化所有关键帧位姿和所述地图，以获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿。

5、根据本技术一个实施例，所述方法，还包括：基于uwb距离约束、轨迹平滑约束、三维点重投影误差约束和二维标记码顶点投影误差约束构建第一代价函数。

6、根据本技术一个实施例，所述根据所述固定视觉传感器采集的二维标记码图像，确定所述固定视觉传感器与所述二维标记码之间的相对姿态，包括：根据所述二维标记码图像，确定所述二维标记码四个顶点的空间坐标和所述二维标记码四个顶点的像素坐标；获取所述固定视觉传感器的内参矩阵；基于所述二维标记码四个顶点的空间坐标、所述二维标记码四个顶点的像素坐标和所述内参矩阵，确定单应矩阵；对所述单应矩阵进行分解，得到所述固定视觉传感器与所述二维标记码之间的相对旋转矩阵和相对平移向量，由所述相对旋转矩阵和所述相对平移向量，得到所述固定视觉传感器与所述二维标记码之间的相对姿态。

7、根据本技术一个实施例，所述根据所述二维标记码图像，确定所述二维标记码四个顶点的空间坐标，包括：获取所述二维标记码的边长，以所述二维标记码的中心为所述二维标记码坐标系的原点；根据所述边长和所述二维标记码坐标系的原点，确定所述二维标记码四个顶点的空间坐标。

8、根据本技术一个实施例，所述根据所述固定视觉传感器与所述二维标记码之间的相对姿态和所述二维标记码的全局初始位姿，确定所述固定视觉传感器的全局初始位姿，包括：根据所述二维标记码的全局初始位姿，获取所述二维标记码在世界坐标系中的平移向量；获取相对旋转矩阵和所述二维标记码在世界坐标系中的旋转矩阵之间的乘积，将所述乘积作为固定传感器的旋转矩阵；获取所述相对旋转矩阵和平移向量之间的乘积，并获取所述乘积与所述相对平移向量之和，将和值作为所述固定传感器的平移向量；由所述固定传感器的旋转矩阵和所述固定传感器的平移向量，确定所述固定视觉传感器的全局初始位姿。

9、根据本技术一个实施例，所述根据所述多个图像序列和所述固定视觉传感器采集的二维标记码图像，对所述固定视觉传感器的全局初始位姿进行优化，确定所述固定视觉传感器的全局目标位姿，包括：获取预先标定的移动设备与移动设备上各个视觉传感器之间的位姿变换关系；根据所述移动设备的全局初始位姿和所述位姿变换关系，获取所述多个图像序列中每幅图像对应所述移动设备上各个视觉传感器的全局初始位姿；获取所述多个图像序列中每幅图像的特征点以及所述多个图像序列中每幅图像之间的重叠关系；根据所述重叠关系对所述每幅图像的特征点进行匹配，根据匹配结果构建稀疏点云地图；利用三维点重投影误差约束和二维标记码顶点投影误差约束构建第二代价函数；根据所述每幅图像对应所述移动装备上各个视觉传感器的全局初始位姿、所述二维标记码的全局初始位姿、所述固定视觉传感器的全局初始位姿和所述稀疏点云地图，对所述第二代价函数进行优化求解，以确定所述固定视觉传感器的全局目标位姿。

10、本技术第二方面提供了一种大规模固定视觉传感器全局位姿的确定装置，包括：设置模块，用于在固定视觉传感器的可视范围区域内设置二维标记码；第一确定模块，用于根据所述固定视觉传感器采集的二维标记码图像，确定所述固定视觉传感器与所述二维标记码之间的相对姿态；获取模块，用于获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带uwb数据序列，根据所述全景图像序列和所述超宽带uwb数据序列，获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿；第二确定模块，用于根据所述固定视觉传感器与所述二维标记码之间的相对姿态和所述二维标记码的全局初始位姿，确定所述固定视觉传感器的全局初始位姿；第三确定模块，用于根据所述多个图像序列和所述固定视觉传感器采集的二维标记码图像，对所述固定视觉传感器的全局初始位姿进行优化，确定所述固定视觉传感器的全局目标位姿。

11、本技术第二方面提供的一种大规模固定视觉传感器全局位姿的确定装置，还具备如下技术特征，包括：

12、根据本技术一个实施例，所述获取模块，还用于：从每帧全景图像序列中提取orb特征和二维标记码特征，并从所述uwb数据序列中获取对应时刻uwb的距离信息；对相邻两帧之间的所述orb特征和所述二维标记码特征进行匹配，从匹配结果中获取当前帧的位姿；确定所述当前帧为关键帧，将所述关键帧插入地图中，对插入的关键帧进行闭环检测，根据闭环检测结果和第一代价函数进行局部优化所述关键帧位姿和所述地图；获取所有关键帧位姿，根据所述第一代价函数进行全局优化所有关键帧位姿和所述地图，以获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿。

13、根据本技术一个实施例，所述装置，还用于：基于uwb距离约束、轨迹平滑约束、三维点重投影误差约束和二维标记码顶点投影误差约束构建第一代价函数。

14、根据本技术一个实施例，所述第一确定模块，还用于：根据所述二维标记码图像，确定所述二维标记码四个顶点的空间坐标和所述二维标记码四个顶点的像素坐标；获取所述固定视觉传感器的内参矩阵；基于所述二维标记码四个顶点的空间坐标、所述二维标记码四个顶点的像素坐标和所述内参矩阵，确定单应矩阵；对所述单应矩阵进行分解，得到所述固定视觉传感器与所述二维标记码之间的相对旋转矩阵和相对平移向量，由所述相对旋转矩阵和所述相对平移向量，得到所述固定视觉传感器与所述二维标记码之间的相对姿态。

15、根据本技术一个实施例，所述第一确定模块，还用于：获取所述二维标记码的边长，以所述二维标记码的中心为所述二维标记码坐标系的原点；根据所述边长和所述二维标记码坐标系的原点，确定所述二维标记码四个顶点的空间坐标。

16、根据本技术一个实施例，所述第二确定模块，还用于：根据所述二维标记码的全局初始位姿，获取所述二维标记码在世界坐标系中的平移向量；获取相对旋转矩阵和所述二维标记码在世界坐标系中的旋转矩阵之间的乘积，将所述乘积作为所述固定传感器的旋转矩阵；获取所述相对旋转矩阵和平移向量之间的乘积，并获取所述乘积与所述相对平移向量之和，将和值作为固定传感器的平移向量；由所述固定传感器的旋转矩阵和所述固定传感器的平移向量，确定所述固定视觉传感器的全局初始位姿。

17、根据本技术一个实施例，所述第三确定模块，还用于：获取预先标定的移动设备与移动设备上各个视觉传感器之间的位姿变换关系；根据所述移动设备的全局初始位姿和所述位姿变换关系，获取所述多个图像序列中每幅图像对应所述移动设备上各个视觉传感器的全局初始位姿；获取所述多个图像序列中每幅图像的特征点以及所述多个图像序列中每幅图像之间的重叠关系；根据所述重叠关系对所述每幅图像的特征点进行匹配，根据匹配结果构建稀疏点云地图；利用三维点重投影误差约束和二维标记码顶点投影误差约束构建第二代价函数；根据所述每幅图像对应所述移动装备上各个视觉传感器的全局初始位姿、所述二维标记码的全局初始位姿、所述固定视觉传感器的全局初始位姿和所述稀疏点云地图，对所述第二代价函数进行优化求解，以确定所述固定视觉传感器的全局目标位姿。

18、本技术第三方面实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本技术第一方面提供的大规模固定视觉传感器全局位姿的确定方法。

19、本技术第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本技术第一方面提供的大规模固定视觉传感器全局位姿的确定方法。

20、本技术第五方面实施例提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本技术第一方面提供的大规模固定视觉传感器全局位姿的确定方法。

21、本技术提供的大规模固定视觉传感器全局位姿的确定方法及装置，通过在固定视觉传感器的可视范围区域内设置二维标记码，根据固定视觉传感器采集的二维标记码图像，确定固定视觉传感器与二维标记码之间的相对姿态，获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带uwb数据序列，根据全景图像序列和超宽带uwb数据序列，获取移动设备的全局初始位姿和二维标记码的全局初始位姿，根据固定视觉传感器与二维标记码之间的相对姿态和二维标记码的全局初始位姿，确定固定视觉传感器的全局初始位姿，根据多个图像序列和固定视觉传感器采集的二维标记码图像，对固定视觉传感器的全局初始位姿进行优化，确定固定视觉传感器的全局目标位姿，本技术可以准确且高效地确定固定视觉传感在矿井下三维空间中的位姿，解决了固定视觉传感器相对孤立，没有足够的视场重叠区域等问题，可以提供有效的井下场景可视化、监测、定位等空间服务。

22、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。