扩展现实设备上的相机的标定方法、装置、设备、介质与流程

本申请涉及计算机，特别涉及一种扩展现实设备上的相机的标定方法、装置、设备、介质。

背景技术：

1、在扩展现实(extended reality，xr)的应用中，在通过运动捕捉系统来评估xr设备的自由度位姿的精度之前，需要对xr设备上用于动捕的荧光球所形成的刚体系和相机系之间的外参进行标定。

2、当xr设备中包括由多个相机组成的相机组，相机组内的相机视角互不重叠，由于多个相机无法“看到”同一个标定板的情况。相关技术中，为了解决该场景下的相机标定问题，通常通过平面镜反射标定板来实现，即，设置一个标定板和能够反射标定板的平面镜，相机a对其进行拍摄，相机b对平面镜进行拍摄，从而通过镜面位姿来得到相机的外参。

3、然而，上述使用镜面反射的方案，由于实践过程太过复杂，相机外参的获取效率较低。

技术实现思路

1、本申请实施例提供了一种扩展现实设备上的相机的标定方法、装置、设备、介质，可以提升相机视角互不重叠的相机之间外参的确定效率。所述技术方案如下：

2、一方面，提供了一种扩展现实设备上的相机的标定方法，所述方法包括：

3、获取设备动捕位姿、多个标定板的空间方位信息以及多个相机分别对所述多个标定板进行拍摄得到的图像，所述设备动捕位姿通过动捕组件对运动过程中的扩展现实设备进行动作捕捉得到，并且包含所述扩展现实设备的位置和/或姿态，所述扩展现实设备上装备有所述多个相机，不同相机的视野范围与不同标定板对应，所述多个标定板上包括标定观测点；

4、确定所述标定观测点在所述图像中的像素位置，并基于所述像素位置随所述设备动捕位姿变化的过程确定重投影误差，构造与所述重投影误差对应的第一误差方程，所述第一误差方程包括待求解的所述多个相机之间坐标转换的第一外参、所述多个相机中至少一个相机与所述动捕组件之间坐标转换的第二外参以及所述多个标定板在三维空间坐标系下各自的标定板位姿；

5、基于所述空间方位信息所确定的所述多个标定板之间旋转关系，得到第二误差方程，所述第二误差方程包括待求解的所述多个标定板在所述三维空间坐标系下各自的标定板旋转角度；

6、基于所述标定板旋转角度的取值对所述标定板位姿的取值所产生的约束，对所述第一误差方程和所述第二误差方程进行联立求解，得到所述第一外参和所述第二外参。

7、另一方面，提供了一种扩展现实设备上的相机的标定方法，所述方法包括：

8、获取模块，用于获取设备动捕位姿、多个标定板之间的空间方位信息以及多个相机分别对所述多个标定板进行拍摄得到的图像，所述设备动捕位姿通过动捕组件对运动过程中的扩展现实设备进行动作捕捉得到，并且包含所述扩展现实设备的位置和/或姿态，所述扩展现实设备上装备有所述多个相机，不同相机的视野范围与不同标定板对应，所述多个标定板上包括标定观测点；

9、第一确定模块，用于确定所述标定观测点在所述图像中的像素位置，并基于所述像素位置随所述设备动捕位姿变化的过程确定重投影误差，构造与所述重投影误差对应的第一误差方程，所述第一误差方程包括待求解的所述多个相机之间坐标转换的第一外参、所述多个相机中至少一个相机与所述动捕组件之间坐标转换的第二外参以及所述多个标定板在三维空间坐标系下各自的标定板位姿；

10、第二确定模块，用于基于所述空间方位信息所确定的所述多个标定板之间旋转关系，得到第二误差方程，所述第二误差方程中包括待求解的所述多个标定板在所述三维空间坐标系下各自的标定板旋转角度；

11、第三确定模块，用于基于所述标定板旋转角度的取值对所述标定板位姿的取值所产生的约束，对所述第一误差方程和所述第二误差方程进行联立求解，得到所述第一外参和所述第二外参。

12、另一方面，提供了一种计算机设备，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现本申请实施例中任一所述的扩展现实设备上的相机的标定方法。

13、另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现本申请实施例中任一所述的扩展现实设备上的相机的标定方法。

14、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的扩展现实设备上的相机的标定方法。

15、本申请的提供的技术方案至少包括以下有益效果：

16、在对目标设备上视野范围不重叠的多个相机进行相机标定时，根据标定板上标定观测点在图像中的像素位置随设备动捕位姿变化的过程中所产生的重投影误差构建第一误差方程，通过标定板在空间中的方位确定不同标定板之间的旋转关系，根据该旋转关系来构建第二误差方程。由于第一误差方程中包括标定板在三维空间坐标系下的标定板位姿，而第二误差方程中包括标定板在三维空间坐标系下的标定板旋转角度，由于标定板位姿包括对标定板位置和朝向姿态的描述信息，而标定板旋转角度能够确定标定板的朝向姿态，因此，第二误差方程中标定板旋转角度的取值会对标定板位姿的取值产生约束，从而使得第一误差方程和第二误差方程能够实现方程联立。以最小化第一误差方程对应的重投影误差以及第二误差方程对应的旋转误差为目标，对第一误差方程和第二误差方程的联立求解，从而确定出第一外参、第二外参的取值，生成多个相机对应的标定结果。

17、多个标定板在三维空间中方位(方向和位置)所产生的角度关系能够得到标定板之间旋转关系，因此能从标定板的旋转角度建立空间中多个标定板之间的空间联系，例如，当两个标定板为互相垂直摆放时，则两者在三维空间坐标系中的旋转角度存在“标定板a的旋转角度a+90°＝标定板b的旋转角度b”的关系。由于不同相机拍摄不同的标定板，因此标定板之间通过旋转关系建立的空间联系间接地建立了不同相机之间的空间联系，即，通过标定板之间旋转关系的空间联系以及相机和标定板之间的空间联系来得到相机之间的空间联系。因而，即使多个相机之间的视野范围不同，也能通过上述过程建立相机间的空间联系，从而实现了不同视野范围的相机之间的外参标定。

技术特征：

1.一种扩展现实设备上的相机的标定方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述标定板旋转角度的取值对所述标定板位姿的取值所产生的约束，对所述第一误差方程和所述第二误差方程进行联立求解，得到所述第一外参和所述第二外参，包括：

3.根据权利要求2所述的方法，其特征在于，所述指定非线性调整方式包括牛顿法、梯度下降法、高斯牛顿法、列文伯格-马夸特法中的至少一种。

4.根据权利要求1至3任一所述的方法，其特征在于，所述获取多个标定板之间的空间方位信息，包括：

5.根据权利要求4所述的方法，其特征在于，所述标定板上配置有动捕组件，所述标定板动捕位姿用于指示对所述动捕组件进行识别所生成的所述标定板的位姿；

6.根据权利要求5所述的方法，其特征在于，所述基于所述空间方位信息所确定的所述多个标定板之间旋转关系，得到第二误差方程，包括：

7.根据权利要求1至3任一所述的方法，其特征在于，所述获取多个标定板之间的空间方位信息，包括：

8.根据权利要求1至3任一所述的方法，其特征在于，所述确定所述标定观测点在所述图像中的像素位置，并基于所述像素位置随所述设备动捕位姿变化的过程确定重投影误差，构造与所述重投影误差对应的第一误差方程，包括：

9.根据权利要求8所述的方法，其特征在于，所述基于所述设备动捕位姿对所述标定板上的所述标定观测点进行维度转换，得到映射观测点，包括：

10.根据权利要求9所述的方法，其特征在于，所述获取所述至少一个相机对应的投影模型，包括：

11.一种扩展现实设备上的相机的标定装置，其特征在于，所述装置包括：

12.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至10任一所述的扩展现实设备上的相机的标定方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至10任一所述的扩展现实设备上的相机的标定方法。

14.一种计算机程序产品，其特征在于，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如权利要求1至10任一所述的扩展现实设备上的相机的标定方法。

技术总结
本申请公开了一种扩展现实设备上的相机的标定方法、装置、设备、介质，获取设备动捕位姿、多个标定板之间的空间方位信息以及多个相机分别对多个标定板进行拍摄得到的图像；确定标定观测点在图像中的像素位置，并基于像素位置随设备动捕位姿变化的过程确定重投影误差，构造与重投影误差对应的第一误差方程；基于空间方位信息所确定的多个标定板之间旋转关系，得到第二误差方程；基于标定板旋转角度的取值对标定板位姿的取值所产生的约束，对第一误差方程和第二误差方程进行联立求解，得到第一外参和第二外参。该方法能通过旋转约束提高标定结果的准确度。

技术研发人员：陈申周,毛曙源,马佳瑶
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/8/1