扩展现实设备的虚拟显示标定方法、装置及扩展现实设备与流程

本申请实施例涉及扩展现实，具体涉及一种扩展现实设备的虚拟显示标定方法、装置及扩展现实设备。

背景技术：

1、扩展现实技术是指在真实视野中直接叠加显示虚拟内容（文字、图片等）通过扩展现实设备为用户创造自然真实、完全沉浸的交互体验。其中一个关键是如何做到现实环境中的真实物体与虚拟显示的物体的完全无缝融合。虚实融合显示的原理过程是：确定待扩展现实物体与扩展现实设备的相对位姿，扩展现实物体位置即为待显示虚拟物体视觉效果的显示位置；在已知虚拟显示屏相对扩展现实设备的相对位姿情况下，由此计算出虚拟物体在虚拟显示屏中的位置，控制微显示屏将虚拟物体显示在虚拟显示屏中的这个指定位置，即实现了虚实融合。虚拟显示屏与扩展现实设备的相对位姿由扩展现实设备的光学硬件参数决定。受到扩展现实设备制造装配过程中引起的光学部件组装公差、屏幕组装公差等影响，扩展现实设备显示参数中的光学硬件参数往往与设计值存在偏差而不完全相同，这导致按照原参数显示虚拟物体时，虚拟物体的实际虚拟显示位置与按上述过程计算出来的原预定的显示位置不同，从而达不到理想的虚实融合效果，降低了用户的体验。因此对这种偏差进行准确标定即所谓的虚实标定，确定实际显示时虚拟显示屏与扩展现实设备的相对位姿，对虚实融合的实现是非常必要以及重要的。

2、目前，已有许多增强现实设备的标定方法。按照是否需要用户参与真实物体与虚拟物体之间的对齐来划分，标定方法可以分为手动标定和自动标定。手动标定通过人工移动头部或移动标定物，将显示屏中的光标与标定物进行多次对齐，从而获得虚实对齐相关参数。自动标定则利用相机代替人眼，通过用相机拍摄真实世界，拍摄增强现实设备显示的画面，获得虚实对齐相关参数。手动标定虽然原理简单、容易实现，但是人工对齐工作量大，标定精度严重依赖于人眼对齐精度。自动标定虽然需要额外的标定设备，但是既能够实现标定过程自动化，也能够保证较高的标定精度，自动标定成为当前的主流方案。然而当前通用的自动标定方法存在标定结果不准确、标定结果不一致的问题。

技术实现思路

1、本申请实施例提供一种扩展现实设备的虚拟显示标定方法、装置及扩展现实设备，可以提升扩展现实设备虚拟显示的位置准确性，应对虚实融合时虚实不对齐的问题。

2、第一方面，本申请实施例提供了一种扩展现实设备的虚拟显示标定方法，所述扩展现实设备中设置有运动感知传感器，该方法包括：

3、确定第一相机与所述扩展现实设备的虚拟显示屏的第一转换关系；

4、确定所述第一相机与所述运动感知传感器的第二转换关系；

5、根据所述第一转换关系和所述第二转换关系生成所述虚拟显示屏与所述运动感知传感器的第三转换关系；

6、基于所述第三转换关系标定所述扩展现实设备。

7、第二方面，本申请实施例还提供了一种扩展现实设备的虚拟显示标定装置，所述扩展现实设备中设置有运动感知传感器，该装置包括：

8、第一确定模块，用于确定第一相机与所述扩展现实设备的虚拟显示屏的第一转换关系；

9、第二确定模块，用于确定所述第一相机与所述运动感知传感器的第二转换关系；

10、第三确定模块，用于根据所述第一转换关系和所述第二转换关系生成所述虚拟显示屏与所述运动感知传感器的第三转换关系；

11、标定模块，用于基于所述第三转换关系标定所述扩展现实设备。

12、第三方面，本申请实施例还提供了一种电子设备，电子设备包括存储器、处理器及存储在存储器中并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述的扩展现实设备的虚拟显示标定方法中的步骤。

13、第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的扩展现实设备的虚拟显示标定方法中的步骤。

14、第五方面，本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例所述的各种可选实现方式中提供的方法。

15、第六方面，本申请实施例提供了一种扩展现实设备，该扩展现实设备是上述扩展现实设备的虚拟显示标定方法中的扩展现实设备。

16、其中，在本申请的一些实施例中，扩展现实设备存储所述第三转换关系，并基于所述第三转换关系控制虚拟显示屏的虚拟内容显示。

17、第七方面，本申请实施例提供了一种扩展现实设备的虚拟显示标定系统，该扩展现实设备的虚拟显示标定系统包括第一相机和电子设备，所述电子设备通过所述第一相机执行上述的扩展现实设备的虚拟显示标定方法。

18、本申请实施例的扩展现实设备的虚拟显示标定方法，确定第一相机与扩展现实设备的虚拟显示屏的第一转换关系，以及，确定该第一相机与运动感知传感器的第二转换关系，并根据该第一转换关系和第二转换关系生成虚拟显示屏与运动感知传感器的第三转换关系，基于该第三转换关系标定扩展现实设备。

19、其中，通过利用相机分别确定相机与虚拟显示屏的转换关系以及相机与运动感知传感器的转换关系，可利用该相机与虚拟显示屏的转换关系以及该相机与运动感知传感器的转换关系确定虚拟显示屏与运动感知传感器的转换关系，实现对扩展现实设备的虚拟显示屏与传感器之间参数的标定。其中，由于传感器（即，运动感知传感器）内置在扩展现实设备中，且位置固定、已知，因此，虚拟显示屏与传感器之间参数的标定即实现对虚拟显示屏与扩展现实设备相对位姿的标定，有助于扩展现实设备把虚拟内容显示在准确位置，提升虚实融合的效果。

技术特征：

1.一种扩展现实设备的虚拟显示标定方法，其特征在于，所述扩展现实设备中设置有运动感知传感器，所述方法包括：

2.根据权利要求1所述的扩展现实设备的虚拟显示标定方法，其特征在于，所述第一相机对应所述扩展现实设备的物理屏幕，所述确定所述第一相机与所述运动感知传感器的第二转换关系，包括：

3.根据权利要求2所述的扩展现实设备的虚拟显示标定方法，其特征在于，所述通过第二相机获取所述第二相机与所述运动感知传感器的第四转换关系，包括：

4.根据权利要求2所述的扩展现实设备的虚拟显示标定方法，其特征在于，所述第四转换关系包括第一旋转关系和第一平移关系，所述第五转换关系包括第二旋转关系和第二平移关系；

5.根据权利要求1所述的扩展现实设备的虚拟显示标定方法，其特征在于，所述确定第一相机与所述扩展现实设备的虚拟显示屏的第一转换关系，包括：

6.根据权利要求5所述的扩展现实设备的虚拟显示标定方法，其特征在于，所述根据所述第二目标标靶图像和所述第二目标拍摄图像计算所述第一相机与所述扩展现实设备的虚拟显示屏之间的第一转换关系，包括：

7.根据权利要求5所述的扩展现实设备的虚拟显示标定方法，其特征在于，所述根据所述第二目标标靶图像和所述第二目标拍摄图像计算所述第一相机与所述扩展现实设备的虚拟显示屏之间的第一转换关系，包括：

8.根据权利要求7所述的扩展现实设备的虚拟显示标定方法，其特征在于，所述扩展现实设备包括两个虚拟显示屏，两个虚拟显示屏分别显示同一个第二目标标靶图像，两个所述第一相机分别对两个虚拟显示屏上显示的、经畸变后的畸变后标靶图像进行拍摄得到两个第二目标拍摄图像；

9.根据权利要求1所述的扩展现实设备的虚拟显示标定方法，其特征在于，所述根据所述第一转换关系和所述第二转换关系生成所述虚拟显示屏与所述运动感知传感器的第三转换关系，包括：

10.一种扩展现实设备的虚拟显示标定装置，其特征在于，所述扩展现实设备中设置有运动感知传感器，该装置包括：

11.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-9任一项所述扩展现实设备的虚拟显示标定方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的扩展现实设备的虚拟显示标定方法中的步骤。

13.一种扩展现实设备，其特征在于，所述扩展现实设备是权利要求1-9任一项所述的扩展现实设备的虚拟显示标定方法中的扩展现实设备。

14.根据权利要求13所述的扩展现实设备，其特征在于，所述扩展现实设备存储所述第三转换关系，并基于所述第三转换关系控制虚拟显示屏的虚拟内容显示。

15.一种扩展现实设备的虚拟显示标定系统，其特征在于，所述扩展现实设备的虚拟显示标定系统包括第一相机和电子设备，所述电子设备通过所述第一相机执行权利要求1-9任一项所述的扩展现实设备的虚拟显示标定方法中的步骤。

技术总结
本申请实施例公开了一种扩展现实设备的虚拟显示标定方法、装置及扩展现实设备，该方法包括：确定第一相机与扩展现实设备的虚拟显示屏的第一转换关系；确定第一相机与扩展现实设备的运动感知传感器的第二转换关系；根据第一转换关系和第二转换关系生成虚拟显示屏与运动感知传感器的第三转换关系；基于第三转换关系标定扩展现实设备。实现对扩展现实设备的虚拟显示屏与传感器之间参数的标定，有助于虚拟显示屏位置准确显示虚拟内容，有助于扩展现实设备的虚实对齐。

技术研发人员：权美香,张驰,贺一家,王也
受保护的技术使用者：雷鸟创新技术（深圳）有限公司
技术研发日：
技术公布日：2024/11/18