一种用于MR设备的虚实对齐方法与流程

本发明涉及虚拟现实，尤其涉及一种用于mr设备的虚实对齐方法。

背景技术：

1、mr(mixed reality，混合现实)技术通过在用户的视野中融合真实世界和虚拟图像，以实现高度沉浸式的体验。虚实对齐是mr技术中的关键环节，它确保虚拟对象在用户视场中的位置、大小和方向与现实世界中的对象相匹配，从而提高用户体验的真实感。

2、mr设备通常利用inside-out定位技术实时追踪用户的位置和姿态，通过图像识别技术，mr设备可以识别现实世界中的特定物体，并在这些物体的真实图像上叠加虚拟图像。

3、在使用mr设备进行人机交互时，使用人员可以直接视觉感知到虚实对齐的效果，目前现有技术一般手动进行虚实对齐，然而手动方式不易于对齐姿态，导致使用人员容易受到该影响，无法正常使用。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种用于mr设备的虚实对齐方法，用以解决现有mr设备很难自动实现虚实对齐问题。

2、本发明实施例提供了一种用于mr设备的虚实对齐方法，包括以下步骤：

3、s1、采集mr设备上相机拍摄的多张图像，分别从各图像中识别出实体参照物上的标定标记，计算出各图像中标定标记相对于相机的第一位姿，以及，根据mr设备的外参、mr设备的位姿和第一位姿，计算出各图像中标定标记在实景世界坐标系的第二位姿；

4、s2、根据各图像中标定标记的第二位姿，计算出标定标记最优的第二位姿；

5、s3、标定标记在虚拟参照物上对应有位置相同的虚拟锚点；根据标定标记最优的第二位姿和虚拟锚点在虚景世界坐标系的第三位姿，校正mr设备的位姿；

6、s4、基于mr设备校正后的位姿渲染多个图层，如果多个图层未完全重叠，则重新执行s1-s4直至多个图层完全重叠，完成虚实对齐。

7、基于上述方法的进一步改进，实体参照物上的标定标记有1个或多个，当有多个标定标记时，取其中一个作为主标定标记，在虚拟参照物上对应有与主标定标记位置相同的虚拟锚点。

8、基于上述方法的进一步改进，当有多个标定标记时，对两两组合的标定标记分别进行校验，将校验通过的标定标记的第二位姿均转换为主标定标记的第二位姿后取均值作为各图像中主标定标记最终的第二位姿。

9、基于上述方法的进一步改进，对两两组合的标定标记分别进行校验，包括：

10、分别根据两两组合的标定标记的第二位姿，计算出组合中两个标定标记之间的估计相对位姿，计算估计相对位姿和实际相对位姿之间旋转部分和平移部分的误差，如果有任一个误差超过对应的第二误差阈值，则两个标定标记均校验不通过，否则，两个标定标记均校验通过。

11、基于上述方法的进一步改进，根据各图像中标定标记的第二位姿，计算出标定标记最优的第二位姿，是根据实体参照物在实景世界坐标系的位姿去除异常标定标记后，通过计算剩下的标定标记的第二位姿的均值而得到。

12、基于上述方法的进一步改进，根据实体参照物在实景世界坐标系的位姿去除异常标定标记，包括：

13、根据各标定标记的第二位姿和各标定标记相对于实体参照物的位姿，计算出实体参照物在实景世界坐标系的位姿，作为多个待校验位姿；

14、对多个待校验位姿分别计算出旋转部分和平移部分的均值；

15、依次校验每个待校验位姿的旋转部分和平移部分与对应均值的误差，如果有任一个误差超过对应的第一误差阈值，则对应的标定标记作为异常标定标记被去除。

16、基于上述方法的进一步改进，根据mr设备的外参、mr设备的位姿和第一位姿，通过以下公式计算出各图像中标定标记在实景世界坐标系的第二位姿：

17、

18、其中，表示标定标记m在实景世界坐标系wr的第二位姿，表示mr设备的位姿，即mr设备b在实景世界坐标系wr的位姿，表示mr设备上相机c和设备b的相对位姿，是一个预先标定的外参，表示标定标记m相对于相机c的第一位姿。

19、基于上述方法的进一步改进，通过以下公式，校正mr设备的位姿：

20、

21、其中，和分别表示mr设备的校正前和校正后的位姿，表示虚拟锚点a在虚景世界坐标系wv的第三位姿；表示标定标记m在实景世界坐标系wr的最优的第二位姿。

22、基于上述方法的进一步改进，虚拟锚点在虚景世界坐标系的第三位姿，通过以下公式计算得到：

23、

24、其中，表示虚拟参照物dv在虚景世界坐标系wv的位姿，表示虚拟锚点a相对于虚拟参照物dv的位姿，与标定标记m相对于实体参照物dr的位姿相同。

25、基于上述方法的进一步改进，多个图层从前到后的顺序依次为：透视窗口、虚拟图层和真实图层；透视窗口用于确定透视区域的形状，透视区域由预先确定的观测区域顶点构成；虚拟图层用于显示mr设备的应用场景中预先确定的虚拟图像；真实图层用于显示mr设备上相机拍摄的真实图像。

26、与现有技术相比，本发明至少可实现如下有益效果之一：

27、1、根据标定标记在真实世界中的位姿，以及标定标记对应的虚拟锚点在虚拟世界中的已知位姿，使实体参照物和虚拟参照物对齐，从而自动实现虚实对齐，简便快捷。

28、2、通过设置多个标定标记，提高识别准确率，并根据标定标记之间的相对位姿进行校验，获取校验通过的标定标记；通过拍摄多张图像，根据实体参照物在实景世界坐标系的位姿，去除异常标定标记，从而使标定标记在真实世界中的位姿更精准，减小因拍摄角度、远近和计算的mr设备的位姿数据等因素导致数据不准确的影响。

29、3、同时利用标定标记在实景世界坐标系的位姿和虚拟锚点在虚景世界坐标系的位姿，对mr设备的位姿进行校正，校正方式不依赖mr设备的应用场景，校正效率高，快速实现虚实对齐。

30、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

技术特征：

1.一种用于mr设备的虚实对齐方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的用于mr设备的虚实对齐方法，其特征在于，所述实体参照物上的标定标记有1个或多个，当有多个标定标记时，取其中一个作为主标定标记，在所述虚拟参照物上对应有与主标定标记位置相同的虚拟锚点。

3.根据权利要求2所述的用于mr设备的虚实对齐方法，其特征在于，所述当有多个标定标记时，对两两组合的标定标记分别进行校验，将校验通过的标定标记的第二位姿均转换为主标定标记的第二位姿后取均值作为各图像中主标定标记最终的第二位姿。

4.根据权利要求3所述的用于mr设备的虚实对齐方法，其特征在于，所述对两两组合的标定标记分别进行校验，包括：

5.根据权利要求1所述的用于mr设备的虚实对齐方法，其特征在于，所述根据各图像中标定标记的第二位姿，计算出标定标记最优的第二位姿，是根据实体参照物在实景世界坐标系的位姿去除异常标定标记后，通过计算剩下的标定标记的第二位姿的均值而得到。

6.根据权利要求5所述的用于mr设备的虚实对齐方法，其特征在于，所述根据实体参照物在实景世界坐标系的位姿去除异常标定标记，包括：

7.根据权利要求1所述的用于mr设备的虚实对齐方法，其特征在于，所述根据mr设备的外参、mr设备的位姿和所述第一位姿，通过以下公式计算出各图像中标定标记在实景世界坐标系的第二位姿：

8.根据权利要求1所述的用于mr设备的虚实对齐方法，其特征在于，通过以下公式，校正所述mr设备的位姿：

9.根据权利要求8所述的用于mr设备的虚实对齐方法，其特征在于，所述虚拟锚点在虚景世界坐标系的第三位姿，通过以下公式计算得到：

10.根据权利要求1所述的用于mr设备的虚实对齐方法，其特征在于，所述多个图层从前到后的顺序依次为：透视窗口、虚拟图层和真实图层；所述透视窗口用于确定透视区域的形状，所述透视区域由预先确定的观测区域顶点构成；所述虚拟图层用于显示mr设备的应用场景中预先确定的虚拟图像；所述真实图层用于显示mr设备上相机拍摄的真实图像。

技术总结
本发明涉及一种用于MR设备的虚实对齐方法，属于虚拟现实技术领域，解决了现有MR设备很难自动实现虚实对齐的问题。方法包括：从相机拍摄的各图像中识别出标定标记，计算出各图像中标定标记相对于相机的第一位姿，根据MR设备的外参、MR设备的位姿和第一位姿，计算出各图像中标定标记在实景世界坐标系的第二位姿；根据各图像中标定标记的第二位姿计算出最优的第二位姿；标定标记在虚拟参照物上对应有位置相同的虚拟锚点；根据标定标记最优的第二位姿和虚拟锚点在虚景世界坐标系的第三位姿校正MR设备的位姿；基于MR设备校正后的位姿渲染多个图层，如果多个图层未完全重叠，则重新执行上述步骤直至完全重叠，完成虚实对齐。实现了自动虚实对齐。

技术研发人员：谭宝,包灵,赵科峰,叶勇杰
受保护的技术使用者：杭州慧建智联科技有限公司
技术研发日：
技术公布日：2024/11/21