一种三维空间映射方法与流程

本发明涉及人机交互，具体的是一种三维空间映射方法。

背景技术：

1、近年来，随着家装设计的市场逐渐庞大，设计软件也丰富了许多，其中在ipad上绘制户型、放置模型，替代了传统cad设计，主要是提供了一种交互式的、直观的方式来设计和可视化建筑空间。

2、这项技术可以大大简化建筑师、设计师和客户之间的沟通，并帮助他们更好地理解和共享他们的想法，背后的技术包括使用unity引擎创建虚拟环境、处理用户输入和实时渲染，以及利用ipad的强大图形处理能力来实现流畅的用户体验。

3、尽管在ipad上绘制户型和放置模型提供了便捷的方式，但与传统的桌面应用程序相比，屏幕尺寸较小可能会限制用户的操作空间，影响到用户体验。

技术实现思路

1、本发明的目的在于提供一种三维空间映射方法，以解决上述背景技术中提出的问题。

2、本发明的目的可以通过以下技术方案实现：

3、一种三维空间映射方法，包括以下步骤：

4、s1、环境感知：使用设备的传感器获取环境的rgb图像和深度信息，并利用所获取的数据，构建环境的点云模型；

5、s2、点云处理：对点云模型中的点云数据进行处理和滤波，去除噪声并提取出环境中的关键特征点；

6、s3、建模和定位：使用slam算法对环境进行建模和定位，slam算法用于同时估计设备的位置和地图的拓扑结构，通过最小化误差来优化估计结果；

7、slam算法用于最小化误差，其公式为：

8、

9、其中，x是所有时刻的机器人位姿，m是地图，zt是传感器观测到的特征点，h(xt，m)是通过机器人位姿和地图估计得到的特征点在传感器坐标系下的位置；

10、s4、空间重建：基于slam算法得到的位姿和地图信息，进行稠密地图的构建和重建，使用三角测量将稀疏的点云数据转化为密集的环境模型；

11、s5、空间映射：将虚拟内容与实际环境进行对齐，确保虚拟对象在真实世界中的正确放置。

12、所述步骤s3中，机器人状态更新根据运动模型和观测模型来估计机器人在时间步t的状态xt，其公式为：

13、xt＝f(xt-1,ut)+ε

14、其中，f是运动模型，ut是机器人在时间步t的运动输入，ε是运动噪声；

15、机器人在时间步t的状态xt根据机器人的运动模型f和运动控制输入ut进行更新，其公式为：

16、xt＝f(xt-1,ut)+εmotion

17、其中，εmotion表示运动模型中的噪声项，用于描述机器人运动时的不确定性或误差。

18、所述步骤s3中，地图m的更新取决于机器人的状态xt和观测zt，地图m的更新公式为：

19、m＝mt-1+g(xt,zt)+δ

20、其中，g是观测模型，δ是观测噪声。

21、所述步骤s3中，特征点在地图上的布置方法为增量布置和稀疏化：

22、增量布置：特征点可能会随着机器人的运动路径逐步添加，只在需要的区域进行特征点的提取和描述；

23、稀疏化：对于长时间未访问或低概率通过的区域，特征点可能会被稀疏化，以减少地图的复杂性和存储开销。

24、所述步骤s4中的空间重建过程中，使用相机投影模型，相机投影模型描述了相机的内外参数以及相机像素坐标和世界坐标之间的关系如下：

25、

26、其中，xyz为世界坐标系下的特征点坐标，表示特征点在三维空间中的位置；r为旋转向量，表示相机的旋转部分；t为平移向量，表示相机的平移部分。

27、所述步骤s4中的空间重建过程中，通过已知的三维空间点和它们在相机图像中的投影位置，来估计相机的位姿，其公式如下：

28、

29、其中，r和t分别是相机的旋转矩阵和平移向量，xi是第i个三维点在图像上的投影，xi是对应的世界坐标；

30、所述步骤s4中的空间重建过程中，将来自不同视角的三维点云进行配准，以获得一个整体一致的地图，其公式如下：

31、

32、其中，pi和qi分别是两个点云中对应的点，t是变换矩阵。

33、在所述步骤s5中，放置虚拟对象时，利用vps提供的高精度定位信息，实时跟踪用户设备的位置和朝向，并根据用户设备的位置和朝向信息，在unity中将虚拟对象准确放置在现实世界中的特定位置。

34、本发明的有益效果：

35、1、本发明提供了一种三维空间映射技术，它允许设备感知和理解周围的环境，并将虚拟内容准确地放置在实际物体上，可以在室内外实现位置识别和定位，为ar应用提供了空间感知和定位的能力，避免了因为屏幕尺寸较小限制用户操作空间的问题。

36、2、本发明通过vps提供了对设备位置和朝向的高精度定位，使得虚拟对象可以准确地放置在现实世界中的特定位置，从而增强了用户体验和沉浸感。

技术特征：

1.一种三维空间映射方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种三维空间映射方法，其特征在于，所述步骤s3中，机器人状态更新根据运动模型和观测模型来估计机器人在时间步t的状态xt，其公式为：

3.根据权利要求1所述的一种三维空间映射方法，其特征在于，所述步骤s3中，地图m的更新取决于机器人的状态xt和观测zt，地图m的更新公式为：

4.根据权利要求4所述的一种三维空间映射方法，其特征在于，所述步骤s3中，特征点在地图上的布置方法为增量布置和稀疏化：

5.根据权利要求1所述的一种三维空间映射方法，其特征在于，所述步骤s4中的空间重建过程中，使用相机投影模型，相机投影模型描述了相机的内外参数以及相机像素坐标和世界坐标之间的关系如下：

6.根据权利要求5所述的一种三维空间映射方法，其特征在于，所述步骤s4中的空间重建过程中，通过已知的三维空间点和它们在相机图像中的投影位置，来估计相机的位姿，其公式如下：

7.根据权利要求1所述的一种三维空间映射方法，其特征在于，所述步骤s4中的空间重建过程中，将来自不同视角的三维点云进行配准，以获得一个整体一致的地图，其公式如下：

8.根据权利要求1所述的一种三维空间映射方法，其特征在于，在所述步骤s5中，放置虚拟对象时，利用vps提供的高精度定位信息，实时跟踪用户设备的位置和朝向，并根据用户设备的位置和朝向信息，在unity中将虚拟对象准确放置在现实世界中的特定位置。

技术总结
本发明涉及人机交互技术领域，具体的是一种三维空间映射方法，本发明包括以下步骤：S1、环境感知：使用设备的传感器获取环境的RGB图像和深度信息，并利用所获取的数据，构建环境的点云模型；S2、点云处理：对点云模型中的点云数据进行处理和滤波，去除噪声并提取出环境中的关键特征点；S3、建模和定位：使用SLAM算法对环境进行建模和定位，本发明提供了一种三维空间映射技术，它允许设备感知和理解周围的环境，并将虚拟内容准确地放置在实际物体上，可以在室内外实现位置识别和定位，为AR应用提供了空间感知和定位的能力，避免了因为屏幕尺寸较小限制用户操作空间的问题。

技术研发人员：何飞翔,李浩,芦营
受保护的技术使用者：上海凝聚元界信息科技有限公司
技术研发日：
技术公布日：2024/9/29