技术特征：
1.一种基于slam的远程操作场景三维重建方法，其特征在于，其具体步骤包括：图像获取，利用获取的图像进行特征/像素匹配，再进行最优相机位姿估计，闭环检测和建图，网格地图生成。2.如权利要求1所述的基于slam的远程操作场景三维重建方法，其特征在于，所述的图像获取，采用rgb-d相机对航天员操作场景进行图像采集，获取航天员操作场景的rgb图和depth图；depth图用于记录相应的rgb图上每个像素点对应的空间点的深度值。3.如权利要求2所述的基于slam的远程操作场景三维重建方法，其特征在于，在相机运动过程中，利用rgb-d相机逐帧获得图像，并对获得的每帧图像都打上时间戳。4.如权利要求1所述的基于slam的远程操作场景三维重建方法，其特征在于，所述的利用获取的图像进行特征/像素匹配，再进行最优相机位姿估计，是根据当前帧图像与上一帧图像的匹配信息来估算当前相机的位姿，采用迭代最近点法实现两帧图像的配准，利用rgb直接匹配法通过最小化空间点对应的图像rgb像素光度误差来优化相机位姿态，将迭代最近点法和rgb直接匹配法得到的结果进行加权融合，得到相机位姿的估计结果。5.如权利要求4所述的基于slam的远程操作场景三维重建方法，其特征在于，所述的采用迭代最近点法实现两帧图像的配准，其具体包括，将每帧图像的2d点数据转换为3d点云数据，利用两帧图像的3d点云数据的距离最小为约束条件，计算得到两帧图像之间的旋转矩阵和平移向量，从而实现两帧图像的配准。6.如权利要求1所述的基于slam的远程操作场景三维重建方法，其特征在于，所述的闭环检测和建图，利用相机位姿的估计结果，将各个时刻的3d点云数据配准并融合成一个完整的航天员操作场景的三维地图。7.如权利要求6所述的基于slam的远程操作场景三维重建方法，其特征在于，闭环检测的实现包含局部优化与全局优化两个步骤，局部优化的实现步骤为：利用位姿跟踪算法求解航天员所操作设备的位姿，根据位姿将不同图像的3d点云数据进行融合；按照时间将融合后的3d点云数据划分成active和inactive两个集合，active为随时间发生变化的3d点云数据的集合，inactive为不随时间发生变化的3d点云数据的集合；根据求解得到的航天员所操作设备的位姿，将active集合和inactive集合分别在图像上进行投影，得到两幅点云图像，并对其进行配准；全局优化包括：按照邻接关系，将rgb-d相机获取的整个序列图像划分成等大小的图像块；对每个图像块进行块内优化，块内优化后，用块内的第一帧图像代表该块，对块内所有帧提取的特征做融合，该块的特征用融合后的特征表示；在图像块间建立匹配关系，进行全局优化；在进行块内或者块间的位姿匹配时，先通过稀疏的sift特征点进行估计，再用块内图像的稠密像素进行优化。8.如权利要求7所述的基于slam的远程操作场景三维重建方法，其特征在于，所述的进行块内或者块间的位姿匹配，其具体包括：e(t)＝w
sparse
e
sparse
(t)+w
dense
e
dense
(t)，其中，t是待优化的位姿转化矩阵，e(t)是位姿误差函数，通过最小化e(t)来计算最优的位姿t，e(t)的最小化包括通过稀疏特征点匹配产生的误差e
sparse
(t)和通过稠密像素匹配产生的误差e
dense
(t)之和的最小化，w
sparse
和w
dense
分别为通过稀疏特征点匹配产生的误差和通过稠密像素匹配产生的误差的权重。
9.如权利要求6所述的基于slam的远程操作场景三维重建方法，其特征在于，建图过程包括，获得图像中每个特征点的深度信息，根据投影算法计算出每个特征点对应的3d点云数据，采用surfel模型进行点云信息的存储与融合，在相机运动的过程中不断扩展、拼接3d点云数据，并通过全局优化和局部优化生成点云地图；所述的采用surfel模型进行点云信息的存储与融合，其具体包括，对新获取的点云信息建立一个新的形变图deformation graph，该形变图包括若干个节点，该节点是从重建的3d点云数据均匀抽样得到；每个节点包含了其节点信息利用slam中的局部回环检测和全局回环检测建立优化约束参数和建立surfel模型的每个模型点和形变图节点之间的连接，并根据模型点和节点之间的距离关系，按照加权平均的方式，用优化后的和更新新获取的点云位置和法向量；对于rgb-d相机采集的当前帧图像，根据当前帧图像位姿，将当前帧图像的点云融合到待重建的三维场景中之后，再用光线投影算法计算在当前视角下航天员所看到的场景的表面，并用该表面来对下一帧的输入图像进行配准，计算下一帧图像的位姿；采用光线投影算法计算得到点云，再计算其法向量，用带法向量的点云和下一帧的输入图像进行配准，获取下一帧输入图像的位姿。10.如权利要求1所述的基于slam的远程操作场景三维重建方法，其特征在于，所述的网格地图生成，将点云数据转化为mesh三角网格模型，即将空间点转化成相互连接的三角网格mesh；并根据点云深度值动态地调整三角网格mesh的mesh顶点的高度以及三角网格mesh的分辨率，最后再将该三角网格mesh融合到点云地图中，得到网格地图。
技术总结
针对现有的航天员远场操作场景的虚拟仿真系统存在实效性差和实时诱导反馈能力不足的问题，本发明公开了一种基于SLAM的远程操作场景三维重建方法，其具体步骤包括：采用RGB-D相机对航天员操作场景进行图像采集，获取航天员操作场景的RGB图和Depth图，根据当前帧图像与上一帧图像的匹配信息来估算当前相机的位姿，采用迭代最近点法实现两帧图像的配准，将迭代最近点法和RGB直接匹配法得到的结果进行加权融合，得到相机位姿的估计结果，闭环检测和建图，网格地图生成。本发明以航天员视觉关注焦点为中心，实现了多模态融合交互，利用该重建的远程操作场景，航天员可独立进行操作训练，减少航天员空间操作或训练过程对地面支持系统或教员的依赖性。系统或教员的依赖性。系统或教员的依赖性。
技术研发人员：何宁 许振瑛 晁建刚 张炎 邓华 黄鹏 杜芳 林万洪 杨进
受保护的技术使用者：中国人民解放军63919部队
技术研发日：2022.01.18
技术公布日：2022/5/5