一种基于类网格细胞空间编码的半隐式神经地图构建方法

本发明属于图像处理，涉及三维重建或新视角合成方法，具体涉及一种基于类网格细胞空间编码的半隐式神经地图构建方法。

背景技术：

1、三维重建或新视角生成技术是指利用计算机算法和人工智能技术，从已有的图像或视频数据中生成新的视角或角度。这种技术在虚拟现实、增强现实、三维建模等领域具有广泛的应用。传统的三维建模需要大量的时间和人力成本，而新视角生成技术可以通过训练深度学习模型，自动地从已有的二维图像或视频中提取出三维场景，并生成新的视角或角度，从而实现快速的三维建模。在虚拟现实和增强现实中，新视角生成技术可以让用户以不同的角度或视角来观察虚拟场景或增强现实对象，增强用户的沉浸感和体验感。同时，在医学、建筑设计、游戏开发等领域也有着广泛的应用。

2、目前，已有的三维重建或新视图合成方法可以分为显式三维重建与隐式三维重建。基于已有的多视角视觉图像信息，显式三维重建方法提取相关特征信息，完成图像之间的数据关联，实现点云、网格等显式模型的构建，进而完成三维场景的重建。隐式三维重建方法则利用神经网络模型存储拟合待重建场景的空间信息，预测不同视角下视觉图像的观测结果，计算预测观测结果与真实测量数据的差异，反向传播优化神经网络模型，实现隐式的三维场景重建。

3、隐式神经地图表征已经被证明在表示形状和场景信息方面具有有效性，通常利用多层感知器(mlps)来编码有符号的距离场(signed distance fields)、占用(occupancy)或体积密度(volume density)。与可微渲染一起，这些方法可以重建对象和场景的几何形状和外观。其中，神经辐射场(nerf)在合成给定一组姿态输入图像的静态场景新视图方面取得了显著的效果。神经辐射场的关键思想是利用神经网络拟合场景的辐射信息，从而构建一个连续的辐射场，并通过可微体素渲染来获得图像，因此，优化过程可以通过最小化光度损失(photometric loss)来实现。但是隐式神经地图技术仍存在诸多问题：首先，由于网络的信息存储量有限，在学习过程中产生的遗忘现象使得神经辐射场方法难以编码大尺度的场景。同时，神经地图网络结构大，计算复杂度较大，拥有大量待训练参数，需要大量的训练数据。此外，神经地图的训练过程依赖较为准确的相机姿态数据。

4、为了进一步提高神经地图的性能，一些方法尝试在空间上构建辅助编码，以此来取代一部分的网络结构与参数，将场景信息隐式存储在显式三维空间结构的编码参数中，即构建半隐式神经地图。结合辅助空间结构的编码，这些方法可以提高神经地图的编码空间范围与编码性能。这一系列研究工作表明，设计半隐式神经地图模型的方法，是提升神经地图表征效率与精度的关键。

技术实现思路

1、针对现有技术的不足，本发明提出了一种基于类网格细胞空间编码的半隐式神经地图构建方法。该方法提出了类网格细胞空间编码，通过显式地对三维空间进行抽象编码，提高数据之间的关联性，消除神经地图中的冗余信息，实现对环境的压缩感知，可根据传感器提供的新视角图像，构建高质量的半隐式神经地图，提高神经地图对场景的表达能力。一种基于类网格细胞空间编码的半隐式神经地图构建方法，包括如下步骤：

2、步骤1.类网格细胞空间编码模型选择

3、从网格细胞的空间编码方式中选择一种或多种的组合作为类网格细胞的空间编码方式，按照选择的编码方式构建多尺度类网格细胞，类网格细胞的面积随尺度增大而增大。

4、作为优选，所述网格细胞的空间编码方式包括：

5、①多个网格细胞通过六方密堆积排列(hcp)的纵向周期性交错叠加组合；

6、②多个网格细胞通过面心立方堆积排列(fcc)的纵向周期性交错叠加组合；

7、③两个网格细胞空间中每两层在z方向对齐的六边形模式；

8、④单个网格细胞空间在空间中z方向全部对齐的六边形模式；

9、⑤单个网格细胞空间在空间中z方向随机分布，水平方向呈六边形模式。

10、步骤2.采样搜索

11、在一个视角下，针对每一个待观测的二维成像坐标，通过光追的方式反向延长传感器光心至成像平面的射线，并在射线上采样三维空间坐标x，再根据坐标x寻找与其相邻的网格细胞，得到坐标x周围的多尺度网格细胞集合。

12、步骤3.编码计算

13、根据坐标x与单一尺度下各网格细胞相对的空间位置关系，计算插值组合的权重，实现网格细胞编码输出的组合，获得坐标x在单一尺度下的编码结果。随后，将不同尺度下网格细胞的编码结果进行组合，获得网格细胞最终的编码信息。

14、步骤4.解码渲染

15、神经网络模型将结合步骤2中光追向量作为的视角观测方向信息，对步骤3中网格细胞最终的编码信息进行解码，估计坐标点在三维空间下对应的传感器可观测信息，并通过与传感器类型相关的渲染方法，沿着步骤2中延长的射线，整合射线上的多个采样点信息，输出传感器在该视角下的观测结果。

16、作为优选，所述渲染方法包括针对可见光相机的体素渲染方法、针对深度传感器的球形光追搜索渲染。

17、步骤5.反向传播训练

18、对比步骤4得到的观测结果与传感器原始的测量结果，构建相应的损失函数。由于每一个类网格细胞都拥有可训练的编码参数，在反向传播训练地图模型时，不论是隐式的解码模型还是显示的类网格细胞编码参数都会得到更新。最终，通过不断地训练，使损失函数尽可能地减少，进而完成半隐式神经地图的构建。

19、本发明具有以下有益效果：

20、本方法主要用于对空间分布的信息进行显式编码，通过在三维空间上的类网格细胞空间编码，实现信息的最大化利用，进而提高地图重建质量。本方法使用的类网格细胞空间编码模型是一种特殊的三维空间哈希编码方式。每一个类网格细胞出现在空间中的多个位置，即不同三维坐标的相邻网格细胞集合具有一定的重合性，因此不同采样点将具有相似的编码信息，这与哈希冲突的情况类似。而哈希冲突可以增加数据之间的关联性，消除哈希表中存在的冗余信息，因此实现了对环境的数据进行压缩。同时，该编码方式呈现一定的周期性，每个类网格细胞在压缩过程中，更关注场景中存在的周期性规律信息，总结场景的信息规律，能够基于已有的三维空间结构经验，在新场景中快速完成对三维结构的认知，可以提高半隐式神经辐射场在具有结构场景中的性能。因此本方法具有重要的科学价值和实用价值。

技术特征：

1.一种基于类网格细胞空间编码的半隐式神经地图构建方法，其特征在于：具体包括以下步骤：

2.如权利要求1所述一种基于类网格细胞空间编码的半隐式神经地图构建方法，其特征在于：所述网格细胞的空间编码方式包括：

3.如权利要求1所述一种基于类网格细胞空间编码的半隐式神经地图构建方法，其特征在于：在步骤2中首先让六边形分布的类网格细胞紧密铺满三维空间的xy平面，并将六边形分割为六个全等的正三角形，然后针对采样点的三维空间坐标x，将其x轴、y轴坐标值进行线性变换，z轴坐标值保持不变，使原本呈正三角形分布的类网格细胞变换至由正方形对角线分割得到的直角三角形空间内；随后，对变换后三维空间坐标x的每一维值向上或向下取整，并将取整结果进行排列组合，得到采样点周围正方形的四个顶点坐标；由于每一个正方形由两个直角三角形组合而成，因此根据采样点的位置可以确定采样点所处的直角三角形；根据顶点坐标值，通过取余函数计算每个坐标的索引值，进而根据索引值确定该坐标点相邻网格细胞的编号，提取网格细胞编码的参数，得到坐标x周围的多尺度网格细胞集合。

4.如权利要求3所述一种基于类网格细胞空间编码的半隐式神经地图构建方法，其特征在于：根据坐标x与单一尺度下各网格细胞在原始xyz空间下的相对位置关系，通过输入坐标x与步骤二中采样点周围正三角形的三个顶点坐标的关系，计算线性插值组合的权重，实现网格细胞编码输出的组合，获得坐标x在单一尺度下的编码结果；随后，结合不同尺度下网格细胞编码的组合结果，获得最终网格细胞的编码信息。

5.如权利要求1所述一种基于类网格细胞空间编码的半隐式神经地图构建方法，其特征在于：步骤4具体包括：

6.如权利要求1或5所述一种基于类网格细胞空间编码的半隐式神经地图构建方法，其特征在于：所述渲染方法包括针对可见光相机的体素渲染方法、针对深度传感器的球形光追搜索渲染。

7.如权利要求1所述一种基于类网格细胞空间编码的半隐式神经地图构建方法，其特征在于：在步骤5中选择l1损失模型训练，l1损失的计算公式为：

技术总结
本发明公开了一种基于类网格细胞空间编码的半隐式神经地图构建方法。该方法使用类网格细胞空间编码，显式地对三维空间进行抽象编码，将编码结果输入神经网络中进行解码，再通过渲染的方式生成新视觉视图。该方法提出的三维空间上的类网格细胞空间编码，可以提高数据之间的关联性，消除神经地图中的冗余信息，实现对环境的压缩感知，实现信息的最大化利用，进而提高地图重建质量。构建半隐式神经地图可以应用于医疗影像、自动驾驶、游戏开发或室内设计等技术领域，自动根据输入的二维图像生成三维场景模型。

技术研发人员：戴玮辰,王佳鑫,孔万增
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/1/13