数据处理方法、三维重建方法及其装置、设备和存储介质与流程

本申请涉及计算机视觉，具体而言，涉及一种数据处理方法、三维重建方法及其装置、设备和存储介质。

背景技术：

1、多视角三维重建技术可采集到的多个视角的二维图像进行三维重建得到三维模型，三维重建技术在三维游戏、虚拟现实、增强现实等领域中均有着重要的作用。

2、为避免重建得到的三维模型的表面具有大面积空洞，保证其表面的完整连续性，基于神经渲染的隐式曲面重建算法的应用也越来越多。目前，在基于神经渲染的隐式曲面重建算法，可通过在人工标注的物体边界框内进行采样得到采样点，并预测每个采样点的符号距离参(signed distance function，sdf)，针对每个采样点的sdf值可直接进行体密度转换，继而进而基于各个采样点的体密度值进行隐式曲面重建算法的训练，从而可使得在没有遮罩监督的情况下，也能重建出完整的光滑曲面。

3、但是，基于每个采样点的sdf值直接进行体密度转换，对于观察射线大角度穿过目标物体的采样点，可能会使得观察射线与表面的交点偏离了真实的表面交点，因此，直接进行体密度转换的方法存在偏置，会使得隐式曲面重建算法的训练不够精确，容易使得三维表面数据的重建精度受到限制，使得三维表面数据中存在失真，使得模型细节不够完整。

技术实现思路

1、有鉴于此，本申请实施例提供了一种数据处理方法、三维重建方法及其装置、设备和存储介质，以提高三维模型的重建精度以及模型细节的完整度。

2、第一方面，本申请实施例提供了一种数据处理方法，包括：

3、获取目标物体的边界框；

4、对所述边界框内的三维空间进行采样，得到多个采样点；

5、采用预设的初始表面距离提取网络，对所述多个采样点进行参数提取，得到所述多个采样点的参数提取结果，每个采样点的参数提取结果包括：所述每个采样点的第一符号距离参数以及法向量；

6、确定所述每个采样点的法向量与所述每个采样点的观察射线之间的夹角；

7、根据所述多个采样点对应的第一符号距离参数以及所述多个采样点对应的所述夹角，进行体密度转换，得到所述多个采样点的体密度参数，所述体密度参数用于训练所述初始表面距离提取网络，以得到目标表面距离提取网络。

8、第二方面，本申请实施例还提供一种三维重建方法，所述方法包括：

9、获取目标物体的边界框；

10、将所述边界框内多个采样点输入经过训练得到的表面距离提取网络，得到目标符号距离参数；其中，所述表面提取网络为采用上述第一方面中任一项所述的数据处理方法得到的目标表面距离提取网络；

11、根据所述目标符号距离参数，采用预设的表面提取算法对所述目标物体进行三维重建，得到所述目标物体的三维表面数据。

12、第三方面，本申请实施例还提供了一种数据处理装置，包括：

13、第一获取模块，用于获取目标物体的边界框；

14、采样模块，用于对所述边界框内的三维空间进行采样，得到多个采样点；

15、参数提取模块，用于采用预设的初始表面距离提取网络，对多个采样点进行参数提取，得到所述多个采样点的参数提取结果，每个采样点的参数提取结果包括：所述每个采样点的第一符号距离参数以及法向量；

16、确定模块，用于确定所述每个采样点的法向量与所述每个采样点的观察射线之间的夹角；

17、转换模块，用于根据所述多个采样点的第一符号距离参数以及所述多个采样点对应的所述夹角，进行体密度转换，得到所述多个采样点的体密度参数，所述体密度参数用于训练所述初始表面距离提取网络，以得到目标表面距离提取网络。

18、第四方面，本申请实施例还提供了一种三维重建装置，包括：

19、第二获取模块，用于获取目标物体的边界框；

20、输入模块，用于将所述边界框内多个采样点输入经过训练得到的表面距离提取网络，得到目标符号距离参数；其中，所述表面提取网络为采用上述第一方面中任一项所述的数据处理方法得到的目标表面距离提取网络；

21、重建模块，用于根据所述目标符号距离参数，采用预设的表面提取算法对所述目标物体进行三维重建，得到所述目标物体的三维表面数据。

22、第五方面，本申请实施例还提供了一种计算机设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面中任一项所述的数据处理方法或第二方面所述的三维重建方法的步骤。

23、第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面中任一项所述的数据处理方法或者第二方面所述的三维重建方法的步骤。

24、本申请实施例提供的数据处理方法、三维重建方法及其装置、设备和存储介质，可通过获取目标物体的边界框，对边界框内的三维空间进行采样，得到多个采样点，并采用预设的初始表面距离提取网络，对多个采样点进行参数提取，得到多个采样点的第一符号距离参数以及法向量，还确定每个采样点的法向量与每个采样点的观察射线之间的夹角，进而根据多个采样点的第一符号距离参数以及多个采样点对应的夹角进行体密度转换，得到多个采样点的体密度参数，用于训练初始表面距离提取网络，以得到目标表面距离提取网络。由于本申请实施例提供的方法中，在对多个采样点的第一符号距离参数进行体密度转换的过程中，可根据多个采样点的法向量，以及每个采样点的法向量与每个采样点的观察射线之间的夹角进行体密度转换，也就是说，在体密度转换的过程中，加入了采样点对应夹角对各采样点的第一符号距离参数的纠偏调整，避免了由于观察射线的角度造成的采样点的符号距离参数的误差，实现了体密度参数的无偏转换，可使得采样点的体密度转换尽可能接近物体的真实表面，从而提高了目标表面距离提取网络的训练精确度，进而提高了三维模型的表面数据的重建精度，避免了模型表面的失真，提高了模型细节的完整度。

25、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个采样点对应的样本符号距离参数以及所述多个采样点对应的所述夹角，进行体密度转换，得到所述多个采样点的体密度参数，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述夹角的余弦值，确定所述每个采样点的权重系数，包括：

4.根据权利要求1所述的方法，其特征在于，在得到所述多个采样点的体密度参数之后，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述多条观察射线的渲染颜色，以及所述多条观察射线对应像素位置在目标物体的二维图像中的真值颜色，对所述初始表面距离提取网络进行训练，得到所述目标表面距离提取网络，包括：

6.根据权利要求1所述的方法，其特征在于，所述获取目标物体的边界框，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述多个二维图像，确定所述多个视角下的三维点云和所述目标物体的边界框的信息，包括：

8.根据权利要求7所述的方法，其特征在于，所述初始相机参数还包括：相机旋转矩阵；所述根据每个视角下的初始相机位置和三维点云，确定所述每个视角下的目标相机位置，包括：

9.根据权利要求7所述的方法，其特征在于，所述根据所述多个视角下的目标相机位置，确定所述目标物体的边界框的信息，包括：

10.根据权利要求9所述的方法，其特征在于，所述从所述多个距离参数中确定所述目标物体的半径参数，包括：

11.根据权利要求4所述的方法，其特征在于，所述根据所述多个采样点的体密度参数，以及所述多个采样点沿着对应观察射线的渲染颜色，进行体渲染，得到多条观察射线的渲染颜色之前，所述方法包括：

12.一种三维重建方法，其特征在于，所述方法包括：

13.一种数据处理装置，其特征在于，包括：

14.一种三维重建装置，其特征在于，包括：

15.一种计算机设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至11中任一项所述的数据处理方法或者权利要求12所述的三维重建方法的步骤。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至11中任一项所述的数据处理方法或者权利要求12所述的三维重建方法的步骤。

技术总结
本申请提供了一种数据处理方法、三维重建方法及其装置、设备和存储介质，涉及计算机视觉技术领域。方法包括：获取目标物体的边界框；对边界框内的三维空间进行采样，得到多个采样点；采用初始表面距离提取网络，对多个采样点进行参数提取，得到多个采样点的参数提取结果，参数提取结果包括：采样点的第一符号距离参数以及法向量；确定每个采样点的法向量与每个采样点的观察射线之间的夹角；根据多个采样点的第一符号距离参数以及多个采样点对应的述夹角，进行体密度转换，得到多个采样点的体密度参数，体密度参数用于训练初始表面距离提取网络，以得到目标表面距离提取网络。本申请实施例可提高模型重建精度以及模型细节的完整度。

技术研发人员：张永强,赵敏达,李林橙,赵思达,刘柏,范长杰,胡志鹏
受保护的技术使用者：网易(杭州)网络有限公司
技术研发日：
技术公布日：2024/1/13