深度图像的获取方法、装置及设备

本发明涉及三维重建、视频插帧、自动驾驶等，尤其涉及一种深度图像的获取方法、装置及设备。

背景技术：

1、目前，基于三维场景的深度图像构建三维场景对应的三维模型的技术，成为三维重建(3d reconstruction)。深度图像的质量越高，三维模型的精度就越高。

2、在相关技术中，可以采用深度传感器或者深度彩色相机(例如多目相机或者双目相机)采集三维场景的深度图像。其中，深度传感器容易受到环境干扰导致采集的深度图像的质量较差。深度彩色相机通常对其采集的rgb图像进行深度估计，来得到深度图像，由于深度彩色相机在进行深度估计的情况下，容易受到rgb图像的弱纹理、重复纹理以及非朗伯体(non lambertion)表面等区域的影响，因此深度估计的准确性差，导致得到的深度图像的质量较差。

技术实现思路

1、本发明提供一种深度图像的获取方法、装置及设备，用以解决现有技术中深度图像的质量较差的缺陷，实现提高深度图像的质量的目的。

2、第一方面，本发明提供一种深度图像的获取方法，包括：

3、获取目标三维场景的原始rgb图像和原始深度图像；

4、将所述原始rgb图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；

5、将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到所述目标三维场景的目标深度图像。

6、根据本发明提供的一种深度图像的获取方法，所述将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到目标三维场景的目标深度图像，包括：

7、将所述多个图像特征中的第一图像特征，输入至所述深度图像生成网络的第一级深度图像生成模块，得到第一深度图像；

8、将所述多个图像特征中的第二图像特征和所述第一深度图像，输入至所述深度图像生成网络的第二级深度图像生成模块，得到第二深度图像；

9、将所述原始深度图像和所述第二深度图像，输入至所述深度图像生成网络的深度融合模块，得到融合深度图像；

10、将所述多个图像特征中的第三图像特征和所述融合深度图像，输入至所述第三级深度图像生成模块，得到目标三维场景的目标深度图像。

11、根据本发明提供的一种深度图像的获取方法，将所述原始深度图像和所述第二深度图像，输入至所述深度图像生成网络的深度融合模块，得到融合深度图像，包括：

12、通过所述深度融合模块，对所述第二深度图像进行预设倍数的上采样，得到上采样深度图像；所述上采样深度图像的尺寸和所述原始深度图像的尺寸相同；

13、通过所述深度融合模块，对所述原始深度图像进行图像掩码，得到掩码图像；

14、通过所述深度融合模块，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像。

15、根据本发明提供的一种深度图像的获取方法，所述深度融合模块基于掩码图像生成公式，对所述原始深度图像进行图像掩码，得到掩码图像；

16、所述掩码图像生成公式为：

17、

18、其中，mask表示掩码图像，mask(x,y)表示掩码图像中像素(x,y)处的掩码值，d(x,y)表示原始深度图像中像素(x,y)处的深度值，draw表示原始深度图像。

19、根据本发明提供的一种深度图像的获取方法，所述深度融合模块基于融合处理公式，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像；

20、所述融合处理公式为：

21、

22、其中，ds表示上采样深度图像，-mask表示mask的反掩码图像，df表示融合深度图像，-mask(x,y)表示mask(x,y)的反掩码值。

23、根据本发明提供的一种深度图像的获取方法，所述方法还包括：

24、针对各样本三维场景执行如下操作：

25、获取多个深度彩色相机对所述样本三维场景进行图像采集得到的多个样本rgb图像和各样本rgb图像对应的样本深度图像；

26、针对各样本rgb图像，基于所述样本rgb图像，确定采集所述样本rgb图像的深度彩色相机的内参数和外参数；

27、通过所述预设内置函数，将所述样本深度图像与所述样本rgb图像进行对齐，得到所述样本rgb图像对应的样本目标深度图像；

28、基于所述各样本rgb图像对应的样本目标深度图像、以及采集所述样本rgb图像的深度彩色相机的内参数和外参数，构建所述样本三维场景的三维网格模型；

29、针对各样本rgb图像，基于采集所述样本rgb图像的深度彩色相机的内参数和外参数，对所述网格模型进行深度渲染，得到所述样本rgb图像对应的标签深度图像；

30、基于所述多个样本rgb图像、各样本rgb图像对应的标签深度图像，构建所述样本三维场景对应的多个训练样本，所述多个训练样本存在不同；

31、通过所述各样本三维场景对应的多个训练样本，对初始信息融合模型进行有监督训练，得到所述色彩深度信息融合模型。

32、根据本发明提供的一种深度图像的获取方法，所述基于所述多个样本rgb图像、各样本rgb图像对应的标签深度图像，构建所述样本三维场景对应的多个训练样本，包括：

33、针对所述各样本三维场景执行如下操作：

34、基于预设数量，基于所述样本三维场景的多个样本rgb图像，确定多个rgb图像集合，每个rgb图像集合中包括所述预设数量个样本rgb图像，所述rgb图像集合存在不同；

35、针对rgb图像集合，基于所述rgb图像集合中的预设数量个样本rgb图像和所述预设数量个样本rgb图像各自对应的标签深度图像，确定所述多个训练样本，所述训练样本中包括预设数量个样本rgb图像和所述预设数量个样本rgb图像的一个样本rgb图像对应的标签深度图像。

36、第二方面，本发明还提供一种深度图像的获取装置，包括：

37、获取模块，用于获取目标三维场景的原始rgb图像和原始深度图像；

38、处理模块，用于将所述原始rgb图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征；

39、所述处理模块，还用于将所述多个图像特征和所述原始深度图像，输入至所述色彩深度信息融合模型中的深度图像生成网络，得到所述目标三维场景的目标深度图像。

40、根据本发明提供的一种深度图像的获取装置，所述处理模块还具体用于：

41、将所述多个图像特征中的第一图像特征，输入至所述深度图像生成网络的第一级深度图像生成模块，得到第一深度图像；

42、将所述多个图像特征中的第二图像特征和所述第一深度图像，输入至所述深度图像生成网络的第二级深度图像生成模块，得到第二深度图像；

43、将所述原始深度图像和所述第二深度图像，输入至所述深度图像生成网络的深度融合模块，得到融合深度图像；

44、将所述多个图像特征中的第三图像特征和所述融合深度图像，输入至所述第三级深度图像生成模块，得到目标三维场景的目标深度图像。

45、根据本发明提供的一种深度图像的获取装置，所述处理模块还具体用于：

46、通过所述深度融合模块，对所述第二深度图像进行预设倍数的上采样，得到上采样深度图像；所述上采样深度图像的尺寸和所述原始深度图像的尺寸相同；

47、通过所述深度融合模块，对所述原始深度图像进行图像掩码，得到掩码图像；

48、通过所述深度融合模块，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像。

49、根据本发明提供的一种深度图像的获取装置，所述深度融合模块基于掩码图像生成公式，对所述原始深度图像进行图像掩码，得到掩码图像；

50、所述掩码图像生成公式为：

51、

52、其中，mask表示所述掩码图像，mask(x,y)表示所述掩码图像中像素(x,y)处的掩码值，d(x,y)表示所述原始深度图像中像素(x,y)处的深度值，draw表示所述原始深度图像。

53、根据本发明提供的一种深度图像的获取装置，所述深度融合模块基于融合处理公式，对所述上采样深度图像、所述掩码图像和所述原始深度图像进行融合处理，得到所述融合深度图像；

54、所述融合处理公式为：

55、

56、其中，ds表示所述上采样深度图像，-mask表示mask的反掩码图像，df表示所述融合深度图像，-mask(x,y)表示mask(x,y)的反掩码值。

57、根据本发明提供的一种深度图像的获取装置，针对各样本三维场景执行如下操作：

58、获取模块，还用于获取多个深度彩色相机对所述样本三维场景进行图像采集得到的多个样本rgb图像和各样本rgb图像对应的样本深度图像；

59、处理模块，还用于针对各样本rgb图像，基于所述样本rgb图像，确定采集所述样本rgb图像的深度彩色相机的内参数和外参数；

60、处理模块，还用于通过所述预设内置函数，将所述样本深度图像与所述样本rgb图像进行对齐，得到所述样本rgb图像对应的样本目标深度图像；

61、处理模块，还用于基于所述各样本rgb图像对应的样本目标深度图像、采集所述样本rgb图像的深度彩色相机的内参数和外参数，构建所述样本三维场景的三维网格模型；

62、处理模块，还用于针对各样本rgb图像，基于采集所述样本rgb图像的深度彩色相机的内参数和外参数，对所述网格模型进行深度渲染，得到所述样本rgb图像对应的标签深度图像；

63、处理模块，还用于基于所述多个样本rgb图像、各样本rgb图像对应的标签深度图像，构建所述样本三维场景对应的多个训练样本，所述多个训练样本存在不同；

64、处理模块，还用于通过所述各样本三维场景对应的多个训练样本，对初始信息融合模型进行有监督训练，得到所述色彩深度信息融合模型。

65、根据本发明提供的一种深度图像的获取装置，处理模块还具体用于：

66、针对所述各样本三维场景执行如下操作：

67、基于预设数量，基于所述样本三维场景的多个样本rgb图像，确定多个rgb图像集合，每个rgb图像集合中包括所述预设数量个样本rgb图像，所述rgb图像集合存在不同；

68、针对rgb图像集合，基于所述rgb图像集合中的预设数量个样本rgb图像和所述预设数量个样本rgb图像各自对应的标签深度图像，确定所述多个训练样本，所述训练样本中包括预设数量个样本rgb图像和所述预设数量个样本rgb图像的一个样本rgb图像对应的标签深度图像。

69、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种深度图像的获取方法。

70、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种深度图像的获取方法。

71、本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一种深度图像的获取方法。

72、本发明提供一种深度图像的获取方法、装置及设备，将原始rgb图像，输入至色彩深度信息融合模型中的特征金字塔网络，得到多个图像特征，将多个图像特征和原始深度图像，输入至色彩深度信息融合模型中的深度图像生成网络，得到目标三维场景的目标深度图像，可以避免环境干扰，避免rgb图像的弱纹理、重复纹理和非朗伯体等区域的影响，提高了目标深度图像的质量较高。