用于确定图像深度的方法、模型的训练方法和装置与流程

本公开涉及图像处理，尤其是一种用于确定图像深度的方法、模型的训练方法和装置。

背景技术：

1、在自动驾驶、虚拟现实(virtual reality，简称：vr)、增强现实(augmentedreality，简称：ar)、机器人等领域，图像深度估计被广泛应用。当前图像深度估计通常基于激光雷达、深度相机等实现。

技术实现思路

1、有鉴于此，本公开的目的在于提供一种用于确定图像深度的方法、模型的训练方法和装置，基于双目图像实现图像绝对深度的有效确定。

2、第一方面，本公开实施例提供了一种用于确定图像深度的方法，包括：获取双目图像，双目图像包括第一图像和第二图像；对第一图像和第二图像分别进行特征提取，获得第一图像对应的第一特征图和第二图像对应的第二特征图；基于第一特征图，确定第一图像对应的初始绝对深度图；其中，初始绝对深度图包括第一图像的各像素分别对应的初始绝对深度值；通过第一特征图和第二特征图，确定深度残差图；其中，深度残差图包括与第一图像的各像素分别对应的深度残差值；使用深度残差图对初始绝对深度图进行修正，得到第一图像对应的目标绝对深度图；其中，目标绝对深度图包括第一图像的各像素分别对应的目标绝对深度值。

3、第二方面，本公开实施例提供了一种用于图像的深度预测模型的训练方法，包括：获取双目图像样本集；其中，双目图像样本集包括至少一条训练样本，每条训练样本包括一组双目样本图像，每组双目样本图像包括第一样本图像和第二样本图像；通过待训练深度预测模型执行如下操作，直至待训练深度预测模型训练结束，得到深度预测模型：对于任一个批次中的任一训练样本，对该训练样本中的第一样本图像和第二样本图像进行特征提取，获得该第一样本图像对应的第一样本特征图及该第二样本图像对应的第二样本特征图；其中，该批次包括至少一条训练样本；基于第一样本特征图，确定该第一样本图像对应的初始样本绝对深度图；其中，初始样本绝对深度图包括该第一样本图像的各像素分别对应的初始样本绝对深度值；通过第一样本特征图和第二样本特征图，确定样本深度残差图；其中，样本深度残差图包括与第一样本图像的各像素分别对应的样本深度残差值；使用样本深度残差图对初始样本绝对深度图进行修正，获得该第一样本图像对应的目标样本绝对深度图；其中，目标样本绝对深度图包括该第一样本图像的各像素分别对应的目标样本绝对深度值；基于该批次中的各训练样本的第一样本图像、第二样本图像和对应的目标样本绝对深度图，确定模型损失；基于模型损失对待训练深度预测模型的网络参数进行更新，获得更新后的待训练深度预测模型。

4、第三方面，本公开实施例提供了一种用于确定图像深度的装置，包括：图像获取模块，用于获取双目图像，双目图像包括第一图像和第二图像；特征提取模块，用于对第一图像和第二图像分别进行特征提取，获得第一图像对应的第一特征图和第二图像对应的第二特征图；初始绝对深度确定模块，用于基于第一特征图，确定第一图像对应的初始绝对深度图；其中，初始绝对深度图包括第一图像的各像素分别对应的初始绝对深度值；深度残差确定模块，用于通过第一特征图和第二特征图，确定深度残差图；其中，深度残差图包括与第一图像的各像素分别对应的深度残差值；目标绝对深度确定模块，用于使用深度残差图对初始绝对深度图进行修正，得到第一图像对应的目标绝对深度图；其中，目标绝对深度图包括第一图像的各像素分别对应的目标绝对深度值。

5、第四方面，本公开实施例提供了一种用于图像的深度预测模型的训练装置，包括：样本获取模块，用于获取双目图像样本集；其中，双目图像样本集包括至少一条训练样本，每条训练样本包括一组双目样本图像，每组双目样本图像包括第一样本图像和第二样本图像；模型训练模块，用于通过待训练深度预测模型执行如下操作，直至待训练深度预测模型训练结束，得到深度预测模型：对于任一个批次中的任一训练样本，对该训练样本中的第一样本图像和第二样本图像进行特征提取，获得该第一样本图像对应的第一样本特征图及该第二样本图像对应的第二样本特征图；其中，该批次包括至少一条训练样本；基于第一样本特征图，确定该第一样本图像对应的初始样本绝对深度图；其中，初始样本绝对深度图包括该第一样本图像的各像素分别对应的初始样本绝对深度值；通过第一样本特征图和第二样本特征图，确定样本深度残差图；其中，样本深度残差图包括与第一样本图像的各像素分别对应的样本深度残差值；使用样本深度残差图对初始样本绝对深度图进行修正，获得该第一样本图像对应的目标样本绝对深度图；其中，目标样本绝对深度图包括该第一样本图像的各像素分别对应的目标样本绝对深度值；基于该批次中的各训练样本的第一样本图像、第二样本图像和对应的目标样本绝对深度图，确定模型损失；基于模型损失对待训练深度预测模型的网络参数进行更新，获得更新后的待训练深度预测模型。

6、第五方面，本公开实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行本公开上述任一实施例提供的用于确定图像深度的方法和上述任一实施例提供的用于图像的深度预测模型的训练方法中的任一者。

7、第六方面，本公开实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行该指令以实现本公开上述任一实施例提供的用于确定图像深度的方法和上述任一实施例提供的用于图像的深度预测模型的训练方法中的任一者。

8、下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

技术特征：

1.一种用于确定图像深度的方法，包括：

2.根据权利要求1所述的方法，其中，所述基于所述第一特征图，确定所述第一图像对应的初始绝对深度图，包括：

3.根据权利要求2所述的方法，其中，所述对所述第一特征图进行变换系数预测，获得所述第一图像对应的变换系数图，包括：

4.根据权利要求3所述的方法，其中，所述基于所述预设数量个区域分别对应的变换系数，扩展出与所述第一图像对应的变换系数图，包括：

5.根据权利要求2所述的方法，其中，所述基于所述变换系数图和所述相对深度图，确定所述第一图像对应的初始绝对深度图，包括：

6.根据权利要求1所述的方法，其中，所述通过所述第一特征图和所述第二特征图，确定深度残差图，包括：

7.根据权利要求6所述的方法，其中，所述通过所述第一特征图、所述第二特征图、所述第一图像中每个像素对应的深度范围，构造所述第二特征图与所述第一特征图的代价体，包括：

8.根据权利要求2所述的方法，其中，所述确定所述第一图像的相对深度图，包括：

9.根据权利要求1所述的方法，其中，所述对所述第一图像和所述第二图像分别进行特征提取，获得所述第一图像对应的第一特征图和所述第二图像对应的第二特征图，包括：

10.根据权利要求9所述的方法，其中，所述第一特征提取网络与所述第二特征提取网络共享网络参数。

11.根据权利要求1所述的方法，其中，所述使用所述深度残差图对所述初始绝对深度图进行修正，得到所述第一图像对应的目标绝对深度图，包括：

12.一种用于图像的深度预测模型的训练方法，包括：

13.根据权利要求12所述的方法，其中，所述基于所述批次中的各训练样本的第一样本图像、第二样本图像和对应的目标样本绝对深度图，确定模型损失，包括：

14.一种用于确定图像深度的装置，包括：

15.一种用于图像的深度预测模型的训练装置，包括：

16.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的用于确定图像深度的方法和上述权利要求12-13任一所述的用于图像的深度预测模型的训练方法中的任一者。

17.一种电子设备，所述电子设备包括：

技术总结
本公开提供了一种用于确定图像深度的方法、模型的训练方法和装置。具体实现方案为：获取双目图像，双目图像包括第一图像和第二图像；对第一图像和第二图像分别进行特征提取，获得第一图像对应的第一特征图和第二图像对应的第二特征图；基于第一特征图，确定第一图像对应的初始绝对深度图；其中，初始绝对深度图包括第一图像的各像素分别对应的初始绝对深度值；通过第一特征图和第二特征图，确定深度残差图；其中，深度残差图包括与第一图像的各像素分别对应的深度残差值；使用深度残差图对初始绝对深度图进行修正，得到第一图像对应的目标绝对深度图；其中，目标绝对深度图包括第一图像的各像素分别对应的目标绝对深度值。

技术研发人员：王建雄,王志成,吴克艰
受保护的技术使用者：优奈柯恩（北京）科技有限公司
技术研发日：
技术公布日：2024/9/29